基于FARROW结构的内容自适应缩放器.pdf

摘要
申请专利号：	CN201080026512.5	申请日：	2010.05.04
公开号：	CN102460561A	公开日：	2012.05.16
当前法律状态：	授权	有效性：	有权
法律详情：	授权\|\|\|实质审查的生效IPC(主分类):G09G 5/00申请日:20100504\|\|\|公开
IPC分类号：	G09G5/00	主分类号：	G09G5/00
申请人：	美国亚德诺半导体公司
发明人：	李林; 李天将; 车伟; 李慧德
地址：	美国马萨诸塞州
优先权：	2009.05.05 US 61/175,548; 2009.07.20 US 12/505,626
专利代理机构：	中国国际贸易促进委员会专利商标事务所 11038	代理人：	申发振
PDF下载：	PDF下载

内容摘要

本发明的实施例涉及图像处理系统。图像处理系统包含：内容检测模块，该内容检测模块具有接收输入像素的序列的输入端，并且被配置成基于所检测的相邻输入像素对之间的差别来生成可调整参数；以及数字滤波器，该数字滤波器具有针对输入像素的序列的输入端和耦合至内容检测模块的输出端的控制输入端。数字滤波器可以根据参数调整滤波系数。

权利要求书

1：一种图像处理系统，包含：内容检测模块，其具有接收输入像素的序列的输入端，并且被配置成基于相邻输入像素对之间的差别生成可调整参数；以及数字滤波器，其具有针对所述输入像素的序列的输入端和耦合至所述内容检测模块的输出端的控制输入端，所述数字滤波器根据所述参数调整滤波系数。
2：如权利要求 1 所述的图像处理系统，其中所述数字滤波器是多点 Farrow 结构。
3：如权利要求 2 所述的图像处理系统，其中所述图像处理系统被配置成使用所述滤波系数生成用于图像的向上转换的像素。
4：如权利要求 3 所述的图像处理系统，其中通过将 4 个系数分别与 4 个输入像素的序列相乘并且将乘法结果相加来生成每一个所生成的像素，通过所述序列中的第一像素和第二像素、所述第二像素和第三像素以及所述第三像素和第四像素之间的差别来确定所述可调整参数。
5：如权利要求 3 所述的图像处理系统，其中所述可调整参数具有下列之一的值：高、中高、中、低和关闭。
6：如权利要求 5 所述的图像处理系统，其中所述内容检测模块基于 4 个相邻像素的序列之间的差别生成所述可调整参数。
7：如权利要求 6 所述的图像处理系统，其中在所述序列中的第二和第三位置的像素之间的差别大于或者等于第一阈值的情况下，所述可调整参数具有高值。
8：如权利要求 6 所述的图像处理系统，其中在所述序列中的第二和第三位置的像素之间的差别小于第一阈值但大于或者等于第二阈值的情况下，所述可调整参数具有中高值。
9：如权利要求 6 所述的图像处理系统，其中当所述序列中的第二和第三位置的像素之间的差别小于第二阈值但大于或者等于第三阈值的情况下，所述可调整参数具有中值。
10：如权利要求 6 所述的图像处理系统，其中在以下情况下所述可调整参数具有中值： 1) 所述序列中的第二和第三位置的像素之间的差别小于第三阈值但大于或者等于第四阈值；并且 2) 所述序列中的第一和第二位置的像素之间及第三和第四位置的像素之间的差别均大于第五阈值。
11：如权利要求 6 所述的图像处理系统，其中在以下情况下所述可调整参数具有中值： 1) 所述序列中的第二和第三位置的像素之间的差别小于第四阈值；并且 2) 所述序列中的第一和第二位置的像素之间及第三和第四位置的像素之间的差别均大于第六阈值。
12：如权利要求 6 所述的图像处理系统，其中在以下情况下所述可调整参数具有低值： 1) 所述序列中的第二和第三位置的像素之间的差别小于第四阈值；并且 2) 所述序列中的第一和第二位置的像素之间及第三和第四位置的像素之间的差别均大于第六阈值。
13：如权利要求 6 所述的图像处理系统，其中在以下情况下所述可调整参数为关闭： 1) 所述序列中的第二和第三位置的像素之间的差别小于第四阈值；并且 2) 所述序列中的第一和第二位置的像素之间及第三和第四位置的像素之间的差别均大于第六阈值。
14：如权利要求 5 所述的图像处理系统，其中所述可调整参数基于输入像素的频谱选择。
15：如权利要求 3 所述的图像处理系统，其中所述图像包含水平维度和垂直维度，并且所述输入像素的序列位于所述水平维度和所述垂直维度的一个之中。 2
16：如权利要求 1 所述的图像处理系统，进一步包含过冲控制模块，其将所述数字滤波器所生成的像素限制在由所述输入像素所确定的一定范围内。
17：如权利要求 1 所述的图像处理系统，其中所述图像处理系统被配置成基于输入像素执行抽取。
18：如权利要求 17 所述的图像处理系统，其中所述图像处理系统通过执行低通滤波和双线性插值来执行抽取。
19：一种调整输入图像的大小的方法，包含：接收输入像素的序列；比较每一对相邻输入像素的值；基于每一对相邻输入像素的值的差别确定可调整参数的值；基于新像素的位置和所述可调整参数计算将要被施加给输入像素的系数，所述系数被施加给数字滤波器中的输入像素；以及由所述数字滤波器使用所计算的系数生成所述新像素。
20：如权利要求 18 所述的方法，其中所述输入图像包含水平维度和垂直维度，并且所述输入像素的序列位于所述水平维度和所述垂直维度的一个之中。
21：如权利要求 18 所述的方法，其中所述数字滤波器是 4 点抛物线 Farrow 结构，通过 4 个输入像素的序列生成所述新像素，并且所述新像素的位置位于所述序列中的第二和第三像素之间。
22：如权利要求 21 所述的方法，其中所述可调整参数的值是以下中的一个：高、中高、中、低和关闭。
23：如权利要求 22 所述的方法，其中所述可调整参数：在所述序列中的第二和第三像素之间的差别大于或者等于第一阈值时具有高值；在所述序列中的第二和第三像素之间的差别小于所述第一阈值但大于或者等于第二阈值时具有中高值；在以下情况下具有中值 (1) 所述序列中的第二和第三像素之间的差别小于所述第二阈值但大于或者等于第三阈值；或者 (2) 所述序列中的第二和第三像素之间的差别小于所述第三阈值但大于或者等于第四阈值，并且所述序列中的第一和第二像素之间及第三和第四像素之间的差别均大于第五阈值；或者 (3) 所述序列中的第二和第三像素之间的差别小于所述第四阈值，并且所述序列中的第一和第二像素之间及第三和第四像素之间的差别均大于第六阈值；在以下情况下具有低值： 1) 所述序列中的第二和第三像素之间的差别小于所述第四阈值，并且 2) 所述序列中的第一和第二像素之间及第三和第四像素之间的差别均大于第六阈值；以及在以下情况下为关闭： 1) 所述序列中的第二和第三像素之间的差别小于所述第四阈值；并且 2) 所述序列中的第一和第二像素之间及第三和第四像素之间的差别均大于第六阈值。
24：如权利要求 21 所述的方法，其中所生成的像素在被输出之前被传输至过冲控制模 3 块。
25：如权利要求 21 所述的方法，其中通过将 4 个系数分别与 4 个输入像素相乘并且将乘法结果相加来生成所生成的像素，通过所述序列中的第一像素和第二像素、所述第二像素和第三像素以及所述第三像素和第四像素之间的差别来确定所述可调整参数的值。
26：如权利要求 21 所述的方法，其中基于输入像素的频谱确定所述可调整参数的值。

说明书

基于 FARROW 结构的内容自适应缩放器
    相关申请的交叉引用
     本申请要求享有 2009 年 5 月 5 日提交的、序列号为 61/175,548、名称为 “Content Adaptive Scaler Based On A Farrow Structure” 的美国临时专利申请的优先权，该申请在此通过引用而并入其全部内容。
     背景技术
     本发明涉及视频处理系统中的缩放操作，以在调整图像内容大小时具有最少伪像。
     “缩放” 通常是指改变图像大小的处理。可以将缩放作为视频系统中的格式转换操作来执行。例如，当在高分辨率面板 ( 例如，全高清 (1080p) 面板 ) 上显示低分辨率 ( 例如， 480p) 的视频图像时，需要将视频图像缩放为 1080p。这类转换被称为向上转换。同样，需要转换高分辨率的视频图像以在低分辨率面板 ( 例如， 1080p 到 480p) 或者更小显示区域 ( 例如，画中画 (PIP)) 上显示。这类转换被称为向下转换或者抽取。通常，缩放包含调整将要被显示的视频图像的大小。例如，具有 480p 分辨率的 4 ∶ 3 图像帧具有 720×480 或者 345600 个像素，而具有 1080p 分辨率的 16 ∶ 9 图像帧具有 1920×1080 或者 2073600 个像素。因而，需要增加附加像素来执行从 480p 到 1080p 的向上转换，并且需要去除和 / 或组合已有像素来执行从 1080p 到 480p 的向下转换。
     传统上，对于向上转换，使用插值来在已有像素之间增加附加像素，而抽取被用来去除和 / 或组合已有像素。插值和抽取均涉及通过信号滤波器 ( 例如，低通滤波器 (LPF)) 传递图像数据。然而，在 2 维滤波中，不存在理想的 LPF，并且一个维度的滤波常常降低沿其它维度的图像内容的质量。已经开发了各种技术来执行缩放并且还减少不期望的伪像。然而，已有技术包含复杂硬件结构并且没有有效地减少不期望的伪像。例如，各种不期望的伪像 ( 诸如锯齿现象、边缘模糊、环状和波纹伪像 ) 可以导致图像的失真并且在向上转换或者向下转换之后影响图像质量，但使用复杂硬件结构的已有技术没有有效地减少这些不期望的伪像。
     因此，需要能够在调整图像数据大小时具有最少伪像但又使用复杂度降低的硬件结构的缩放系统。
     附图说明
     图 1 例示了根据本发明实施例的成像系统的示意图。图 2 例示了根据本发明实施例的参数化 Farrow 结构。图 3 例示了根据本发明实施例的用于确定参数化 Farrow 结构的系数的一组公式。图 4 例示了根据本发明实施例的由参数化 Farrow 结构所增加的新像素 y(k)。图 5 例示了根据本发明实施例的确定可调整参数 α 的值的一组条件。图 6 例示了针对传统多相滤波器的不同相位的幅度响应。图 7 例示了根据本发明实施例的针对参数化 Farrow 结构的幅度响应。图 8 例示了根据本发明实施例的使用参数化 Farrow 结构以用于向下转换的处理。图 9 例示了根据本发明实施例的使用参数化 Farrow 结构的向下转换处理。图 10 例示了根据本发明实施例的过冲控制。具体实施方式
     本发明实施例涉及图像处理系统。该图像处理系统可以包含：内容检测模块，其具有接收输入像素的序列的输入端，并且被配置成基于所检测的相邻输入像素对之间的差别生成可调整参数；以及数字滤波器，其具有针对该输入像素的序列的输入端和耦合至内容检测模块的输出端的控制输入端。该数字滤波器可以根据该参数调整滤波系数。
     图 1 例示了根据本发明实施例的成像系统 100 的示意图。成像系统 100 可以包括内容检测模块 104、参数化 Farrow 结构 106 和过冲控制模块 108。参数化 Farrow 结构 106 可以是处理输入像素并且通过应用系数到各输入像素 ( 例如，通过插值 ) 生成输出像素的数字滤波器。参数化 Farrow 结构 106 可以耦合至像素输入 102 以接收输入像素。内容检测模块 104 可以基于输入像素确定参数 α112 来调整参数化 Farrow 结构 106 的系数。过冲模块 108 控制可以将来自 Farrow 结构 106 的输出像素限制在输入像素的一定范围内。在一个实施例中，内容检测模块 104 和过冲控制模块 108 可以耦合至参数化 Farrow 结构 106。参数化 Farrow 结构 106 可以基于输入像素和参数 α112 生成输出像素。可以将所生成的输出像素传输到过冲控制模块 108。过冲控制模块 108 可以针对过冲控制来处理所生成的输出像素并且将所生成的像素输出到像素输出 110。
     本发明实施例可以应用插值 / 抽取到图像的各种颜色空间 ( 例如，红-绿-蓝 (RGB)、 YIQ、 YUV)。在一个实施例中，内容或者频率检测可以基于 YUV 颜色空间。因而，对于该实施例，可能需要在被缩放之前将 RGB 输入转换为 YUV 并且在被缩放之后从 YUV 转换回 RGB。对于应用到 YUV 颜色空间的实施例，可以在 Y 通道上应用 α 决定， UV 可以与 Y 共享相同的 α。在某些实施例中，内容或者频率检测可以基于 RGB 颜色空间。在一个或者更多个实施例中， RGB 颜色空间的 3 个通道可以分别具有单独的 α 决定模块。
     图 2 显示了根据本发明实施例的参数化 Farrow 结构 200。参数化 Farrow 结构 200 可以包含输入信号线 202、位置信号线 220、输出信号线 230、多个延迟元件 216.1-216.5( 统称为延迟元件 216)、 4 个放大器 218.1-218.4( 统称为放大器 218)、 8 个加法器 224.1-224.8( 统称为加法器 224) 和两个乘法器 222.1-222.2( 统称为乘法器 222)。
     输入信号线 202 可以接收图像的一个维度上 ( 例如，水平地或者垂直地 ) 的输入像素的序列 x(m)( 例如， x(0)、 x(1))。可以将所接收的每个输入像素施加到放大器 218 并且可以将所接收的每个输入像素传输到延迟元件 216。放大器 218 的每一个可以按照 α 系数放大输入信号。例如，对于输入 x(m)，输出可以是 αx(m)。
     延迟元件 216 的每一个可以向像素增加一个延迟。例如，如果输入信号线 202 的输入信号是 x(n)，则点 204 和 210 处的信号 ( 分别与 x(n) 相距一个延迟元件 216.1 和 216.4) 是在前像素 x(n-1)，点 206 和 212 处的信号 ( 分别与 x(n) 相距两个延迟元件 216.1 和 216.2 以及 216.4 和 216.5) 是在前像素 x(n-2)，以及点 208 处的信号 ( 与 x(n) 相距三个延迟元件 216.1、 216.2 和 216.3) 是在前像素 x(n-3)。在一个实施例中，每个延迟元件 216 可以是存储设备，诸如但不限于寄存器。位置信号线 220 可以接收标识将要生成新像素的地方的位置指示符 μk。位置指示符 μk 可以与参数化 Farrow 结构 200 中的信号相乘 ( 例如，在乘法器 221)。可以基于输入像素在输出信号线 230 上生成针对位置指示符 μk 所标识的位置的输出信号 y(k)( 例如，新像素 )。在一个实施例中，参数化 Farrow 结构 200 可以是 4 点分段抛物线 Farrow 结构并且被称为二次插值器。
     图 3 和 4 例示了根据本发明实施例的参数化 Farrow 结构 200 的操作。图 4 显示了基于 4 个已有输入像素 ( 例如， x(-1)、 x(0)、 x(1) 和 x(2)) 将要在位置 μk 被增加的新像素 y(k)。图 3 例示了根据本发明实施例的用于确定可以应用到 4 个已有像素的系数 C-1、 C0、 C1 和 C2 的一组公式。如图 4 中所示，新像素 y(k) 可以位于两个已有像素 x(0) 和 x(1) 之间的位置 μk。参数化 Farrow 结构 200 可以使用将要增加新像素的位置 μk 之前的两个已有像素 ( 例如， x(-1) 和 x(0)) 和位置 μk 之后的两个已有像素 ( 例如， x(1) 和 x(2))。在一个实施例中， μk 可以是 0( 包含 ) 和 1( 不包含 ) 之间的值。可以由 4 个输入像素 x(-1)、 x(0)、 x(1) 和 x(2) 按照如下公式生成新像素 y(k) ：
     y(k) ＝ C2x(2)+C1x(1)+C0x(0)+C-1x(-1)。
     返回参考图 2，当输入信号线 202 处的输入信号为 x(2) 时，相应地，点 204 和 210 处的信号可以是 x(1)，点 206 和 212 处的信号可以是 x(0)，并且点 208 处的信号可以是 x(-1)。如图 2 中所示，可以通过放大器 218.1 放大 x(2) 并且可以将 x(2) 增加到加法器 224.1。加法器 224.1 的另一个输入可以是来自放大器 218.2 的负输入，该放大器 218.2 在点 204 处放大信号 x(1)。因此，加法器 224.1 可以生成将要输入加法器 224.2 的输出 αx(2)-αx(1)。加法器 224.2 也可以具有来自放大器 218.3 的负输入 ( 例如， -αx(0))，该放大器 218.3 在点 206 处放大信号 x(0)。因此，加法器 224.3 可以生成将要输入加法器 224.5 的输出 αx(2)-αx(1)-αx(0)。加法器 224.5 可以将来自加法器 224.3 的输出和来自放大器 218.4 的输出 ( 例如， αx(-1)) 相加并且具有输出 αx(2)-αx(1)-αx(0)+αx(-1)。可以在乘法器 222.1 将加法器 224.5 的输出与位置信号 μk 相乘。乘法器 222.1 因而可以具有输出 (αx(2)-αx(1)-αx(0)+αx(-1))μk。
     类似地，加法器 224.2 的输入是来自放大器 218.1( 负输入 )、放大器 218.2 和点 210 的信号。加法器 224.2 因而可以生成输出 -αx(2)+αx(1)+x(1)。加法器 224.4 可以将来自加法器 224.2 的输出和来自放大器 218.3 的信号 ( 例如， +αx(0)) 相加并且减去来自点 212 的信号 ( 例如， -x(0))。因此，加法器 224.4 可以生成输出信号 -αx(2)+(α+1) x(1)+(α-1)x(0)。可以在加法器 224.6 处将来自加法器 224.2 的输出和来自放大器 218.4 的负信号 ( 例如， -αx(-1)) 相加。因而，加法器 224.6 可以具有输出
     -αx(2)+(α+1)x(1)+(α-1)x(0)-αx(-1)。
     可以在加法器 224.7 处将乘法器 222.1 和加法器 224.6 的输出相加。接下来，可以在乘法器 222.2 处将乘法器 222.1 和加法器 224.6 的输出之和与 μk 相乘。最后，可以在加法器 224.8 处生成所生成的信号 y(k)，加法器 224.8 可以将来自乘法器 222.2 的输出信号与点 212 处的信号 ( 例如， x(0)) 相加。因此，所生成的信号 y(k) 可能如下并且可以如图 3 中所示地确定每个已有输入信号 x(-1)、 x(0)、 x(1) 和 x(2) 的系数 C-1、 C0、 C1 和 C2 ： 2
     y(k) ＝ (αx(2)-αx(1)-αx(0)+αx(-1))μk +(-αx(2)+(α+1)x(1)+(α-1) x(0)-αx(-1))μk+x(0)。图 5 例示了根据本发明实施例的确定可调整参数 α 的值的一组条件。将要被插入的新像素的值可以取决于插入位置之前和之后的输入像素的值。特别是，新像素的值可以取决于相邻输入像素之间的差别。例如，紧跟在插入位置之前和之后的输入像素之间的差别可以对新像素产生较为重要的影响，接下来是进一步远离插入位置的像素之间的差别。根据本发明实施例的内容检测模块 104 可以基于内容 ( 例如，相邻像素之间的差别 ) 动态地确定参数 α 的值。如图 5 中所示，例如，可以使用已有像素的序列 ( 例如， x(n-3)、 x(n-2)、 x(n-1) 和 x(n)) 的值来确定将要插入在该序列的第二和第三像素 ( 例如， x(n-1) 和 x(n-2)) 之间的 ( 一个或更多个 ) 新像素的参数 α 的值。
     在一个实施例中，可以通过检验一组条件 A、 B、 C、 D、 E、 F、 G 和 H 来确定 α 的值。该组条件 A、 B、 C、 D、 E、 G 和 H 接下来可以推导出将要被插入在 x(n-2) 和 x(n-1)( 例如，图 4 的 x(0) 和 x(1)) 之间的新像素的适当 α。内容检测模块 ( 例如，图 1 的内容检测模块 104) 可以确定输入像素之间的差别并且确定参数 α 的值。在某些实施例中，可以使用 5 个级别 ( 例如，可调整参数 α 的 5 个值 ) ：高、中高、中、低、关闭。在一个实施例中， 5 个级别对应于： 1、 0.75、 0.5、 0.25、 0。条件 A、 B、 C、 D 和 E 可以涉及紧跟在新插入像素之前和之后的输入像素 ( 例如， x(n-2) 和 x(n-1)) 之间的差别。条件 G 和 H 可以涉及接近插入位置的相邻输入像素对之间的差别。如果差别在一定范围内 ( 例如， x(n-2) 和 x(n-1) 之间的差别在一定范围内 )，则可以仅依据紧跟在插入位置之前和之后的像素之间的差别来确定参数 α 的值。例如，如果 x(n-2) 和 x(n-1) 之间的差别大于或者等于最高阈值 ( 例如，差别的绝对值可能大于或者等于 96，在图 5 中示为条件 A)，则 α 可以为高 ( 例如， 1)。此外，如果 x(n-2) 和 x(n-1) 之间的差别位于最高阈值和中间阈值之间 ( 例如，差别的绝对值可能位于 96( 不包含 ) 和 64( 大于或者等于 ) 之间，在图 5 中示为条件 B)，则 α 可以为中高 ( 例如， 0.75)。
     假如不适用上述两个条件中的任何一个，则如果 x(n-2) 和 x(n-1) 之间的差别位于中间阈值和中低阈值之间 ( 例如，差别的绝对值可能位于 64( 不包含 ) 和 32( 包含 ) 之间，在图 5 中示为条件 C)， α 可以为中 ( 例如， 0.5)。假如 x(n-2) 和 x(n-1) 之间的差别很低但不是特别低，例如，位于中低阈值和最低阈值之间 ( 例如，差别的绝对值可能位于 32( 不包含 ) 和 16( 包含 ) 之间，在图 5 中示为条件 D)，则如果相邻输入像素对的差别大于上限阈值 ( 例如， x(n-3) 和 x(n-2) 之间的差别以及 x(n-1) 和 x(n) 之间的差别的绝对值均大于 64，在图 5 中示为条件 G)， α 可以为中 ( 例如， 0.5)。假如 x(n-2) 和 x(n-1) 之间的差别特别低，例如，小于最低阈值 ( 例如，差别的绝对值可能小于 16，在图 5 中示为条件 E)，则如果相邻输入像素对的差别大于下限阈值 ( 例如， x(n-3) 和 x(n-2) 之间的差别以及 x(n-1) 和 x(n) 之间的差别的绝对值均大于 32，在图 5 中示为条件 H)， α 仍然可以为中 ( 例如， 0.5)。
     假如 x(n-2) 和 x(n-1) 之间的差别很低但不是特别低，例如，位于中低阈值和最低阈值之间 ( 例如，差别的绝对值可能位于 32( 不包含 ) 和 16( 包含 ) 之间 )，则如果相邻输入像素对的差别中的任一或者二者小于或者等于上限阈值 ( 例如， x(n-3) 和 x(n-2) 之间的差别以及 x(n-1) 和 x(n) 之间的差别中的任一或者二者的绝对值小于或者等于 64，在图 5 中示为等于 0 的条件 G)， α 可以为低 ( 例如， 0.25)。最后，假如 x(n-2) 和 x(n-1) 之间的差别特别低，例如，小于最低阈值 ( 例如，差别的绝对值可能小于 16)，如果相邻输入像素对的差别中的任一或者二者小于或者等于下限阈值 ( 例如， x(n-3) 和 x(n-2) 之间的差别
     以及 x(n-1) 和 x(n) 之间的差别的绝对值不是全部大于 32，在图 5 中示为条件 H ＝＝ 0)， α 可以被设置为 0。
     可以由系统设计者调整和 / 或确定各个阈值的值。例如，在另一实施例中，最高阈值可以是 100，中间阈值可以是 50，中低阈值可以是 25，最低阈值可以是 10，上限阈值可以是 48 而下限阈值可以是 24。
     因而，如图 5 中所示，在一个实施例中，可以通过输入像素的序列确定 α 的值。因此，根据本发明实施例的 Farrow 结构的系数是基于输入像素的序列 ( 例如，所插入像素之前和之后的已有像素 ) 自适应的，并且插值可以基于图像内容 ( 例如，像素之间的差别 )。而且，可以根据需要调整根据本发明实施例的用于进行确定的标准。
     如上所述，信号处理结构可以用作信号滤波器。信号滤波器通常具有针对不同频率的不同效果。图 6 显示了传统多相结构针对不同相位 ( 例如，分别是 μk ＝ 0、 μk ＝ 0.25、 μk ＝ 0.5 和 μk ＝ 0.75) 上的不同频率的幅度响应。在图 6(a)、 6(b)、 6(c) 和 6(d) 的每一幅中，水平轴可以是频率，而垂直轴可以是传统多相结构针对各相位 ( 例如， μk) 的幅度响应。如果滤波器是理想的低通滤波器 (LPF)，频率响应可以全部等于 1。但如图 6(a) 中所示，在频率点 f ＝ 0.8，第一相位的响应是 1( 例如，点 602)，如图 6(b) 和 6(d) 中所示，第二和第四相位均具有大约 0.75 的响应 ( 例如，分别为点 604 和 608) ；并且如图 6(c) 中所示，第三相位的响应是大约 0.4( 例如，点 606)。因而，传统多相结构远非理想的 LPF 并且可能导致被处理图像的显著失真。这种显著失真实际上是锯齿边缘 ( 其是信号处理中所公知的不期望的伪像 ) 的直接原因。例如，如果将图像缩放 4 倍，可以在两个相邻已有像素 ( 例如，在图 4 的像素 0(0) 和 1(1) 之间的 μk ＝ 0.25、 μk ＝ 0.5 和 μk ＝ 0.75) 之间插入 3 个附加像素。使用具有如图 6 中所示的幅度响应的传统多相结构，对于频率 0.8，在 μk ＝ 0.5 处插入的像素将损失超过一半的幅度。
     本发明的实施例可以根据图像的频率级调整参数 α( 由此调整参数化 Farrow 结构的系数 ) 以使得其在不同相位处具有一致响应。调整可以具有改变数字滤波器的参数的效果，以动态地实现针对各种频率的期望频率响应。当将图像放大 4 倍时 ( 例如，如上所述，采用相位 3(μk ＝ 0.5))，不同的参数 α 可以生成不同的频率响应。
     图 7 显示了针对在相位 3(μk ＝ 0.5) 处的插值，根据本发明实施例的参数 α 的 4 个不同值的幅度响应。例如，在频率点 f ＝ 0.8，根据本发明实施例的具有值为 0.25 的参数 α 的参数化 Farrow 结构可以具有小于 0.5 的幅度响应 ( 例如，图 7(a) 中的点 702)。参数化 Farrow 结构的这个实施例针对具有值为 0.5 的参数 α 可以在图 7(b) 中所示的频率点 f ＝ 0.8( 例如，点 704) 处具有大约 0.6 的幅度响应。在图 7(c) 中，参数化 Farrow 结构的这个实施例针对具有中高 ( 例如， 0.75) 值的参数 α 可以在频率点 f ＝ 0.8( 例如，点 706) 处具有大约 0.7 的幅度响应。在图 7(d) 中，参数化 Farrow 结构的这个实施例针对具有值为 1 的参数 α 可以在频率点 f ＝ 0.8( 例如，点 708) 处具有大约 0.8 的幅度响应。
     如图 7 中所示，参数 α 的不同值可以具有不同的频率响应。因此，在一个实施例中，可以调整参数 α 以使得频谱平坦，即，使得频率的幅度响应更高 ( 例如，接近 1) 并由此使得幅度响应更接近理想的 LPF 频谱。
     在一个实施例中，内容检测模块可以检测已有像素的频率级并且调整和 / 或选择
     可能导致参数化 Farrow 结构产生一致的幅度响应的参数 α 的值。取决于本地频率特征，可以将参数 α 配置成以下中的一个：高、中高、中、低和关闭 ( 例如， 1、 0.75、 0.6、 0.25 和 0)。例如，如图 7 中所示，在一个实施例中， α ＝ 1 可以在 f ＝ 0.8 处具有更好的响应。因此，在一个实施例中，可以容易地调整参数来使得频谱平坦，并且使得幅度响应更接近理想的 LPF 频谱。
     本发明的实施例可以有助于减少不期望的伪像。当对图像实施向上转换 ( 例如，放大 ) 时的一种伪像可能是阶梯。阶梯主要是由不同相位上的不同频率响应 ( 例如，图 6) 所引起的。在一个实施例中，通过调整对于不同相位的频率响应，参数化 Farrow 结构可以实现同一频率点处的更好或者相等增益 ( 例如，图 7)。因而，可以大大减少阶梯伪像。当对图像实施向上转换时的另一种伪像可能是模糊。在一个实施例中，通过调整不同相位的频率响应，与任何传统滤波器相比，整个频率响应可以更大。因而，该实施例可以增加边缘的清晰度。
     图 8 例示了根据本发明实施例的使用参数化 Farrow 结构以用于向下转换的处理。处理 800 可以包含两个步骤。在步骤 802，可以将参数化 Farrow 结构用作低通滤波器。可以通过该低通滤波器处理已有像素以将多个相邻像素合并为一个所生成的中间像素。在步骤 804，可以使用参数化 Farrow 结构来根据所生成的中间像素执行双线性插值以根据原始已有像素得到最终像素。在一个实施例中，为了执行双线性插值，参数化 Farrow 结构可以在一个方向上执行线性插值，并且接着在其它方向上再次执行线性插值 ( 例如，水平然后垂直，或者垂直然后水平 )。
     图 9 通过将 4 个已有像素合并为一个像素的示例例示了处理 800。可以将 4 个已有像素 x(-1)、 x(0)、 x(1) 和 x(2) 输入根据本发明实施例的参数化 Farrow 结构 ( 例如，图 2 的参数化 Farrow 结构 )。可以将该参数化 Farrow 结构用作 3 点低通滤波器 (LPF)。该 3 点 LPF 可以处理前三个连续像素 x(-1)、 x(0) 和 x(1) 以生成第一中间像素 x’ (0)。该参数化 Farrow 结构接着可以处理随后三个连续像素 x(0)、 x(1) 和 x(2) 以生成第二中间像素 x’ (1)。最后，该参数化 Farrow 结构可以对中间像素 x’ (0) 和 x’ (1) 应用线性插值以在已有像素 x(0) 和 x(1) 之间的位置 μk 处生成最终像素 y(k)。可以在两个维度上实施这种处理，因而这种处理可以被称为双线性插值。在一个实施例中，可以针对两个维度来执行 3 点 LPF 和线性插值二者。线性插值因而可以变成双线性插值。
     在一个实施例中， 3 点 LPF 可以通过将在前像素的四分之一、中间像素的二分之一和后续像素的四分之一相加来生成中间像素。例如，可以按照 1/4x(-1)+1/2x(0)+1/4x(1) 来生成第一中间像素 x’ (0)，并且可以按照 1/4x(0)+1/2x(1)+1/4x(2) 来生成第二中间像素 x’ (1)。在一个实施例中，参数化 Farrow 结构可以是图 2 中所示的由附加开关来调节的参数化 Farrow 结构。附加开关可以选择图 2 中用于向上转换的信号并且可以选择用于向下转换的一组系数，例如 C-1 ＝ 1/4、 C0 ＝ 1/2、 C1 ＝ 1/4 和 C2 ＝ 0，或者 C-1 ＝ 0、 C0 ＝ 1/4、 C1 ＝ 1/2 和 C2 ＝ 1/4。
     在一个实施例中，根据本公开的向下缩放可以为用于双线性插值操作的参数化 Farrow 结构将 α 设置为 0。将 α 作为 0 施加给图 3 中所示的一组系数，系数可以变为 C-1 ＝ 0、 C0 ＝ 1-μk、 C1 ＝ μk 和 C2 ＝ 0。因而， y(k) 可以是 (1-μk)x’ (0) 和 μkx’ (1) 之和 ( 例如，针对两个点的线性插值 )。向下缩放或者抽取是图像缩放中的另一种重要技术。其具有诸如 PIP( 画中画 ) 的应用。对于这类画面缩放 ( 例如，向下转换 ) 应用，常常因为频率混叠 ( 例如，被称为混叠伪像 ) 而引起波纹图案。通常，需要抗混叠滤波器 ( 例如， LPF) 来减少高频中的混叠，尤其是对于大规模抽取而言。但 LPF 可能增加额外的硬件成本。LPF 的通带应当与抽取规模成比例。在根据本公开的实施例中，可以选择 Farrow 结构滤波器的参数来实现适当的频率响应 ( 例如，将高频内容抑制为大的级别 ) 并且在无需附加硬件的情况下极大地减少波纹伪像。
     本发明的实施例可以向任何缩放 ( 例如，插值或者抽取 ) 处理施加过冲 / 下冲控制。图 10 例示了根据本发明实施例的过冲控制。当滤波器的输出信号落入在输入信号的最大值 ( 或者最小值 ) 的一定范围之外时，例如，如果图 4 的输出信号 y(k) 远大于 4 个输入信号的最大值 ( 例如， x(0))，或者远小于 4 个输入信号的最小值 ( 例如， x(2))，在信号处理期间可能出现过冲 ( 或者下冲 )。在一个实施例中，可以根据图 10 中所示的公式确定输出信号。Max 和 min 可以表示 4 个输入像素的最大值和最小值。偏移可以是施加给被缩放的全部图像的全局参数。因此，可以基于 4 个输入像素将输出像素的值限制在一定范围内，并且由此根据本发明的过冲控制可以防止新的插值在值上过大或者过小以及出现过冲。由于可调整参数，根据本公开的抛物线 Farrow 结构可以变成自适应 LPF，并且因而如上面关于图 8 和 9 所述的那样，抽取可以与插值共享相同的计算电路。
     根据本公开的实施例可以自适应地生成新像素并且产生更平滑和更清晰的图像。可以通过调整针对不同频谱的频率响应来获得该性能。使用与传统拉各朗日 (Lagrange) 三次相比具有更低成本和更高高频响应的参数化二次核。而且，可以通过修改参数 ( 其可以通过图像的内容来确定 ) 来调整频率响应。
     根据本发明实施例的参数化 Farrow 结构可以更加成本有效。例如，可以动态地计算参数化 Farrow 结构 200 的参数，从而消除查找表 (LUT)。进一步地，可以基于参数 α 调整动态生成的系数。在一个或更多个实施例中，可以根据被处理图像的内容调整参数 α。即，可以基于四周已有像素动态地生成系数。在一个实施例中，可以首先垂直、接着水平地执行插值。
     本发明的实施例可以具有参数化二次核。参数化二次核可以具有如下特征。首先，其可以具有低成本。例如，与传统 Farrow 结构 ( 例如，传统三次 Farrow 结构 ) 相比，对于 4 抽头 Farrow 结构 ( 例如，使用 4 个已有像素 )，在每一个方向和每一个通道可能仅仅需要 2 个乘法器和 8 个加法器。其次，系数可以是自适应的。例如，可以调整参数以使得系数具有最好的频谱，而原始的 Lagrange Farrow 的核函数是固定的。第三，其可以实现环状减少。由于图像中的环状区域被认为是低频，自适应频率响应可以减轻该影响并且将不会扩大环状。
     在此例示和描述了本发明的多个实施例。然而，应认识到，在不脱离本发明的实质和所要求的范围的前提下，本发明的修改和变化均为上述教导所覆盖并且落入在所附权利要求的范围内。

资源描述

《基于FARROW结构的内容自适应缩放器.pdf》由会员分享，可在线阅读，更多相关《基于FARROW结构的内容自适应缩放器.pdf（20页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 102460561 A (43)申请公布日 2012.05.16 CN 102460561 A *CN102460561A* (21)申请号 201080026512.5 (22)申请日 2010.05.04 61/175,548 2009.05.05 US 12/505,626 2009.07.20 US G09G 5/00(2006.01) (71)申请人美国亚德诺半导体公司地址美国马萨诸塞州 (72)发明人李林李天将车伟李慧德 (74)专利代理机构中国国际贸易促进委员会专利商标事务所 11038 代理人申发振 (54) 发明名称基于 FAR。

2、ROW 结构的内容自适应缩放器 (57) 摘要本发明的实施例涉及图像处理系统。图像处理系统包含：内容检测模块，该内容检测模块具有接收输入像素的序列的输入端，并且被配置成基于所检测的相邻输入像素对之间的差别来生成可调整参数；以及数字滤波器，该数字滤波器具有针对输入像素的序列的输入端和耦合至内容检测模块的输出端的控制输入端。数字滤波器可以根据参数调整滤波系数。 (30)优先权数据 (85)PCT申请进入国家阶段日 2011.12.15 (86)PCT申请的申请数据 PCT/US2010/033544 2010.05.04 (87)PCT申请的公布数据 WO2010/1。

3、29548 EN 2010.11.11 (51)Int.Cl. 权利要求书 3 页说明书 7 页附图 9 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请权利要求书 3 页说明书 7 页附图 9 页 1/3 页 2 1. 一种图像处理系统，包含：内容检测模块，其具有接收输入像素的序列的输入端，并且被配置成基于相邻输入像素对之间的差别生成可调整参数；以及数字滤波器，其具有针对所述输入像素的序列的输入端和耦合至所述内容检测模块的输出端的控制输入端，所述数字滤波器根据所述参数调整滤波系数。 2. 如权利要求 1 所述的图像处理系统，其中所述数字滤波器。

4、是多点 Farrow 结构。 3. 如权利要求 2 所述的图像处理系统，其中所述图像处理系统被配置成使用所述滤波系数生成用于图像的向上转换的像素。 4. 如权利要求 3 所述的图像处理系统，其中通过将 4 个系数分别与 4 个输入像素的序列相乘并且将乘法结果相加来生成每一个所生成的像素，通过所述序列中的第一像素和第二像素、所述第二像素和第三像素以及所述第三像素和第四像素之间的差别来确定所述可调整参数。 5. 如权利要求 3 所述的图像处理系统，其中所述可调整参数具有下列之一的值：高、中高、中、低和关闭。 6. 如权利要求 5 所述的图像处理系统，其中所述内容检测。

5、模块基于 4 个相邻像素的序列之间的差别生成所述可调整参数。 7. 如权利要求 6 所述的图像处理系统，其中在所述序列中的第二和第三位置的像素之间的差别大于或者等于第一阈值的情况下，所述可调整参数具有高值。 8. 如权利要求 6 所述的图像处理系统，其中在所述序列中的第二和第三位置的像素之间的差别小于第一阈值但大于或者等于第二阈值的情况下，所述可调整参数具有中高值。 9. 如权利要求 6 所述的图像处理系统，其中当所述序列中的第二和第三位置的像素之间的差别小于第二阈值但大于或者等于第三阈值的情况下，所述可调整参数具有中值。 10. 如权利要求 6 所述的图像处理系统，其中。

6、在以下情况下所述可调整参数具有中值： 1) 所述序列中的第二和第三位置的像素之间的差别小于第三阈值但大于或者等于第四阈值；并且 2) 所述序列中的第一和第二位置的像素之间及第三和第四位置的像素之间的差别均大于第五阈值。 11. 如权利要求 6 所述的图像处理系统，其中在以下情况下所述可调整参数具有中值： 1) 所述序列中的第二和第三位置的像素之间的差别小于第四阈值；并且 2) 所述序列中的第一和第二位置的像素之间及第三和第四位置的像素之间的差别均大于第六阈值。 12. 如权利要求 6 所述的图像处理系统，其中在以下情况下所述可调整参数具有低值： 1) 所述序列中的第二和。

7、第三位置的像素之间的差别小于第四阈值；并且 2) 所述序列中的第一和第二位置的像素之间及第三和第四位置的像素之间的差别均大于第六阈值。 13. 如权利要求 6 所述的图像处理系统，其中在以下情况下所述可调整参数为关闭： 1) 所述序列中的第二和第三位置的像素之间的差别小于第四阈值；并且 2) 所述序列中的第一和第二位置的像素之间及第三和第四位置的像素之间的差别均大于第六阈值。 14. 如权利要求 5 所述的图像处理系统，其中所述可调整参数基于输入像素的频谱选择。 15. 如权利要求 3 所述的图像处理系统，其中所述图像包含水平维度和垂直维度，并且所述输入像素的序列位于。

8、所述水平维度和所述垂直维度的一个之中。权利要求书 CN 102460561 A 2 2/3 页 3 16. 如权利要求 1 所述的图像处理系统，进一步包含过冲控制模块，其将所述数字滤波器所生成的像素限制在由所述输入像素所确定的一定范围内。 17. 如权利要求 1 所述的图像处理系统，其中所述图像处理系统被配置成基于输入像素执行抽取。 18. 如权利要求 17 所述的图像处理系统，其中所述图像处理系统通过执行低通滤波和双线性插值来执行抽取。 19. 一种调整输入图像的大小的方法，包含：接收输入像素的序列；比较每一对相邻输入像素的值；基于每一对相邻输入像素的值。

9、的差别确定可调整参数的值；基于新像素的位置和所述可调整参数计算将要被施加给输入像素的系数，所述系数被施加给数字滤波器中的输入像素；以及由所述数字滤波器使用所计算的系数生成所述新像素。 20. 如权利要求 18 所述的方法，其中所述输入图像包含水平维度和垂直维度，并且所述输入像素的序列位于所述水平维度和所述垂直维度的一个之中。 21. 如权利要求 18 所述的方法，其中所述数字滤波器是 4 点抛物线 Farrow 结构，通过 4 个输入像素的序列生成所述新像素，并且所述新像素的位置位于所述序列中的第二和第三像素之间。 22. 如权利要求 21 所述的方法，其中所述可。

10、调整参数的值是以下中的一个：高、中高、中、低和关闭。 23. 如权利要求 22 所述的方法，其中所述可调整参数：在所述序列中的第二和第三像素之间的差别大于或者等于第一阈值时具有高值；在所述序列中的第二和第三像素之间的差别小于所述第一阈值但大于或者等于第二阈值时具有中高值；在以下情况下具有中值 (1) 所述序列中的第二和第三像素之间的差别小于所述第二阈值但大于或者等于第三阈值；或者 (2) 所述序列中的第二和第三像素之间的差别小于所述第三阈值但大于或者等于第四阈值，并且所述序列中的第一和第二像素之间及第三和第四像素之间的差别均大于第五阈值；或者 (3) 。

11、所述序列中的第二和第三像素之间的差别小于所述第四阈值，并且所述序列中的第一和第二像素之间及第三和第四像素之间的差别均大于第六阈值；在以下情况下具有低值： 1) 所述序列中的第二和第三像素之间的差别小于所述第四阈值，并且 2) 所述序列中的第一和第二像素之间及第三和第四像素之间的差别均大于第六阈值；以及在以下情况下为关闭： 1) 所述序列中的第二和第三像素之间的差别小于所述第四阈值；并且 2) 所述序列中的第一和第二像素之间及第三和第四像素之间的差别均大于第六阈值。 24. 如权利要求 21 所述的方法，其中所生成的像素在被输出之前被传输至过冲控制模权利要。

12、求书 CN 102460561 A 3 3/3 页 4 块。 25. 如权利要求 21 所述的方法，其中通过将 4 个系数分别与 4 个输入像素相乘并且将乘法结果相加来生成所生成的像素，通过所述序列中的第一像素和第二像素、所述第二像素和第三像素以及所述第三像素和第四像素之间的差别来确定所述可调整参数的值。 26. 如权利要求 21 所述的方法，其中基于输入像素的频谱确定所述可调整参数的值。权利要求书 CN 102460561 A 4 1/7 页 5 基于 FARROW 结构的内容自适应缩放器 0001 相关申请的交叉引用 0002 本申请要求享有 2009 年 5 月。

13、 5 日提交的、序列号为 61/175,548、名称为 “Content Adaptive Scaler Based On A Farrow Structure” 的美国临时专利申请的优先权，该申请在此通过引用而并入其全部内容。背景技术 0003 本发明涉及视频处理系统中的缩放操作，以在调整图像内容大小时具有最少伪像。 0004 “缩放” 通常是指改变图像大小的处理。可以将缩放作为视频系统中的格式转换操作来执行。例如，当在高分辨率面板 ( 例如，全高清 (1080p) 面板 ) 上显示低分辨率 ( 例如， 480p) 的视频图像时，需要将视频图像缩放为 1080p。这类。

14、转换被称为向上转换。同样，需要转换高分辨率的视频图像以在低分辨率面板(例如， 1080p到480p)或者更小显示区域 ( 例如，画中画 (PIP) 上显示。这类转换被称为向下转换或者抽取。 0005 通常，缩放包含调整将要被显示的视频图像的大小。例如，具有 480p 分辨率的 4 3 图像帧具有 720480 或者 345600 个像素，而具有 1080p 分辨率的 16 9 图像帧具有 19201080 或者 2073600 个像素。因而，需要增加附加像素来执行从 480p 到 1080p 的向上转换，并且需要去除和 / 或组合已有像素来执行从 1080p 到 480p 的。

15、向下转换。 0006 传统上，对于向上转换，使用插值来在已有像素之间增加附加像素，而抽取被用来去除和 / 或组合已有像素。插值和抽取均涉及通过信号滤波器 ( 例如，低通滤波器 (LPF) 传递图像数据。然而，在2维滤波中，不存在理想的LPF，并且一个维度的滤波常常降低沿其它维度的图像内容的质量。已经开发了各种技术来执行缩放并且还减少不期望的伪像。然而，已有技术包含复杂硬件结构并且没有有效地减少不期望的伪像。例如，各种不期望的伪像(诸如锯齿现象、边缘模糊、环状和波纹伪像)可以导致图像的失真并且在向上转换或者向下转换之后影响图像质量，但使用复杂硬件结构的已有技。

16、术没有有效地减少这些不期望的伪像。 0007 因此，需要能够在调整图像数据大小时具有最少伪像但又使用复杂度降低的硬件结构的缩放系统。附图说明 0008 图 1 例示了根据本发明实施例的成像系统的示意图。 0009 图 2 例示了根据本发明实施例的参数化 Farrow 结构。 0010 图3例示了根据本发明实施例的用于确定参数化Farrow结构的系数的一组公式。 0011 图 4 例示了根据本发明实施例的由参数化 Farrow 结构所增加的新像素 y(k)。 0012 图 5 例示了根据本发明实施例的确定可调整参数的值的一组条件。 0013 图 6 例示了针对传统多相滤波器的不同相位的。

17、幅度响应。 0014 图 7 例示了根据本发明实施例的针对参数化 Farrow 结构的幅度响应。说明书 CN 102460561 A 5 2/7 页 6 0015 图8例示了根据本发明实施例的使用参数化Farrow结构以用于向下转换的处理。 0016 图 9 例示了根据本发明实施例的使用参数化 Farrow 结构的向下转换处理。 0017 图 10 例示了根据本发明实施例的过冲控制。具体实施方式 0018 本发明实施例涉及图像处理系统。该图像处理系统可以包含：内容检测模块，其具有接收输入像素的序列的输入端，并且被配置成基于所检测的相邻输入像素对之间的差别生成可调整参数；。

18、以及数字滤波器，其具有针对该输入像素的序列的输入端和耦合至内容检测模块的输出端的控制输入端。该数字滤波器可以根据该参数调整滤波系数。 0019 图 1 例示了根据本发明实施例的成像系统 100 的示意图。成像系统 100 可以包括内容检测模块 104、参数化 Farrow 结构 106 和过冲控制模块 108。参数化 Farrow 结构 106 可以是处理输入像素并且通过应用系数到各输入像素 ( 例如，通过插值 ) 生成输出像素的数字滤波器。参数化Farrow结构106可以耦合至像素输入102以接收输入像素。内容检测模块 104 可以基于输入像素确定参数 112 来调整参数。

19、化 Farrow 结构 106 的系数。过冲模块 108 控制可以将来自 Farrow 结构 106 的输出像素限制在输入像素的一定范围内。在一个实施例中，内容检测模块104和过冲控制模块108可以耦合至参数化Farrow结构106。参数化 Farrow 结构 106 可以基于输入像素和参数 112 生成输出像素。可以将所生成的输出像素传输到过冲控制模块 108。过冲控制模块 108 可以针对过冲控制来处理所生成的输出像素并且将所生成的像素输出到像素输出 110。 0020 本发明实施例可以应用插值 / 抽取到图像的各种颜色空间 ( 例如，红 - 绿 - 蓝 (RGB)、 YIQ。

20、、 YUV)。在一个实施例中，内容或者频率检测可以基于 YUV 颜色空间。因而，对于该实施例，可能需要在被缩放之前将 RGB 输入转换为 YUV 并且在被缩放之后从 YUV 转换回 RGB。对于应用到 YUV 颜色空间的实施例，可以在 Y 通道上应用决定， UV 可以与 Y 共享相同的。在某些实施例中，内容或者频率检测可以基于 RGB 颜色空间。在一个或者更多个实施例中， RGB 颜色空间的 3 个通道可以分别具有单独的决定模块。 0021 图 2 显示了根据本发明实施例的参数化 Farrow 结构 200。参数化 Farrow 结构 200 可以包含输入信号线 202。

21、、位置信号线 220、输出信号线 230、多个延迟元件 216.1-216.5( 统称为延迟元件 216)、 4 个放大器 218.1-218.4( 统称为放大器 218)、 8 个加法器 224.1-224.8( 统称为加法器 224) 和两个乘法器 222.1-222.2( 统称为乘法器 222)。 0022 输入信号线 202 可以接收图像的一个维度上 ( 例如，水平地或者垂直地 ) 的输入像素的序列 x(m)( 例如， x(0)、 x(1)。可以将所接收的每个输入像素施加到放大器 218 并且可以将所接收的每个输入像素传输到延迟元件216。放大器218的每一个可以按照系。

22、数放大输入信号。例如，对于输入 x(m)，输出可以是 x(m)。 0023 延迟元件216的每一个可以向像素增加一个延迟。例如，如果输入信号线202的输入信号是x(n)，则点204和210处的信号(分别与x(n)相距一个延迟元件216.1和216.4) 是在前像素x(n-1)，点206和212处的信号(分别与x(n)相距两个延迟元件216.1和216.2 以及 216.4 和 216.5) 是在前像素 x(n-2)，以及点 208 处的信号 ( 与 x(n) 相距三个延迟元件 216.1、 216.2 和 216.3) 是在前像素 x(n-3)。在一个实施例中，每个延迟元。

23、件 216 可以是存储设备，诸如但不限于寄存器。说明书 CN 102460561 A 6 3/7 页 7 0024 位置信号线 220 可以接收标识将要生成新像素的地方的位置指示符 k。位置指示符 k可以与参数化 Farrow 结构 200 中的信号相乘 ( 例如，在乘法器 221)。可以基于输入像素在输出信号线230上生成针对位置指示符k所标识的位置的输出信号y(k)(例如，新像素 )。在一个实施例中，参数化 Farrow 结构 200 可以是 4 点分段抛物线 Farrow 结构并且被称为二次插值器。 0025 图 3 和 4 例示了根据本发明实施例的参数化 Farr。

24、ow 结构 200 的操作。图 4 显示了基于 4 个已有输入像素 ( 例如， x(-1)、 x(0)、 x(1) 和 x(2) 将要在位置 k被增加的新像素y(k)。图3例示了根据本发明实施例的用于确定可以应用到4个已有像素的系数C-1、 C0、 C1和 C2的一组公式。如图 4 中所示，新像素 y(k) 可以位于两个已有像素 x(0) 和 x(1) 之间的位置 k。参数化 Farrow 结构 200 可以使用将要增加新像素的位置 k之前的两个已有像素 ( 例如， x(-1) 和 x(0) 和位置 k之后的两个已有像素 ( 例如， x(1) 和 x(2)。在一个实施例中， k可。

25、以是 0( 包含 ) 和 1( 不包含 ) 之间的值。可以由 4 个输入像素 x(-1)、 x(0)、 x(1) 和 x(2) 按照如下公式生成新像素 y(k) ： 0026 y(k) C2x(2)+C1x(1)+C0x(0)+C-1x(-1)。 0027 返回参考图2，当输入信号线202处的输入信号为x(2)时，相应地，点204和210处的信号可以是x(1)，点206和212处的信号可以是x(0)，并且点208处的信号可以是x(-1)。如图 2 中所示，可以通过放大器 218.1 放大 x(2) 并且可以将 x(2) 增加到加法器 224.1。加法器224.1的另一个输入可。

26、以是来自放大器218.2的负输入，该放大器218.2在点204处放大信号 x(1)。因此，加法器 224.1 可以生成将要输入加法器 224.2 的输出 x(2)-x(1)。加法器 224.2 也可以具有来自放大器 218.3 的负输入 ( 例如， -x(0)，该放大器 218.3 在点 206 处放大信号 x(0)。因此，加法器 224.3 可以生成将要输入加法器 224.5 的输出 x(2)-x(1)-x(0)。加法器224.5可以将来自加法器224.3的输出和来自放大器218.4 的输出 ( 例如， x(-1) 相加并且具有输出 x(2)-x(1)-x(0)+x(-1)。可。

27、以在乘法器 222.1 将加法器 224.5 的输出与位置信号 k相乘。乘法器 222.1 因而可以具有输出 (x(2)-x(1)-x(0)+x(-1)k。 0028 类似地，加法器 224.2 的输入是来自放大器 218.1( 负输入 )、放大器 218.2 和点 210 的信号。加法器 224.2 因而可以生成输出 -x(2)+x(1)+x(1)。加法器 224.4 可以将来自加法器 224.2 的输出和来自放大器 218.3 的信号 ( 例如， +x(0) 相加并且减去来自点 212 的信号 ( 例如， -x(0)。因此，加法器 224.4 可以生成输出信号 -x(2)+(+。

28、1) x(1)+(-1)x(0)。可以在加法器224.6处将来自加法器224.2的输出和来自放大器218.4 的负信号 ( 例如， -x(-1) 相加。因而，加法器 224.6 可以具有输出 0029 -x(2)+(+1)x(1)+(-1)x(0)-x(-1)。 0030 可以在加法器 224.7 处将乘法器 222.1 和加法器 224.6 的输出相加。接下来，可以在乘法器 222.2 处将乘法器 222.1 和加法器 224.6 的输出之和与 k相乘。最后，可以在加法器 224.8 处生成所生成的信号 y(k)，加法器 224.8 可以将来自乘法器 222.2 的输出信号与。

29、点 212 处的信号 ( 例如， x(0) 相加。因此，所生成的信号 y(k) 可能如下并且可以如图 3 中所示地确定每个已有输入信号 x(-1)、 x(0)、 x(1) 和 x(2) 的系数 C-1、 C0、 C1和 C2： 0031 y(k) (x(2)-x(1)-x(0)+x(-1)k2+(-x(2)+(+1)x(1)+(-1) x(0)-x(-1)k+x(0)。说明书 CN 102460561 A 7 4/7 页 8 0032 图 5 例示了根据本发明实施例的确定可调整参数的值的一组条件。将要被插入的新像素的值可以取决于插入位置之前和之后的输入像素的值。特别是，新像素的。

30、值可以取决于相邻输入像素之间的差别。例如，紧跟在插入位置之前和之后的输入像素之间的差别可以对新像素产生较为重要的影响，接下来是进一步远离插入位置的像素之间的差别。根据本发明实施例的内容检测模块 104 可以基于内容 ( 例如，相邻像素之间的差别 ) 动态地确定参数的值。如图 5 中所示，例如，可以使用已有像素的序列 ( 例如， x(n-3)、 x(n-2)、 x(n-1) 和 x(n) 的值来确定将要插入在该序列的第二和第三像素 ( 例如， x(n-1) 和 x(n-2) 之间的 ( 一个或更多个 ) 新像素的参数的值。 0033 在一个实施例中，可以通过检验一组条件 A。

31、、 B、 C、 D、 E、 F、 G 和 H 来确定的值。该组条件 A、 B、 C、 D、 E、 G 和 H 接下来可以推导出将要被插入在 x(n-2) 和 x(n-1)( 例如，图 4 的 x(0) 和 x(1) 之间的新像素的适当。内容检测模块 ( 例如，图 1 的内容检测模块 104)可以确定输入像素之间的差别并且确定参数的值。在某些实施例中，可以使用5个级别 ( 例如，可调整参数的 5 个值 ) ：高、中高、中、低、关闭。在一个实施例中， 5 个级别对应于： 1、 0.75、 0.5、 0.25、 0。条件 A、 B、 C、 D 和 E 可以涉及紧跟在。

32、新插入像素之前和之后的输入像素 ( 例如， x(n-2) 和 x(n-1) 之间的差别。条件 G 和 H 可以涉及接近插入位置的相邻输入像素对之间的差别。 0034 如果差别在一定范围内 ( 例如， x(n-2) 和 x(n-1) 之间的差别在一定范围内 )，则可以仅依据紧跟在插入位置之前和之后的像素之间的差别来确定参数的值。例如，如果 x(n-2) 和 x(n-1) 之间的差别大于或者等于最高阈值 ( 例如，差别的绝对值可能大于或者等于 96，在图 5 中示为条件 A)，则可以为高 ( 例如， 1)。此外，如果 x(n-2) 和 x(n-1) 之间的差别位于最高阈值。

33、和中间阈值之间 ( 例如，差别的绝对值可能位于 96( 不包含 ) 和 64( 大于或者等于 ) 之间，在图 5 中示为条件 B)，则可以为中高 ( 例如， 0.75)。 0035 假如不适用上述两个条件中的任何一个，则如果 x(n-2) 和 x(n-1) 之间的差别位于中间阈值和中低阈值之间 ( 例如，差别的绝对值可能位于 64( 不包含 ) 和 32( 包含 ) 之间，在图5中示为条件C)，可以为中(例如， 0.5)。假如x(n-2)和x(n-1)之间的差别很低但不是特别低，例如，位于中低阈值和最低阈值之间 ( 例如，差别的绝对值可能位于 32( 不包含)和。

34、16(包含)之间，在图5中示为条件D)，则如果相邻输入像素对的差别大于上限阈值 ( 例如， x(n-3) 和 x(n-2) 之间的差别以及 x(n-1) 和 x(n) 之间的差别的绝对值均大于 64，在图 5 中示为条件 G)，可以为中 ( 例如， 0.5)。假如 x(n-2) 和 x(n-1) 之间的差别特别低，例如，小于最低阈值 ( 例如，差别的绝对值可能小于 16，在图 5 中示为条件 E)，则如果相邻输入像素对的差别大于下限阈值 ( 例如， x(n-3) 和 x(n-2) 之间的差别以及 x(n-1) 和 x(n) 之间的差别的绝对值均大于 32，在图 5 中。

35、示为条件 H)，仍然可以为中 ( 例如， 0.5)。 0036 假如x(n-2)和x(n-1)之间的差别很低但不是特别低，例如，位于中低阈值和最低阈值之间 ( 例如，差别的绝对值可能位于 32( 不包含 ) 和 16( 包含 ) 之间 )，则如果相邻输入像素对的差别中的任一或者二者小于或者等于上限阈值 ( 例如， x(n-3) 和 x(n-2) 之间的差别以及 x(n-1) 和 x(n) 之间的差别中的任一或者二者的绝对值小于或者等于 64，在图 5 中示为等于 0 的条件 G)，可以为低 ( 例如， 0.25)。最后，假如 x(n-2) 和 x(n-1) 之间的差别特。

36、别低，例如，小于最低阈值 ( 例如，差别的绝对值可能小于 16)，如果相邻输入像素对的差别中的任一或者二者小于或者等于下限阈值 ( 例如， x(n-3) 和 x(n-2) 之间的差别说明书 CN 102460561 A 8 5/7 页 9 以及 x(n-1) 和 x(n) 之间的差别的绝对值不是全部大于 32，在图 5 中示为条件 H 0)，可以被设置为 0。 0037 可以由系统设计者调整和 / 或确定各个阈值的值。例如，在另一实施例中，最高阈值可以是 100，中间阈值可以是 50，中低阈值可以是 25，最低阈值可以是 10，上限阈值可以是 48 而下限阈。

37、值可以是 24。 0038 因而，如图 5 中所示，在一个实施例中，可以通过输入像素的序列确定的值。因此，根据本发明实施例的 Farrow 结构的系数是基于输入像素的序列 ( 例如，所插入像素之前和之后的已有像素 ) 自适应的，并且插值可以基于图像内容 ( 例如，像素之间的差别 )。而且，可以根据需要调整根据本发明实施例的用于进行确定的标准。 0039 如上所述，信号处理结构可以用作信号滤波器。信号滤波器通常具有针对不同频率的不同效果。图6显示了传统多相结构针对不同相位(例如，分别是k0、 k0.25、 k 0.5 和 k 0.75) 上的不同频率的幅度响应。在。

38、图 6(a)、 6(b)、 6(c) 和 6(d) 的每一幅中，水平轴可以是频率，而垂直轴可以是传统多相结构针对各相位 ( 例如， k) 的幅度响应。如果滤波器是理想的低通滤波器 (LPF)，频率响应可以全部等于 1。但如图 6(a) 中所示，在频率点 f 0.8，第一相位的响应是 1( 例如，点 602)，如图 6(b) 和 6(d) 中所示，第二和第四相位均具有大约 0.75 的响应 ( 例如，分别为点 604 和 608) ；并且如图 6(c) 中所示，第三相位的响应是大约 0.4( 例如，点 606)。因而，传统多相结构远非理想的 LPF 并且可能导。

39、致被处理图像的显著失真。这种显著失真实际上是锯齿边缘 ( 其是信号处理中所公知的不期望的伪像 ) 的直接原因。 0040 例如，如果将图像缩放 4 倍，可以在两个相邻已有像素 ( 例如，在图 4 的像素 0(0) 和 1(1) 之间的 k 0.25、 k 0.5 和 k 0.75) 之间插入 3 个附加像素。使用具有如图 6 中所示的幅度响应的传统多相结构，对于频率 0.8，在 k 0.5 处插入的像素将损失超过一半的幅度。 0041 本发明的实施例可以根据图像的频率级调整参数 ( 由此调整参数化 Farrow 结构的系数 ) 以使得其在不同相位处具有一致响应。调整可以具有改。

40、变数字滤波器的参数的效果，以动态地实现针对各种频率的期望频率响应。当将图像放大4倍时(例如，如上所述，采用相位 3(k 0.5)，不同的参数可以生成不同的频率响应。 0042 图 7 显示了针对在相位 3(k 0.5) 处的插值，根据本发明实施例的参数的 4 个不同值的幅度响应。例如，在频率点f0.8，根据本发明实施例的具有值为0.25的参数的参数化 Farrow 结构可以具有小于 0.5 的幅度响应 ( 例如，图 7(a) 中的点 702)。参数化 Farrow 结构的这个实施例针对具有值为 0.5 的参数可以在图 7(b) 中所示的频率点 f 0.8( 例如。

41、，点 704) 处具有大约 0.6 的幅度响应。在图 7(c) 中，参数化 Farrow 结构的这个实施例针对具有中高 ( 例如， 0.75) 值的参数可以在频率点 f 0.8( 例如，点 706) 处具有大约 0.7 的幅度响应。在图 7(d) 中，参数化 Farrow 结构的这个实施例针对具有值为 1 的参数可以在频率点 f 0.8( 例如，点 708) 处具有大约 0.8 的幅度响应。 0043 如图 7 中所示，参数的不同值可以具有不同的频率响应。因此，在一个实施例中，可以调整参数以使得频谱平坦，即，使得频率的幅度响应更高 ( 例如，接近 1) 并由。

42、此使得幅度响应更接近理想的 LPF 频谱。 0044 在一个实施例中，内容检测模块可以检测已有像素的频率级并且调整和 / 或选择说明书 CN 102460561 A 9 6/7 页 10 可能导致参数化Farrow结构产生一致的幅度响应的参数的值。取决于本地频率特征，可以将参数配置成以下中的一个：高、中高、中、低和关闭 ( 例如， 1、 0.75、 0.6、 0.25 和 0)。例如，如图 7 中所示，在一个实施例中， 1 可以在 f 0.8 处具有更好的响应。因此，在一个实施例中，可以容易地调整参数来使得频谱平坦，并且使得幅度响应更接近理想的 LPF。

43、频谱。 0045 本发明的实施例可以有助于减少不期望的伪像。当对图像实施向上转换 ( 例如，放大 ) 时的一种伪像可能是阶梯。阶梯主要是由不同相位上的不同频率响应 ( 例如，图 6) 所引起的。在一个实施例中，通过调整对于不同相位的频率响应，参数化 Farrow 结构可以实现同一频率点处的更好或者相等增益 ( 例如，图 7)。因而，可以大大减少阶梯伪像。当对图像实施向上转换时的另一种伪像可能是模糊。在一个实施例中，通过调整不同相位的频率响应，与任何传统滤波器相比，整个频率响应可以更大。因而，该实施例可以增加边缘的清晰度。 0046 图8例示了根据本发明实施例的使用。

44、参数化Farrow结构以用于向下转换的处理。处理 800 可以包含两个步骤。在步骤 802，可以将参数化 Farrow 结构用作低通滤波器。可以通过该低通滤波器处理已有像素以将多个相邻像素合并为一个所生成的中间像素。在步骤 804，可以使用参数化 Farrow 结构来根据所生成的中间像素执行双线性插值以根据原始已有像素得到最终像素。在一个实施例中，为了执行双线性插值，参数化 Farrow 结构可以在一个方向上执行线性插值，并且接着在其它方向上再次执行线性插值 ( 例如，水平然后垂直，或者垂直然后水平 )。 0047 图 9 通过将 4 个已有像素合并为一个像素的示例。

45、例示了处理 800。可以将 4 个已有像素 x(-1)、 x(0)、 x(1) 和 x(2) 输入根据本发明实施例的参数化 Farrow 结构 ( 例如，图 2 的参数化 Farrow 结构 )。可以将该参数化 Farrow 结构用作 3 点低通滤波器 (LPF)。该 3 点 LPF 可以处理前三个连续像素 x(-1)、 x(0) 和 x(1) 以生成第一中间像素 x (0)。该参数化 Farrow 结构接着可以处理随后三个连续像素 x(0)、 x(1) 和 x(2) 以生成第二中间像素 x (1)。最后，该参数化 Farrow 结构可以对中间像素 x (0) 和 x (1) 应用线性。

46、插值以在已有像素 x(0) 和 x(1) 之间的位置 k 处生成最终像素 y(k)。可以在两个维度上实施这种处理，因而这种处理可以被称为双线性插值。在一个实施例中，可以针对两个维度来执行 3 点 LPF 和线性插值二者。线性插值因而可以变成双线性插值。 0048 在一个实施例中， 3 点 LPF 可以通过将在前像素的四分之一、中间像素的二分之一和后续像素的四分之一相加来生成中间像素。例如，可以按照 1/4x(-1)+1/2x(0)+1/4x(1) 来生成第一中间像素 x (0)，并且可以按照 1/4x(0)+1/2x(1)+1/4x(2) 来生成第二中间像素 x (1)。在一。

47、个实施例中，参数化 Farrow 结构可以是图 2 中所示的由附加开关来调节的参数化 Farrow 结构。附加开关可以选择图 2 中用于向上转换的信号并且可以选择用于向下转换的一组系数，例如 C-1 1/4、 C0 1/2、 C1 1/4 和 C2 0，或者 C-1 0、 C0 1/4、 C1 1/2 和 C2 1/4。 0049 在一个实施例中，根据本公开的向下缩放可以为用于双线性插值操作的参数化 Farrow 结构将设置为 0。将作为 0 施加给图 3 中所示的一组系数，系数可以变为 C-1 0、 C0 1-k、 C1 k和 C2 0。因而， y(k) 可以是 (1-k)。

48、x (0) 和 kx (1) 之和 ( 例如，针对两个点的线性插值 )。说明书 CN 102460561 A 10 7/7 页 11 0050 向下缩放或者抽取是图像缩放中的另一种重要技术。其具有诸如 PIP( 画中画 ) 的应用。对于这类画面缩放 ( 例如，向下转换 ) 应用，常常因为频率混叠 ( 例如，被称为混叠伪像 ) 而引起波纹图案。通常，需要抗混叠滤波器 ( 例如， LPF) 来减少高频中的混叠，尤其是对于大规模抽取而言。但 LPF 可能增加额外的硬件成本。LPF 的通带应当与抽取规模成比例。在根据本公开的实施例中，可以选择 Farrow 结构滤波器的参数来实现适当的频率响应 ( 例如，将高频内容抑制为大的级别 ) 并且在无需附加硬件的情况下极大地减少波纹伪像。 0051 本发明的实施例可以向任何缩放 ( 例如，插值或者抽取 ) 处理施加过冲 / 下冲控制。图 10 例示了根据本发明实施例的过冲控制。当滤波器的输出信号落入在输入信号的最大值 ( 或者最小值 ) 的一定范围之外时，例如，如果图 4 的输出信号 y(k) 远大于 4 个输入信号的最大值 ( 例如， x(0)，或者远小于 4 个输入信号的最小值 ( 例如， x(2)，在信号处理期间可能出现过冲 ( 或者下冲 )。在一个实施例中，可以根据图。

展开阅读全文