去隔行装置及其方法 相关申请引用
本申请要求保护在2002年7月26日提交韩国专利局的韩国申请(No.2002-44354)的权利要求范围，在这里引用以合并公开。
【技术领域】
本发明涉及一种去隔行(deinterlace)装置和方法，特别涉及一种通过估算运动等级和参考运动的估算等级产生插值像素来执行适应性插值(interpolation)的去隔行装置和方法。
背景技术
扫描图像显示装置的两种扫描方式包括隔行扫描和逐行扫描或非隔行扫描。隔行扫描用于普通TV，其方法是，一个图像帧分为两个场，在显示一幅图像时这些场在屏幕上依次显示。这两个场可称为顶场和底场，上场和下场，或奇场和偶场。
逐行扫描或非隔行扫描用于计算机显示器或数字TV，其方法是，通过一个图像帧的单元，以类似于运动图形幻灯片的帧投影到屏幕上的方法，一次显示整个帧。
去隔行装置是转换隔行扫描的图像信号为非隔行扫描的图像信号的设备。为了在处理非隔行扫描的图像信号地显示装置中正常处理隔行扫描的图像信号，在显示装置中必须有转换隔行扫描的图像信号为非隔行扫描的图像信号的去隔行装置。
去隔行可用几种方法实现。作为基本方法，重复当前场的行信息的行重复方法可以使用。行重复方法容易实现，但插值图像的分辨率降低了一半，并且图像的某些部分可能会消失。
为了克服上述不足，提出了另外两种方法。一种方法是场内插值，通过将两行数据原始量级的一半的数据插入当前场的两行之间的区域来实现新场。另一种是场间插值，不需要运动补偿，但通过将当前场的先前和后续场的行插入当前场的相应行中。这两种方法可用简单硬件来实现，但在运动图形进行插值时存在缺陷。而且，插值图像可能恶化，或图形质量可能降低。
为了克服上述缺点，引入了运动补偿插值方法。运动补偿插值方法通过根据与时间连续的场数据有关的当前场的数据将屏幕划分为若干块，根据每一个块获得运动，和参考运动向量(vector)来对当前帧的屏幕进行插值。运动补偿插值方法在美国专利5,777,682中公开。
运动补偿插值方法通常使用块中的单元的运动向量来估算运动，并且块的人为痕迹(block artifact)有时在插值图像产生，类似于缺陷更正单元由块单元组成。因此，某些复杂的后续处理需要避免块的人为痕迹，并且由此，用于执行后续处理的硬件结构相当复杂且增加了处理成本。
为了解决运动补偿插值的上述问题，引入了通过估算运动等级根据运动来对帧进行插值的运动适应插值。运动适应补偿方法在美国专利5,027,201和美国专利5,159,451中公开。
运动适应插值方法相对于运动补偿插值方法具有可由简单硬件来实现的优点，和提升了插值图形的质量。但是，由于其甚至在大运动的边缘进行简单垂直方向的插值，运动适应插值可能存在步进(stepping)类型的噪声。
【发明内容】
本发明是为了克服上述和/或相关技术的其他问题而产生的。因此，本发明的一个方面是提供一种去隔行装置和方法，在图形处于运动时能够通过根据运动等级和边缘方向执行适当插值来改进图形质量。
本发明的附加方面和优点将在后续描述中部分阐明，和部分在描述中显而易见，或可从本发明的实践中获得。
本发明的上述和/或其他方面通过提供去隔行装置来实现，该装置包括混合权值计算单元，在检测到先前场的像素和后续场的像素之间的运动等级后计算用于混合的权值，这些像素对应于当前场中要插入的像素；场内插值单元，检测包含在与要插入当前场的像素所相邻的当前场的像素值中的方向数据，并且通过根据方向数据使用相邻像素值来计算第一个插值；场间插值单元，计算相对于要插入当前场的像素的先前场和后续场的像素值的平均值以获得的第二个插值；和软切换单元，通过使用权值来混合第一个和第二个插值，和输出混合值。。
混合权值计算单元可包括：运动检测单元，基于要插入当前场的像素来计算表明在先前场的像素和后续场的像素之间的运动等级的运动信息值；空间滤波单元，消除包含在运动信息值中的噪声和输出运动信息值；运动扩展单元，对要插入当前场的像素所相邻的像素扩展运动信息值和输出该值；和阿尔法转换函数单元，基于扩展后的运动信息值计算用于混合的权值运动检测单元可通过使用与在要插值的像素的垂直方向上的边缘值输入成反比例的预定函数来计算运动信息值。
场内插值单元可包括：水平高频分量检测单元，计算要插入当前场的像素周围的水平高频分量值；垂直低频通带滤波单元，基于已计算的水平高频分量值执行低频滤波；方向分量检测单元，基于要插入当前场的像素所相邻的像素值计算方向数据；全局/局部最小方向值计算单元，基于已计算的方向数据计算全局最小方向值和局部最小方向值；可靠性检测单元，基于全局最小方向值和局部最小方向值计算最终插值方向；和最终插值单元，基于最终插值方向在全局方向、局部方向和垂直方向的其中一个方向上计算最终插值。水平高频分量检测单元可通过使用当前场中要插值的像素所相邻的像素的梯度集合(sum of gradients)计算水平高频分量值。
最终插值单元可在水平高频分量值大于预定的第一个限值时在垂直方向上执行插值，和在水平高频分量值小于预定的第一个限值时按照可靠性检测单元计算的最终方向进行插值。在最终插值单元在全局方向上执行插值时，插值可在检测在全局方向上插入的像素值是否等于在局部方向上往复的两个像素的中值后执行。
在本发明的另一个方面，提供一种去隔行方法，包括：在基于当前场中要插入的像素检测先前场的像素和后续场的像素之间的运动等级后计算用于混合的权值，其中图像信号的先前场、当前场和后续场连续输入；检测包含在要插入当前场的像素所相邻的像素值中的方向数据，和通过按照方向数据使用相邻像素值来计算第一个插值；通过取要插入当前场的像素对应的先前场的像素和后续场的像素的平均值来计算第二个插值；并且通过使用计算后的用于混合的权值来混合第一个和第二个插值，和输出混合值。
计算表明要插入当前场的像素对应的先前场和后续场之间的运动等级的初始运动信息值；消除包含在初始运动信息值中的噪声和输出降低噪声后的运动信息值；对当前场中要插值的像素的相邻像素扩展降低噪声后的运动信息值并且输出扩展后的运动信息值；以及基于扩展和降低后的运动信息值计算用于混合的权值。运动信息值的计算可包括使用与在要插值的像素的垂直方向上的边缘值成反比例的预定函数。
方向数据的检测可包括计算要插入当前场的像素周围的水平高频分量值；对计算后的水平高频分量值执行低频滤波；基于要插入当前场的像素所相邻的像素值计算方向数据；基于计算后的方向数据计算全局最小方向值和局部最小方向值；基于全局最小方向值和局部最小方向值计算最终插值方向；和基于最终插值方向在全局方向、局部方向和垂直方向的其中一个方向上计算最终插值。
水平方向高频分量值的计算可包括使用当前场中要插值的像素所相邻的像素的梯度集合。
当最终插值的计算可在水平高频分量值大于预定的第一个限值时基于垂直方向执行。另外，当在水平高频分量值小于预定的第一个限值时可基于计算后的最终插值方向执行最终插值计算。
当在全局方向上执行插值时，最终插值的计算可在检测在全局方向上插入的像素值是否等于在局部方向上往复的两个像素的中值后执行。
【附图说明】
从本发明的优选实施例的后续描述中，结合其附图一起，本发明的上述和/或其他方面和优点会更明显和更容易发现：
图1是显示如本发明所述的去隔行装置的方框图；
图2是显示使用图1所示装置的去隔行方法的流程图；
图3A、3B和3C是显示运动检测过程的视图；
图4是显示可用来获得垂直方向上的边缘值的3×3掩码例子的视图。
图5是计算δ的图表；
图6是显示场内插值单元的方框图；
图7是显示图6的场内插值单元工作的流程图；和
图8A、8B和8C是显示方向值计算过程的视图。
【具体实施方式】
现在将详细地说明本发明的现有优选实施例，其例子在附图中说明，其中相同的标号在各处对应相同的元素。实施例下面进行描述，以通过参考图表来解释本发明。
图1是显示本发明的去隔行装置的方框图。去隔行装置由运动检测单元100、空间滤波单元110、运动扩展单元120、阿尔法转换函数单元130、场内插值单元140、场间插值单元150和软切换单元160组成。运动检测单元100、空间滤波单元110、运动扩展单元120和阿尔法转换函数单元130共同组成混合权值计算单元180。
参见图1，运动检测单元100基于当前场中要插值的像素检测时间连续的场之间的运动信息值。空间滤波单元110消除或降低包含在由运动检测单元100所检测到的运动信息值中的噪声电平。运动扩展单元120通过传输空间滤波单元110的输出值来扩展与要插值的像素所相邻的像素。阿尔法转换函数单元130计算α，一权值用于混合运动扩展单元120所扩展的运动信息值。
在输入当前场中要插值的像素周围的像素值后，场内插值单元140按照特定方向通过使用梯度来输出插值。场间插值单元150输出插值，该插值通过取对应于当前要插值的像素的先前场和后续场的像素值的平均值而获得。软切换单元160在通过使用权值(α)来混合场内插值单元140和场间插值单元150的插值后输出插值。
图2是显示解释图1的去隔行装置的工作的流程图。参见图2的流程图，运动检测单元100检测基于当前场中要插值的像素的时间连续场之间的运动等级，并且通过使用检测到的运动等级和垂直方向边缘值来计算运动信息值(S200)。
在普通运动检测情况下，通过相同采样网格场(grid field)之间的差值来检测运动信息。在某些场合里，在图像在当前场和先前场或后续场之间有相对快速运动和较少关系的情况下，可能产生伪静止像素(spurious still pixel)。为了避免产生伪静止像素，将在当前场和先前场与后续场之间的关系直接作为运动信息使用。因此，伪静止像素从检测到的运动信息中消除，相邻场之间产生的相对快速运动被有效地检测到。
图3A-3B是显示由运动检测单元100用于运动检测的像素的视图。在图3A中，fn-1是第n-1个场，在图3B中，fn是第n个当前场，和在图3C中，fn+1是第n+1个场。此外，v是垂直方向和h是水平方向。假设当前要插值的场是当前场，则fn是当前场，fn+1是后续场和fn-1是先前场。在图3B中，圆圈z代表要插入当前场中的像素。
在图3A-3C中，实线代表在隔行模式中将在屏幕上正常显示的像素的行。在图3A、3B和3C中显示的每一个区域代表屏幕的相同物理区域，并且实心点a、b、c和d代表在隔行模式中将显示的像素。在图3B中，像素a和b是当前场fn的输入信号数据所定义的像素，和圆圈z代表当前场的输入信号数据未定义的像素，但该像素是基于当前场、先前场和后续场数据被插值或合成并且被插值到当前场中。于是，将插值或合成后的像素z与输入当前场数据相结合，以输出包含已插值像素z的已插值当前场数据，并且在非隔行模式中显示在与像素a和b同时显示的像素a和b的相对位置上。要插入当前场以显示在非隔行模式中的像素z的垂直位置和水平位置依次用v和h代表。如果像素c和d显示在隔行模式中，位置(v，h)也对应于像素c和d将出现的位置。
运动检测单元100首先依次根据数学表达式1a、1b和1c计算调整后的像素差值最小单元Δc、Δa和Δb，以检测图3B所示的要插值的像素(点z)相关的运动。
其中，fn-1(v，h)是第n-1个场fn-1中在位置(v，h)上的像素值，并且fn+1(v，h)是第n+1个场fn+1中在位置(v，h)上的像素值。此外，fn(v-1，h)和fn(v+1，h)是第n个场fn中依次在位置(v-1，h)和(v+1，h)上的像素值。
考虑到通过使用数学表达式1在要插入当前场的像素处存在垂直方向边缘，在当前场、先前场和后续场中有相对快速运动和较少关系的图像的情况下所产生的像素单元的伪静止像素可被有效消除。
运动检测单元100通过使用垂直方向边缘值计算运动信息值。在当前要插值的像素的垂直方向边缘值可通过使用图4中所示的3×3掩码来获得。当前要插值的像素的运动信息值Δ由数学表达式2计算。
Δ＝max(Δc，δmax(Δa，Δb)) …(2)
这里，δ由与垂直方向边缘值的输入成反比例的特定函数来计算。例如，δ可通过使用线性函数和输入垂直边缘值来获得。
IF(vertical_edge＞T2)THEN
δ＝0
ELSE IF(vertical_edge＜T1)THEN
δ＝1
ELSE THEN
δ＝(T2-vertical_edge)/(T2-T1)
END IF
在δ的计算中，vertical_edge是垂直方向边缘值，并且在值δ以图表表示时，图表如图5中所示。
如上所述，在检测到当前场、先前场和后续场相关的运动时，仅仅通过使用max(Δa，Δb)来获得运动信息值是有效的。然而，通过按照数学表达式1和2使用垂直方向边缘值来进行运动信息值计算的原因是，在有垂直方向边缘的静止图像的情况下伪运动区域可扩展。因此，在通过在当前要插值的像素处使用垂直方向边缘值来可变地使用当前场、先前场和后续场的运动信息值时，伪运动像素可避免被扩展。
在运动检测单元100检测到运动信息值后，空间滤波单元110消除或降低包含在已计算运动信息值中的噪声电平(S202)。在噪声电平消除或降低后，在有时间关系变坏的图像情况下，更加可以防止像素的单元中可能产生的伪静止像素。
空间滤波单元110将其输出值传输给运动扩展单元120，并且运动扩展单元120对要插值的像素所相邻放置的像素扩展运动等级值(S204)。运动扩展单元120对相邻像素扩展运动等级值的原因是运动通常认为是特定区域中像素组的运动，而不是特定像素的运动。因此，在检测到特定像素处的运动时，可认为特定像素有噪声，或特定像素和相邻像素处于运动中。但是，在空间滤波单元110处已经消除了噪声电平，因此有很高的可能性是，相邻像素实际处于运动中，并且不仅仅由像素噪声而被误认为是处于运动中。所以，运动扩展单元120对被检测像素的周围扩展从空间滤波单元100输出的运动等级值。
阿尔法转换函数单元130计算阿尔法值(α)，该值为基于由运动扩展单元120所扩展的运动信息值的用于混合的权值(α)(S206)。依次将对应于多个运动信息值的每一个的多个权值(α)存储在表格中，并且基于从运动扩展单元120输出的运动信息值选取一个存储在表格中的权值(α)。权值(α)在0和1范围之间取值。
在输入要插值的场中的相邻像素值时，场内插值单元140通过使用像素周围的梯度，按照方向输出插值。场内插值单元140的详细描述在下面阐明。
场间插值单元150在取先前场和后续场中与要插值的像素相对处于场中相同位置上的像素的像素值的平均值后输出值，如数学表达式3所示。
ft(v，h)＝(fn-1(v，h)+fn+1(v，h))/2 …(3)
软切换单元160使用阿尔法值(α)即阿尔法转换函数单元130处计算的权值来混合场内插值单元140和场问插值单元150的输出值，并且输出混合值(S208)。换句话说，假设场内插值单元140处计算的像素值是fs(v，h)并且场间插值单元150处计算的像素值是ft(v，h)，则经过软切换单元160最终输出的信号可如数学表达式4所示进行计算。
fs(v，h)＝αfs(v，h)+(1-α)ft(v，t) …(4)
软切换单元160通过可变地混合场内插值单元140和场间插值单元150的插值来按照运动等级输出插值。
在上述去隔行装置中场内插值单元140的工作在下面将更详细地描述。
图6是场内插值单元140的方框图。场内插值单元140包括水平高频分量检测单元141、垂直低频通带滤波单元142、方向分量检测单元143、全局/局部最小方向值计算单元144、可靠性检测单元145和最终插值单元146。
水平高频分量检测单元141检测要插值的像素周围的水平高频分量。垂直低频通带滤波单元142在当前场中的垂直方向上执行低频通带滤波。方向分量检测单元143在每一个像素的方向上检测方向数据。全局/局部最小方向值计算单元144通过使用方向数据来检测全局最小方向和局部最小方向。可靠性检测单元145检测全局方向的可靠性。此外，最终插值单元146计算最终插值。
图7是解释场内插值单元140的工作的流程图。参见图7，水平高频分量检测单元141检测当前要插值的像素周围的水平高频分量值(H-HPF)(S300)。水平高频分量值(H-HPF)参照数学表达式5从要插值的像素周围的像素的梯度集合获得。
由上述表达式计算的水平高频分量值(H-HPF)与预定限值(T1)进行比较(S302)。在H-HPF值大于限值(T1)时，执行垂直方向上的插值(S320)。在水平高频分量值(H-HPF)小于限值(T1)时，垂直低频通带滤波单元142执行垂直方向上的垂直低频通带滤波(S304)。执行垂直方向上的垂直低频通带滤波以便消除垂直方向上产生的噪声。
方向分量检测单元143在x＝-1，0，1，...，n的每一个像素的方向上检测方向数据。方向数据由数据表达式6计算。D(x)=Σi=-22{coeff[i]·f^n(v-1,h-x+i)-fn(v+1,h+x+i)|}...(6)]]>
此处，coeff是在i＝-2，-1，0，1，2的中心(center)有权值的预定常量值，和是在垂直方向上低频滤波后的像素值。
图8A-8C是显示用于在x＝-n，...，-1，0，1，...，n的像素方向上检测方向数据的像素的视图。如图8A-8C所示，方向数据可通过改变x的值进行计算。
方向分量检测单元143将每一个方向上计算的方向数据D(x)乘以在每一个方向上不变的权值并且输出乘积(S308)。
全局/局部最小方向值计算单元144通过使用由乘以方向分量检测单元143处计算的预定权值而获得的方向数据来检测全局最小方向数据和局部最小方向数据(S310)。这里，全局最小方向数据是整个区域(例如，x＝-n，...，-1，0，1，...，n的像素方向)中计算的最小方向值，并且局部最小方向数据是低等级方向(例如，x＝--1，0，1的像素方向)上计算的最小方向值。
可靠性检测单元145检测在全局/局部最小方向值计算单元144处计算的全局最小方向数据的可靠性。换句话说，可靠性检测单元145检测从相邻低方向作为全局最小方向数据计算的方向数据是否单调降低。在方向数据不单调降低时，相对于局部方向进行插值(S314)。而且，在全局最小方向数据和局部最小方向数据之间的梯度小于第二个限值(T2)时，相对于局部方向进行插值(S318)，否则，相对于全局方向进行插值(S318)。
最终插值单元146相对于先前过程所决定的全局、局部和垂直方向中的一个进行插值(S316、S318和S320)。
在最终插值单元146根据全局方向进行插值时，根据全局方向插入的像素值fg(v，h)由数学表达式7计算。
fg(v，h)＝(fn(v-1，h-global-direction)+
fn(v+1，h+global-direction))/2fm(v，h) …(7)
在通过使用3路中值滤波器来检测在全局方向上插入的像素值是否符合在局部方向上往复的两个像素的中值后，输出计算后的像素值fg(v，h)，以便补偿错误。如此，在局部方向上往复的两个像素值，fl-dn(v，h)和fl-up(v，h)，由数学表达式8计算。
fl-up(v，h)＝fn(v-1，h-global-direction)
fl-dn(v，h)＝fn(v+1，h+global-direction) …(8)
因此，要经过中值滤波器插值的最终插值由数学表达式9计算。
fm(v，h)＝Median(fg(v，h)，fl-up(v，h)，fl-dn(v，h)) …(9)
在数学表达式9中，Median是根据他们的幅值重排所给的数据后取中值的操作符。换句话说，只有在全局方向上插入的是更高和更低像素的中值的像素值才用作为最终插值。
当最终插值单元146在局部方向上进行插值时，最终插值由数学表达式10计算。
fl(v，h)＝(fn(v-1，h-local-direction)+
fn(v+1，h+local-direction))/2 …(10)
当最终插值单元146在垂直方向上进行插值时，由于水平高频分量值大于第一个限值(T1)，最终插值由数学表达式11计算。
fv(v，h)＝(fn(v-1，h)+fn(v+1，h))/2 …(11)
如上所述，场内插值单元140输出由数学表达式9、10和11计算的fm(v，h)、fl(v，h)、fv(v，h)的其中一个插值。场内插值单元140的输出值如上所述传输到软切换单元160。然后，输出值与场间插值单元150的插值进行混合，并且最终去隔行信号如数据表达式4中所示输出。
根据本发明，由于应用了使用垂直边缘值的运动检测值和进行了检测相关的方向数据和插值的检测，隔行图像的质量得到提高。
虽然已经显示和描述了本发明的若干个实施例，但本领域的技术人员应该意识到，在不脱离本发明的原则和精神以及权利要求和其等价物中所定义的范围的情况下，可以对这些实施例进行修改。