临界值可调的动态图象像素检测方法 【技术领域】
本发明为一种动态图象像素检测的方法，通过一可变动的临界值判断图象中缺失像素是位于静态区域还是非静态区域，以排除噪声造成的错误判断，并以内插法达到重建缺失像素的目的。
背景技术
说明书正文。
现有技术中，动态调整算法(motion-adaptive algorithm)是以周围邻近像素之间的差异判断图象中缺失像素位于静态区域还是非静态区域。之后，如果判断其缺失像素位于静态区域，便以一利用邻近场(neighboringfields)像素信息的前后场内插法(inter-field interpolation)来重建此缺失像素；如果判断缺失像素位于非静态区域，就以同一个场(field)邻近原扫描线(neighboring original scan lines)信息的周围场内插法(intra-field interpolation)来重建此缺失像素。
请参阅图1A中现有技术的前后场内插法示意图。其中缺失像素(missing pixel)10发生于图中所示的X，而所示○的此缺失像素10的前时间像素11与后时间像素13为原本存在的像素，其各时间点此像素的坐标为(x，y)，前时间像素11、缺失像素10与后时间像素13为三个不同时间的显示，若要重建此缺失像素10，此前后场内插法将前时间像素11与后时间像素13的图象信息作平均得到缺失像素10的重建值，即：
X=[F(x,y,n-1)+F(x,y,n+1)]2---(1)]]>
其中，F(x，y，n-1)为前像素11的像素函数式，F(x，y，n+1)为后时间像素13地像素函数式。
请参阅图1B现有技术的周围场内插法示意图。其中缺失像素10位于图中所示的×，而所示○的第一位置像素14与第二位置像素16为原本存在的像素，其第一位置像素14、缺失像素10与第二位置像素16的坐标分别为(x，y-1)、(x，y)与(x，y+1)，为三个上下像素的显示，若要重建缺失像素10，以一周围内插法将第一位置像素14与第二位置像素16的图象信息作平均得到缺失像素10的重建值，即：
X=[F(x,y-1,n)+F(x,y+1,n)]2---(2)]]>
其中，F(x，y-1，n)为第一位置像素14的像素函数式，F(x，y+1，n)为第二位置像素16的像素函数式。
欲确定缺失像素10位于静态还是非静态区域，即利用此缺失像素10周围邻近像素的信息差异来判断，若差异值小于一临界值(threshold)，表示此缺失像素10周围像素为静态，也判断此缺失像素10为静态；若差异值大于或等于此一临界值，则周围像素为非静态，即判断此缺失像素10位于动态区域。
请参阅图2现有技术的计算差异值方法示意图。本图所示为上述差异值的计算，利用图中所示为×的缺失像素20的前时间场21与后时间场23中所示为○的周围无缺失像素计算差值的绝对值总和(sum of absolutedifference，SAD)，即将上述图1A前后时间场的前后内插法与图1B上下位置的周围内插法连结运用，其运算式如下：
Diff(x,y,n)=Σ(i,j)∈γΓ|f(i,j,n-1)-f(i,j,n+1)|---(3)]]>
Γ={(x,y-2),(x,y),(x,y+2),(x-1,y),(x+1,y)}]]>
其中Diff(x，y，n)为差异值函数式，∑|f(i，j，n-1)-f(i，j，n+1)|为缺失像素20前后时间场的周围像素计算差值的绝对值总和，函数式f(i，j，n-1)表示在图2所示的前时间场21，函数式为F(n-1)内的各像素函数，包含各像素的信息，f(i，j，n+1)则表示在后时间场23，函数式为F(n+1)内的各像素函数，而(i，j)则表示前后时间场像素的位置，位置包括有(x，y-2)、(x，y)、(x，y+2)、(x-1，y)与(x+1，y)。
图3为现有技术的动态像素调整运算流程图。如图所示，F(n)为一时间场函数式，动态像素调整运算开始时，此时间场函数式F(n)被解交错(deinterlaced)计算(步骤301)，一解交错处理器(deinterlacingprocessor)输入时间场F(n)、前时间场F(n-1)与一函数式为F(n+1)的后时间场(步骤303)，之后，扫描出图象中时间场F(n)中的缺失像素，并在一光栅序列(raster order)中执行内插(步骤305)，也就是由图象的左上至右下(top-left to bottom-right)循序扫描，之后以图2所述的运算式计算环绕缺失像素周围像素的差异值(步骤307)，并与一临界值比较来判断缺失像素是位于静态或非静态区域(步骤309)，如果差异值小于此临界值，便以图1A所述的前后场内插法重建(步骤311)，若差异值大于或等于临界值，便以图1B所述的周围场内插法重建(步骤313)，再输出重建的解交错像素(步骤315)，之后判断是否结束此场函数式F(n)的解交错运算(步骤317)，若否，即继续扫描缺失像素，并在一光栅循序中执行内插305，直到时间场F(n)内缺失像素完全重建；若是，即表示结束此场函数式F(n)的解交错运算(步骤319)。
以上所述为现有技术动态像素调整运算流程，此方法简单又易实施，但仅以一固定的临界值来判断缺失像素位于静态或非静态区域可能会导致将图象中区域性的变化作错误的判断，比如图象因资料格式转换造成的噪声，这样的噪声可能会使邻近像素的差异值大于该临界值，将原本位于静态区域应使用前后场内插法的缺失像素，而使用周围场内插法错误地重建此缺失像素，如果只有一两个缺失像素因错误判断重建还不会有太大的影响，若有很多需要重建的像素便会造成相当程度的图象闪烁现象。
为解决上述因使用固定临界值而造成图象中区域性变化的错误判断，而造成图象缺失像素的错误重建，本发明提出一种临界值可调的动态图象像素检测方法以达到正确的静态与非静态区域判断。
【发明内容】
本发明为一种临界值可调的动态图象像素检测方法。是以图象中动态像素的信息界定一可变动的临界值，并以缺失像素邻近周围像素的差异与此临界值作比较，作为图象中缺失像素是位于静态区域还是非静态区域的判断，更可通过变动临界值来排除噪声造成的错误判断，再分别以前后场内插法与周围场内插法达到最佳重建缺失像素的目的。
为达到上述目的，本发明临界值可调的动态图象像素检测方法是以解交错计算一缺失像素所在的时间场，并在一解交错处理器中输入该时间场与复数个参考场，再计算该参考场的变动量，然后依照该参考场的变动程度决定一临界值，将该缺失像素扫描出并计算环绕该缺失像素周围像素的差异值，再与先前决定的临界值比较来判断以前后场内插法或以周围场内插法重建该缺失像素。最后输出重建的解交错像素，并判断是否结束该时间场的解交错运算或重复步骤达到重建缺失像素的目的。
【附图说明】
有关本发明的详细内容及技术，现参照附图说明如下：
图1A为现有技术的前后场内插法示意图；
图1B为现有技术的周围场内插法示意图；
图2为现有技术的计算差异值方法示意图；
图3为现有技术的动态像素调整运算流程图；
图4为本发明实施例使用变动临界值的动态像素调整运算流程图；
图5为本发明实施例的变动临界值界定示意图；
图6为本发明实施例缺失像素的参考场示意图；
图7为本发明实施例的边界导向周围图帧内插法示意图；
图8为本发明实施例的动态图象像素调整运算流程图。
符号说明
10.........................缺失像素；
11.........................前时间像素；
13.........................后时间像素；
14.........................第一位置像素；
16.........................第二位置像素；
20.........................缺失像素；
21.........................前时间场；
23.........................后时间场；
61.........................第一时间场；
63.........................第二时间场；
65.........................第三时间场；
67.........................第四时间场；
70.........................缺失像素；
71.........................第一邻近像素；
72.........................第二邻近像素；
73.........................第三邻近像素；
74.........................第四邻近像素；
75.........................第五邻近像素；
76.........................第六邻近像素；
D1.........................第一差异值；
D2.........................第二差异值；
Th1........................第一临界值；
Th2........................第二临界值；
U1.........................第一差值；
U2.........................第二差值；
U3.........................第三差值；
Diff.......................差异值；
FieldDiff..................场差异值。
【具体实施方式】
本发明提供一可调式临界值检测图象像素为静态或非静态的方法，以下通过实施例的流程图进行说明。
图4为本发明实施例使用变动临界值的动态像素调整运算流程图。是以图象中动态像素的信息界定一可变动的临界值，并以缺失像素(missingpixel)邻近周围像素的差异与此临界值作比较，以作为图象中缺失像素是位于静态区域还是非静态区域的判断，此缺失像素为被解交错的图象于图象图帧转换到时间场(frame-to-field conversion)时所丢弃的像素。如图所示，F(n)为一时间场函数式，动态像素调整运算开始时，此时间场函数式F(n)被解交错计算(步骤401)，一解交错处理器输入时间场F(n)及邻近周围的参考场(步骤403)，之后，算出邻近周围参考场的变化量(步骤405)，以动态调整界定出适当的临界值(步骤407)(其方法于本发明实施例图5详细说明)，再扫描出图象中时间场F(n)中的缺失像素，并在一光栅序列中执行内插(步骤409)，也就是由图象的左上至右下(top-left tobottom-right)循序扫描。
为了计算缺失像素周围的区域为静态或非静态，以图2所述的公式(3)(Diff(x,y,n)=Σ(i,j)∈Γ|f(i,j,n-1)-f(i,j,n+1)|)]]>来计算环绕缺失像素周围像素的差异值Diff(步骤411)，该差异值为大，则判断其复数个参考场为高变动图象，若该差异值为小，则判断复数个参考场为低变动图象，并通过其与一临界值比较来判断缺失像素是位于静态或非静态区域，即判断是否差异值Diff小于临界值(步骤413)，若是，表示差异值小于此临界值，便以图1A所述的前后场内插法(inter-field interpolation)重建缺失像素(步骤415)；若否，表示差异值Diff大于或等于临界值，便以图1B所述的周围场内插法(intra-field interpolation)重建(步骤417)，再输出重建的解交错像素(步骤419)，之后判断是否结束此场函数式F(n)的解交错运算(步骤421)，若否，即继续扫描缺失像素，并在一光栅序列中执行内插(步骤409)，直到时间场F(n)内缺失像素完全重建；若是，即表示结束此场函数式F(n)的解交错运算(步骤423)。
请参阅图5本发明实施例的变动临界值界定示意图，即为图4流程图所示的界定变动临界值的步骤(步骤405至步骤407)。先计算该扫描出的缺失像素邻近周围参考场像素的变化量(步骤405)，判断是否参考场的动态为大，即为一高变化图象(步骤501)，若是，因掩蔽效应(masking effect)的关系，图象中噪声相对于此高变化图象，其影响就小，所以就选择使用小临界值(步骤503)；若否，即参考场动态为小，为一低变化图象，因助长效应(facilitation effeet)的关系，图象中噪声在低变化图象中影响就显得大，故要选择大临界值(步骤505)。以上所述选择出的临界值，为该动态像素调整运算的流程。
请参阅图6本发明实施例缺失像素的参考场示意图，利用缺失像素邻近周围参考场的差异算出变化量，其中，若缺失像素(missing pixel)位于上层场，即图示的第三时间场65内，也就是为当前的时间场，标示符号为X，其参考场则为邻近的时间场。如图所示的复数个参考场与当前的时间场，第一时间场61，函数式为F(n-2)，第二时间场63，函数式为F(n-1)，缺失像素在内的第三时间场65，函数式为F(n)，第四时间场67，函数式为F(n+1)，本实施例以此四个时间场的差异来判断为一高变化图象还是低变化图象，其场差异值FieldDiff使用其各前后场间的差异值绝对值总和(SAD)，运算式如下：
FieldDiff=Σy=0(M/2)-1Σx=0N-1|F(x,2y,n)-F(x,2y,n-2)|+Σy=0(M/2)-1Σx=0N-1|F(x,2y+1,n-1)-F(x,2y+1,n+1)|]]>
其中F(n)与F(n-2)为上层场(top field)，F(n-1)与F(n+1)为下层场(bottom field)，M与N分别为图象中图帧(frame)的高度与宽度，图中所示的各个原像素与缺失像素，符号分别为○与×，位置坐标表示为(x，y)等。通过此场差异值FieldDiff来界定临界值大小，是由另一动态临界值与此场差异值FieldDiff比较而决定临界值大小，当场差异值FieldDiff大于或等于一预先设定的动态临界值，则判断这复数个时间场的图象为高变化图象，就定为小的临界值；当场差异值FieldDiff小于动态临界值，则判断这复数个时间场的图象为低变化图象，就定为大的临界值。
请继续参阅图6本发明实施例的差异值计算示意图。为了改善判断图象是否静态的准确度，本发明在图象画面中使用上层场与下层场中的四个时间场来计算差异值，分别是第一时间场61，函数式为F(n-2)，第二时间场63，函数式为F(n-1)，缺失像素所在的第三时间场65，函数式为F(n)，第四时间场67，函数式为F(n+1)。其中需要被解交错的场为有缺失像素的第三时间场65，若此当前时间场为上层场(top-field)，其参考场有复数个前时间场与一个后时间场。如计算差异值所需的复数个参考场，以第三时间场65为基准的参考场有：第一时间场61为前前状态的时间场，第二时间场63为之前状态的时间场，第四时间场67为之后状态的时间场。并通过第一时间场61与第三时间场65的各像素位置计算出第一差异值D1；通过第二时间场63与第四时间场67各像素位置计算出第二差异值D2，其运算式分别如下：
D1(x,y,n)=Σ(i,j)∈Γ1|f(i,j,n)-f(i,j,n-2)|---(5)]]>
D2(x,y,n)=Σ(i,j)∈Γ2|f(i,j,n-1)-f(i,j,n+1)|---(6)]]>
其中Γ1与Г2为像素位置，分别如下：
Г1＝[(x-1，y-1)，(x，y-1)，(x+1，y-1)，(x-1，y+1)，(x，y+1)，(x+1，y+1)]
Г2＝[(x，y-2)，(x，y)，(x，y+2)，(x-1，y)，(x+1，y)]
另外，若此缺失像素所在的当前时间场为下层场(bottom-field)，其余为计算差异值所需的复数个参考场包括有：一个前状态的时间场与复数个后状态的时间场。
图7为本发明实施例的边界导向周围图帧内插法示意图。此边界导向周围内插法是选择该缺失像素的周围对角位置像素的函数式差异最小者，则该对角位置像素的平均值即为该缺失像素的重建值。如图所示，符号×表示一缺失像素70，其邻近的像素有第一邻近像素71、第二邻近像素72、第三邻近像素73、第四邻近像素74、第五邻近像素75与第六邻近像素76，利用相对应的邻近像素之间差异性来判断此缺失像素70位于静态或非静态区域。
其中，第一差值U1表示第一邻近像素71与第六邻近像素76的差异；第二差值U2表示第二邻近像素72与第五邻近像素75的差异；第三差值U3表示第三邻近像素73与第四邻近像素74的差异，并找出其中最小的差值当作静态像素与非静态像素的判断。若最小值为U1，如图所示，则缺失像素70为第一邻近像素71与第六邻近像素76的平均；若最小值为U2，则缺失像素70为第二邻近像素72与第五邻近像素75的平均；若最小值为U3，则缺失像素70为第三邻近像素73与第四邻近像素74的平均。
之后更进一步以一中间值过滤法得到缺失像素70的重建值，此中间值过滤法是找出该缺失像素与上下相对像素的中间值作为该缺失像素重建值，并为减少该缺失像素重建时误差的方法，本实施例为找出与第二邻近像素72、第五邻近像素75的中间值(mean of value)，以此中间值作为缺失像素70新的重建值。以上所述为边界导向周围图帧内插法(edge-oriented intra-frame interpolation)与中间值过滤法(medianfiltering)的实施内容。
请参阅图8本发明实施例的动态图象像素调整运算流程图，是以图6所示各场间的差异性计算出的第一差异值D1与第二差异值D2，并设定两个相对应且依需要变动的临界值来判断缺失像素为静态还是非静态，可藉由一个对照表(look-up table)内建的各种变化情况来决定此变化的临界值。动态图象像素调整运算流程图如图8所示，F(n)为一时间场函数式，此动态像素调整运算流程开始时，此时间场函数式F(n)被解交错计算(步骤801)，一解交错处理器输入各时间场函数式(步骤803)，分别为第一时间场61，函数式为F(n-2)、第二时间场63，函数式为F(n-1)、第三时间场65，函数式为F(n)与函数式为F(n-1)的第四时间场67。之后，再利用图6所示的时间场间差异性计算出各场间的场差异值(步骤805)，并比较是否与一另订的动态临界值还大(步骤807)，用以判断缺失像素所在的图象为高变化图象或低变化图象，若是，则界定小的第一临界值与第二临界值(步骤809)；若否，则界定第一临界值与第二临界值为大(步骤811)。
之后，继续扫描出图象时间场F(n)中的缺失像素并在一光栅序列中执行内插(步骤813)，以图2所述的差异值运算，并通过图6所示各场间差异计算第一差异值D1与第二差异值D2(步骤815)，分别是第一时间场61与第三时间场65计算出第一差异值D1，与第二时间场63与第四时间场67计算第二差异值D2，再使用之前界定相对应的第一临界值Th1与第二临界值Th2，并通过将这两个临界值与两个差异值比较来判断缺失像素是位于静态或非静态区域(步骤817)，如果第一差异值D1小于此第一临界值Th1并同时第二差异值D2小于第二临界值Th2，即判断此缺失像素位于静态区域，便以现有技术的前后场内插法重建缺失像素(步骤819)。当第一差异值D1大于等于第一临界值Th1或者第二差异值D2大于等于第二临界值Th2，即判断缺失像素位于动态区域，便以现有技术的周围场内插法重建缺失像素(步骤821)，此周围场内插法更包括两个步骤，先是以图7所述的边界导向周围图帧内插法重建此缺失像素(步骤823)，在此不再详述。接着以一中间值过滤法得到缺失像素的重建(步骤825)。再输出重建的解交错像素(步骤827)，之后判断是否结束此场函数式F(n)的解交错运算(步骤829)，若否，即继续扫描缺失像素并在一光栅序列中执行内插(步骤813)，直到时间场F(n)内缺失像素完全重建；若是，即表示结束此场函数式F(n)的解交错运算(步骤831)。
以上为本发明临界值可调的动态图象像素检测方法实施例的详细说明，本发明以缺失像素周围图象的信息来界定可变动的临界值，藉以改善对缺失像素所在区域为静态与非静态的判断，以正确重建缺失像素，另外更使用一边界导向周围图帧内插法与中间值过滤法作更严格的重建。
综上所述，本发明临界值可调的动态图象像素检测方法在目的及效能上均具有极大的先进性，极具产业的利用价值，且为目前市场上前所未见的新发明，完全符合发明专利的要求。
以上所述者，仅为本发明的较佳实施例而已，当不能以之限定本发明所实施的范围。凡依本发明申请专利范围所作的同等变化与修饰，皆应仍属于本发明专利涵盖的范围内。