图像处理装置和图像处理方法.pdf

上传人:b*** 文档编号:1119486 上传时间:2018-04-01 格式:PDF 页数:52 大小:3.04MB
返回 下载 相关 举报
摘要
申请专利号:

CN200910006549.0

申请日:

2009.02.17

公开号:

CN101516014A

公开日:

2009.08.26

当前法律状态:

终止

有效性:

无权

法律详情:

未缴年费专利权终止IPC(主分类):H04N7/01申请日:20090217授权公告日:20110907终止日期:20140217|||授权|||实质审查的生效|||公开

IPC分类号:

H04N7/01; H04N5/14; H04N7/32

主分类号:

H04N7/01

申请人:

索尼株式会社

发明人:

漆原稔; 竹内宏; 薄木雅人; 小林贤吉

地址:

日本东京都

优先权:

2008.2.18 JP 2008-036179

专利代理机构:

北京集佳知识产权代理有限公司

代理人:

杜 诚;高少蔚

PDF下载: PDF下载
内容摘要

本发明提供一种图像处理装置和图像处理方法。该图像处理装置基于连续输入的时间序列图像信号之间的运动矢量产生插值图像信号,且提高时间分辨率,图像处理装置包括:特征变化检测单元,检测时间序列图像信号之间的预定特征变化;产生时间设置单元,设置插值图像信号的产生时间;以及插值图像信号产生单元,在由产生时间设置单元设置的产生时间处产生插值图像信号。另外,当产生时间设置单元在已由特征变化检测单元检测出时间序列图像信号的特征变化之后设置产生时间时,产生时间设置单元设置产生时间,以接近时间被安排在产生时间之前和之后的时间序列图像信号中的任何一个时间序列图像信号的接近时间。

权利要求书

1.  一种图像处理装置,其基于连续输入的时间序列图像信号之间的运动矢量产生插值图像信号,且提高时间分辨率,所述图像处理装置包括:
特征变化检测单元,检测所述时间序列图像信号之间的预定特征变化;
产生时间设置单元,设置所述插值图像信号的产生时间;以及
插值图像信号产生单元,在由所述产生时间设置单元设置的产生时间处产生所述插值图像信号,
其中,当所述产生时间设置单元在已由所述特征变化检测单元检测出所述时间序列图像信号的特征变化之后设置所述产生时间时,所述产生时间设置单元设置所述产生时间,以接近时间被安排在所述产生时间之前和之后的时间序列图像信号中的任何一个时间序列图像信号的接近时间。

2.
  根据权利要求1所述的图像处理装置,其中,所述产生时间设置单元设置所述产生时间,使得当特征变化已由所述特征变化检测单元检测出的时间序列图像信号与时间被安排在所述产生时间之前的时间序列图像信号之间的时间差增加时,所述产生时间的接近程度减小。

3.
  根据权利要求2所述的图像处理装置,其中,所述特征变化检测单元检测所述时间序列图像信号之间的时间分辨率之差,作为所述预定特征变化。

4.
  根据权利要求2所述的图像处理装置,其中,所述特征变化检测单元检测所述时间序列图像信号之间的运动量是否超出预定值,作为所述预定特征变化。

5.
  根据权利要求4所述的图像处理装置,其中,所述产生时间设置单元设置所述产生时间,使得当所述时间序列图像信号之间的运动量增加时,所述产生时间的接近程度增加。

6.
  根据权利要求2所述的图像处理装置,其中,所述特征变化检测单元检测所述时间序列图像信号之间的图像场景切换,作为所述预定特征变化。

7.
  一种图像处理方法,其基于连续输入的时间序列图像信号之间的运动矢量产生插值图像信号,且提高时间分辨率,所述图像处理方法包括步骤:
检测所述时间序列图像信号之间的预定特征变化;
设置所述插值图像信号的产生时间;以及
在所述产生时间设置步骤中设置的产生时间处产生所述插值图像信号,
其中,在所述产生时间设置步骤中,当在所述特征变化检测步骤中检测出所述时间序列图像信号的特征变化之后设置所述产生时间时,设置所述产生时间,以接近时间被安排在所述产生时间之前和之后的时间序列图像信号中的任何一个时间序列图像信号的接近时间。

说明书

图像处理装置和图像处理方法
相关申请的交叉引用
本发明包含与2008年2月18日在日本专利局提交的日本专利申请JP 2008-036179相关的主题,其全部内容通过引用包含于此。
技术领域
[01]本发明涉及一种图像处理装置和图像处理方法。
背景技术
[02]近年来,随着图像处理技术和信息通信技术的快速发展,开发出了高清晰数字图像广播业务。由于高清晰图像的数字广播数据量增加,所以研究了各种用于经济地发布数字广播数据的方案。在这些方案中,作为用于压缩数据容量同时维持高清晰图像数据的编码技术,众所周知的有例如通过MPEG(运动图片专家组)或VCEG(视频编码专家组)进行了标准化的压缩编码技术。
[03]在这些压缩编码技术中,已经使用了一种称作“运动补偿”的图像处理技术。运动补偿处理包括在多个时间序列图像信号之间抽取相同或最接近的像素或像素组(下文中称作“块”)的处理、对指示块的移动方向和块的移动量的运动矢量进行检测的处理(下文中称作“运动检测”)、以及当在时间序列图像信号之间进行差分编码时基于该运动矢量对块位置的像素值进行补偿的处理。如果该技术运用在例如包括在时间序列图像信号中的移动对象随时间移动的图像中、具有相同或近似像素值的块很少变化并且只作移动的场景中的话,可以在不使图像质量劣化的情况下大大减小数据容量。
[04]作为上面技术的应用例子,例如,日本专利申请公开2001-42831公开了一种技术,该技术使用输入的时间序列图像信号中所包括的运动矢量并在连续的时间序列图像信号之间产生插值图像信号,来提高时间分辨率。此外,在同一文献中,说明了使用相应的技术来提高液晶显示设备的显示质量的例子。例如,说明了一种具体技术,该技术将相应的图像应用到诸如电视图像的广播图像中,并提高液晶显示设备上所显示的广播图像的图像质量(提高响应速度)。
发明内容
此外,在诸如电视接收器或记录再现装置的图像显示设备中,可能会输入混有多种类型的图像的时间序列图像信号流。在这种情况下,图像类型的例子可以包括:由电视摄像机拍摄的图像(下文中称作“摄像机图像”)、记录胶片的图像(下文中称作“胶片图像”)、以及由计算机绘制的图像(下文中称作“CG图像”)。当然,不同类型的图像可能混合并输入。
每种图像都有不同的时间分辨率。例如,摄像机图像的时间分辨率为60(或50)场/秒。而且,胶片图像的时间分辨率为24帧/秒,且在通过下拉处理(pull-down process)将时间分辨率转换成60场/秒之后输入胶片图像。另外,CG图像为30(或25)帧/秒。然而,这些数值不是限制性的,而是示例性的。
例如,广播设备可以接收混有摄像机图像或胶片图像的时间序列信号流。在这种情况下,需要在摄像机图像和胶片图像之间切换插值处理方法。当然,当不同类型的图像混合在一起并输入时,需要根据图像类型来切换插值处理方法。
例如,在胶片图像的情况下,在下拉处理过的流中,即使插值图像信号被插入在连续的时间序列图像信号之间,也会有一部分,其实际时间分辨率没有提高。例如,在相同的时间序列图像信号被连续输入的部分中,由于插值图像信号变得与该时间序列图像信号(原始图像)相同,所以即使插入了插值图像信号,也难以获得插值效果。
因此,胶片图像需要在解除了下拉处理的状态下(24帧/秒)进行插值处理。然而,由于解除了下拉的胶片图像在时间分辨率上与摄像机图像不同,所以,插入的插值图像信号的数目或每个插值图像信号的插入时间可能不同。
一般地,在连续的时间序列图像信号之间平均地产生插值图像信号。因此,当执行插值处理以将时间序列图像信号的时间分辨率转换为相同的时间分辨率时,与胶片图像有关的插值图像信号的数目变得大于与摄像机图像有关的插值图像信号的数目。于是,当从摄像机图像到胶片图像切换插值方法时,如果使用摄像机图像的插值方法来对胶片图像执行插值处理,则在胶片图像中产生的插值图像信号的数目就变得小于原始的数目,这导致图像平滑度的降低。
因此,当对混有摄像机图像和胶片图像的时间序列图像信号执行插值处理时,需要根据图像类型切换插值处理方法。然而,为了确定图像类型(诸如摄像机图像、胶片图像以及CG图像),需要预定的处理时间。因此,在包括确定处理的切换处理期间,插值处理本身要停止,或者通过不同的插值方法来连续地执行插值处理。当执行切换处理时,图像质量可能被劣化(下文中称作抖动)。如果从发生了抖动的图像到平滑图像产生了快速变化,则观看者会感到不适。
另外,对于移动对象的运动量在连续的时间序列图像信号之间较大的图像,即使在进行了插值处理的情况下也会容易产生抖动。例如,当移动对象的运动较大较剧烈时,运动预测准确度可能变差,并且可能产生与前后的时间序列图像信号的连接不自然的插值图像信号。在这种情况下,插值处理可能引起图像质量不必要的劣化。为了防止图像质量劣化,做出了这样的对策:其中,不在具有大运动量的时间序列图像之间执行插值处理,只以原始的时间分辨率输出相应部分的图像。然而,类似于图像类型被切换的情况,当插值处理停止或重新开始时,图像质量的变化可能使观看者不适。
因此,本发明解决与本领域方法和装置有关的上述以及其它问题。需要有新的改进的图像处理装置和图像处理方法,在是否执行图像插值处理或图像插值处理方法的切换处理中能够平滑地改变插值度,从而在切换处理时减少观看者的不适感。
为了解决上面的问题,根据本发明的实施例,提供一种图像处理装置,其基于连续输入的时间序列图像信号之间的运动矢量产生插值图像信号并提高时间分辨率。该图像处理装置包括:特征变化检测单元,其检测时间序列图像信号之间的预定特征变化;产生时间设置单元,其设置插值图像信号的产生时间;以及插值图像信号产生单元,其在由产生时间设置单元设置的产生时间处产生插值图像信号。另外,当产生时间设置单元在特征变化检测单元检测出时间序列图像信号的特征变化之后设置产生时间时,产生时间设置单元设置产生时间以接近时间被安排在产生时间之前和之后的时间序列图像信号中的任何一个时间序列图像信号的接近时间。
同样,该图像处理装置与这样的技术相关,该技术用于基于连续输入的时间序列图像信号之间的运动矢量产生插值图像信号并提高时间分辨率。特别地,由于图像处理装置包括特征变化检测单元,因此该图像处理装置具有检测时间序列图像信号之间的预定特征变化的功能。因此,具有上述功能的图像处理装置可以检测时间序列图像信号的类型变化,诸如,连续输入的时间序列图像信号之间的快速速度变化或快速图像场景变化,或者时间序列图像信号的时间分辨率的变化。
此外,由于图像处理装置包括产生时间设置单元,因此该图像处理装置具有设置插值图像信号的产生时间的功能。利用这种功能,图像处理装置可以自由地设置在连续输入的时间序列图像信号之间所产生的插值图像信号的产生时间。例如,产生时间可以被设置为时间被安排在产生插值图像信号的产生时间之前和之后的两个时间序列图像信号之间的任意时间。插值图像信号中每一个的产生时间可以这样设置,使得各插值图像信号被均匀地产生在两个时间序列图像信号之间。然而,当在时间序列图像信号中检测到特征变化时,应该注意,不是所有插值图像信号的产生时间都均匀地设置。
此外,由于图像处理装置包括插值图像产生单元,所以该图像处理装置具有产生与由产生时间设置单元设置的产生时间相对应的插值图像信号的功能。利用这种功能,图像处理装置可以产生与由产生时间设置单元所任意设置的产生时间相对应的插值图像信号。例如,基于时间被安排在产生时间之前和之后的两个时间序列图像信号之间的运动矢量,根据该两个时间序列图像信号产生与具有该产生时间的图像相对应的图像信号(插值图像信号)。在这种情况下,通过不仅使用时间被安排在产生时间之前和之后的时间序列图像信号作为参考图像信号,并且参考其它时间序列图像信号的运动矢量或其它时间序列图像信号,可以产生插值图像信号。
另外,当图像处理装置在特征变化检测单元检测出时间序列图像信号的特征变化之后使用产生时间设置单元的功能来设置产生时间时,该图像处理装置设置产生时间以接近时间被安排在该产生时间之前和之后的时间序列图像信号中的任何一个时间序列图像信号的接近时间。同样,由于产生时间被设置来接近时间被安排在该产生时间之前和之后的时间序列图像信号中的任何一个时间序列图像信号的接近时间,因此可以平滑地连接平滑的高分辨图像和低分辨图像之间的边界,其中,在高分辨图像中,插值图像信号被均匀地插入在连续的时间序列图像信号之间,而在低分辨图像中,在时间序列图像信号之间没有插入插值图像信号。于是,观看者难以识别出高分辨图像和低分辨图像之间的切换。即使具有不同特征的多种类型的时间序列图像信号混合起来输入,观看者也难以识别出在切换点处产生的图像的不自然。
此外,产生时间设置单元可以这样设置产生时间,使得当特征变化已由特征变化检测单元检测出来的时间序列图像信号与时间被安排在产生时间之前的时间序列图像信号之间的时间差增加时,所述产生时间的接近程度减小。同样,由于所述接近程度随着产生了特征变化的时间与产生时间(时间被安排在紧挨产生时间之前的时间序列图像信号的时间被称作产生时间的基准)之间的时间差(经过时间)的增加而减小,所以可以平滑地连接低分辨图像和高分辨图像之间的边界。
没有产生插值图像信号的低分辨图像对应着产生时间与时间序列图像信号的时间相匹配的情形。同时,高分辨图像对应着在时间序列图像信号之间均匀产生插值图像信号的情形。就是说,这里所说明的低分辨图像和高分辨图像在插值图像信号和时间序列图像信号之间的时间接近程度上是彼此不同的。因此,如果根据经过时间,插值图像信号和时间序列图像信号逐渐地彼此接近,则就可以平滑地实现时间分辨率的变化,如上所述。
此外,特征变化检测单元可以检测时间序列图像信号之间的时间分辨率之差,作为预定的特征变化。此外,特征变化检测单元可以检测时间序列图像信号之间的运动量是否超出预定值,作为预定特征变化。此外,特征变化检测单元可以检测时间序列图像信号之间的图像场景切换,作为预定特征变化。
同样,根据时间序列图像信号的特征,可以采用各种特征变化,而与图像处理装置相关的技术能够有利地应用到任何特征变化。特征变化是代表性的例子,其中,在特征变化的变化点附近可能容易产生抖动。因此,与所述图像处理装置相关的技术可以有利地应用到特征变化,从而预期更加显著的效果。
此外,产生时间设置单元可以这样来设置产生时间,使得当时间序列图像信号之间的运动量增加时,产生时间的接近程度增加。在各特征变化中,在检测到时间序列图像信号之间的运动量的情况下,如果运动量增加,则更加容易在图像中产生扰动。这是因为,在时间序列图像信号中所包括的移动对象的移动速度太快的情况下,运动检测准确度降低,由此产生不正确的插值图像信号。
在基于包括不正确运动矢量的运动信息产生了插值图像信号的情况下,如果到与运动矢量的基点相对应的时间序列图像信号的距离增加,则观看者会看到由于运动矢量的误差而产生的影响。因此,当运动量大时,通过产生插值图像信号以接近时间序列图像信号来抑制由于误差而产生的影响。如果使用了产生时间设置单元的配置,则可以抑制由于所述误差而产生的影响。于是,即使在运动量大的部分,观看者也难以看到图像的扰动。例如,考虑这样一种方法,其中,在运动量大的部分中停止插值处理。然而,在这种情况下,由于产生了时间分辨率的快速变化,所以可能形成具有不自然的边界连接的图像。所述产生时间设置单元的配置考虑了这种问题。
为了解决上面的问题,根据本发明另一个实施例,提供一种图像处理方法,其基于连续输入的时间序列图像信号之间的运动矢量产生插值图像信号并提高时间分辨率。图像处理方法包括步骤:检测时间序列图像信号之间的预定特征变化;设置插值图像信号的产生时间;以及在产生时间设置步骤中设置的产生时间处产生插值图像信号。另外,在产生时间设置步骤中,当在特征变化检测步骤中检测出时间序列图像信号的特征变化之后设置产生时间时,设置产生时间以接近时间被安排在产生时间之前和之后的时间序列图像信号中的任何一个时间序列图像信号的接近时间。
在该图像处理方法中,在特征变化检测步骤中,在时间序列图像信号之间检测预定特征变化。接下来,在产生时间设置步骤中,设置插值图像信号的产生时间。此时,在产生时间设置步骤中,当在特征变化检测步骤中检测出时间序列图像信号的特征变化之后设置产生时间时,设置产生时间以接近时间被安排在产生时间之前和之后的时间序列图像信号中的任何一个时间序列图像信号的接近时间。接下来,在插值图像信号产生步骤中,产生与产生时间设置步骤中所设置的产生时间相对应的插值图像信号。
同样,在图像处理方法中,当在特征变化检测步骤中检测出时间序列图像信号的特征变化之后设置产生时间时,设置产生时间以接近时间被安排在产生时间之前和之后的时间序列图像信号中的任何一个时间序列图像信号的接近时间。因此,可以平滑地连接平滑高分辨图像和低分辨图像之间的边界,其中,在高分辨图像中,插值图像信号被均匀地插入在连续的时间序列图像信号之间,而在低分辨图像中,在时间序列图像信号之间没有插入插值图像信号。于是,观看者难以识别出高分辨图像和低分辨图像之间的切换。即使具有不同特征的多种类型的时间序列图像信号混合起来输入,观看者也难以识别出在切换点处产生的图像的不自然。
根据上述本发明的实施例,当是否执行图像插值处理或图像插值处理方法被切换时,插值度在切换处理期间平滑地变化。因此,可以缓解观看者在切换时所感到的不适。
附图说明
图1是示出根据本发明实施例的显示设备的简单结构的例子的图;
图2是示出根据本发明实施例的显示设备的功能结构的图;
图3是示出根据实施例的图像处理方法的例子的图;
图4是示出根据实施例的图像处理方法的例子的图;
图5是示出根据实施例的图像处理方法的处理流程的图;
图6是示出根据本发明另一个实施例的显示设备的功能结构的图;
图7是示出根据实施例的图像处理方法的例子的图;
图8是示出根据实施例的图像处理方法的处理流程的图;
图9是示出根据实施例的图像处理方法的例子的图;
图10是示出根据实施例的图像处理方法的处理流程的图;以及
图11是示出根据本发明实施例的显示设备的硬件结构的例子的图。
具体实施方式
下文中,将参考附图详细说明本发明的优选实施例。注意,在本说明书和附图中,实质具有相同功能和结构的结构元件用相同的附图标记来表示,并且省略这些结构元件的重复说明。
<实施例>
首先,在详细说明本发明的优选实施例之前,将参考图1简要说明可以应用根据各实施例所述技术的显示设备(对应于稍后要说明的显示设备100和200)的硬件结构的例子。图1是根据本发明实施例的显示设备(对应于稍后说明的显示设备100和200)的硬件结构的例子。
如图1中所示,显示设备100和200中的每一个都包括地面广播天线10、地面调谐器12、卫星广播天线14、卫星调谐器16、输入端子18、输入切换单元20、图像信号处理单元22、显示面板24、音频信号处理单元26和音频输出单元28。图像信号处理单元22是图像处理装置的例子。
地面广播天线10是用来接收从广播站发布的地面广播节目的天线。由地面广播天线10接收到的广播信号被输入到地面调谐器12。地面调谐器12对由地面广播天线10接收到的广播信号进行解调,并再现时间序列图像信号和音频信号。由地面调谐器12所再现的时间序列图像信号和音频信号被输入到输入切换单元20。
卫星广播天线14是用来接收从广播站经由广播卫星所发布的卫星广播节目的天线。由卫星广播天线14接收到的广播信号被输入到卫星调谐器16。卫星调谐器16对由卫星广播天线14接收到的广播信号进行解调,并再现时间序列图像信号和音频信号。由卫星调谐器16再现的时间序列图像信号和音频信号被输入到输入切换单元20。
输入端子18是用来连接被置于显示设备之外的图像再现设备或音频再现设备的端子。图像再现设备的例子可以包括记录再现装置和图像产生装置,记录再现装置诸如硬盘驱动器(HDD)记录器、数字通用盘(DVD)记录器、蓝光Blu-ray(注册商标)记录器、或可携式摄像机,图像产生装置诸如DVD播放器、或蓝光Blu-ray(注册商标)播放器。
音频再现设备的例子可以包括音频再现装置,诸如CD播放器或便携式音乐播放器。当然,可以将诸如个人计算机或便携式信息终端的信息处理设备连接到输入端子,或者,可以将诸如半导体存储器或磁记录介质的记录介质连接到输入端子。同样,由于各种设备被连接到输入端子18,所以除了地面广播或卫星广播外,还可以使用介质所提供的图像数据或音频数据。
输入切换单元20将从连接到地面调谐器12、卫星调谐器16或输入端子18的设备输入的时间序列图像信号或音频信号输入到图像信号处理单元22或音频信号处理单元26。此时,输入切换单元20可以通过来自用户或预定自动处理的输入操作来切换从地面调谐器12、卫星调谐器16或输入端子18所输入的信号。就是说,输入切换单元20可以有选择地对输入到图像信号处理单元22和音频信号处理单元26的信号的获取目标进行切换。
因此,图像信号处理单元22可以连续地接收不同类型的时间序列图像信号。例如,在输入了地面广播的时间序列图像信号之后将卫星广播的时间序列图像信号输入到图像信号处理单元,或者,在输入了地面广播的时间序列图像信号之后将DVD电影的时间序列图像信号输入到图像信号处理单元。类似于图像信号处理单元,音频信号处理单元26可以连续地从多个输入单元接收音频信号。此外,对于同一地面节目的时间序列图像信号来说,可以将胶片图像信号和摄像机图像信号混合并输入。
图像信号处理单元22对如上所述连续输入的时间序列图像信号执行预定信号处理,并将处理后的时间序列图像信号显示在显示面板24上。作为预定信号处理,例如,图像信号处理单元22可以根据多个输入时间序列图像信号产生插值图像信号,并转换时间序列图像信号的时间分辨率。执行了转换处理之后显示在显示面板24上的图像变成平滑的图像,该平滑的图像比从输入切换单元20输入并且还没有进行转换处理的时间序列图像信号流具有更高的时间分辨率。图像信号处理单元22的这些功能与稍后将说明的图像处理块B11和B21以及算术处理块B12和B22的功能相对应。
显示面板24是显示从图像信号处理单元22输入的图像信号的显示单元。显示面板24的例子可以包括诸如液晶显示器(LCD)、等离子体显示面板(PDP)、以及电致发光显示器(ELD)的面板。
音频信号处理单元26对从输入切换单元20输入的音频信号执行预定信号处理,并将音频信号输入到音频输出单元28。预定信号处理的例子可以包括:将通过使用各种音频编码方法进行了压缩和编码的音频信号转换成可以由音频输出单元28进行再现的音频信号的处理。如果将进行了转换处理的音频信号输入,则音频输出单元28输出音频。音频输出单元28的例子可以包括诸如扬声器或双耳式耳机的音频设备。
前面简要地说明了显示设备100和200(稍后将说明)的主要部件的结构的例子。根据下面说明的实施例的技术主要涉及各部件中的图像信号处理单元22的功能。
<第一实施例>
首先,将说明本发明的第一实施例。该实施例涉及一种图像处理方法,其基于连续输入的时间序列图像信号之间的运动矢量来产生插值图像信号并提高时间分辨率。特别地,本实施例涉及一种技术,用于当检测到时间序列图像信号的特征变化时,通过使插值图像信号的产生时间在时间序列图像信号之间不按等间隔设置,来使观看者难以察觉插值处理的切换。
[显示设备100的功能结构]
首先,将参考图2说明根据本实施例的显示设备100的功能结构。图2是示出根据本实施例的显示设备100的功能结构的图。
如图2中所示,显示设备100主要包括图像处理块B11、算术处理块B12和显示面板24。其中,图像处理块B11和算术处理块B12与图像信号处理单元22相对应。
图像处理块B11是用来基于连续输入的时间序列图像信号之间的运动矢量对相应的时间序列图像信号流执行插值处理的处理块。算术处理块B12是用来确定由图像处理块B11所执行的插值处理的方法或插值时间的处理块。
为了方便说明,图像处理块B11和算术处理块B12彼此分开,但根据实施例也可以集成为一个处理单元。此外,每个处理块中的处理可以是硬件处理或软件处理。当然,也可以实现硬件处理和软件处理的结合。
此外,图像处理块B11的功能由硬件部件中的数据信号处理单元64、图像信号处理单元66、OSD电路68、合成电路70和微型计算机72来实现,这些部件将稍后说明。另外,算术处理块B12的功能主要由微型计算机72来实现。上面的处理块的部分或全部功能可以基于构成微型计算机72的ROM 724中所记录的程序由CPU 722来实现。
(关于图像处理块B11)
首先,将说明图像处理块B11的功能结构。如图2中所示,图像处理块B11主要包括图像类型确定单元102、去交错/下拉解除单元112、速度检测单元114和插值处理单元116。图像类型确定单元102是特征变化检测单元的例子。此外,插值处理单元116是插值图像信号产生单元的例子。
(图像类型确定单元102)
图像类型确定单元102确定连续输入的时间序列图像信号的类型(图像类型)。另外,将由图像类型确定单元102确定的图像类型的信息(下文中称作确定结果)输入到去交错/下拉解除单元112、插值处理单元116和算术处理块B12的可靠性确定单元104。
图像类型确定单元102确定输入的时间序列图像信号是摄像机图像、胶片图像还是CG图像。当执行该确定处理时,图像类型确定单元102参考多个输入的时间序列图像信号并提取在时间序列图像信号之间所检测到的特征或规律,由此确定图像的类型。于是,在确定处理期间,使用多个时间序列图像信号。然而,本实施例不限于此,可以基于单个时间序列图像信号来确定图像类型。
在这种情况下,作为例子,具体说明胶片图像的确定方法。在24帧/秒的图像经过下拉处理被转换成60场/秒的图像的状态下输入胶片图像。例如,在输入的胶片图像中,在原始帧中,每个奇数帧被转换为两个场,且每个偶数帧被转换为三个场(3-2胶片图像)。
这样,由于两个帧被转换成五个场,所以24帧/秒被转换成60场/秒。基于上面的规律,当时间序列图像信号以2个场、3个场、2个场、3个场...这样的形式规则而连续地输入时,图像类型确定单元102将具有相同特征的时间序列图像信号的图像类型确定为胶片图像。
此外,对于其它图像类型(诸如CG图像)来说,图像类型确定单元102可以检测时间序列图像信号的特征变化或规律以确定图像类型。然而,这里说明的确定方法只是示例性的,本实施例不限于上面的例子,也可以使用其它确定方法来确定图像类型。
(去交错/下拉解除单元112)
根据从图像类型确定单元102输入的确定结果,去交错/下拉解除单元112对连续输入的时间序列图像信号执行去交错处理和/或下拉处理,以产生非交错的图像信号。
例如,如在上述胶片图像中,当从同一个帧转换成的多个场被连续地输入时,在这些场之间产生的插值图像就变成与该场相同的图像。因此,时间分辨率没有提高。因此,需要通过解除下拉处理将图像返回为原始图像。因此,当由图像类型确定单元102确定的结果为胶片图像时,去交错/下拉解除单元112对输入的时间序列图像信号流进行下拉解除处理。
此外,当图像类型确定单元102的确定结果为摄像机图像时,去交错/下拉解除单元112对输入的去交错图像信号流进行去交错处理,以产生非交错图像信号。由去交错/下拉解除单元112产生的非交错图像信号被输入到速度检测单元114和插值处理单元116。
然而,由于去交错图像信号可能在不转换成非交错图像信号的情况下在后期由速度检测单元114和插值处理单元116进行处理,所以,根据实施例,可以改变去交错/下拉解除单元112的功能结构。就该变型而言,可以应用根据本实施例的技术。然而,在下面的说明中,假设去交错图像信号被转换成了非交错图像信号。
(速度检测单元114)
基于由去交错/下拉解除单元112转换成非交错图像信号的时间序列图像信号,速度检测单元114检测时间序列图像信号之间的运动矢量。当检测运动矢量时,速度检测单元114可以使用各种运动检测方法,诸如块匹配方法、相位相关方法或光流法(optical flow method)。将由速度检测单元114检测到的运动矢量信息(运动信息)输入到插值处理单元116。
(插值处理单元116)
首先,插值处理单元116基于由速度检测单元114检测到的运动信息产生插值图像信号,这些插值图像信号用来对转换成非交错图像信号后的时间序列图像信号进行插值。此外,插值处理单元116将所产生的插值图像信号插入相应的时间序列图像信号之间,并产生具有高时间分辨率的图像信号。由插值处理单元116产生的图像信号被输入到显示面板24。
然而,插值图像信号的产生时间由算术处理块B12的相对时间设置单元110来设定,或者基于从图像类型确定单元102输入的确定结果来确定。所述相对时间是基于从去交错/下拉解除单元112输入的时间序列图像信号(原始图像)的时间来相对表达的时间。同时,基于所述确定结果而确定的产生时间被设置为数目根据图像类型而确定的插值图像在原始图像之间按等间隔安排时的时间。稍后说明该设置方法。
在获得相对时间时,插值处理单元116可以将插值图像信号产生时间之前和之后的时间序列图像信号的时间(下文中称作信号时间)输入到相对时间设置单元110,以获得相应的相对时间。相反,插值处理单元116可以不向相对时间设置单元110输入信号时间,而可以从相对时间设置单元110获得与单个信号时间相关的相对时间。这种获取处理的进行考虑了计算/设置相对时间时所产生的延迟。由插值处理单元116可以认出相对时间与时间序列图像信号之间的对应关系。然而,获取处理方法不限于上面的例子。
(具体例子)
这里,将参考图3和图4具体示例说明插值图像信号的产生处理方法。图3是示出当输入摄像机图像的时间序列图像信号流时插值图像信号的产生处理方法的图。图4是示出当输入胶片图像的时间序列图像信号流时插值图像信号的产生处理方法的图。
在这种情况下,假设由插值处理单元116在两个连续的时间序列图像信号(原始图像OP1和OP2)之间产生了一个或更多个插值图像信号。此外,在本例中,假设进行转换处理,由插值处理单元116将时间分辨率转换为120帧/秒的时间分辨率。
如上所述,在摄像机图像和胶片图像之间,所产生的插值图像信号的数目是不同的。当输入时间分辨率为60场/秒的摄像机图像时(参见图3),由插值处理单元116所产生的插值图像信号的数目为1(插值图像CFC1)。同时,当输入时间分辨率为24帧/秒的胶片图像时(参见图4),由插值处理单元116产生4个插值图像信号(插值图像CFF1、CFF2、CFF3和CFF4)。插值处理单元116可以在原始图像OP1和OP2之间在任意时间产生插值图像信号。然而,可以形成最平滑图像的插值方法是这样的方法:插值图像信号在原始图像OP1和OP2之间按等间隔均匀排列。
在图3的例子中,插值图像CFC1被置于使用原始图像OP1的时间作为起点(0秒)的相对时间TC1处。如上所述,当使用形成最平滑图像的插值方法时,相对时间TC1变为1/120秒。在这种情况下,首先,插值处理单元116基于原始图像OP1和OP2之间的运动信息(运动矢量MV)来计算原始图像OP1和插值图像CFC1之间的运动信息。
当设置插值图像CFC1时,基于相对时间TC1来确定原始图像OP1和插值图像CFC1之间的运动信息(MV/2)。在TC1=1/120秒的情况下,插值处理单元116通过将包括在原始图像OP1和OP2中的运动物体(块)的运动矢量MV除以2来计算运动矢量MV/2,并使用运动矢量MV/2来确定运动物体在插值图像CFC1中的位置。
使用另一个原始图像OP3作为参考图像,可以基于与原始图像OP3相对应的运动信息来产生插值图像CFC1。此外,可以基于多个参考图像来产生插值图像CFC1
在图4的例子中,插值图像CFF1、CFF2、CFF3和CFF4被设置在使用原始图像OP1的时间作为基准(0秒)的相对时间Tf1、Tf2、Tf3和Tf4处。在形成最平滑图像的插值方法的情况下,相对时间Tf1、Tf2、Tf3和Tf4分别变为1/120秒、2/120秒、3/120秒和4/120秒。
首先,插值处理单元116基于原始图像OP1和插值图像OP2之间的运动信息(运动矢量MV)计算原始图像OP1和插值图像CFF1之间的运动信息。同样,插值处理单元116计算原始图像OP1和每个插值图像CFF2、CFF3、和CFF4之间的运动信息。该计算方法与图3情况下的计算方法相同。另外,插值处理单元116基于所计算出的运动信息产生插值图像CFF1、CFF2、CFF3、和CFF4
然而,插值处理单元116可以在这样的相对时间处产生插值图像CFF1、CFF2、CFF3、和CFF4,所述相对时间比按等间隔设置的相对时间Tf1、Tf2、Tf3和Tf4更靠近原始图像OP1或原始图像OP2。例如,插值处理单元116可以产生相对时间为(Tf1+ΔTf1)(ΔTf1<0)的插值图像CFF1
在这种情况下,插值处理单元116基于通过将原始图像OP1和原始图像OP2之间的运动矢量MV乘以(Tf1+ΔTf1)秒/(1/24)秒而获得的运动矢量来产生插值图像CFF1。这可应用于插值图像CFF2、CFF3和CFF4。稍后将说明与等间隔设置的相对时间Tfk(k=1到4)的偏移量ΔTfk(k=1到4)。
在上面的例子中,输入的时间序列图像信号(原始图像OP1)的时间被用作相对时间的起点,但也可以不用作相对时间的起点。例如,如果指定了每个图像类型的插值方法,则可以基于等间隔均匀设置的相对时间Tfk(k=1到4)(在下文中称作均匀时间)来表达相对时间。根据这种表达方法,与所述均匀时间的偏移量ΔTfk(k=1到4)(即,相对于输入的时间序列图像信号(原始图像OP1或原始图像OP2)的“接近程度”)就变得很清楚了。然而,相对时间的表达不限于上面的例子。
已经说明了图像处理块B11的功能结构。接下来,将详细说明算术处理块B12的功能结构。
(算术处理块B12)
参考图2,算术处理块B12包括可靠性确定单元104、确定结果存储单元106、插值方法选择单元108和相对时间设置单元110。相对时间设置单元110是产生时间设置单元的例子。
(可靠性确定单元104和确定结果存储单元106)
可靠性确定单元104确定从图像类型确定单元102输入的确定结果的可靠性。当确定为输入的确定结果可靠时,可靠性确定单元104将确定结果输入插值方法选择单元108和相对时间设置单元110。
将确定结果输入到插值方法选择单元108和相对时间设置单元110。此时,所述确定结果是在这样的状态下被输入的:在该状态下,所述确定结果与紧临图像类型被切换之前或之后的时间序列图像信号的时间相关。由于所述确定结果与时间序列图像信号的时间相关,所以插值方法选择单元108和相对时间设置单元110可以识别指示图像类型何时被切换以及相应图像类型被切换成哪个图像类型的信息。
此外,当从图像类型确定单元102输入了确定结果时,可靠性确定单元104将确定结果记录在确定结果存储单元106中。因此,可靠性确定单元104可以参考在确定结果存储单元106中按时间序列积累的过去的确定结果,并确定从图像类型确定单元102输入的确定结果的可靠性。
例如,可靠性确定单元104在确定结果存储单元106中记录与紧临图像类型被切换之前的时间序列图像信号(原始图像OP1)和紧临图像类型被切换之后的时间序列图像信号(原始图像OP2)有关的确定结果(第一确定结果)。此外,可靠性确定单元104从图像类型确定单元102获取与时间比原始图像OP1和原始图像OP2的时间晚的时间序列图像信号(原始图像OP3)有关的确定结果(第二确定结果)。
另外,可靠性确定单元104读出记录在确定结果存储单元106中的第一确定结果,并确定第一确定结果与第二确定结果彼此是否匹配。于是,当确定为第一确定结果与第二确定结果彼此匹配时,可靠性确定单元104确定相应确定结果的可靠性为高。在本例中,对两个确定结果进行比较,但本发明不限于此。就是说,可以对三个或更多的确定结果进行比较,并确定所述确定结果的可靠性。
此外,当设置有多个图像类型确定单元102时,可靠性确定单元104可以合成从各图像类型确定单元102输入的多个确定结果,并确定确定结果的可靠性。例如,可靠性确定单元104可以将多个确定结果进行比较,当该多个确定结果彼此匹配时,就确定可靠性为高。当然,可靠性确定单元104可以参考过去的确定结果作为确定资料并综合地确定可靠性。
同样,如果在确定可靠性时要求达到预定的准确度,则使用多个确定结果,并需要多个处理。因此,当确定可靠性时,需要预定的处理时间。此外,为了增加可靠性确定准确度,需要使用大量的确定结果。在这种情况下,需要一个帧周期的时间输入预定量的时间序列图像信号。因此,通常难以在图像类型刚刚被切换之后马上就确定出图像的类型。于是,在确定处理期间,不进行插值处理,否则,会进行不适合于图像类型的插值处理,从而产生抖动。
(插值方法选择单元108)
插值方法选择单元108接收由可靠性确定单元104确认了高可靠性的确定结果,并选择与该确定结果相对应的插值方法。例如,当确定结果为摄像机图像时,插值方法选择单元108选择适合于摄像机图像的插值图像信号的数目以及插值图像信号的产生时间。此外,即使在确定结果为胶片图像或CG图像的情况下,也使用与上面方法相同的方法来选择插值图像信号的数目以及插值图像信号的产生时间。
如上所述,为了实现最平滑的图像,插值图像信号优选在时间序列图像信号之间按等间隔来产生。因此,作为插值方法,插值方法选择单元108根据插值处理后所要达到的时间分辨率值来选择插值图像信号的数目以及插值图像信号的产生时间,以便使插值图像信号按等间隔设置。另外,插值方法选择单元108将所选择的插值方法的信息输入到相对时间选择单元110中。
(相对时间设置单元110)
相对时间设置单元110基于从可靠性确定单元104输入的确定结果以及从插值方法选择单元108输入的插值方法的信息来设置产生插值图像信号的相对时间。另外,相对时间设置单元110将所设置的相对时间输入图像处理块B11的插值处理单元116。
此外,相对时间设置单元110可以根据来自插值处理单元116的设置请求将对应着指定信号时间的相对时间输入到插值处理单元116,或不管来自插值处理单元116的设置请求,将与每个时间序列图像信号的时间相关的相对时间输入到插值处理单元116。使用上述方法中的任一方法,都可以将每个时间序列图像信号的相对时间准确地通知给插值处理单元116。
在本实施例中,由相对时间设置单元110设置的相对时间的设置方法是重要的。因此,下面将详细说明相应的设置方法。
首先,基于从可靠性确定单元104输入的确定结果,相对时间设置单元110可以识别图像类型发生了变化的时间。因此,相对时间设置单元110基于用图像类型发生了变化的时间作为起点的经过时间来设置相对时间。此时,基于由插值方法选择单元108所选择的插值方法,相对时间设置单元110设置相对时间以“最终”成为插值图像信号的等间隔产生时间(下文中称作目标时间)。
如下面所具体举例说明的,相对时间设置单元110并不将在图像类型变化之后所设置的相对时间马上设置为目标时间。使用时间序列图像信号的垂直同步周期作为单位,相对时间设置单元110这样来设置相对时间,使得相对时间根据经过时间逐渐地接近目标时间。下面将说明上面设置方法的具体例子。
(具体例子)
作为例子,考虑这样的情形:其中,相对时间用经过时间的线性函数来表达。作为具体例子,采用图4所示的情形。就是说,假设在两个原始图像OP1和OP2之间产生了4个插值图像CFF1、CFF2、CFF3和CFF4。然而,假设原始图像OP1是这样的时间序列图像信号:其时间为图像类型刚刚发生了变化之后的时间序列图像信号的时间流逝了预定时间t(帧单位)之后的时间,原始图像的时间为相对时间的基准(0秒)。另外,假设原始图像OP2的相对时间为1/24秒。
此外,考虑将时间分辨率提高到1/120秒的插值处理方法。另外,假设相对时间设置单元110从插值方法选择单元108接收作为插值方法的信息的插值图像CFFk(k=1到4)的目标时间Tfk=k/120。
在这种情况下,例如,相对于从原始图像OP1经过的经过时间t(帧单位),如下面的等式(1)到(4)所示设置插值图像CFFk(k=1到4)的相对时间(Tfk+ΔTfk)。
在由下面的等式(1)到(4)所示的例子的情况下,靠近原始图像OP1的插值图像CFF1和CFF2这样来设置,使其相对时间随着经过时间t而逐渐增加。靠近原始图像OP2的插值图像CFF3和CFF4这样来设置,使其相对时间随着经过时间t而逐渐减小。在本例中,设置相对时间,使得需要60帧的时间每个插值图像CFFk(k=1到4)的相对时间(Tfk+ΔTfk)才与目标时间Tfk匹配。因此,在60帧的时间之后,每个相对时间变得与目标时间匹配。
此外,如果对下面的等式(1)和(2)相互进行比较,则设置比插值图像CFF2更靠近原始图像OP1的插值图像CFF1的相对时间,使得相对于经过时间t的斜率A1变小。斜率A1和A2的每一个指示了这样的距离变化量:随着经过时间t的过去,插值图像CFF1和CFF2的每一个以该距离变化量远离原始图像OP1。就是说,下面的等式(1)和(2)示出设置相对时间的设置方法,该方法使得插值图像CFF2随着时间的流逝变得远离原始图像OP1
同样,如果对下面的等式(3)和(4)相互进行比较,则设置比插值图像CFF3更靠近原始图像OP2的插值图像CFF4的相对时间,使得相对于经过时间t的斜率A4变小。斜率A3和A4指示这样的距离变化量:随着经过时间t的过去,插值图像CFF3和CFF4以该距离变化量远离原始图像OP2。就是说,下面的等式(3)和(4)示出设置相对时间的设置方法,该方法使得插值图像CFF3随着时间的流逝变得远离原始图像OP2
相对时间(Tf1+ΔTf1)=A1*t+B1    (1)
相对时间(Tf2+ΔTf2)=A2*t+B2    (2)
相对时间(Tf3+ΔTf3)=A3*t+B3    (3)
相对时间(Tf4+ΔTf4)=A4*t+B4    (4)
A1=1/(120*60)[秒]、B1=0[秒]
A2=2/(120*60)[秒]、B2=0[秒]
A3=-2/(120*60)[秒]、B3=1/24[秒]
A4=-1/(120*60)[秒]、B4=1/24[秒]
如上所述,相对时间设置单元110可以使用经过时间的线性函数来设置相对时间。然而,本实施例不限于此。例如,可以使用二次函数或更高次函数或指数函数等高维函数来设置相对时间。或者,可以使用任意设定的函数来设置相对时间。
也可以考虑将Ak*t(k=1到4)推广为任意函数fk(t)的方法。其中,所述函数的定义要满足条件:{0<f1(t)≤f2(t);f1(0)=f2(0)=0;f1(60)=1/120[秒],f2(60)=2/120[秒]},以及{f3(t)≤f4(t)<0[秒];f3(0)=f4(0)=0[秒];f3(60)=-2/120[秒],f4(60)=-1/120[秒]}。
同样,函数类型可以是任意的。然而,设置函数类型使得当满足经过时间t=0时所有的相对时间都与原始图像的时间匹配,而当经过时间t达到预定的帧周期(t=60)时,所有的相对时间都与目标时间相匹配。在上面的说明中,函数的类型表示为“函数”。同样,相对时间设置单元110可以被配置来基于预定函数类型针对经过时间的输入来操作并输出相对时间。然而,可以配置相对时间设置单元110,使得保持与所述“函数”相对应的表,并参考该表来设置预定的相对时间。
已经说明了根据本实施例的显示设备100的功能结构。如上所述,根据本实施例的显示设备100可以在容易产生抖动的图像类型切换部分之后设置产生插值图像的相对时间以接近原始图像的时间。此外,显示设备100可以使用图像类型发生了变化处的原始图像的时间作为起点来设置相对时间,使得所述相对时间根据经过时间的大小逐渐接近目标时间。
因此,即使图像类型切换时刻产生了抖动,由于在插值处理之后相应图像逐渐地变为平滑图像,因此观看者难以识别出插值处理的切换部分。于是,观看者难以识别出类型彼此不同的图像之间的时间变化点,这样就可以实现能够最大程度地使每个图像平滑的显示。
[图像处理方法]
将参考图5说明根据本实施例的图像处理方法的处理流程。图5是示出根据本实施例的图像处理方法的处理流程。然而,假设在第一阶段中摄像机图像的时间序列图像信号被输入到显示设备100中。
首先,如果时间序列图像信号流被输入到显示设备100中,则图像的类型由图像类型确定单元102来确定。当由图像类型确定单元102检测到摄像机图像时,作为表明是摄像机图像的确定结果,摄像机图像检测信号被输入到算术处理块B12(S102)中。此时,由于时间序列图像信号为摄像机图像,其图像类型没有变化,所以算术处理块B12可以不向图像处理块B11输入关于插值方法的信息。同样,在摄像机图像的时间序列图像信号被连续地输入的时段(摄像机图像检测间隔)内,由图像处理块B11使用的插值方法不变。
在任何时刻,当由图像类型确定单元102检测到胶片图像时(胶片图像检测间隔),作为表明是胶片图像的确定结果,胶片图像检测信号被输入到算术处理块B12中(S104)。如果输入了胶片图像检测信号,则由算术处理块B12确定所述确定结果的可靠性。在可靠性确定处理期间(可靠性确定间隔),多个胶片图像检测信号被输入到算术处理块B12(S106)。这些胶片图像检测信号是在时间序列图像信号的帧周期单位内(1/60秒)被输入的。
如果使用胶片图像检测信号确认了图像类型确定结果的可靠性,则由算术处理块B12设置相对时间,并且相对时间信息F1被发送到图像处理块B11(S108)。
无论何时胶片图像检测信号被从图像类型确定单元102中连续地输入,并被发送到图像处理块B11,都产生相对时间信息(Fn(n=1到N))(S110和S112)。此时,由相对时间信息(Fn(n=1到N))所指示的相对时间基于上述等式(1)到(4)所示的函数来设置。
在发送了预定数目N的相对时间信息FN之后,算术处理块B12完成相对时间信息的产生和发送。预定数目N是直到相对时间与目标时间相匹配时所需的帧数。因此,在上述等式(1)到(4)所示的例子的情况下,所述预定数目N变为60。如果所发送的相对时间信息的数目变为预定数目N,则相对时间和目标时间变得彼此匹配,并且每个相对时间变得在原始图像之间等间隔均匀分布。
就是说,产生插值图像时的时间被设置为最适合胶片图像的时间。因此,图像处理块B11在维持该设置的同时连续地执行插值处理。因此,即使胶片图像检测信号连续地从图像类型确定单元102输入(S114),算术处理块B12也可以不进行相对时间信息的产生和发送。
然后,在任何时刻,当由图像类型确定单元102再次检测到摄像机图像时,作为表明是摄像机图像的确定结果,摄像机图像检测信号被输入到算术处理块B12(S116)。如果输入了摄像机图像检测信号,则由算术处理块B12确定所述确定结果的可靠性。
在可靠性确定处理期间(可靠性确定间隔),多个摄像机图像检测信号被输入到算术处理块B12(S118)。如果使用摄像机图像检测信号确认了图像类型确定结果的可靠性,则由算术处理块B12设置相对时间,并且将相对时间信息C发送到图像处理块B11(S120)。
然而,在进行从胶片图像到摄像机图像的变化时所发送的相对时间信息C是适合于摄像机图像的目标时间的信息。在时间序列图像信号流为摄像机图像形式的状态下,发送目标时间信息的原因是通过连续执行适合于胶片图像的插值处理来防止在各图像之间产生不自然的运动。
就是说,优选在进行了从胶片图像到摄像机图像的变化之后立即将插值方法切换为适合于摄像机图像的插值方法。如果发送了摄像机图像的相对时间信息C,则在摄像机图像检测间隔期间,图像处理块B11使用适合于摄像机图像的插值方法对时间序列图像信号流进行图像处理,并输出处理结果。
已经说明了根据本实施例的图像处理方法的处理流程。如上所述,根据本实施例的图像处理方法,由算术处理块B12根据由图像类型确定单元102检测到的图像类型产生相对时间信息,并且由图像处理块B11基于相对时间执行插值处理。
此时,在算术处理块B12中,设置相对时间,使得具有根据图像类型的切换产生的抖动的图像逐渐地变为平滑图像。于是,可以缓解由于插值处理的快速变化而使观看者感到的不适。
如上所述,如果应用了根据本发明第一实施例的技术,则可能缓解由于插值方法根据图像类型的变化而快速变化使观看者可能感到的不适。此外,本实施例的考虑的是插值方法根据图像类型的变化的变化。然而,产生从发生了抖动的图像到平滑图像的图像切换的情形不限于此。例如,即使当连续的时间序列图像信号之间的运动量较大时,也可以产生同样的情形。根据本发明实施例的技术可以与上述情形相对应。因此,下面将说明与上述情形相对应的实施例(第二实施例)。
<第二实施例>
下面将说明本发明的第二实施例。如上所述,本实施例对应着这样的情形:其中,将根据本发明实施例的技术应用于因运动或场景的快速变化而在插值图像信号中产生了扰动的情况。在这种情况下,主要使用这样的方法:在该方法中,插值处理临时停止,并且再次显示先前时间所显示的时间序列图像信号。此时,从原始图像到平滑图像可能突然产生抖动或产生快速变化,这使观看者感到不适。因此,下面将详细说明能够缓解所述不适感的图像处理方法。
[显示设备200的功能结构]
首先,参考图6说明根据本实施例的显示设备200的功能结构。图6是示出根据本实施例的显示设备200的功能结构。然而,与根据上述第一实施例的显示设备100中的那些组成元件基本相同的组成元件用相同的附图标记来表示,并且省略其详细说明。
如图6所示,显示设备200主要包括图像处理块B21、算术处理块B22和显示面板24。其中,图像处理块B21和算术处理块B22对应着图像信号处理单元22。
为了说明方便,图像处理块B21和算术处理块B22彼此分开,但根据实施例也可以集成为一个处理单元。此外,每个处理块中的处理可以是硬件处理或软件处理。当然,也可以实现为硬件处理和软件处理的结合。
此外,图像处理块B21的功能由硬件部件中的数据信号处理单元64、图像信号处理单元66、OSD电路68、合成电路70和微型计算机72来实现,这些部件在后面说明。另外,算术处理块B22的功能主要由微型计算机72来实现。处理块的部分或全部功能可以基于构成微型计算机72的ROM 724中所记录的程序由CPU 722来实现。
(关于图像处理块B21)
图像处理块B21主要包括图像类型确定单元102、去交错/下拉解除单元112、速度检测单元214以及插值处理单元116。然而,根据第二实施例的显示设备200与根据第一实施例的显示设备100的不同之处在速度检测单元214的功能上。因此,下面只详细说明速度检测单元214的功能结构。速度检测单元214是特征变化检测单元的例子。
(速度检测单元214)
基于由去交错/下拉解除单元112转换成非交错图像信号的时间序列图像信号,速度检测单元214检测时间序列图像信号之间的运动矢量。当检测运动矢量时,速度检测单元214能够使用各种运动检测方法,诸如块匹配方法、相位相关方法或光流法。所述运动矢量是运动信息的例子。
此外,速度检测单元214可以用来计算为每个像素或为每个预定块所计算出的时间序列图像信号的运动矢量长度的平均值或中间值的总量。该总量指出两个时间序列图像信号之间的运动量。
此外,速度检测单元214可以用来合成为每个像素或为每个预定块所计算出的时间序列图像信号的运动矢量并产生合成矢量,以及计算该合成矢量的长度和方向。此时,速度检测单元214可以用来将预定权重应用到每个运动矢量上以产生合成矢量,并计算该合成矢量的长度。该合成矢量的长度也指出两个时间序列图像信号之间的运动量。
如果使用上述方法来计算运动量,则速度检测单元214确定该运动量是否超过预定阈值。该阈值取决于运动检测准确度(块的大小以及搜寻区域的大小)的设置。下面将参考图7具体说明该确定处理。图7是示出根据本实施例的速度确定处理方法。
图7例示出由速度检测单元214检测的运动量和由速度检测单元214计算的速度超出结果的曲线图。
首先,参考运动量的曲线图。在图7所示的例子中,运动量随着绝对时间过去而增加,并在某一时刻超出了预定阈值。此外,如果时间过去,运动量在某一时刻降低,并落在该阈值之下。在这种情况下,速度检测单元214确定出在从运动量超出阈值的时刻到运动量落到阈值之下的时刻期间速度超出了。
确定结果用所述图中的下面部分所示的速度超出结果来表示。在所述相应的图中,该速度超出结果在运动量超出阈值的时刻变为H(超出),该速度超出结果在运动量落在阈值之下的时刻变为L(未超出)。
速度检测单元214利用速度超出结果变为H的时刻作为基准来测量经过时间(经过时间1)。经过时间1在速度超出结果变为L的时刻结束。此外,速度检测单元214利用速度超出结果变为L的时刻作为基准来测量经过时间(经过时间2)。另外,由速度检测单元214将速度确定结果以及经过时间和运动量输入到算术处理块B22的相对时间设置单元210中。
回来参考图6,如上所述,将由速度检测单元214计算出的运动量以及速度确定结果输入到算术处理块B22的相对时间设置单元210。此外,将由速度检测单元214检测到的运动信息输入到插值处理单元116中。即使在图像类型没有切换时,速度检测单元214也将该运动量和速度确定结果输入到相对时间设置单元210中。
接下来,将说明算术处理块B22的功能结构。
[关于算术处理块B22]
算术处理块B22包括可靠性确定单元104、确定结果存储单元106、插值方法选择单元108以及相对时间设置单元210。根据第二实施例的显示设备200与根据第一实施例的显示设备100的不同之处在相对时间设置单元210的功能上。因此,下面只详细说明相对时间设置单元210的功能结构。相对时间设置单元210是产生时间设置单元的例子。
(相对时间设置单元210)
相对时间设置单元210基于从可靠性确定单元104输入的确定结果、从插值方法选择单元108输入的插值方法信息、以及由速度检测单元214计算的运动量和速度确定结果来设置产生插值图像信号的相对时间。另外,相对时间设置单元210将所设置的相对时间输入到图像处理块B21的插值处理单元116。
此外,相对时间设置单元210可以根据来自插值处理单元116的设置请求将与指定信号时间相对应的相对时间输入到插值处理单元116,或不管有没有来自插值处理单元116的设置请求,将与每个时间序列图像信号的时间相关的相对时间输入到插值处理单元116。即使使用上述方法中的任一方法,都可以将每个时间序列图像信号的相对时间准确地通知到插值处理单元116中。
在本实施例中,由相对时间设置单元210设置的相对时间的设置方法是重要的。因此,下面将详细说明相应的设置方法。
首先,相对时间设置单元210可以基于从速度检测单元214输入的速度确定结果以及运动量来识别速度发生了超出的时间。因此,相对时间设置单元210基于从速度发生了超出的时间算起的经过时间来设置相对时间。此时,基于由插值方法选择单元108所选择的插值方法,相对时间设置单元210设置相对时间以“最终”成为插值图像信号的等间隔产生时间(下文中称作目标时间)。
如下面所具体例示的那样,相对时间设置单元210并不将在图像类型变化之后所设置的相对时间立即设置为目标时间。使用时间序列图像信号的垂直同步周期作为单位,相对时间设置单元210这样来设置相对时间,使得相对时间根据经过时间逐渐接近目标时间。下面将说明上述设置方法的具体例子。
(第一个具体例子:速度未超出→速度超出)
作为例子,考虑这样的情形:其中,相对时间用速度超出之后的经过时间1的线性函数来表示。作为与图4相对应的具体例子,假设在两个原始图像OP1和OP2之间产生4个插值图像CFF1、CFF2、CFF3和CFF4,并且连续地进行插值处理,直至每个插值图像与原始图像OP1或原始图像OP2匹配。另外,假设图7所示的例子为运动量变化的例子。然而,假设插值图像CFFk(k=1到4)的目标时间为(Tf1+ΔTf1)=(Tf2+ΔTf2)=0秒,且相对时间为(Tf3+ΔTf3)=(Tf4+ΔTf4)=1/24秒。
此外,假设原始图像OP1是这样的时间序列图像信号的图像,其时间为紧临产生速度超出之后(经过时间1=0)从时间序列图像信号的时间经过了预定时间t(帧单位)之后的时间,原始图像OP1的时间为相对时间的基准(0秒)。在这种情况下,例如,针对从原始图像OP1算起的经过时间t(帧单位)来设置插值图像CFFk(k=1到4)的相对时间(Tfk+ΔTfk),如下面的等式(5)到(8)所表示的。
在下面的等式(5)到(8)中,将Bk(k=1到4)定义为经过时间1=0处的相对时间值(Tfk+ΔTfk)的原因是:可以假设相对时间是根据图像类型的切换而设置的。在这种情况下,代替按等间隔分布的插值图像CFFk(k=1到4)的时间Tfk,经过时间1=0处每个插值图像的相对时间(Tfk+ΔTfk)变为设置基准。即使在另一个相对时间设置处理期间,也通过上述设置来维持相对时间信息的连续性。
如果对下面的等式(5)和(6)相互进行比较,则设置比插值图像CFF2更靠近原始图像OP1的插值图像CFF1的相对时间,使得相对于经过时间t的斜率A1较小。斜率A1和A2的每一个指示了这样的距离变化量,随着经过时间t的过去插值图像CFF1和CFF2的每一个按这些距离变化量接近原始图像OP1。就是说,下面的等式(5)和(6)示出这样的设置相对时间的设置方法,该方法使得插值图像CFF2随着时间过去进一步接近原始图像OP1
同样,如果对下面的等式(7)和(8)相互进行比较,则设置比插值图像CFF3更靠近原始图像OP2的插值图像CFF4的相对时间,使得相对于经过时间t的斜率A4较小。斜率A3和A4的每一个指示这样的距离变化量:随着经过时间t的过去,插值图像CFF3和CFF4按该距离变化量接近原始图像OP2。就是说,下面的等式(7)和(8)示出这样的设置相对时间的设置方法,使得插值图像CFF3随着时间的过去进一步接近原始图像OP2
相对时间(Tf1+ΔTf1)=A1*t+B1    (5)
相对时间(Tf2+ΔTf2)=A2*t+B2    (6)
相对时间(Tf3+ΔTf3)=A3*t+B3    (7)
相对时间(Tf4+ΔTf4)=A4*t+B4    (8)
A1=-1/(120*60)[秒]
A2=-2/(120*60)[秒]
A3=2/(120*60)[秒]
A4=1/(120*60)[秒]
B1=(经过时间1=0处的相对时间(Tf1+ΔTf1))[秒]
B2=(经过时间1=0处的相对时间(Tf2+ΔTf2))[秒]
B3=(经过时间1=0处的相对时间(Tf3+ΔTf3))[秒]
B4=(经过时间1=0处的相对时间(Tf4+ΔTf4))[秒]
如上所述,相对时间设置单元210能够使用经过时间1的线性函数来设置相对时间。然而,本实施例不限于此。例如,可以使用二次函数或更高次函数或指数函数等高维函数来设置相对时间。可选择地,可以使用任意设定的函数来设置相对时间。类似于上述等式(1)到(4)的情形,也考虑将Ak*t(k=1到4)推广为任意函数f’k(t)的方法。
(第二个具体例子:速度超出→速度未超出)
接下来考虑这样的情形,其中,相对时间用速度超出状态变为速度未超出状态之后的经过时间2的线性函数来表示。作为与图4相对应的具体例子,假设在两个原始图像OP1和OP2之间产生4个插值图像CFF1、CFF2、CFF3和CFF4,并且各个插值图像按等间隔设置,插值处理变为平滑插值处理。另外,假设图7所示的例子为运动量变化的例子。然而,假设插值图像CFFk(k=1到4)的目标时间为Tfk=k/120秒。
此外,假设原始图像OP1是这样的时间序列图像信号的图像:其时间为紧临速度超出状态变为速度未超出状态之后(经过时间2=0)从时间序列图像信号的时间过去了预定时间t(帧单位)后的时间,并且原始图像OP1的时间为相对时间的基准(0秒)。在这种情况下,例如,相对于从原始图像OP1算起的经过时间t(帧单位)来设置插值图像CFFk(k=1到4)的相对时间(Tfk+ΔTfk),如下面的等式(9)到(12)所表示的。
在下面的等式(9)到(12)中,将Bk(k=1到4)定义为经过时间2=0处的相对时间值(Tfk+ΔTfk)的原因是:可以假设相对时间是根据图像类型的切换而设置的。在这种情况下,代替按等间隔设置的插值图像CFFk(k=1到4)的时间Tfk,经过时间2=0处每个插值图像的相对时间(Tfk+ΔTfk)变为设置基准。即使在另一个相对时间设置处理期间,也通过上述设置来维持相对时间信息的连续性。
如果对下面的等式(9)和(10)相互进行比较,则设置比插值图像CFF2更靠近原始图像OP1的插值图像CFF1的相对时间,使得相对于经过时间t的斜率A1较小。斜率A1和A2的每一个指示这样的距离变化量:随着经过时间t的过去插值图像CFF1和CFF2按该距离变化量远离原始图像OP1。就是说,下面的等式(9)和(10)示出这样的设置相对时间的设置方法,使得插值图像CFF2随着时间的过去变得远离原始图像OP1
同样,如果对下面的等式(11)和(12)相互进行比较,则设置比插值图像CFF3更靠近原始图像OP2的插值图像CFF4的相对时间,使得相对于经过时间t的斜率A4较小。斜率A3和A4的每一个指示这样的距离变化量:随着经过时间t的过去,插值图像CFF3和CFF4按该距离变化量变得远离原始图像OP2。就是说,下面的等式(11)和(12)示出这样的设置相对时间的设置方法,使得插值图像CFF3随着时间过去进一步远离原始图像OP2
相对时间(Tf1+ΔTf1)=A1*t+B1    (9)
相对时间(Tf2+ΔTf2)=A2*t+B2    (10)
相对时间(Tf3+ΔTf3)=A3*t+B3    (11)
相对时间(Tf4+ΔTf4)=A4*t+B4    (12)
A1=1/(120*60)[秒]
A2=2/(120*60)[秒]
A3=-2/(120*60)[秒]
A4=-1/(120*60)[秒]
B1=(经过时间2=0处的相对时间(Tf1+ΔTf1))[秒]
B2=(经过时间2=0处的相对时间(Tf2+ΔTf2))[秒]
B3=(经过时间2=0处的相对时间(Tf3+ΔTf3))[秒]
B4=(经过时间2=0处的相对时间(Tf4+ΔTf4))[秒]
如上所述,相对时间设置单元210能够使用经过时间2的线性函数来设置相对时间。然而,本实施例不限于此。例如,可以使用二次函数或更高次函数或指数函数等高维函数来设置相对时间。可选择地,可以使用任意设定的函数来设置相对时间。类似于上述等式(1)到(4)的情形,也可以考虑将Ak*t(k=1到4)推广为任意函数f”k(t)的方法。
已经说明了根据本实施例的显示设备200的功能结构。如上所述,根据本实施例的显示设备200能够相对于时间序列图像信号的运动量超过预定阈值的那部分之后的部分来设置产生插值图像的相对时间,以逐渐地接近原始图像的时间。同样,显示设备200能够这样来设置相对时间:使得从时间序列图像信号的运动量超过预定阈值的状态变为运动量不超过预定阈值的状态的部分变得逐渐远离原始图像。
此时,显示设备200能够这样来设置相对时间,使得该相对时间随着以速度超出/未超出切换的时刻作为基点的经过时间而逐渐地接近目标时间。因而,产生了抖动的图像与在速度超出/未超出切换的时刻进行插值处理之后的平滑图像之间的快速变化就得以缓解,并且观看者难以识别出插值处理的切换部分。于是,观看者难以识别出类型彼此不同的图像之间的变化点。于是,可以实现能够最大程度地使每个图像平滑的显示。
[关于图像处理方法]
下面将参考图8说明根据本实施例的图像处理方法的处理流程。图8是示出根据本实施例的图像处理方法的处理流程的图。然而,假设在第一阶段中摄像机图像的时间序列图像信号被输入到显示设备200中。
首先,如果时间序列图像信号流被输入到显示设备200中,则图像的类型由图像类型确定单元102来确定。当图像类型确定单元102检测到摄像机图像时,作为表明是摄像机图像的确定结果,摄像机图像检测信号就被输入到算术处理块B22(S202)中。此时,时间序列图像信号的图像类型为摄像机图像,其图像类型不变化,算术处理块B22可以不向图像处理块B21输入与插值方法有关的信息。同样,在摄像机图像的时间序列图像信号被连续地输入的一段时间(摄像机图像检测时段)期间,由图像处理块B21使用的插值方法不变。
在任何时刻,当由图像类型确定单元102检测到胶片图像时(胶片图像检测间隔),作为表明是胶片图像的确定结果,胶片图像检测信号被输入到算术处理块B22中(S204)。如果输入了胶片图像检测信号,则由算术处理块B22确定所述确定结果的可靠性。在可靠性确定处理期间(可靠性确定间隔),多个胶片图像检测信号被输入到算术处理块B22中(S206)。这些胶片图像检测信号是在时间序列图像信号的帧周期单位内(1/60秒)被输入的。
如果使用胶片图像检测信号确认了图像类型确定结果的可靠性,则由算术处理块B22设置相对时间,并且将相对时间信息F1发送到图像处理块B21中(S208)。
无论何时胶片图像检测信号被从图像类型确定单元102连续地输入,并被发送到图像处理块B21中(S210和S214),都产生相对时间信息(Fn(n=1到N))。此时,由相对时间信息(Fn(n=1到N))指示的相对时间基于上述等式(1)到(4)来设置。
然而,在任何时刻,如果由速度检测单元214输入了表明运动量已经超过预定阈值的运动量超出信号(S212),则算术处理块B22就基于上述等式(5)到(8)设置相对时间,并将相对时间信息FA1发送到图像处理块B21中(S216)。然后,基于上述等式(5)到(8)连续地发送相对时间信息FAn(2≤n≤N)(S218)。
另外,在任何时刻,如果由速度检测单元214输入了表明运动量已经低于预定阈值的运动量超出解除信号(S220),则算术处理块B22就基于上述等式(9)到(12)设置相对时间,并将相对时间信息FB1发送到图像处理块B21中(S222)。然后,基于上述等式(9)到(12)连续地发送相对时间信息FBn(2≤n≤N)(S224)。此外,在上述处理期间,不管运动量的超出/未超出,从图像类型确定单元102输入胶片图像检测信号(S226)。
此外,在任何时刻,当由图像类型确定单元102再次检测到摄像机图像时,作为表明是摄像机图像的确定结果,摄像机图像检测信号被输入到算术处理块B22(S228)。如果输入了摄像机图像检测信号,则由算术处理块B22确定所述确定结果的可靠性。
在可靠性确定处理期间(可靠性确定间隔),多个摄像机图像检测信号被输入到算术处理块B22(S230)。如果使用摄像机图像检测信号确认了图像类型确定结果的可靠性,则相对时间就由算术处理块B22设置,并且相对时间信息C被发送到图像处理块B21(S232)。
然而,当胶片图像变为摄像机图像时所发送的相对时间信息C是适合于摄像机图像的目标时间的信息。类似于根据第一实施例的图像处理方法,在时间序列图像信号流为摄像机图像类型这种状态中,发送该目标时间信息的原因是,防止连续进行适合于胶片图像的插值处理而在图像之间产生不自然的运动。
就是说,与根据上述第一实施例的图像处理方法相同,可以在胶片图像变为摄像机图像之后,立即将插值方法切换为适合于摄像机图像的插值方法。如果发送了摄像机图像的相对时间信息C,则在摄像机图像检测间隔期间,图像处理块B21使用适合于摄像机图像的插值方法对时间序列图像信号流进行图像处理,并输出处理结果。
已经说明了根据本实施例的图像处理方法的处理流程。如上所述,根据本实施例的图像处理方法,由算术处理块B22根据由图像类型确定单元102所检测到的图像类型产生相对时间信息。当运动量超过预定阈值或落在预定阈值之下时,由算术处理块B22设置相对时间信息。另外,由图像处理块B21基于由算术处理块B22所设置的相对时间来进行插值处理。
此时,在算术处理块B22中,设置相对时间,使得具有根据图像类型的切换而产生的抖动的图像逐渐地变为平滑图像。此外,设置相对时间,使得进行从平滑图像到根据运动量的变化而产生抖动的图像的逐渐变化。于是,可以缓解由于插值处理的快速变化而使观看者感到的不适。
<第一变型>
接下来,将说明第二实施例的第一变型。该变型涉及在输入的摄像机图像中检测到运动或场景的快速变化时的插值处理方法。在所述图像处理方法中,当在输入胶片图像的同时产生了运动量的超出(或超出解除)时,适当地调整相对时间。然而,该方法能够运用于摄像机图像。
例如,根据从由速度检测单元214检测出大于等于预定阈值的运动量的时刻算起的或者从所述速度超出被解除的时刻算起的经过时间t(帧单位),如下面的等式(13)所表示的,设置插值图像CFC1的相对时间TC1(参考图3)。然而,根据目标时间分辨率(例如,1/120秒)控制相对时间TC1以满足条件0≤TC1≤1/120秒。
TC1=A1*t+B1    (13)
情形1:检测到速度超出
A1=-1/(120*60)[秒]
B1=(经过时间1=0处的TC1)[秒]
情形2:解除了速度超出
A1=1/(120*60)[秒]
B1=(经过时间1=0处的TC1)[秒]
如上所述,能够使用经过时间t的线性函数来设置相对时间TC1。然而,本实施例不限于此。例如,可以使用二次函数或更高次函数或指数函数等高维函数来设置相对时间。可选择地,可以使用任意设定的函数来设置相对时间。已经说明了本实施例的第一变型。如在所述第一变型中所说明的,根据本实施例的插值处理方法能够运用于摄像机图像。
<第二变型>
接下来,将参考图9说明本实施例的第二变型。该变型涉及显示设备200中包括的速度检测单元214和相对时间设置单元210的功能。当运动量超出预定阈值时,根据超出量来调整相对时间的设置值。
在上面已经说明了的显示设备200的结构中,假设在产生了速度超出时临时停止插值处理。然而,本变型涉及一种技术,其中,即使在产生了速度超出时,插值处理也不停止,并且通过调整相对时间来减少图像的扰动。这种技术用来实现下列效果。在靠近原始图像的时间产生插值图像,因此能够减小不正确的运动信息所导致的不利影响。于是,可以抑制图像的扰动。
(关于速度检测单元214的功能)
首先,将说明根据本变型的速度检测单元214的功能。为了实现上述功能,当运动量超出预定阈值时,速度检测单元214向相对时间设置单元210输入在经过时间的一个控制周期(例如,一个帧单位)期间速度超出量V的变化。此外,速度检测单元214可以将速度确定结果输入到相对时间设置单元210。然而,速度检测单元214可以只输入速度超出量V。
(关于相对时间设置单元210的功能)
相对时间设置单元210根据从速度检测单元214输入的速度超出量V来设置相对时间,使得插值图像接近原始图像。例如,相对时间设置单元210根据速度超出之后经过时间为t处的速度超出量V来设置相对时间的变化ΔTfk(k=1到4)(对应着图4中的情形),如下面的等式(14)到(17)所表示的。然而,V(t)指示在经过时间t处的速度超出量。
ΔTf1=A1*(V(t)-V(t-1))+B1    (14)
ΔTf2=A2*(V(t)-V(t-1))+B2    (15)
ΔTf3=A3*(V(t)-V(t-1))+B3    (16)
ΔTf4=A4*(V(t)-V(t-1))+B4    (17)
A1=-1/(120*30)[秒]、B1=-1/(120*60)[秒]
A2=-2/(120*30)[秒]、B2=-1/(120*60)[秒]
A3=2/(120*30)[秒]、B3=-1/(120*60)[秒]
A4=1/(120*30)[秒]、B4=-1/(120*60)[秒]
然而,当速度超出量之间的差(V(t)-V(t-1))超过30时,设置相对时间,使得插值图像在一个控制周期内与原始图像匹配。
同样,可以通过使用经过时间t处的运动量V的变化的线性函数来设置相对时间的变化ΔTfk(k=1到4)。然而,本实施例不限于此。例如,可以使用二次函数或更高次函数或指数函数等高维函数来设置相对时间。
此外,当运动量V相对于经过时间t的过去变为常数时,变化与上述等式(5)到(8)所表示的变化相同。同时,当速度超出被解除并且不从速度检测单元214输入速度超出量时,相对时间设置单元210根据使用速度超出被解除的时刻作为基点的经过时间t、基于上述等式(9)到(12)来设置相对时间。
已经说明了本实施例的第二变型。如果运用根据第二变型的技术,则即使当时间序列图像信号之间的运动量超出预定阈值时,因运动检测准确度的减小而导致的图像扰动也能减小。在这种情况下,一般就停止进行插值处理,以防止由于插值处理而导致不必要的图像扰动的发生。
然而,根据该变型,由于能够连续地进行插值处理,同时使观看者识别不出图像扰动,所以,即使产生了运动或场景的快速变化,也能实现相对平滑的图像。此外,能够抑制插值处理的快速变化,并能进一步有效地减小观看者的不适感。
[关于图像处理方法]
这里将参考图10来说明根据本实施例第二变型的图像处理方法的处理流程。图10是示出根据该变型的图像处理方法的处理流程的图。然而,假设在第一阶段摄像机图像的时间序列图像信号被输入到显示设备200。另外,在相应的时刻,假设运动量没有超出阈值(S250)。
首先,如果时间序列图像信号流被输入到显示设备200,则图像的类型由图像类型确定单元102来确定。当图像类型确定单元102检测到摄像机图像时,作为表明是摄像机图像的确定结果,摄像机图像检测信号被输入到算术处理块B22(S252)。
此时,由于时间序列图像信号为摄像机图像,其图像类型没有变化,算术处理块B22可以不向图像处理块B21输入与插值方法有关的信息。同样,在摄像机图像的时间序列图像信号被连续地输入的一段时间(摄像机图像检测间隔)期间,由图像处理块B21使用的插值方法不变。
在任何时刻,当图像类型确定单元102检测到胶片图像时(胶片图像检测间隔),作为表明是胶片图像的确定结果,胶片图像检测信号被输入到算术处理块B22(S254)。如果输入了胶片图像检测信号,则由算术处理块B22确定所述确定结果的可靠性。在可靠性确定处理期间(可靠性确定间隔),多个胶片图像检测信号被输入到算术处理块B22(S256)。
如果使用胶片图像检测信号确认了图像类型确定结果的可靠性,则由算术处理块B22设置相对时间,并且将相对时间信息F1发送到图像处理块B21(S258)。
无论何时胶片图像检测信号被从图像类型确定单元102连续地输入,并被发送到图像处理块B21(S260和S264),都产生相对时间信息Fn(n=1到N)(S260和S264)。此时,由相对时间信息Fn(n=1到N)指示的相对时间基于上述等式(1)到(4)来设置。
然而,在任何时刻,如果由速度检测单元214输入了运动量的速度超出量(超出1)(S266),则算术处理块B22就基于上述等式(14)到(17)设置相对时间,并将相对时间信息FC1发送到图像处理块B21(S268)。然后,根据从速度检测单元214顺序输入的速度超出量(超出2、...、和超出n)(S270和S274),连续地发送相对时间信息FC2、...、和FCn(S272和S276)。
此外,在任何时刻,如果从速度检测单元214输入了表明运动量没有超出预定阈值的信息(S278),则算术处理块B22就基于上述等式(9)到(12)设置相对时间,并将相对时间信息FD1发送到图像处理块B21(S280)。
然后,基于上述等式(9)到(12)连续地发送相对时间信息FDn(2≤n≤N)(S282)。此外,在上述处理期间,不管运动量的超出/未超出,从图像类型确定单元102输入胶片图像检测信号(S284)。
此外,在任何时刻,当由图像类型确定单元102再次检测到摄像机图像时,作为表明是摄像机图像的确定结果,摄像机图像检测信号被输入到算术处理块B22(S286)。如果输入了摄像机图像检测信号,则由算术处理块B22确定所述确定结果的可靠性。
在可靠性确定处理期间(可靠性确定间隔),多个摄像机图像检测信号被输入到算术处理块B22(S288)。如果使用摄像机图像检测信号确认了图像类型确定结果的可靠性,则相对时间由算术处理块B22进行设置,并且相对时间信息C被发送到图像处理块B21(S290)。
已经说明了根据本变型的图像处理方法的处理流程。根据本变型的图像处理方法,根据由图像类型确定单元102检测到的图像类型,由算术处理块B22来产生相对时间信息。当运动量超过了预定阈值或落到预定阈值以下时,基于速度超出量来设置相对时间信息。
另外,基于由算术处理块B22设置的相对时间由图像处理块B21进行插值处理。于是,即使产生了运动或场景的快速变化,也可以实现相对平滑的图像。此外,能够抑制插值处理的快速变化,并能进一步有效地减小观看者的不适感。
[详细的硬件结构例子]
可以通过使用图11所示的一部分或全部硬件结构来实现所述设备具有的图像信号处理功能。图11是具体示出硬件结构例子的图,该硬件结构用来实现所述设备的图像信号处理单元所具有的功能。
如图11所示,显示设备100和200的每一个包括显示面板24和支座(body stand)50。例如使用液晶显示面板或有机EL板作为显示面板24。有机EL板通过使用自发射型发光元件(有机EL元件)来构造,并且不需要诸如背光的设备。因此,与需要诸如背光的设备的液晶显示面板相比,使用有机EL板的显示设备能够做得小而轻。在实际中,有机EL板的厚度可以被压缩到大约3mm或更小。由于基于上述特性能够增加布置的自由度,所以可以预期有机EL板将越来越多地用做显示面板24。
显示设备100和200的每一个的图像处理单元被设置在显示面板24所处的支座50内部,或在显示面板24的背面上。在支座50中,例如,合并有各种端口,诸如卫星广播(BS和CS)和数字地面广播调谐器、局域网(LAN)、高清晰多媒体界面(HDMI)以及通用串行总线(USB)的端口。此外,支座50具有接收数字地面广播的接收天线(未示出),诸如棒状天线或片状天线。此外,在支座50中有用于音频输出的扬声器盒和用于用户操作的操作按钮。
在这种情况下,将说明支座50中设置的图像处理单元的结构。如图11所示,支座50包括接收电路52和56、多路输出选择器54和60、解扰电路58、音频信号处理单元62、数据信号处理单元64、图像信号处理单元66、OSD(屏幕视控系统,On Screen Display)电路68、合成电路70以及微型计算机72。
在本例中,支座50设置有两个接收电路系统52和56、以及与接收电路相对应的两个多路输出选择器54和60。接收电路52是接收通过任意频道分发的附加信息信号的电路。同时,接收电路56是接收通过对应频道发布的节目广播信号的电路。当图像处理单元通电时,该图像处理单元通过接收电路52接收附加信息信号。此外,图像处理单元通过接收电路56接收节目广播信号。
微型计算机72对支座50中合并的图像处理单元的各个构成元件进行控制。微型计算机72包括中央处理单元(CPU)722、只读存储器(ROM)724、随机存取存储器(RAM)726、电可擦除可编程ROM(EEPROM)728、动态RAM(DRAM)730以及总线732。CPU 722、ROM 724、RAM726、EEPROM 728以及DRAM 730通过总线732彼此连接。
在这种情况下,基于微型计算机72的功能,将简短地说明由图像处理单元所进行的一系列处理。微型计算机72具有在EEPROM 728中存储在刚要断电之前接收到的广播信息(诸如节目广播信号的频道频率或节目ID)的功能。另外,当再次通电时,微型计算机72能够从EEPROM 728中读出在刚要断电之前所接收到的节目广播信号的广播信息,并输出频道选择控制信号以重新选择频道。
频道选择控制信号被输入到通过总线732连接的接收电路56,然后由接收电路56进行处理。然后,频道选择控制信号由解扰电路58进行处理并被输入到多路输出选择器60。首先将说明该处理流程。组成接收电路56的调谐器562以从微型计算机72输入的频道选择控制信号所指示的频道频率来接收节目广播信号。另外,由调谐器562接收到的节目广播信号被输入到解调单元564。解调单元564对通过预定的调制方案进行了调制的节目广播信号进行解调,并产生流信号。
另外,由解调单元564产生的流信号被输入到纠错单元566。纠错单元566对输入的流信号进行纠错处理,并将所述流信号输入到解扰电路58。此时,纠错单元566对利用使用Reed-Solomon码的编码方案进行了编码的流信号进行纠错处理。基于从微型计算机72获得的信息,解扰电路58在纠错之后对流信号上进行的扰码(scramble)进行解除,并再现节目广播信号。由解扰电路58解除了扰码的节目广播信号被输入到多路输出选择器60。
接下来,将说明直到从输入到多路输出选择器60的节目广播信号输出图像或音频信号的处理流程。多路输出选择器60基于通过总线732从微型计算机72输入的选择控制信号,从节目广播信号抽取广播节目数据。另外,多路输出选择器60根据所抽取的广播节目数据的类型将广播节目数据输入到音频信号处理单元62、数据信号处理单元64或图像信号处理单元66中。在音频信号处理单元62中,从输入的广播节目数据产生音频信号。在数据信号处理单元64中,从输入的广播节目数据产生图像信号以显示字符或图像。在图像信号处理单元66中,从输入的广播节目数据产生图像信号以显示图像。
由音频信号处理单元62所产生的音频信号被输出到音频输出终端(未示出)。由数据信号处理单元64产生的图像信号被输入到合成电路70。相似地,由图像信号处理单元66产生的图像信号被输入到合成电路70。此外,合成电路70也接收由OSD电路68产生的图像信号。OSD电路68产生用来显示电子节目指南表或各种指南消息的图像信号。如果输入了这些图像信号,则合成电路70就将从数据信号处理单元64、图像信号处理单元66以及OSD电路68输入的图像信号进行合成,并将合成的图像信号输出到图像输出终端(未示出)。
接下来,将简要说明直到附加信息由接收电路52接收并被输入到多路输出选择器54的处理流程。微型计算机72基于被复用为频道选择频道信号的附加信息信号来指定频道频率,并将指示频道频率的频道选择控制信号输入到接收电路52。接收电路52中包括的调谐器522基于从微型计算机72输入的频道选择控制信号接收附加信息信号。由调谐器522接收的附加信息信号被输入到解调单元524。解调单元524对从调谐器522输入的附加信息信号进行解调,并将解调了的附加信息信号输入到纠错单元526。纠错单元526对从解调单元524输入的附加信息信号进行纠错处理。另外,由纠错单元526进行了纠错的附加信息信号被输入到多路输出选择器54。
多路输出选择器54在微型计算机72的控制下从纠错后的附加信息信号提取诸如电子节目指南的附加信息。抽取的附加信息被输入到微型计算机72。微型计算机72将由多路输出选择器54抽取的附加信息临时存储在DRAM 730中。微型计算机72通过总线732控制OSD电路68,从而基于附加信息输出诸如电子节目指南的OSD信号。
使用具体例子说明了实现图像处理单元的功能结构的硬件结构。作为能够运用根据本实施例的技术的例子说明了该结构,但本实施例不限于上述例子。
本领域中的技术人员应该理解,根据设计和其它因素,可以进行各种变型、组合、子组合和改变,只要它们在所附权利要求书或其等同物的范围内即可。
例如,在根据实施例的说明中,作为相对时间的计算表达式,已经举例说明了在摄像机图像和胶片图像之间进行了切换或者运动量超出了预定阈值的情况。然而,基于下面的条件差异,可以改变系数或表达式。例如,在检测到图像质量模式(亮度、对比度和锐度)之间的切换或者检测到电影制式间的差异(2-2电影/3-2电影)的情况下,根据相应的情形可以改变相对时间的计算表达式。
此外,在运动量超出阈值并且插值图像接近原始图像的情况下以及在运动量落在阈值之下并且插值图像按等间隔排列的情况下,可以使用不同的计算表达式。此外,作为与摄像机图像的相对时间有关的计算表达式和与胶片图像的相对时间有关的计算表达式,可以使用不同的计算表达式。另外,相对于由速度检测单元214的速度超出检测因素(部分速度超出、场景变化、平转以及镜头推拉)之间的不同,可以使用不同的计算表达式。
除了上面的例子外,还可以在两个原始图像OP1和OP2之间所产生的多个插值图像CFFk(k=1到4)中的每个插值图像中使用不同的计算表达式(函数形式)。当然,无需说,根据目标时间分辨率或目标时间产生的插值图像的数目是不同的。同样,能够进行各种变型。

图像处理装置和图像处理方法.pdf_第1页
第1页 / 共52页
图像处理装置和图像处理方法.pdf_第2页
第2页 / 共52页
图像处理装置和图像处理方法.pdf_第3页
第3页 / 共52页
点击查看更多>>
资源描述

《图像处理装置和图像处理方法.pdf》由会员分享,可在线阅读,更多相关《图像处理装置和图像处理方法.pdf(52页珍藏版)》请在专利查询网上搜索。

本发明提供一种图像处理装置和图像处理方法。该图像处理装置基于连续输入的时间序列图像信号之间的运动矢量产生插值图像信号,且提高时间分辨率,图像处理装置包括:特征变化检测单元,检测时间序列图像信号之间的预定特征变化;产生时间设置单元,设置插值图像信号的产生时间;以及插值图像信号产生单元,在由产生时间设置单元设置的产生时间处产生插值图像信号。另外,当产生时间设置单元在已由特征变化检测单元检测出时间序列图。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1