图像信号处理器 和处理方法 本发明涉及一种图像信号处理器和处理方法，它通过从(例如，从数字录像机，等)再现的运动图像信息中捕获静止图像信息来对静止图像信息进行帧插值。
近来，一种计算机、即所谓的个人计算机正在普及。作为这种计算机的应用模式，从外部获得的图像数据被显示在连接于计算机之上的监视器以供欣赏，或者通过使用图像处理软件应用程序来对获取的图像数据加以不同处理以供人个娱乐，或者将这种图像数据用于出版，等等。
此外，一种所谓的数字录像机(包括数字压缩编码器digital com-coder)也正在作为一种家用电器而普及，它可以使用数字信号记录和再现运动图像的图像信息，而且这种数字录像机可以获得比记录和再现模拟图像信号的录像机更高质量的图像信号。
考虑到这种背景情况，人们自然会想到将通过数字摄像机或数字录像机获取和再现的图像取入计算机以供个人娱乐或工业之用。
然而，在将数字录像机获取或再现的运动图像作为静止图像捕获进计算机时，图像文件以帧为单位组成，但是，在这种情况下，通过交错变换获得的第一和第二场的图像数据在剧烈运动的部分变化很大。
因此，在这种条件下形成的图像文件由于第一和第二场地时间偏差而恶化。当这种图像文件被读取并显示时，场间偏差会表现为条纹，导致再现的图像与原始图像相比严重恶化的问题。
本发明是为解决上述问题而提出的。本发明的图像信号处理器为了提供显示输出，对存为文件的图像数据进行预定的解码处理，这些图像数据依赖于以帧为单位从运动图像的数字图像信号数据提取的图像数据。本发明的图像信号处理器由运动检测装置和插值装置组成，前者用于检测数据文件的运动，后者用于对运动对应的图像数据进行预定的场插值处理。
而且，作为一种通过对存为文件的图像数据进行预定的译码处理来提供显示输出的图像信号处理方法(该图像数据依赖于从运动图像的数字图像信号数据中以帧为单位提取的图像数据)，在数据文件中的运动部分被检测到后，对运动对应的图像数据进行该预定的场插值处理。
根据本发明，在静止部分和运动部分的边界值附近的区域出现的条纹可以通过对包括运动部分的静止图像进行场插值处理来减少，从而可获得清晰的静止图像。
而且，由于用来进行场插值处理的运动检测系数可以根据运动部分的情况随意设定，所以对不同的静止图像有足够的插值处理可进行，可以获得高质量的静止图像。
通过以下对本发明的优选实施例的详细说明可以明显看出本发明的其他目的和优点，该说明应和附图结合理解。附图中：
图1是作为本发明的一个实施例的图像提取系统的结构的框图；
图2是在监视器单元的显示屏幕上示出的提取图像的操作的例子的示意图；
图3A和图3B是图像文件结构的示意图；
图4A、图4B和图4C是原理性地示出图像文件的像素的示意图；
图5A和图5B是说明图像文件的运动部分的原理图；
图6A和图6B是进行运动检测和场插值处理的处理模块的框图。
图7A和图7B是原理性地示出场插值处理的概况的示意图；
图8A和图8B是在监视器单元的显示屏幕上示出的进行运动检测和场插值处理的操作的例子的示意图；及
图9是通过流程图示出运动检测和场插值处理的操作的例子的示意图。
参照图1至图9来说明本发明的优选实施例。
说明将按下述的顺序进行。1.根据本优选实施例的图像提取系统的结构的例子2.图像提取操作的例子3.根据本优选实施例的静止图像数据文件格式4.运动检测和场插值处理的操作5.进行运动检测和场插值的操作1、依赖于优选实施例的图像提取系统的结构的例子
图1是示出本发明的图像提取系统的结构的例子的框图。在此图中，计算机系统由可以捕获数字录像机的图像数据的个人计算机和为显示而连接在该个人计算机上的监视器单元组成。
在此例中，数字录像机1作为数字压缩编码器，而摄取的图像，例如，可以直接作为运动画面的数字图像信号记录在带状记录媒体如8mm盒式磁带上。该数字录像机1可以直接输出从带状记录媒体再现的图像信息并通过数字图像信号输出终端(以后简称DV终端)1a将图像信息作为数字信号摄取。后面将说明从数字录像机1输出的图像数据的格式。
计算机2在此例中的功能为从数字录像机1提供的图像数据中至少捕获一个静止图像，并为存储而生成一个静止图像的数据文件。而且，计算机2能显示生成的静态图像的数据文件。
计算机2还配有图像捕获板3，它的功能为捕获数字录像机1提供的图像数据。该图像捕获板3配有DV终端3a以输入数字录像机1的图像数据。即，在本实施例的系统中，通过经DV终端传输图像数据，数字运动图像数据可以直接输入计算机。作为数字录像机1和计算机2之间的数据传输网络，可以采用如IEEE1394的标准。
控制装置4配有CPU(中央处理单元)来执行各种处理控制以实现计算机2的各种操作。在此例中，图像捕获/显示程序4a作为上述的通过图像捕获板3实现图像捕获的软件而被安装。例如，图像捕获板3和图像捕获/显示程序4a被作为套件提供给用户。
图像捕获/显示程序4a通过对图像数据进行预定的解调处理而产生显示在监视器单元9上的图像数据，被处理的图像数据是图像捕获板3提供的，或者是曾被通过图像捕获板3写入记录媒体的。此外，可以根据需要进行场插值，这依赖于对写入记录媒体的图像数据的运动检测。而且，如将被说明的，形成并然后输出用于设置运动检测系数的显示格式。
RAM4存储将被控制装置处理的数据和作为算术运算结果的信息。
记录/再现单元5作为数据记录/再现单元，用于驱动记录媒体以存储包括数据文件在内的各种信息。在本实施例中，以下将说明作为内含的硬盘驱动器的记录/再现单元5，但它自然可被设计成可拆卸硬盘、软盘和其他各种外部存储设备的驱动器。
记录媒体6被作为记录/再现单元5的负载用于数据写和读操作。在本实施例中使用了硬盘，但如上述记录/再现单元5的例子中所述也可以使用其他存储媒体。
显示驱动器7根据控制装置4的操作指令将要显示在监视器单元9上的图像信息转换为例如RGB信号，然后输出此信号到监视器单元9。监视器单元9使用显示驱动器7提供的RGB信号进行图像显示。
和普通个人计算机一样，计算机2连接到作为输入单元10的例如键盘和鼠标等上。输入单元10的操纵信息通过计算机2的键盘接口10提供给控制单元4。控制装置4根据输入的操纵信息进行所要求的处理操作。2、图像捕获操作的例子
其次说明使用图1所示的计算机系统实际捕获一幅图像的用户操作的例子。
如图1所示，用户利用电缆经DV终端1a、3a将数字录像机和具有扩展图像捕获板3的计算机连接起来。图像捕获/显示程序4a通过对计算机2的输入单元12执行预定的键盘操作来启动。这样，可以启动如本实施例的图像捕获系统。
当假设用户在这种情况下开始数字录像机1的再现操作，则再现的图像信息作为数字信号通过DV终端1a、3a提供给计算机2。
这里，图2示出了当图像捕获/显示程序4a开始时，监视器单元的显示装置9a上所显示的用于图像捕获的显示格式的一个例子。
例如，当数字录像机1的再现操作如上所述起动时，图像捕获/显示程序4a产生显示图像信息以作为静止图像捕获传送的图像数据的预定定时的帧，并将此信息显示在图2的右上侧显示区域的录像机图像显示窗W1中。因此，在录像机图像显示窗口W1中，由数字录像机1再现的图像被显示为几乎和运动图像一样。
在查看录像机图像显示窗口W1时，用户指定想要捕获的图像的显示；并且移动光标(没有在图中示出)，例如到图像捕获键显示K的部分，(它显示图像捕获键的图像)，然后通过点击鼠标执行输入操作。
因此，在执行上述的指定操作时，图像捕获/显示程序4a将录像机图像显示窗口W1上显示的图像帧作为静态图像数据文件捕获，然后将此文件数据写入例如记录媒体6。
此外，提供了一个捕获图像显示窗口W2区域，并且在此区域按捕获顺序显示图像文件图标I，它表示由上述操作生成的静止图像的数据文件，这样用户就能检测到如上所述获取的静止图像的数据文件的捕获情况。3、本实施例的静止图像数据文件的格式
如图2所述，作为静止图像数据文件被指定捕获的帧数据(参考图3A～3B说明)被转换为静止图像数据文件(以下简称图像文件)格式。从静止图像获取数据文件可通过图像捕获/显示程序4a来实现。
图3A示出了一帧静止图像的图像文件的数据格式。此图像文件设有首标区A1，它紧跟在前沿后有32字节的首标。此该首标区A1中，数据实际排列顺序以4字节为单位，高阶字节在后(Big Endian)。在该区还存储了各种文件管理信息(将在图3B中说明)，它们是管理存储在记录媒体上的图像文件所必需的。
其次，设有图像数据的数据区A2，用于以2字节为单位、高阶字节在后的方式排列数据。
数据区A2是一帧的图像数据区域。在NTSC制式对应的SD525格式的情况下，每个磁道排列149个码块(1码块＝80字节)的码块数据在从磁道0到磁道9的总共10个磁道上依次排列。在PAL制式对应的SD625格式的情况下，149个码块数据依次排列在从磁道0到磁道11的12个磁道上。
因此，本实施例的图像文件的数据长度是固定的。在SD525格式中，数据长度固定为119232字节(＝32(字节)+149×80(字节)×10)。在SD625格式中，数据长度固定为143072字节(＝32(字节)+149×80(字节)×12)。
如上所述，从数字录像机1经过DV终端1a输出的图像数据被预定的压缩系统压缩。然而，如从上面的说明可理解的，本实施例构成的图像文件为被压缩数据的一帧数据设有一个首标。因此，图像文件的长度可以象所述的那样小，从而可以有效利用用来记录图像文件的记录媒体的记录能力。
图3B示出了首标区A1的数据格式。如图3B所示，32字节的首标区A1从前沿起，由以下组成：文件标识符区A11，文件版本区A12，详细格式信息区A13，数据属性区A14，文件长度区A15，数据长度区A16，数据偏移量区A17，以及未定义区A18(8字节)。
文件标识符区A11是文件标识符代码区域，由4字节ASCII码组成，用于文件标识。例如，在本实施例的系统中，该文件标识区A11由“DVF”确定。
文件版本区A12由4字节ASCII码组成，用来指定文件版本。例如，在版本1.00的情况下，此区被定义为“1.00”。
详细格式信息区A13表示根据上述的不同电视制式而采用的不同格式，由3字节ASCII码表示。在SD525格式的情况下，该详细格式信息被定义为“SD5”，而在SD625格式的情况下，它被定义为“SD6”。
在上述说明中，本实施例只对应了SD525格式和SD625格式，但除了此两种格式之外，还定义了四种格式：SDL525格式，SDL625格式，HD1125格式(对应于高清晰度NTSC制式)，HD1250格式(对应于高清晰度PAL系统)，它们被分别表示为“SL5”，“SL6”，“H11”，和“H12”。
在数据属性区A14中，指示和预定的图像文件有关的属性的信息用一字节数据来存储。
文件长度区15表示一个图像文件的总的数据长度，用4字节普通二进制(straight binary)表示。如上所述，由于基于SD525格式的图像文件的数据长度固定为119232字节，该119232字节用十六进制表示为“0001D1C0”。而基于SD625格式的图像文件的数据长度固定为143072字节，从而用十六进制表示为“00022EE0”。
数据长度区A16用4字节普通二进制表示一个图像文件的数据区A2的长度。在SD525格式的情况下，119200(143072-32＝143040)字节的长度用十六进制表示为“0001D1A0”。对于SD625格式，143040(143072-32＝143040)字节的长度用十六进制表示为“00022EC0”。
数据偏移量区A17用4字节普通二进制表示首标区A1相对于数据区2的偏移量(即，定义为从一个图像文件的数据首端到首标区A1的结束区域之间的区域)。在此情况下，它被定义为“00000020”，等于十六进制的32字节。
当以后需要增大定义在首标区A1的内容顶从而首标区A1也要增至超过32字节时，数据偏移量区A17将根据改变的首标区A1的数据长度作相应改变。这样，对以后的格式改变提供了灵活性。
图像捕获/显示程序4a从根据图3A～3B所示的格式捕获的图像数据来产生图像文件。即，程序4a根据提供的图像(该图像用于产生图3A所示格式的图像文件)的类型(NTSC制式/PAL制式)来设置每个区的定义内容，以此将首标(首标区A1)添加到帧数据上，该帧数据从图像捕获板3提供给计算机2的控制装置4。给上述产生的图像文件命名一个合适的文件名，并将其写入记录媒体6以便存储。4、运动检测，场插值操作
当包括运动部分的图像被作为图像文件记录到记录媒体6时，有时显示的图像会发生摆动(oscillation)。
图4A～4C原理性地示出了作为图像文件记录的图像数据(例如，一辆汽车)的各个像素。组成扫描行的像素用圆圈表示。
图4A表示一帧图像数据；图4B表示图4A表示的一帧的奇数行(第一场)的图像数据，而图4C则表示偶数行(第二场)的图像数据。即，一帧图像数据分别由图4B和图4C表示的场数据所组成。
若图4A所示的汽车图像是在它停止时捕获的，由于不包括运动部分，所以汽车图像的第一场和第二场(如图4B和图4C所示)几乎显示在同一位置。
但是，当汽车图像处在该图像以图4A中箭头F所示的方向运动的情况时，第一场和第二场的汽车位置在箭头F所示的方向上存在偏差。即，当捕获到包括运动部分的图像时，则一帧图像数据的第一场(奇数行)和第二场(偶数行)之间由于时间差别，每行都有偏差，如图5A所示，而这种情况也被记录到记录媒体6中。因此，如果这样的图像显示在监视器单元9上时，很难获得高质量的图像，因为背景和汽车(汽车轮廓)的边界值附近的图像变得很粗糙。
因此，在本发明中，对在图5A所示的情况下记录到记录媒体6上的图像文件进行运动检测，并且用场插值对两场运动部分之间的偏差进行插值。
图6A～6B原理性地示出了图像捕获/显示程序4a的图像处理模块的一个例子。图6A示出了解码装置12和去交错处理装置13，而图6B示出了图6A所示的解码装置12的细节。
从记录媒体6读取的图像文件通过解码装置12的预定的解码处理被解调为RGB信号，如图6A所示，而在下一级提供的去交错处理装置13中进行运动检测和场插值处理。然后，完成插值处理的RGB信号被送往图1所示的显示驱动器7。
如图6B所示，解码装置12的组成如下：可变长度解码部分12a，逆量化(inverse quantizing)部分12b，IDCT(逆离散余弦变换)部分12c，解除码块(deblocking)部分12d，以及RGB转换部分12e，用于将Y、Cb和Cr信号转换为R、G、B信号。
可变长度解码部分12a对可变长度编码的数据进行解码，该数据从记录媒体6读取，并用例如游程长度编码(Run-length coding)或哈夫曼编码(Huffman coding)方法进行处理，然后将解码过的信号输出到逆量化部分12b。
逆量化部分12b通过为可变长度编码的数据(该数据被可变长度解码部分12解码)设置预定的量化步长(乘积系数)来产生一个系数数据，然后执行乘积运算。IDCT部分12c根据逆量化部分12b产生的系数数据来构成和输出8×8像素的DCT码块格式的数据。解除码块部分12d将IDCT部分12c提供的DCT码块格式的数据，按照隔行扫描的顺序转换为亮度信号和色差信号(Y、Cr(R-Y)、Cb(B-Y))。
从解除码块部分12d输出的亮度信号和色差信号在RGB转换部分12e被转换为RGB信号，然后送至图6A所示的去交错处理装置13。去交错处理装置13对输入的RGB信号进行运动检测和场插值处理。
作为运动检测操作的例子，将对图5A所示的图像数据进行说明。图5B示出了图5A的图像数据中被实线包围的20个像素的放大图。此外，为运动检测处理而比较的像素被标为A和C到J。以下将说明由水平和斜向运动以及场差别来从这些像素中对例如像素B进行运动检测的例子。在检测像素B是否沿水平方向运动的情况下，进行如下算术运算。
(A-B)×(B-C)＜K (1)或
(B-C)×(C-D)＜K (2)
当同时满足表达式(1)、(2)时，就认为像素B在水平方向发生运动。
此外，在检测像素B是否沿斜向运动的情况下，进行如下算术运算。
(E-B)×(B-F)＜K (3)或
(B-F)×(F-G)＜K (4)
当同时满足表达式(3)、(4)时，就认为像素B在斜向发生运动。
此外，对于从场间差别进行运动检测，如满足表达式(5)，就认为像素B在运动。
|((A+C)/2)-B|＜K2 (5)
即，如果满足表达式(1)至(5)的任一个，则认为像素B正在运动，并对像素B进行场插值。以同样的方法对每一个像素进行运动检测，从而可检测到图像数据中运动的像素。
在这些表达式中，系数K和K2可以由用户在编辑显示格式上选择，这将在后面进行说明。
其次说明像素的场插值处理，这些像素的运动由运动检测处理检测。
图7A～7B原理性地示出了插值处理的概况。图7A示出软切换(softswitching)系统，图7B示出差别最小值(difference minimum value)插值系统。
在图7A所示的软切换系统中，为了补偿运动部分的未检测到的区域，对实线包围的运动部分的像素B周围的20个像素进行完全插值(perfectinterpolating)处理。
如图所示，用插值区域中上部和下部各行的像素信息对像素B以及与像素B同行的像素进行完全插值。此外，对于补偿区域外的像素，则随着像素远离像素B通过渐次地考虑相关像素的信息来进行插值处理。在本例中，对于和像素B隔离8个或以上的像素，则不进行插值处理。
如上所述，用插值区域内周边的像素对像素B附近的像素进行完全插值。而且，由于对于插值区域的周边，插值处理是以预定的比率进行的，所以可以通过减小边界值附近显示的闪烁来实现平滑的显示图像。
在对运动部分的像素进行完全插值时，例如，如图7B所示，比较要插值的像素周围纵向和斜向上的像素的信息的差别，并获得最小差别值的均值。
例如，比较3个值|K-P|、|L-O|、|M-N|。当：|L-O|＜|M-N|＜|K-P|
Z＝(L+O)/2
因此，像素N和像素O的均值定义为像素Z的值。
如上所述，可通过对检测到运动的像素(例如，像素Z)进行完全插值处理而从上部、下部和斜部的像素获得更精确的像素信息。5、进行运动检测和场插值的操作
以下将说明用户进行上述的运动检测和插值处理时通过图形用户界面进行的用户操作的概况。
图8A～8B示出了从记录媒体6读取的图像文件显示在监视器单元9的显示装置9a上的情景。
当参照图2如上所述从捕获的图像文件选择想要的一个时，从记录媒体6读取的图像文件Gp显示在显示窗口Wd。在图像文件Gp显示在窗口Wd的情况下，因为出现了每个奇/偶数行的偏差造成的条纹，如图5A所示，所以使用输入装置10(如鼠标)通过移动光标(图中没有示出)来指定插值区域。
在指定插值区域时，该区域(汽车的尾部)由图示的虚线所表示。即，在查看显示在显示装置9a上的图像文件Gp的同时，用户可选择特别恶化的一部分图像。
在指定了插值区域后，当使用没有(通过显示菜单条，等)图示的菜单项选择去交错处理项时，在进行了虚线所围区域的运动检测后将进行场插值。此时，用于运动检测的系数K、K2设置为控制装置4被预置的值。
如果没有指定插值区域，则对图像文件Gp的整个区域进行运动检测和插值处理。
此外，用户也可以根据插值区域的条纹情况任意设置系数K、K2。此时，如果如上所述指定了插值区域并选择了去交错处理项，则显示如图8B所示的用于设置系数的窗口Wk。这里，当在设置了系数K、K2之后点击“OK”按钮，则根据系数K和K2进行运动检测，然后进行场插值处理。
用户能否设置系数K、K2可由前面的选择来设置。
上面参照图8A、图8B说明的运动检测和场插值的概况将参照图9所示的流程图进行说明。
首先，从记录媒体6读取想要的图像文件并显示(S001)在显示装置9a的显示窗口Wd上，以及使用输入装置10，如鼠标，指定在该图像文件上进行场插值处理的区域(S002)。在指定插值区域后，从菜单项选择“交错处理”项(S003)。这里，如果用户没有设置“系数设置模式”用来根据图像文件的情况设置运动检测的系数(S004)操作转至步骤(S005)。这里，用预置在控制装置4中的值作为系数K、K2进行运动检测(S005)并对检测出运动的像素进行场插值处理以对运动部分的像素进行插值(S006)。
当场插值处理通过步骤S005、S006完成后，插值过的图像文件显示(S007)在显示装置9a上作为处理结果。如果通过查看显示在显示装置9a上的图像文件(处理结果)，用户认为可以获得好的显示效果(S008)，则通过预定的操作将经过场插值处理的图像文件写入记录媒体6以便存储(S009)。
同时，如果用户认为不能获得好的显示效果并删除插值处理(S008)，则操作通过实线指示的路径返回步骤S001，并显示处理前的原始图像(从记录媒体6读取的图像)。可以通过指定，例如其他插值区域，来重复进行运动检测和场插值处理直至获得好的显示效果。
此外，当设置了“系数设置模式”(S004)时，则显示系数设置窗口Wk。这里，用户根据显示在显示装置9a上的图像文件的情况设置系数K、K2(S010)。当在设置系数K、K2之后点击了“OK”按钮(S011)，则根据步骤S104预置的系数K、K2进行运动检测(S012)。对检测到运动的像素进行插值处理(S006)。
在通过步骤S012、S006完成场插值处理后，插值过的图像文件显示在显示装置9a上作为处理结果(S007)。如果通过查看显示在显示装置9a上的图像文件(处理结果)，用户认为(S008)可以获得好的显示效果，则插值过的图像文件被写入记录媒体6以便存储(S009)。
同时，如果用户认为不能获得好的显示效果并删除插值处理(S008)，则操作通过虚线指示的路径返回步骤S010。这里，再次设置系数K、K2，这样可再次对同一区域进行场插值处理。此外，当通过指定其他区域请求进行场插值时，可通过返回步骤S001然后指定插值区域来实现。
如果最终可获得好的图像，则该图像被写入记录媒体6并被存储在其中(S009)。
如上所述，系数K、K2可以通过设置“系数设置模式”在查看显示在显示装置9a上的图像时随意设置，场插值处理也可以根据要插值的图像文件的情况和用户的好恶来实现。
如果用户感觉设置系数K、K2不便，也可以进行简化的运动检测，即不用设置“系数设置模式”而使用作为系数K、K2预置给控制装置的值，然后进行场插值处理。
如上所述，根据本发明，对静止图像数据进行场插值，该静止图像是以帧为单位从外部提供的数字运动图像数据提取图像数据而生成的。因此，即使通过包括运动部分的帧数据来生成静止图像数据，也可以通过场插值处理抑制因场数据偏差造成的条纹，可以获得几乎和原始图像一样好的静止图像。
此外，由于可以在系数设置格式和静止图像数据显示到监视器单元(该监视器单元作为例如显示装置用于参照静止图像数据)的同时，设置运动检测的系数，所以可以进行适合于这样的静止图像数据的插值处理。
尽管描述并图示了本发明的优选实施例，但本领域的技术人员能够明显看到，可以在不背离本发明原理的前提下进行各种修改。