图像信号处理单元及处理图像信号的方法 【技术领域】
本发明涉及一种在如下情形中改善图像质量的技术，在该情形中例如以这样的方式将帧速转换为两倍：在TV(电视)接收器中将帧频率从50fps(frames per second，帧每秒)转换为100fps。具体地，本发明涉及一种图像信号处理单元和一种处理图像信号的方法，其在例如以下情形中改善图像的质量：即在输入其中将帧速为50fps的正常信号(例如telop(自动反射式幻灯机))叠加在帧速从25fps转换为50fps的影片信号上的图像的情形下改善图像的质量。
背景技术
例如在TV接收器中，当显示具有诸如PAL(Phase Alternating Line，逐行倒相制)信号之类的帧速为50fps的图像时，存在整个屏幕闪烁的缺点，即在例如基于CRT的显示装置中发生“平面闪烁干扰(plane-flickerdisturbance)”。为解决该缺点，已经使用了帧速转换，该帧速转换通过将帧频率设置为高来解决平面闪烁干扰。例如在该帧速转换中，帧速从50fps转换至100fps。这样的帧速转换还用于改善例如利用液晶方法的显示装置中的移动图像的模糊性。
另一方面，例如电影摄制(shoot)中所用的图像信号具有比典型的TV信号的帧频率更低的帧频率，并且例如是帧速为25fps的影片图像信号。由于这个原因，执行被称作电视-电影转换(telecine转换)的处理，其中影片图像信号的信号格式被转换为典型的TV信号的信号格式。例如作为电视-电影转换的例子，存在其中将帧速为25fps的影片图像信号转换为帧速为50fps的PAL方法的图像信号的2-2下拉(pull-down)。
图5指示通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像10的例子。图5是其中物体在屏幕中以向右的方向移动的影片图像10的例子。虽然所述TV信号具有50fps的帧速，但该图像的内容为通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像10。从而，TV信号中每两个连续的帧具有相同的图像内容。相应地，如图5所指示的，在物体在屏幕中移动中的情形中，第一帧F1和第二帧F2具有相同的图像内容，并且物体处于相同的位置。物体的位置在第三帧F3中移动。第三帧F3和第四帧F4具有相同的图像内容，并且物体在第三帧F3和第四帧F4中处于相同的位置。物体的位置在接着的第五帧F5中移动。以此方式，在影片图像中，由于图像在屏幕中以25fps的帧速移动，因此存在图像的运动在视觉上不够平滑的缺点。该不平滑运动被称为“抖动(judder)”
为解决该缺点，增加了“运动校正处理”。在该运动校正处理中，获得输入图像的运动矢量，并且插入根据获得的运动矢量的量进行移位(shift)的图像作为内插帧图像，由此实现平滑运动。已经广泛地使用该处理。
这里，参考图6A和图6B，将描述对图像运动进行平滑的操作。在此情形中，帧速为50fps的输入图像是通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像，并且通过增加运动校正处理，将帧速从50fps转换为100fps。图6A指示了在执行帧速转换之前的输入图像，图6B指示了在执行涉及运动校正处理的帧速转换之后地输出图像。在图6A和图6B中，垂直轴指示时间，水平轴指示图像在水平方向上的位置。
图6A中指示的输入图像的内容基本上与图5中指示的影片图像10的内容相同。与图5类似，在该图像内容中物体在向右的方向上移动。通过2-2下拉将影片图像10的帧速从25fps转换为50fps来配置该输入图像。在该输入图像中，每两个连续帧具有相同的图像内容。从而，如图6A所指示的，当物体在屏幕上移动时，第一帧F1的图像和第二帧F2的图像处于相同的位置，而物体在第三帧F3中大幅移动。在与第三帧F3的位置相同的位置处显示第四帧F4。此时，在输入图像的第一帧F1和作为第一帧F1两帧之后的第三帧F3之间，例如通过作为已知方法的块匹配方法(block matchingmethod)来获得图像的运动矢量。对每个像素单元或每个具有某个大小的块获得运动矢量。所获得的运动矢量的量被记为A。
如图6B所指示的，根据所获得的矢量的量A，以A×1/4、A×2/4和A×3/4的量移位输入图像中的第一帧F1的图像，以形成内插帧图像。通过移位获得的这些内插帧在帧速为100fps的输出图像中分别被显示为帧F1’、帧F2和帧F2’，并且由此实现了帧速为100fps的平滑运动。
图7指示了执行上述帧速转换的、相关领域的图像信号处理单元的配置的例子。在该图像信号处理单元中，输入信号152从输入终端151被输入至帧速转换电路153。如图5和图6A所指示的，输入信号152是通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像信号(作为图像格式，帧速为50fps的图像信号)。该帧速转换电路153包括第一帧存储器154、第二帧存储器155和第三帧存储器156。帧存储器154、155、和156为各自暂时地存储一帧的图像数据的图像存储器。帧速转换电路153还包括影片相位检测电路160、运动矢量检测电路161、开关162和双倍速转换/图像移位电路166。
在帧速转换电路153中，利用作为帧存储器的第一帧存储器154和第二帧存储器155将图像延迟两帧，并且通过使用输入信号152和两帧延迟的信号158，利用运动矢量检测电路161通过块匹配方法等获得两帧之间的运动矢量165。此外，通过使用输入信号152和一帧延迟的信号157，利用影片相位检测电路160获得根据输入图像的影片相位的校正定时。利用第三帧存储器156进一步将上述两帧延迟的信号158延迟一帧，由此获得三帧延迟的信号159。两帧延迟的信号158和三帧延迟的信号159被提供给开关162。在开关162中，通过对每一帧(every one frame)反转(invert)开关操作，通常选择输入图像中的奇数帧的图像，并记为选择信号163。
另一方面，所获得的运动矢量165和校正定时信号164被输入至双倍速转换/图像移位电路166。通过开关162的操作，在通常选择输入图像中的奇数帧的图像的选择信号163被输入至双倍速转换/图像移位电路166。在双倍速转换/图像移位电路166中，转换奇数帧图像的帧速以使转换后的帧速为输入信号帧速的两倍，并且然后响应运动矢量165和校正定时信号164将图像位置进行恰当地移位。由此，获得了其运动被改善为平滑的输出信号167。
如上所描述的，在获得运动矢量并且转换帧速时，将图像适当地移动，并由此实现了平滑的运动。日本专利公开第3596521号和第3855761号各自公开了关于执行这样的帧速转换的图像信号处理单元的发明。
【发明内容】
在TV图像中，存在其中诸如不同于源图像的telop之类的图像被叠加在源图像上的情形。在此情形中，即使源图像是帧速为25fps的影片图像，被叠加在源图像上的图像也可以是帧速为50fps的正常信号。
图8指示了在其中将帧速为50fps的正常图像11叠加在通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像10上的图像的例子。在该例子中，以50fps的帧速向右移动的telop(正常图像11)叠加在屏幕上以25fps的帧速向右移动的背景屏幕(影片图像10)上。背景屏幕是与图5中例子中的影片图像相同的影片图像10。在背景屏幕中，第一帧F1和第二帧F2具有相同的图像内容，并且移动物体处于相同的位置。其后，图像内容在作为第一帧F1两帧之后的第三帧F3中改变，并且物体移动。另一方面，在telop的位置以50fps的帧速在每帧中移动的同时，显示叠加的telop。
这里，参考图9和10，将对在输入如图8中的图像作为输入信号的情形中执行涉及运动校正处理的帧速转换时的处理做出描述。图9指示在执行帧速转换之前的输入图像，图10指示在执行涉及运动校正处理的帧速转换之后的输出图像。在图9和10中，垂直轴指示时间，水平轴指示图像在水平方向的位置。
图9中指示的输入图像的内容基本上与图8中指示的图像的内容相同。与图8中类似，图9中的图像内容为其中将帧速为50fps的正常图像11叠加在通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像10上的图像。如图9中所指示的，在输入图像中，在第一帧F1与作为第一帧F1两帧之后的第三帧F3之间，通过例如作为已知方法的块匹配方法来获得图像的运动矢量。对每个像素单元或每个具有某个大小的块获得图像的运动矢量。这里，将帧速为25fps的影片图像部分中的物体的运动矢量的量记为A。将帧速为50fps的所叠加的telop部分的运动矢量的量记为B。
如图10中所指示的，根据获得的运动矢量的量A，以A×1/4、A×2/4和A×3/4的量将输入图像中的第一帧F1的图像中的影片图像部分进行移位。根据获得的运动矢量的量B，以B×1/4、B×2/4和B×3/4的量将输入图像中的第一帧F1的图像中的telop部分进行移位。将其中将通过移位获得的telop部分叠加在通过移位获得的影片图像部分上的图像分别显示为帧速为100fps的帧F1’、帧F2和帧F2’。
以此方式，即使在输入其上叠加了帧速为50fps的正常图像11的图像作为输入图像的情形中，也执行与其中输入仅仅利用影片图像10配置的图像作为输入图像的(图6A和6B)上述情形相同的处理，并且由此实现了影片图像部分和正常图像部分(telop)两者以100fps的帧速平滑移动。
这里，在上述帧速转换中，为使运动平滑(改善抖动)，需要“运动校正处理”。接着，将描述停止“运动校正处理”的情形。例如，在获得运动矢量的块匹配电路中，当图像快速移动至超出矢量的搜索范围的程度时，不能正确地获得该运动矢量。从而，存在其中通过使用不正确的矢量来不正确地执行运动校正处理的情形。在此情形中，存在输出图像断续(broken)的问题。为了在图像快速移动的情形中避免该问题，在许多情形中采取措施使得停止运动校正处理，并且利用原始的位置和原始的图像内容按照输入图像的原状输出该输入图像。可选地，存在在TV接收器中准备一些移动图像模式的情形。在此情形中，当根据用户的偏好选择停止运动校正处理的模式时，关闭运动校正处理。
图11A和11B指示了其中停止运动校正处理的情形中的帧速转换的例子。图11A指示了在执行帧速转换之前的输入图像，图11B指示了在执行帧速转换之后的输出图像。在图11A和11B中，垂直轴指示时间，水平轴指示水平方向上图像的位置。
图11A中指示的输入图像的内容基本上与图5和图6A中指示的影片图像10的内容相同。该图像内容是通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像10。在输入影片图像10的情形中，由于设置模式使得停止运动校正处理，所以在执行帧速转换之后的输出图像如图11B所示。即，不移位第一帧F1的图像，形成与第一帧F1的位置和图像内容具有相同位置和相同图像内容的内插帧图像作为帧F1’、帧F2和帧F2’，并以100fps的帧速显示。利用这样的处理，尽管并未从与输入图像的帧速相同的25fps的帧速改善图像的抖动，但它可以避免通过使用不正确的矢量而不正确地执行运动校正处理所造成的输出图像的断续。
接着，参考图12A和12B，将对其中对于将帧速为50fps的正常图像11叠加在通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像10上获得的图像、停止运动校正处理并且执行帧速转换的情形做出描述。图12A指示了在执行帧速转换之前的输入图像，图12B指示了在执行帧速转换之后的输出图像。在图12A和12B中，垂直轴指示时间，水平轴指示水平方向上图像的位置。
图12A中指示的输入图像的内容与图8和9中指示的图像的内容相同。在利用停止运动校正处理的模式执行对该输入图像的帧速转换的情形中，图像如图12B所指示的。即，不移位第一帧F1的图像，形成其中与第一帧F1的位置和图像内容具有相同的位置和相同的图像内容的整体图像(整体包括影片图像内容部分和telop部分)的内插帧图像，作为帧F1’、帧F2、和帧F2’，并以100fps的帧速显示。在此情形中，如图12B所示，影片图像内容部分的抖动仍具有与输入图像的帧速相同的25fps的帧速。另一方面，在telop部分中，输入图像具有50fps的帧速，但输出图像中的图像具有对应于与影片图像10的帧速相同的25fps的帧速。这意味着相比原始输入图像，抖动被恶化(deteriorate)了。
以此方式，在相关领域中，在输入图像为正常图像与影片图像合成的图像的情形中，存在当利用停止运动校正处理的模式来执行帧速转换时、正常图像部分中的抖动被恶化的问题。在日本专利公开第3596521号和第3855761号中，这样的问题未被考虑。
鉴于前述问题，需要提供一种图像信号处理单元和一种处理图像信号的方法，其在以下情形中改善了执行帧速转换后的图像质量，上述情形是输入信号是其中将例如帧速为50fps的正常图像叠加在通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像上的图像信号的情形。
根据本发明的一个实施例，提供一种信号处理单元，其包括帧速转换电路，该帧速转换电路将输入图像信号的帧速从第一帧频率转换为是第一帧频率两倍的第二帧频率，并选择在帧速转换时是否执行运动校正处理。在执行具有运动校正处理的帧速转换的情形中，在输入图像信号中第一帧图像和第三帧图像之间确定运动矢量，随后基于该运动矢量通过对第一帧图像执行运动校正处理来形成三个内插帧图像，其后三个内插帧图像被插入至第一帧图像和第三帧图像之间，以便建立第二帧频率。在执行没有运动校正处理的帧速转换的情形中，形成与第一帧图像具有相同内容的内插帧图像，并且将其插入至输入图像信号中第一帧图像和第二帧图像之间，并形成与第二帧图像具有相同内容的内插帧图像，并将其插入至第二帧图像和第三帧图像之间。
根据本发明的一个实施例，提供一种处理图像信号的方法，其包括：将输入图像信号的帧速从第一帧频率转换为是第一帧频率两倍的第二帧频率的步骤；以及在转换帧速的该步骤中选择在帧速转换时是否执行运动校正处理。在执行具有运动校正处理的帧速转换的情形中，在输入图像信号中第一帧图像和第三帧图像之间确定运动矢量，随后基于该运动矢量通过对第一帧图像执行运动校正处理来形成三个内插帧图像，其后将三个内插帧图像插入至第一帧图像和第三帧图像之间，以便建立第二帧频率。在执行没有运动校正处理的帧速转换的情形中，形成与第一帧图像具有相同内容的内插帧图像，并且将其插入至输入图像信号中第一帧图像和第二帧图像之间，并形成与第二帧图像具有相同内容的内插帧图像，并且将其插入至第二帧图像和第三帧图像之间。
在根据本发明的实施例的图像信号处理单元或处理图像信号的方法中，输入图像信号的帧速从第一帧频率转换为是第一帧频率两倍的第二帧频率。在帧速转换时，在执行具有运动校正处理的帧速转换的情形中，在输入图像信号中第一帧图像和第三帧图像之间确定运动矢量，随后基于该运动矢量通过对第一帧图像执行运动校正处理来形成三个内插帧图像，其后将三个内插帧图像插入至第一帧图像和第三帧图像之间，以便建立第二帧频率。另一方面，在执行没有运动校正处理的帧速转换的情形中，形成与第一帧图像具有相同内容的内插帧图像，并且将其插入至输入图像信号中第一帧图像和第二帧图像之间，并形成与第二帧图像具有相同内容的内插帧图像，并将其插入至第二帧图像和第三帧图像之间。
即，根据本发明的实施例，在执行运动校正处理的情形中，在执行帧速转换之后具有第二帧频率的第一帧至第四帧为基于输入图像信号中第一帧图像的图像。另一方面，在不执行运动校正处理的情形中，具有第二帧频率的第一帧至第四帧为不仅基于输入图像信号中第一帧图像、还基于第二帧图像的图像。由此，在不执行运动校正处理的情形中，在执行帧速转换之后的图像质量与以例如以下方式执行帧速转换的情形相比得到改善，所述方式是形成与输入图像信号中的第一帧图像具有相同内容的三个内插帧图像，并以第二帧频率将其插入至输入图像信号中第一帧图像和第三帧图像之间。具体地，在输入图像为其中将正常图像叠加在影片图像上的图像的情形中，正常图像部分中抖动的恶化得到了改善。
在根据本发明的实施例的图像信号处理单元或处理图像信号的方法中，在执行帧速转换的情形中，每个信号根据是否执行运动校正处理而被最优地进行处理。因此，在例如输入图像信号为其中将帧速为50fps的正常图像叠加在帧速为25fps的影片图像上的图像信号的情形中，可以改善在执行帧速转换之后的图像质量。具体地，在不执行运动校正处理的情形中，正常图像部分中抖动的恶化得到了改善。
本发明的其他和进一步的目的、特征和优点将在下面的描述中更充分地展现。
【附图说明】
图1为指示根据本发明的一个实施例的图像信号处理单元的配置的例子的框图。
图2A和2B为根据本发明的实施例的图像信号处理单元中的帧速转换的解释性视图，图2A指示在执行帧速转换之前的输入图像，图2B指示在关闭运动校正处理的同时对输入图像执行帧速转换之后的输出图像。
图3为指示对2-2下拉影片图像信号进行相位检测的方法的解释性视图。
图4A和图4B为指示帧速转换的比较性例子的解释性视图。
图5为指示2-2下拉影片图像的例子的解释性视图。
图6A和6B为对具有图5指示的格式的输入图像执行涉及运动校正处理的帧速转换时的操作的解释性视图，图6A指示在执行帧速转换之前的输入图像，图6B指示执行帧速转换之后的输出图像。
图7为指示相关领域中的图像信号处理单元的配置的例子的框图；
图8为指示其中将正常图像叠加在2-2下拉影片图像上的图像的例子的解释性视图；
图9为指示在执行帧速转换之前的输入图像的解释性视图，该输入图像具有与图8中指示的格式相对应的格式。
图10为对具有图9指示的格式的输入图像执行涉及运动校正处理的帧速转换时的操作的解释性视图。
图11A和11B为在不执行运动校正处理时、对具有图5指示的格式的输入图像执行帧速转换时的比较性例子的操作的解释性视图，图11A指示在执行帧速转换之前的输入图像，图11B指示在执行帧速转换之后的输出图像。
图12A和12B为在不执行运动校正处理时、对具有图8指示的格式的输入图像执行帧速转换时的比较性例子的操作的解释性视图，图12A指示在执行帧速转换之前的输入图像，图12B指示在执行帧速转换之后的输出图像。
【具体实施方式】
将参考附图详细描述本发明的优选实施例。
图1指示根据本发明的实施例的图像信号处理单元的配置的例子。该图像信号处理单元包括输入信号52所输入的输入端51，和对输入信号52执行帧速转换的帧速转换电路53。图像信号处理单元还包括开关控制部分70，其用于指示在帧速转换电路53中的帧速转换时是否执行运动校正处理。
帧速转换电路53执行帧速转换，以使作为输入信号52的图像信号中的第一帧频率(例如50fps)被转换为是第一帧频率两倍的第二帧频率(例如100fps)。然后，帧速转换电路53输出作为帧速转换的结果的输出信号67。帧速转换电路53选择在帧速转换时是否执行运动校正处理。
输入信号52是在其中例如具有第一帧频率的每两个连续的帧具有相同的图像内容的图像信号。作为这样的图像信号的例子，图5和6A指示了通过用2-2下拉将帧速从25fps转换为50fps所配置的影片图像(作为图像格式，帧速为50fps的图像信号)。输入信号52可以是第一图像部分和第二图像部分混合的图像信号。利用其中具有第一帧频率的、相同图像内容的每两个连续的帧的图像来配置第一图像部分，利用具有与第一帧频率相同的频率的移动图像来配置第二图像部分。作为这样的图像信号的例子，图8和9指示了其中将帧速为50fps的正常图像11(第二图像部分)叠加在通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像10(第一图像部分)上的图像信号。
帧速转换电路53包括第一帧存储器54、第二帧存储器55和第三帧存储器56。帧速转换电路53还包括影片相位检测电路60、运动矢量检测电路61、第一开关62、第二开关68和双倍速转换/图像移位电路66。
第一帧存储器54、第二帧存储器55和第三帧存储器56串联连接，并且第一帧存储器54、第二帧存储器55和第三帧存储器56中的每一个是暂时地存储一帧图像数据的图像存储器。输入信号52被输入至第一帧存储器54，并且第一帧存储器54输出从输入信号52被延迟一帧的延迟一帧的信号57。从第一帧存储器54输出的延迟一帧的信号57被输入至第二帧存储器55，并且第二帧存储器55输出从输入信号52被延迟两帧的延迟两帧的信号58。从第二帧存储器55输出的延迟两帧的信号58被输入至第三帧存储器56，并且第三帧存储器56输出从输入信号52被延迟三帧的延迟三帧的信号59。
输入信号52和延迟一帧的信号57被输入至影片相位检测电路60。基于输入信号52和延迟一帧的信号57，影片相位检测电路60形成在执行帧速转换时采用图像校正的定时的校正定时信号64，并将校正定时信号64输出至双倍速转换/图像移位电路66。输入信号52和延迟两帧的信号58被输入至运动矢量检测电路61。基于输入信号52和延迟两帧的信号58，运动矢量检测电路61获得在执行运动校正处理时使用的运动矢量65，并将运动矢量65输出至双倍速转换/图像移位电路66。
延迟两帧的信号58和延迟三帧的信号59被提供给第一开关62。第一开关62通常通过为每一帧反转开关操作来选择输入图像信号中奇数帧的图像，并将该图像输出为第一选择信号63。
延迟两帧的信号58和来自第一开关62的第一选择信号63被提供给第二开关68。第二开关68可根据在双倍速转换/图像移位电路66中是否执行运动校正处理来切换。在执行运动校正处理的情形中，第二开关68向双倍速转换/图像移位电路66照原状输出从第一开关62输出的第一选择信号63作为第二选择信号69。在停止运动校正处理的情形中，第二开关68输出延迟两帧的信号58至双倍速转换/图像移位电路66，作为第二选择信号69。
双倍速转换/图像移位电路66基于从影片相位检测电路60输出的校正定时信号64、从运动矢量检测电路61输出的运动矢量65、以及从第二开关68输出的第二选择信号69对输入信号52执行帧速转换，并且输出具有是输入信号52的帧频率的两倍帧频率的输出信号67。如后面将要描述的具体例子，双倍速转换/图像移位电路66根据是否执行运动校正处理来执行最优帧速转换。
开关控制部分70根据是否执行运动校正处理来执行第二开关68的开关控制。开关控制部分70还向双倍速转换/图像移位电路66发出在帧速转换时是否执行运动校正处理的指令。根据用户的偏好，在执行帧速转换时是否执行运动校正处理的确定可通过例如未在图中示出的操作部件来选择。在此情形中，开关控制部分70基于来自用户的指令确定是否执行运动校正处理，并向第二开关68和双倍速转换/图像移位电路66发出适当的指令。在图像移动特别快的情形中，存在很多不正确地执行运动校正处理，并且输出的图像是断续(broken)的情形。从而，在帧速转换电路53中自动地检测这种快速移动的图像，并且可以自动地开启或关闭运动校正处理。在此情形中，可以例如基于在运动矢量检测电路61中检测的运动矢量来执行对图像是否快速移动的确定。
在实施例中，帧速转换电路53对应于本发明中“帧速转换电路”的具体的例子。第一帧存储器54、第二帧存储器55和第三帧存储器56各自对应于本发明中“图像存储器”的具体的例子。第一开关62对应于本发明中“第一开关”的具体的例子，第二开关68对应于本发明中“第二开关”的具体的例子。双倍速转换/图像移位电路66对应于本发明中“转换电路”的具体的例子。
接着，将描述根据实施例的图像信号处理单元的操作。
在图像信号处理单元中，输入信号52从输入端51被输入至帧速转换电路53。在帧速转换电路53中，利用作为帧存储器的帧存储器54和55将该图像延迟两帧，并且，通过使用输入信号52和延迟两帧的信号58，在运动矢量检测电路61中通过块匹配方法或类似方法获得两帧之间的运动矢量65。通过使用输入信号52和延迟一帧的信号57，在影片相位检测电路60中获得根据输入图像的影片相位的校正定时。此外，上述延迟两帧的信号58在第三帧存储器56中被进一步延迟一帧，由此获得延迟三帧的信号59。延迟两帧的信号58和延迟三帧的信号59被供应给第一开关62。在第一开关62中，对每一帧反转开关操作。由此，通常选择输入图像(输入信号52)中的奇数帧的图像，并将其记为第一选择信号63。延迟两帧的信号58和来自第一开关62的第一选择信号63被供应给第二开关68。第二开关68可根据在双倍速转换/图像移位电路66中是否执行运动校正处理来切换。
这里，在执行运动校正处理的情形中，来自第一开关62的第一选择信号63被照原状输出。即输入图像中奇数帧的图像信号作为第二选择信号69被输出至双倍速转换/图像移位电路66。此外，运动矢量65和校正定时信号64被输入至双倍速转换/图像移位电路66。在双倍速转换/图像移位电路66中，对奇数帧图像的帧速进行转换以使转换后的帧速为输入信号52的帧速的两倍。其后，如后面将要描述的具体的例子，图像位置响应运动矢量65和校正定时信号64被合适地和适当地移位。由此，获得其运动被改善为平滑的输出信号67。
在不执行运动校正处理的情形中，延迟两帧的信号58作为第二选择信号69被输出至双倍速转换/图像移位电路66。在双倍速转换/图像移位电路66中，如后面将要描述的具体的例子，将延迟两帧的信号58的帧速适当地进行转换以使转换后的帧速为输入信号52的帧速的两倍。由此，获得了与相关领域情形相比在其中防止了抖动的恶化的输出信号67。
接着，将描述执行运动校正处理的情形中和不执行运动校正处理的情形中的帧速转换的具体的例子。
图8指示了将其中帧速为50fps的正常图像11叠加在通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像10上的图像的例子。在此例子中，以50fps的帧速向右移动的telop(正常图像11)被叠加在屏幕中以25fps的帧速向右移动的背景屏幕(影片图像10)上。背景屏幕是如在图5中的例子的影片图像10。第一帧F1和第二帧F2具有相同的图像内容，并且移动物体处于相同的位置。其后，在作为第一帧F1两帧之后的第三帧F3中改变图像内容，并且物体移动。另一方面，显示叠加的telop，同时telop的位置以50fps的帧速在每帧中移动。
参考图9和10，将对在如图8中的图像作为输入信号52被输入的情形中，执行涉及运动校正处理的帧速转换时的处理做出描述。图9指示在执行帧速转换之前的输入图像，图10指示在执行涉及运动校正处理的帧速转换之后的输出图像。在图9和10中，垂直轴表示时间，水平轴表示水平方向上图像的位置。
图9指示的输入图像的内容基本上与图8中指示的图像的内容相同。与图8类似，图9中的图像内容为其中将帧速为50fps的正常图像11叠加在通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像10上的图像。在运动矢量检测电路61中，如图9中所指示的，在输入图像中，在第一帧F1与作为第一帧F1两帧之后的第三帧F3之间，通过例如作为已知方法的块匹配方法获得图像的运动矢量。对每个像素单元或每个具有特定大小的块获得图像的运动矢量。这里，帧速为25fps的影片图像部分中物体的运动矢量的量记为A。帧速为50fps的叠加的telop部分中的运动矢量的量记为B。
在双倍速转换/图像移位电路66中，如图10所指示的，根据获得的运动矢量的量A，通过A×1/4、A×2/4和A×3/4的量对输入图像中第一帧F1的图像中的影片图像部分进行移位。根据获得的运动矢量的量B，通过B×1/4、B×2/4和B×3/4的量对输入图像中第一帧F1的图像中的telop部分进行移位。将其中通过移位获得的telop部分叠加在通过移位获得的影片图像部分上的图像分别作为帧F1’、帧F2和帧F2’，以100fps的帧速插入至输入图像第一帧F1和第三帧F3之间。
以此方式，即使输入在其上叠加了帧速为50fps的正常图像11的图像作为输入图像的的情形中，也如同在其中输入仅仅利用影片图像10配置的图像作为输入图像的上述情形(图6A和6B)执行相同的处理，并且由此实现了影片图像部分和正常图像部分(telop)两者以100fps的帧速平滑移动。
接着，参考图2A和2B，将对在输入其中将帧速为50fps的正常图像11叠加在帧速为25fps的2-2下拉影片图像10上的图像作为输入图像52时、在停止运动校正处理的同时执行帧速转换的情形做出描述。图2A指示在执行帧速转换之前的输入图像，图2B指示在执行帧速转换之后的输出图像。在图2A和2B中，垂直轴表示时间，水平轴表示水平方向上图像的位置。
图2A指示的输入图像的内容与图8和9中指示的图像的内容相同。在利用停止运动校正处理的模式对该输入图像执行帧速转换的情形中，该图像如图2B中所指示的。即，在双倍速转换/图像移位电路66中，不移位第一帧F1中的图像，形成其中具有与第一帧F1的位置和图像内容相同的位置和相同的图像内容的整体图像(整体包括影片图像内容部分和telop部分)的内插帧图像作为帧F1’，并且以100fps的帧速插入至输入图像中的第一帧F1和第二帧F2之间。类似地，在第二帧F2的情形中，形成其中具有与第二帧F2的位置和图像内容相同的位置和相同的图像内容的整体图像(整体包括影片图像内容部分和telop部分)的内插帧作为帧F2’，并且以100fps的帧速插入至输入图像的第二帧F2和第三帧F3之间。对随后的帧执行相同的处理。利用这样的处理，如图2B所指示的，影片图像内容部分中的抖动仍具有与输入图像的帧速相同的25fps的帧速。telop部分中的抖动也仍具有与输入图像的帧速相同的50fps的帧速。由此，防止了抖动的恶化。
即，在该实施例中，在执行运动校正处理的情形中，在执行帧速转换之后的具有第二帧频率(100fps的帧速)的第一帧至第四帧F1、F1’、F2和F2’为基于输入图像信号中第一帧F1的图像。另一方面，在不执行运动校正处理的情形中，具有第二帧频率的第一帧至第四帧F1、F1’、F2和F2’为不仅基于输入图像信号中第一帧F1、还基于第二帧F2的图像。由此，在不执行运动校正处理的情形中，与例如以如下方式执行帧速转换的情形相比，改善了在执行帧速转换之后的图像质量，上述方式是形成具有与输入图像信号中的第一帧F1的内容具有相同内容的三帧的内插帧图像，并且利用第二帧频率将其插入至输入图像信号的第一帧F1和第三帧F3之间(参考图12A和12B)。具体地，在输入图像是其中将正常图像叠加在影片图像上的图像的情形中，改善了正常图像部分中的抖动的恶化。
在上面描述的具体例子中，对作为输入信号52的、其中将帧速为50fps的正常图像11叠加在通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像10上的图像信号做出描述。但是，在仅仅利用影片图像10来配置输入信号52的情形中，也执行相同的处理。
这里，作为与如图9和10所指示的其中执行运动校正处理的具体例子的相比较的例子，考虑如图4A和图4B所指示的其中执行该处理的情形。图4A指示了在执行帧速转换之前的输入图像，图4B指示了在执行帧速转换之后的输出图像。在图4A和4B中，垂直轴表示时间，水平轴表示水平方向上图像的位置。
图4A中指示的输入图像的内容与图8和9中指示的图像的内容相同。在如图4B所指示的执行运动校正处理时，假定输出图像中的帧F1和F1’是基于输入图像中第一帧F1形成的，并且输出图像中的帧F2和F2’是基于输入图像中第二帧F2形成的。更具体地，根据运动矢量的量A以A×1/4的量对输入图像中第一帧F1的图像中的影片图像部分进行移位，而根据运动矢量的量B以B×1/4的量对telop部分进行移位，由此形成输出图像中的帧F1’。此外，根据运动矢量的量A以A×2/4和A×3/4的量对输入图像中第二帧F2的图像中的影片图像部分进行移位，而根据运动矢量的量B以B×2/4和B×3/4的量对telop部分进行移位，由此形成输出图像中的帧F2和F2’。
在这种方法的情形中，如图4B所指示的，在影片图像部分中获得帧速为100fps的平滑输出图像。但是，在正常图像部分(telop)中获得具有不平滑运动的图像。相应地，与是否执行运动校正处理无关，当基于输入图像中的第一帧F1形成输出图像中的帧F1且基于输入图像中的第二帧F2形成输出图像中的帧F2和F2’时，通常恶化了图像质量。如在实施例中，根据是否执行运动校正处理，需要在形成内插帧时，适当地切换被用作基础的帧。即，在执行运动校正处理时，基于输入图像中的第一帧F1形成输出图像中的所有的帧F1’、F2和F2’。在不执行运动校正处理时，基于输入图像中的第一帧F1形成输出图像中的帧F1’，基于输入图像中的第二帧F2形成输出图像中的帧F2和F2’。以此方式，需要适当地切换用作基础的帧。
图3指示了对通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像信号进行相位检测的方法。在该实施例中，例如在执行运动校正处理时，如图9所示，需要获得输入图像中第一帧F1和作为第一帧F1两帧之后的第三帧F3之间的运动矢量。在此情形中，虽然输入信号52的信号格式是50fps的帧速，但作为输入信号52的基础的图像信号具有25fps的帧速。从而，需要知道帧速为50fps的输入图像中的哪一帧对应于帧速为25fps的影片图像的哪一相位。在影片相位检测电路60中，为执行该影片相位检测，利用了以下特点：通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像信号中每两个连续的帧具有相同的图像内容。即，第一帧F1和第二帧F2具有相同的内容，而第三帧F3和第四帧F4具有相同的内容。类似地，在随后的帧中，利用了每两个连续的帧具有相同的图像内容且将相同的图像内容显示两次的特点。
如图3中，在获得输入图像信号中彼此直接相邻的两帧之间差时，按照如下的两帧循环来检测影片相位中的变化：
第一帧F1与第二帧F2之间的差为零；
第二帧F2与第三帧F3之间的差不是零；
第三帧F3与第四帧F4之间的差为零；
第四帧F4与第五帧F5之间的差不是零；
利用此方法，可以在两帧循环中检测影片相位。
如上所述，在根据该实施例的图像信号处理单元中，在执行帧速转换的情形中，根据是否执行运动校正处理而最优处理每一信号。从而，在例如输入图像信号是其中将帧速为50fps的正常图像叠加在通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像上的图像信号的情形中，可以改善在执行帧速转换之后的图像质量。具体地，在不执行运动校正处理的情形中，改善了正常图像部分的抖动的恶化。
本发明不限于该实施例，可以做出多种修改。
例如，在本发明所应用的输入信号的格式不限于在该实施例中描述的在帧速为50fps的TV信号中的、通过2-2下拉将帧速从25fps转换为50fps所配置的影片图像信号。例如，本发明还可应用于在帧速为60fps的TV信号中的、图像的内容为帧速为30fps的CG(Computer Graphics，计算机图形)图像的情形。此外，显然本发明不仅可应用于TV接收器，而且也可应用于TV接收器所连接的信号转换器或类似设备。
本申请包括与在2008年8月7日向日本专利局提交的日本优先权专利申请JP 2008-203859中公开的主题相关的主题，通过引用并入其全部内容。
本领域的技术人员应当理解，取决于设计的要求和其他因素，可以出现多种修改、组合、子组合和变更，只要它们在所附的权利要求书或其等效物的范围内。