图像处理方法和设备.pdf

AR取得图像产生单元（41）基于图像数据产生当前帧的AR取得图像（44a）。显示图像产生单元（42）基于图像数据产生当前帧的显示图像（50a）和第一至第四内插显示图像（50c至50f）。图像图案读取器（45）读取当前帧的AR取得图像（44a）上的特定图像图案（43a）。CPU（40）从AR图像存储器（48）中检索与特定图像图案（43a）相关联的AR运动图像数据，并且将AR运动图像数据的一帧转换成当前帧的AR图像（49a）。AR图像重叠单元（54）基于AR图像（49a,49b）产生第一至第四内插AR图像（49c至49f），并且还在LCD（20）上产生并显示已经在图像（50a至50f）的标记（43）的部分中重叠了图像（49a至49f）的AR重叠图像（55a,55b）以及第一至第四内插AR重叠图像（55c至55f）。

权利要求书一种图像处理设备，包括：成像部，用于通过对对象连同标记一起成像来连续不断地拍摄图像，所拍摄的图像构成运动图像；显示图像产生部，用于在每次拍摄到图像时，基于所拍摄的图像产生显示图像，所述显示图像用于使所述对象的运动在显示所述运动图像时连续；附加信息参考图像产生部，用于在每次拍摄到图像时，基于所拍摄的图像产生附加信息参考图像，所述附加信息参考图像以较少的模糊表现所述对象，并用于获取要重叠在所述显示图像上的附加信息；读取部，用于读取所述附加信息参考图像上的标记；附加信息记录部，在其中与各个标记相关联地记录有附加信息；附加信息获取部，用于从记录在所述附加信息记录部中的多个附加信息当中检索并获取与所述读取部读取的标记相关联的附加信息；附加信息重叠图像产生部，用于产生附加信息重叠图像，该附加信息重叠图像具有在所述标记的区域内重叠在所述显示图像上的由所述附加信息获取部获取的所述附加信息；以及显示装置，用于显示所述附加信息重叠图像。根据权利要求1所述的图像处理设备，其中，所述成像部以适合于产生所述附加信息参考图像的快门速度来拍摄图像，并且所述显示图像产生部还产生要显示在所述显示图像当中的连续的显示图像之间的多个内插显示图像。根据权利要求1所述的图像处理设备，其中，所述成像部以适合于产生所述显示图像的第一快门速度和比所述第一快门速度高且适合于产生所述附加信息参考图像的第二快门速度交替地进行成像；所述显示图像产生部基于通过所述第一快门速度成像取得的图像来产生所述显示图像；以及所述附加信息参考图像产生部基于通过所述第二快门速度成像所取得的图像来产生所述附加信息参考图像。根据权利要求1所述的图像处理设备，其中所述成像部以适合于产生所述显示图像的第一快门速度和比所述第一快门速度高且适合于产生所述附加信息参考图像的第二快门速度同时进行成像；所述显示图像产生部基于通过所述第一快门速度成像所取得的图像来产生所述显示图像；以及所述附加信息参考图像产生部基于通过所述第二快门速度成像所取得的图像来产生所述附加信息参考图像。根据权利要求3所述的图像处理设备，包括位置校正部，所述位置校正部用于基于所述显示图像与所述附加信息参考图像之间的产生时间差，来校正所述附加信息在所述显示图像上的重叠位置。根据权利要求1至5中任一项所述的图像处理设备，其中所述显示图像产生部产生具有高分辨率和适合于显示运动图像的颜色再现的所述显示图像，并且所述附加信息参考图像产生部产生相比于所述显示图像具有较高SN比和较宽动态范围的所述附加信息参考图像。根据权利要求1至6中任一项所述的图像处理设备，包括：检测部，用于检测所述成像部的移动速度；以及确定部，用于确定所述检测部检测到的移动速度是否大于预定的阈值水平；其中，当所述确定部确定所述移动速度不大于所述阈值水平时，所述附加信息参考图像产生部不产生所述附加信息参考图像，并且所述读取部读取所述显示图像中的标记。根据权利要求1至7中任一项所述的图像处理设备，包括：标记运动速度检测部，用于检测所述标记的运动速度；标记运动速度确定部，用于确定所述标记运动速度检测部检测到的运动速度是否大于预定的阈值水平；其中，当所述标记运动速度确定部确定所述运动速度不大于所述阈值水平时，所述附加信息参考图像产生部不产生所述附加信息参考图像，并且所述读取部读取所述显示图像中的标记。根据权利要求1至8中任一项所述的图像处理设备，包括附加信息重叠图像记录部，所述附加信息重叠图像记录部用于记录所述附加信息重叠图像。一种图像处理方法，包括：成像步骤，用于通过对对象连同标记一起成像来连续不断地拍摄图像，所拍摄的图像构成运动图像；显示图像产生步骤，用于在每次拍摄到图像时，基于所拍摄的图像产生显示图像，所述显示图像用于使所述对象的运动在显示所述运动图像时连续；附加信息参考图像产生步骤，用于在每次拍摄到图像时，基于所拍摄的图像产生附加信息参考图像，所述附加信息参考图像表现具有较少模糊的所述对象，并用于获取要重叠在所述显示图像上的附加信息；读取步骤，用于读取所述附加信息参考图像上的标记；附加信息获取步骤，用于从记录在与各个标记相关联地记录附加信息的附加信息记录部中检索并获取与通过所述读取步骤读取的标记相关联的附加信息；附加信息重叠图像产生步骤，用于产生附加信息重叠图像，该附加信息重叠图像具有在所述标记的区域内重叠在所述显示图像上的由所述附加信息获取步骤获取的所述附加信息；以及显示步骤，用于显示所述附加信息重叠图像。

说明书图像处理方法和设备
技术领域
本发明涉及一种将附加信息叠加在拍摄的图像上的图像处理方法及其设备。
背景技术
用于拍摄运动图像的摄像机和数码相机已得到广泛普及并例如用于拍摄游乐园内的小孩等。这些摄像机和数码相机设置有成像部、用于记录所获取的图像数据的记录部和用于显示当前正拍摄的图像或已记录在其中的图像的显示装置（诸如，LCD）。摄像机和数码相机大多数配备有拍摄静止图像以及运动图像的功能。
近年来，已知这样的摄像机或数码相机：其配备有增强现实表示功能，由此各种附加信息或增强现实（AR）信息可叠加到由相机拍摄并显示的物理空间的图像（例如，风景的图像）上。在专利文献1中所描述的系统预测CG生成部完成生成要叠加到物理空间图像上的虚拟空间图像的完成时间，接着预测在所预测的生成完成时间处的视点位置和方位。CG生成部在从所预测的视点的位置和方位可见的条件下生成虚拟空间图像，并且将其叠加到物理空间图像上。因此，虚拟空间图像可合成在物理空间图像上而没有任何不自然的印象，但是生成虚拟空间图像很费时。
在专利文献1中所描述的系统中，基于关于所检测到的位置和方位的信息从数据库检索虚拟物体。如果关于所检测到的位置和方位的信息的精确度低或者所检测到的位置和方位偏离正确的位置和方位，则将基于不正确的位置和方位而不是正确的位置和方位来检索虚拟物体。结果，有时会发生所叠加的虚拟空间图像与物理空间图像不匹配。
在对比文件2中所描述的终端装置读取数字码（诸如QR码（商标））作为拍摄的图像上所表现的码，并且基于所读取的数字码获取附加信息。然后，所获取的附加信息重叠在显示装置上所显示的拍摄的图像上。因此，仅仅是与在拍摄的图像上所表现的数字码对应的这样的附加信息重叠在拍摄的图像上，而不适合于拍摄的图像的这样的附加信息不会重叠在拍摄的图像上。
现有技术文献
专利文献
专利文献1：第2010‑039556号日本专利早期公开申请公布
专利文献2：第2008‑193640号日本专利早期公开申请公布
发明内容
本发明要解决的问题
为了确保从拍摄的图像获取附加信息，要求拍摄的图像几乎不模糊地表现数字码。相反，为了连续运动图像的流畅或流动表示，除了数字码外的对象在拍摄的图像中应当适中地模糊。即，适于可靠获取附加信息的图像与适于流畅表示运动图像的图像不一致。因此，在从被拍摄以显示在显示装置上的那些图像当中获取附加信息的装置中，如专利文献2中所描述的那样，难以同时实现附加信息的可靠获取和运动图像的流畅表示。
本发明的目的在于提供一种如下的图像处理方法及其设备：通过该图像处理方法及其设备必定可以获取附加信息，同时可以连续不断地流畅显示运动图像。
用于解决问题的手段
为了实现上述目的，本发明的图像处理设备包括成像部、显示图像产生部、附加信息参考图像产生部、读取部、附加信息记录部、附加信息获取部、附加信息重叠图像产生部和显示装置。成像部通过对对象连同标记一起成像来连续不断地拍摄图像，所拍摄的图像构成运动图像。显示图像产生部在每次拍摄图像时基于所拍摄的图像产生显示图像，该显示图像用于使对象的运动在显示运动图像时连续。附加信息参考图像产生部每当拍摄图像时基于所拍摄的图像产生附加信息参考图像，附加信息参考图像以较小的模糊表现对象并用于获取要重叠在显示图像上的附加信息。读取部读取附加信息参考图像上的标记。在附加信息记录部中，与各个标记相关联地记录附加信息。附加信息获取部从记录在附加信息记录部中的多个附加信息当中检索并获取与读取部读取的标记相关联的附加信息。附加信息重叠图像产生部在标记的区域内产生附加信息重叠图像，在附加信息重叠图像中，由附加信息获取部获取的附加信息重叠在显示图像上。显示装置显示附加信息重叠图像。应注意，该标记可以具有条形码、QR码（注册商标）等。
成像部优选地以适合于产生附加信息参考图像的快门速度拍摄图像，并且显示图像产生部还产生要显示在显示图像当中的连续的显示图像之间的多个内插显示图像。附加信息重叠图像产生部在标记的区域内将附加信息获取部已获取的附加信息重叠在内插显示图像上，以产生附加信息重叠图像。
成像部可以优选地以适合于产生显示图像的第一快门速度以及比第一快门速度高且适合于产生附加信息参考图像的第二快门速度交替地进行成像。显示图像产生部基于通过第一快门速度成像所取得的图像来产生显示图像。附加信息参考图像产生部基于通过第二快门速度成像所取得的图像来产生附加信息参考图像。
成像部可以优选地以适合于产生显示图像的第一快门速度和比第一快门速度高且适合于产生附加信息参考图像的第二快门速度同时进行成像。显示图像产生部基于通过第一快门速度成像所取得的图像来产生显示图像。附加信息参考图像产生部基于通过第二快门速度成像所取得的图像来产生附加信息参考图像。
优选包括位置校正部。该位置校正部基于显示图像与附加信息参考图像之间的产生时间差而校正将附加信息重叠在显示图像上的位置。
显示图像产生部优选地产生具有高分辨率和适合于显示运动图像的颜色再现的显示图像。附加信息参考图像产生部产生相比于显示图像具有更高SN比和更宽动态范围的附加信息参考图像。
优选还包括检测部和确定部。检测部检测成像部的移动速度。确定部确定检测部检测到的移动速度是否大于预定阈值水平。当确定部确定移动速度不大于阈值水平时，附加信息参考图像产生部不产生附加信息参考图像，并且读取部读取显示图像中的标记。
还优选包括标记运动速度检测部和标记运动速度确定部。标记运动速度检测部检测标记的运动速度。标记运动速度确定部确定标记运动速度检测部检测到的运动速度是否大于预定的阈值水平。当标记运动速度确定部确定运动速度不大于阈值水平时，附加信息参考图像产生部不产生附加信息参考图像，并且读取部读取显示图像中的标记。
此外，优选包括用于记录附加信息重叠图像的附加信息重叠图像记录部。
本发明的图像处理方法包括：成像步骤、显示图像产生步骤、附加信息参考图像产生步骤、读取步骤、附加信息获取步骤、附加信息重叠图像产生步骤和显示步骤。成像步骤通过对对象连同标记一起成像来连续不断地拍摄图像，所拍摄的图像构成运动图像。每当拍摄到图像时，显示图像产生步骤基于所拍摄的图像产生显示图像，该显示图像用于使对象的运动在显示运动图像时连续。每当拍摄到图像时，附加信息参考图像产生步骤基于所拍摄的图像产生附加信息参考图像，该附加信息参考图像表现具有较少模糊的对象且用于获取要重叠在显示图像上的附加信息。读取步骤读取附加信息参考图像上的标记。附加信息获取步骤从与各个标记相关联地记录有附加信息的附加信息记录部中检索并获取与通过读取步骤读取的标记相关联的附加信息。附加信息重叠图像产生步骤产生附加信息重叠图像，在该附加信息重叠图像中，通过附加信息获取步骤获取的附加信息在标记的区域内重叠显示图像上。显示步骤显示附加信息重叠图像。
本发明的效果
根据本发明，基于拍摄的图像产生适合于获取附加信息的附加信息参考图像和适合于显示运动图像的显示图像，从而确保获取附加信息并实现运动图像的连续且流畅的显示。
由于基于由单个成像部拍摄的图像来产生附加信息参考图像和
显示图像，因此，与设置两个成像部以用于彼此独立地获得附加信息
参考图像和显示图像的部件数量相比，可以防止部件数量增加。
附图说明
图1是实现本发明的数码相机的前透视图。
图2是数码相机的后透视图。
图3是示出数码相机的电结构的框图。
图4A是示出当前帧的AR取得图像或显示图像的说明图。
图4B是示出前一帧的AR取得图像或显示图像的说明图。
图5A是示出当前帧的显示图像的说明图。
图5B是示出第一内插显示图像的说明图。
图5C是示出第二内插显示图像的说明图。
图5D是示出第三内插显示图像的说明图。
图5E是示出第四内插显示图像的说明图。
图5F是示出前一帧的显示图像的说明图。
图6A是示出当前帧的AR重叠图像的说明图。
图6B是示出前一帧的AR重叠图像的说明图。
图7A是示出当前帧的AR重叠图像的说明图。
图7B是示出第一内插AR重叠图像的说明图。
图7C是示出第二内插AR重叠图像的说明图。
图7D是示出第三内插AR重叠图像的说明图。
图7E是示出第四内插AR重叠图像的说明图。
图7F是示出前一帧的AR重叠图像的说明图。
图8是示出用于显示AR重叠图像的程序的流程图。
图9是示出根据第二实施例的用于显示AR重叠图像的程序的流程图，其中，交替地进行低快门速度成像和高快门速度成像。
图10是示出根据第三实施例的数码相机的电结构的框图，其中，同时进行低快门速度成像和高快门速度成像。
图11是示出第三实施例中的用于显示AR重叠图像的程序的流程图。
图12是示出根据第四实施例的数码相机的电结构的框图，其中，可校正AR图像的重叠位置。
图13是示出第四实施例中的用于显示AR重叠图像的程序的流程图。
图14是示出根据第五实施例的数码相机的电结构的框图，其中，可以根据相机的移动速度改变快门速度。
图15是示出第四实施例中的用于显示AR重叠图像的程序的流程图。
图16是示出根据第六实施例的数码相机的电结构的框图，其中，可以根据标记的移动速度改变快门速度。
图17是示出第六实施例中的AR取得图像或显示图像的说明图。
图18是示出在第六实施例中的正显示的AR重叠图像的说明图。
图19是示出第六实施例中的用于显示AR重叠图像的程序的说明图。
具体实施方式
[第一实施例]
如图1所示，数码相机10设置有在相机主体10a正面的透镜镜筒11。透镜镜筒11具有安装在其中的成像透镜12。在数码相机10关机时，透镜镜筒11位于相机主体10a中。当电源接通时，透镜镜筒11从相机主体10a的正面突出，以设置在广角位置（wideposition）。具有可变焦距透镜12a和聚焦透镜12b的变焦透镜（参见图3）用作成像透镜12。
闪光投射器（flash projector）15和用于使外部声音进入麦克风65（参见图3）的声音收集孔16设置在相机主体10a正面。闪光投射器15由CPU 40致动（参见图3），以向对象投射闪光。在相机主体10a的顶部设置有电源按钮17、释放按钮18等。
数码相机10设置有用于拍摄静止图像的静止图像拍摄模式、用于例如以每秒30帧拍摄运动图像的运动拍摄模式以及用于再现并显示所拍摄的图像的再现模式。在运动拍摄模式下，运动拍摄会话在释放按钮18被按下去至全按时开始，并且以从全按释放来结束。
如图2所示，在相机主体10a的背面，设置有用于显示图像或各种设置条件的LCD 20、用于设置成像条件和选择模式的菜单键21以及用于改变成像透镜12的放大率的缩放按钮22。对缩放按钮22的操作使得可变焦距透镜12a在广角位置与长焦位置之间移动，从而放大或缩小图像尺寸。用于使从扬声器66（参见图3）输出的声音向外的扬声器孔设置在相机主体10a的背面。
如图3所示，彩色图像传感器（例如，CMOS传感器31）布置在成像透镜12后面，以使得来自对象的光会通过成像透镜12入射到传感器上。CMOS31对来自对象的光进行光电转换，以生成时序三色信号，如本领域已知的。CPU 40控制定时发生器（TG）33，以生成用于驱动CMOS31的驱动定时信号。从CMOS31生成的三色信号在模拟处理电路（未示出）中被处理以减少三色信号中的噪声成分并将三色信号放大，此后，将其发送至A/D转换器32。
A/D转换器32将三色信号转换成数字三色图像数据（下文中，简称为图像数据）。CPU 40经由电机驱动器（未示出）驱动缩放模块37a和聚焦模块37b，以移动分别用于缩放和聚焦的可变焦距透镜12a和聚焦透镜12b。
如本领域所众所周知的，CPU 40连接至记录有各种控制程序、设置信息等的EEPROM（未示出）。CPU 40根据从EEPROM读取的程序控制各个部件。在本实施例中，CPU 40控制高快门速度成像（例如，以1/2000秒的曝光时间）的执行。
图像输入控制器38在成像期间将来自A/D转换器32的图像数据传送至用于显示直通图像（through‑image）的视频存储器51或缓冲存储器52。
AR取得图像产生器41从缓冲存储器52取出拍摄的图像的图像数据，以产生当前帧的AR取得图像44a（参见图4A），其用于取得AR图像（附加信息）。当产生当前帧的AR取得图像44a时，AR取得图像产生器41通过像素混合来执行SN比提高处理，并且还通过伽马优化来执行动态范围扩宽处理。结果，与不通过这些处理来渲染的那些图像相比，当前帧的AR取得图像44a具有较高SN比和较宽动态范围。在本实施例中，当前帧的AR取得图像44a包括主要对象图像46和具有标记43的柱图像47。
当前帧的AR取得图像44a从AR取得图像产生器41被馈送至用于读取标记43的特定图像图案（image pattern）43a的图像图案读取器45。在本实施例中，特定图像图案43a由二维数字码构成。
图像图案读取器45读取特定图像图案43a，并且检测标记43在当前帧的AR取得图像44a中的位置和大小。AR图像存储器48记录多个AR运动图像的数据，其中，多个运动图像中的每一个均与多种图像图案43a中的特定的一个图像图案相关联。CPU 40在AR图像存储器48中搜索与所读取的特定图像图案43a相关联的一个AR运动图像。
在拍摄直通图像期间，每个直通图像的低分辨率图像数据临时存储在视频存储器51中。直通图像的图像数据经由数据总线39被发送至LCD驱动器，使得直通图像显示在LCD 20上。为了进行成像，高分辨率图像数据临时存储在缓冲存储器52中。基于从缓冲存储器52读出的高分辨率图像数据，显示图像产生器42产生用于显示当前帧的运动图像（下文中，称为显示图像50a）的显示图像50a，其提供高分辨率和适合于显示运动图像的颜色再现（参见图5A）。当前帧的显示图像50a临时存储在缓冲存储器52中，该显示图像50a包括主要对象图像46和兼带有标记43的柱图像47。
显示图像产生器42还借助于使用当前帧的显示图像50a（参见图5A）和紧接在当前帧之前的帧（前一帧）的显示图像50b（参见图5F）的帧内插来产生例如四个（第一至第四）的多个内插显示图像50c至50f（参见图5B至图5E），其中，显示图像50b写入缓冲存储器52中。
显示图像产生器42执行运动预测和运动补偿以实现帧内插。首先，为了进行运动预测，将前一帧的显示图像50b分割成小块（例如，20个块），并且在当前帧的显示图像50a中搜索这些块中的每个块的位置（块匹配）。基于该搜索结果，检测每个块已在哪个方向移动以及移动了多少量，以计算每个块的运动矢量。
接下来，为了运动补偿，显示图像产生器42对应该显示在如图5A所示的当前帧的显示图像50a与如图5F所示的前一帧的显示图像50b之间的那些帧内插图像的数量进行确定。然后，根据内插间隔（例如，四个）等分运动矢量的量，以计算每个帧的补偿量。对每个块执行该处理，以产生第一至第四内插显示图像50c至50f，其中，各个块移动了所算出的补偿量。由于在本实施例中在当前帧的显示图像50a与前一帧的显示图像50b之间产生并显示了第一至第四内插显示图像50c至50f，因此，前一帧与当前帧之间的运动矢量的量的五分之一成为对每个帧的补偿量。
如图6A所示，CPU 40将根据所读取的特定图像图案43a检索的AR运动图像的数据转换成当前帧的AR图像49a。CPU 40基于图像图案读取器45检测到的标记43的大小来改变当前帧的AR图像49a的大小。在本实施例中，当前帧的AR图像49a的大小被设置为大约等于标记43的大小。在该改变之后，还可以例如根据LCD 20的高度适当地改变当前帧的AR图像49a的大小。
AR图像重叠部54通过将当前帧的AR图像49a重叠在当前帧的显示图像50a的区域上来产生当前帧的AR重叠图像55a，该区域由标记43表示。该当前帧的AR重叠图像55a显示在LCD 20上，并且同时，由在存储器控制器的控制下的数据读取器记录在存储卡57上。如图6B所示，前一帧的AR重叠图像55b（其中，前一帧的AR图像49b重叠在前一帧的显示图像50b上）已记录在存储卡57上。
当新的帧（当前帧）的图像数据从图像输入控制器38被馈送至缓冲存储器52时，AR图像重叠部54以与显示图像产生器42产生各个内插显示图像50c至50f相同的方式产生四个（即，第一至第四）内插AR图像49c至49f，这四个内插AR图像49c至49f位于该当前帧的AR重叠图像55a（参见图7A）与已记录在存储卡57上的前一帧的AR重叠图像55b（参见图7F）之间。然后，这第一至第四内插AR图像49c至49f重叠在第一至第四内插显示图像50c至50f上以产生第一至第四内插AR重叠图像55c至55f。连续地执行这些图像渲染处理以产生每秒150帧的AR添加运动图像。AR添加运动图像实现在动画显示（如每秒30帧的运动图像）期间连续不断地显示对象，其中这些运动图像是以低快门速度（例如，以1/60秒的曝光时间）拍摄的，而以高快门速度（以1/2000秒的曝光时间）进行成像。第一至第四内插AR重叠图像55c至55f通过存储器控制器56记录在存储卡57上。应注意，可以使用可拆卸地附接的外部记录介质（诸如，存储条）来替代存储卡57。
返回参照图3，亮度和距离测量部61基于直通图像的图像数据来检测正拍摄的对象的亮度和距该对象的距离，并且通过所检测到的结果确定白平衡校正量和透镜聚焦距离。在显示直通图像的同时，亮度和距离测量部61以预定循环进行操作。可以借助于已知的相差检测方法测量对象距离。
亮度和距离测量部61将检测到的亮度和对象距离的结果顺序地传送至CPU 40。CPU 40根据从亮度和距离测量部51提供的透镜聚焦距离驱动聚焦透镜12b以进行移动。CPU 40还基于亮度和距离测量部61检测到的亮度来控制CMOS 31的快门速度（电荷累积时间）和闪光投射器15的操作。
电池58包含在数码相机10中，以向包括LCD 20和CPU 40的部件供电。对部件的供电由用于电池58的控制电路（未示出）进行控制。
麦克风65设置有用于将声音转换成音频数据（电信号）的变换器（未示出），以在动画拍摄期间从场景收集声音并将所收集的声音转换成音频数据。音频数据连同各个图像55a至55f一起记录在存储卡57上。扬声器66在动画再现期间输出所记录的音频数据。
接下来，将参照图8的流程图描述上述第一实施例的操作。在设置为动画拍摄模式之后，将释放按钮18按下至全按，从而以高快门速度进行动画拍摄（以1/2000秒的曝光时间）（步骤1：S1）。将所获得的图像数据通过缓冲存储器52馈送至AR取得图像产生器41和显示图像产生器42（S2）。AR取得图像产生器41通过SN比提高处理和动态范围扩宽处理来渲染图像数据，以产生当前帧的AR取得图像44a（S3）。该当前帧的AR取得图像44a被馈送至图像图案读取器45。下文中，将假设紧接在开始成像之后已拍摄的第一帧的图像数据（即，前一帧的AR重叠图像55b）存在来说明对第二帧和以后的帧的图像处理。
在上述操作的同时，显示图像产生器42基于新输入的当前帧的高分辨率图像数据产生如图5A所示的当前帧的显示图像50a（S4）。然后，显示图像产生器42使用当前帧的显示图像50a和被记录在缓冲存储器52中的前一帧的显示图像50b（如图5F所示）来进行帧内插处理，从而产生用于在动画显示期间连续不断地显示对象的四个或第一至第四内插显示图像50c至50f（S5）。在产生这些后，将当前帧的显示图像50a作为前一帧的显示图像50b记录在缓冲存储器52中。
当图像图案读取器45读取当前帧的AR取得图像44a上的特定图像图案43a（S6中的“是”）时，检测到标记43在当前帧的AR取得图像44a中的位置和大小，并且确定当前帧的AR图像49a的重叠位置（S7）。在本实施例中，当前帧的AR图像49a的重叠位置对应于标记43的显示位置。当前帧的AR取得图像44a根据通过高快门速度成像所获取的图像数据而产生，并且通过SN比提高处理和动态范围扩宽处理进一步渲染。与不通过上述各个处理渲染的图像或者根据通过低快门速度成像获取的图像数据产生的图像相比，这有助于改进特定图像图案43a的读取的精确性。
CPU 40在AR图像存储器48中搜索被分配给由图像图案读取器45读取的特定图像图案43a的AR运动图像数据（S8）。CPU 40从AR图像存储器48读出一帧的恰当（hit）AR运动图像数据，并以大约等于标记43的大小将该数据转换成当前帧的AR图像49a（S9）。
AR图像重叠部54产生要显示在当前帧的AR图像49a与前一帧的AR图像49b之间的四个（即，第一至第四）内插AR图像49c至49f（S10）。AR图像重叠部54在与其标记43对应的区域中将当前帧的AR图像49a和第一至第四内插AR图像49c至49f分别重叠在当前帧的显示图像50a和第一至第四内插显示图像50c至50f上。作为该重叠处理的结果，产生当前帧的AR重叠图像55a和第一至第四内插AR重叠图像55c至55f，如图7A至图7E所示（S11）。然后，将前一帧的AR重叠图像55b、第四内插AR重叠图像55f、第三内插AR重叠图像55e、第二内插AR重叠图像55d、第一内插AR重叠图像55c和当前帧的AR重叠图像55a按顺序依次显示在LCD 20上，并且还通过存储器控制器56记录在存储卡57上（S12）。
只要成像未终止（S13中的“否”），就再次从第一步骤S1开始执行上述步骤，以通过该成像处理连续地渲染各个帧，使得产生、显示并记录AR添加运动图像。
如果图像图案读取器45由于在当前帧的AR取得图像44a上不存在标记43a而不能读取特定图像图案43a（S6中的“否”），则将各个显示图像50a和50b以及第一至第四内插显示图像50c至50f显示在LCD 20上并记录在存储卡57上（S14）。
应注意，不执行步骤S10以获取紧接在开始成像之后所拍摄的初始帧的图像数据；AR图像重叠部54将当前帧的AR图像49a在与当前帧的显示图像50a的标记43对应的区域内重叠在当前帧的显示图像50a上，以产生当前帧的AR重叠图像55a。
[第二实施例]
在图9所示的第二实施例中，逐帧地交替进行低快门速度成像（例如，以1/60秒为曝光时间）和高快门速度成像（例如，以1/2000秒为曝光时间）。应注意，与第一实施例的元件相同的元件由相同的附图标记表示，从而这里将省略对这些元件的描述。
当在动画拍摄模式下将快门按钮18按下至全按时，CPU 40控制高快门速度成像与低快门速度的交替执行。在本实施例中，首先，执行低快门速度成像，然后，执行高快门速度成像，此后，交替地执行这两种成像。
图像输入控制器38将在高快门速度成像期间所获得的图像数据（下文中，称为高速图像数据）和在低快门速度成像期间所获得的图像数据（下文中，称为低速图像数据）输入至缓冲存储器52。CPU 40将高速图像数据输入至AR取得图像产生器41，并且将低速图像数据输入至显示图像产生器42。
AR取得图像产生器41通过SN比提高处理和动态范围扩宽处理渲染高速图像数据以产生当前帧的AR取得图像44a。当前帧的AR取得图像44a被馈送至图像图案读取器45。根据低速图像数据，AR取得图像产生器41没有产生当前帧的AR取得图像44a，而是重新使用之前刚产生的前一帧的AR取得图像44b作为当前帧的AR取得图像44a。因此，以每秒30帧产生AR取得图像44a和44b。
显示图像产生器42对低速图像数据执行各种图像渲染处理以提供具有高分辨率和适合于显示运动图像的颜色再现的图像数据，从而产生当前帧的显示图像50a。对于以高快门速度拍摄的帧，显示图像产生器42没有产生当前帧的任何显示图像50a，而是重新使用之前刚产生的前一帧的显示图像50b作为当前帧的显示图像50a。因此，以每秒30帧产生显示图像50a和50b。在本实施例中，既没有产生也没有显示第一至第四内插显示图像50c至50f、第一至第四内插AR图像49c至49f以及第一至第四内插AR重叠图像55c至55f。
由于在开始成像时首先执行低快门速度成像，因此，之前没有紧接着产生前一帧的AR取得图像44b。因此，不可能检索到AR运动图像数据，并且重叠当前帧的AR图像49a。为此，在LCD 20上没有显示当前帧的显示图像50a。然而，也可以在LCD 20上仅显示当前帧的显示图像50a。
接下来，将参照图9的流程图描述上述第二实施例的操作。当在动画拍摄模式下将快门按钮18按下至全按时，交替地执行高快门速度成像和低快门速度成像（S101）。由于首先进行低快门速度成像，因此，首先获得低速图像数据（S102中的“是”）。在这种情况下，将低速图像数据馈送至显示图像产生器42（S103）。显示图像产生器42对低速图像数据进行各种图像渲染处理，用以提供具有高分辨率和适合于显示运动图像的颜色再现的图像数据，从而产生当前帧的显示图像50a（S104）。对于以低快门速度拍摄的帧，AR取得图像产生器41不产生当前帧的AR取得图像44a，而重新使用之前刚产生的前一帧的AR取得图像44b作为当前帧的AR取得图像44a。
另一方面，当通过高快门速度成像获得高速图像数据时（S102中的“否”），将高速图像数据馈送至AR取得图像产生器41（S105）。AR取得图像产生器41通过SN比提高处理和动态范围扩宽处理来渲染高速图像数据，以产生当前帧的AR取得图像44a（S106）。当前帧的AR取得图像44a被馈送至图像图案读取器45。对于以高快门速度拍摄的帧，显示图像产生器42不产生当前帧的任何显示图像50a，而重新使用恰在之前已产生的前一帧的显示图像50b作为当前帧的显示图像50a。由于其他步骤S107至S110与第一实施例的步骤S6至S9相同，因此，将省略对这些步骤的说明。
AR图像重叠部54在与标记43对应的区域中将当前帧的AR图像49a重叠在当前帧的显示图像50a上，以产生当前帧的AR重叠图像55a（S111）。将当前帧的AR重叠图像55a显示在LCD 20上并记录在存储卡57上（S112）。由于其他步骤S113和S114与第一实施例的步骤S13和S14相同，因此，这里将省略对这些步骤的说明。
[第三实施例]
如图10和图11所示的根据第三实施例的数码相机70同时执行低快门速度成像和高快门速度成像。应注意，与第一和第二实施例的元件相同的元件由相同的附图标记表示，从而将省略对这些元件的描述。
CCD传感器（下文中，称为CCD）71布置在拍摄透镜12后面。CCD 71由可以同时执行低快门速度和高快门速度成像的CCD（例如，蜂窝式超级CCD（商标）EXR（商品名称））构成。当在动画拍摄模式下将释放按钮18按下至全按时，通过改变CCD 71中的各个单元的快门速度（电荷累积持续时间）来同时执行低快门速度成像和高快门速度成像。
将从CCD 71读出的时序三色信号发送至相关双采样电路（CDS）72以减少噪声成分，并且转换成与各个单元中所累积的电荷量精确对应的三色信号。从CDS 72输出的三色信号由放大器（AMP）响应于ISO灵敏度而放大，并接着通过A/D转换器32转换成图像数据。
图像输入控制器38根据单元之间的变化对图像数据进行分类，以产生高速图像数据和低速图像数据。这两种图像数据被馈送至缓冲存储器52，高速图像数据和低速图像数据从缓冲存储器52被分别馈送至AR取得图像产生器41和显示图像产生器42。
AR取得图像产生器41基于高速图像数据产生当前帧的AR取得图像44a，并且将其输入到图像图案读取器45中。显示图像产生器42对低速图像数据进行各种图像渲染处理，以产生当前帧的显示图像50a。
现在，将参照图11的流程图描述上述第三实施例的操作。当在动画拍摄模式下将释放按钮18按下至全按时，同时执行低快门速度成像和高快门速度成像，从而提供低速图像数据和高速图像数据（S201）。低速图像数据被馈送至显示图像产生器42，而高速图像数据被馈送至AR取得图像产生器41（S202）。
AR取得图像产生器41对高速图像数据进行SN提高处理和动态范围扩宽处理，从而产生当前帧的AR取得图像44a（S203）。当前帧的AR取得图像44a被馈送至图像图案读取器45。
显示图像产生器42基于低速图像数据产生当前帧的显示图像50a（S204）。由于其他步骤S205至S212与第二实施例的步骤S107至S114相同，因此，这里将省略对这些步骤的说明。
[第四实施例]
如图12和图13所示的根据第四实施例的数码相机80被配置成基于当前帧的AR取得图像44a与当前帧的显示图像50a之间的产生时间间隔来校正AR图像重叠位置。应注意，与上述实施例的元件相同的元件由相同的附图标记表示，从而这里将省略对这些元件的描述。
当在动画拍摄模式下将快门按钮18按下至全按时，CPU 40交替地执行高快门速度成像和低快门速度成像。由于在高快门速度成像中没有产生当前帧的显示图像50a，因此，重新使用之前刚产生的前一帧的显示图像50b作为当前帧的显示图像50a。另外，CPU 40使用基于高速图像数据产生的最新的当前帧的AR取得图像44a来确定当前帧的AR图像49a中的重叠位置（标记43的位置）。在拍摄者正在运动中之类的情况下，标记43在要重新使用的前一帧的显示图像50b中的位置不同于标记43在当前帧的AR取得图像44a中的位置。为此，标记43在前一帧的显示图像50b中的位置偏离以如上所述的方式确定的当前帧的AR图像49a的重叠位置。如果当前帧的AR图像49a重叠在所确定的重叠位置上而不进行任何校正，则当前帧的AR图像49a会重叠在偏离标记43的位置上。
重叠位置校正器81基于图像的高速图像数据来检测在这些图像之间的相同特征点的移动，并且检测这些特征点的移动速度（mm/秒）。然后，重叠位置校正器81计算对于AR图像重叠位置的校正量，其为特征点的移动速度与帧之间的时间间隔（1/30秒）的乘积。
当通过重叠当前帧的AR图像49a来产生当前帧的AR重叠图像55a时，AR图像重叠部54将当前帧的AR图像49a重叠在偏移了由重叠位置校正器81算出的校正量的位置中，以产生当前帧的AR重叠图像55a。
接下来，将参照图13的流程图描述上述第四实施例的操作。当在动画拍摄模式下将快门按钮18按下至全按时，交替地执行高快门速度成像和低快门速度成像（S301）。由于其他步骤S302和S307与第二实施例的步骤S102至S107相同，因此将省略对这些步骤的说明。
当图像图案读取器45读取当前帧的AR取得图像44a上的特定图像图案43a（步骤S307中的“是”）时，检测到标记43在当前帧的AR取得图像44a中的位置和大小，并且计算AR图像的假定显示位置（S308）。
在图像图案读取器45检测到特定图像图案43a之前，重叠位置校正器81将多个帧的高速图像数据进行比较以检测图像中的相同特征点的移动速度。然后，计算AR图像重叠位置的校正量，作为特征点的移动速度与帧之间的时间间隔（1/30秒）的乘积（S309）。
CPU 40从AR图像存储器48中的多个AR运动图像数据当中检索与所读取的特定图像图案43a相关联的AR运动图像的数据（S310）。基于图像图案读取器45已检测到的标记43的大小，CPU 40将所检索到的AR运动图像数据的一帧转换成大小近似等于标记43的AR图像49a（S311）。
当通过重叠当前帧的AR图像49a来产生当前帧的AR重叠图像55a时，图像重叠部54将当前帧的AR图像49a重叠在从假定位置偏移了由重叠位置校正器81算出的校正量的位置中，以产生当前帧的AR重叠图像55a（S312）。由于其他步骤S313至S315与第二实施例的步骤S112至S114相同，因此，这里将省略对这些步骤的说明。
[第五实施例]
如图14和图15所示的根据第五实施例的数码相机90设置有加速度传感器91。加速度传感器91检测数码相机90的加速度。CPU 40基于所检测到的加速度计算数码相机90的运动速度（mm/秒），并且确定相机的运动速度是小于还是大于阈值水平（例如，100mm/秒）。如果CPU 40在释放按钮18被完全按下时确定相机运动速度不大于阈值水平，则CPU 40执行标准快门速度成像（例如，以1/60秒的曝光时间）。
如果CPU 40确定相机运动速度大于阈值水平，则CPU 40交替地执行低快门速度成像和高快门速度成像。应注意，如果操纵数码相机90的拍摄者静止且几乎没有手抖，则将确定相机运动速度不大于阈值水平。另一方面，如果拍摄者在运动中或者大幅度手抖，则将确定相机运动速度大于阈值水平。
通过标准快门速度成像获得的图像数据（下文中，称为标准图像数据）被馈送至显示图像产生器42。另一方面，在交替地执行低快门速度成像和高快门速度成像时，高速图像数据被馈送至AR取得图像产生器41，并且低速图像数据被馈送至显示图像产生器42。
显示图像产生器42对标准速度图像数据或低速图像数据进行各种图像渲染处理，以产生当前帧的显示图像50a。
在交替地执行低快门速度成像和高快门速度成像时，AR取得图像产生器41基于高速图像数据产生当前帧的AR取得图像44a。另一方面，在标准快门速度成像期间，AR取得图像产生器41不对当前帧的AR取得图像44a执行产生处理。替代地，当前帧的显示图像50a兼用作当前帧的AR取得图像44a。在这种情况下，图像图案读取器45读取在当前帧的显示图像50a上的特定图像图案43a，并且还检测标记43在当前帧的显示图像50a上的位置和大小。
接下来，将参照图15的流程图描述上述第五实施例的操作。CPU40基于所检测到的加速度计算相机运动速度。当在相机运动速度不大于阈值水平时在动画拍摄模式下完全按下释放按钮18（S401中的“是”）时，执行标准快门速度成像（S402）。将标准速度图像数据馈送至显示图像产生器42（S403）。显示图像产生器42产生当前帧的显示图像50a。AR取得图像产生器41接着不产生AR取得图像44a，而是当前帧的显示图像50a兼用作当前帧的AR取得图像44a（S404）。如果拍摄者静止且几乎没有手抖，则将确定相机运动速度不大于阈值。在这种情况下，不启动AR取得图像产生器41，从而也节省图像处理的时间和功耗。
另一方面，当相机运动速度大于阈值水平（S401中的“否”）时，在将释放按钮18按下至全按时将交替地执行低快门速度成像和高快门速度成像（S405）。由于其他步骤S406至S418与第二实施例的步骤S102至S114相同，因此，这里将省略对这些步骤的说明。
[第六实施例]
如图16至19所示的根据第六实施例的数码相机100设置有标记运动速度检测器101。标记运动速度检测器101基于一系列直通图像的图像数据来检测标记103的运动，并且检测其运动速度（mm/秒）。在本实施例中，假设标记103设置在如汽车的移动对象上。CPU 40确定所检测到的标记运动速度是小于还是大于阈值水平（例如，100mm/秒）。如果CPU 40确定标记运动速度不大于阈值水平，则CPU 40执行标准快门速度成像。如果确定标记运动速度大于阈值水平，则CPU 40交替地执行低快门速度和高快门速度成像。
标准速度图像数据被馈送至显示图像产生器42。另一方面，在交替地执行低快门速度成像和高快门速度成像时，高速图像数据被馈送至AR取得图像产生器41，并且低速图像数据被馈送至显示图像产生器42。
显示图像产生器42对标准速度图像数据或低速图像数据进行各种图像渲染以产生当前帧的显示图像110（参见图17）。
当执行高快门速度成像时，AR取得图像产生器41基于高速图像数据产生当前帧的AR取得图像。另一方面，在标准快门速度成像期间，AR取得图像产生器41不对当前帧执行AR取得图像产生处理。替代地，当前帧的显示图像110兼用作当前帧的AR取得图像。在本实施例中，当前帧的AR取得图像或当前帧的显示图像110包括标记103所附于的汽车的主要对象图像46和图像106。
当已执行标准快门速度成像时，图像图案读取器45读取当前帧的显示图像110上的特定图像图案103a。然后，图像图案读取器45检测标记103在当前帧的显示图像110中的位置和大小。当已执行低快门速度或高快门速度成像时，图像图案读取器45还读取当前帧的AR取得图像上的特定图像图案103a。然后，图像图案读取器45检测标记103在当前帧的AR取得图像中的位置和大小。CPU 40从存储在AR图像存储器48中的许多AR运动图像当中检索与所读取的特定图像图案103a相关联的AR运动图像的数据。
如图18所示，CPU 40基于图像图案读取器45检测到的标记103的大小来将所检索到的AR运动图像数据的一帧转换成当前帧的AR图像113，在本实施例中，AR图像113在大小上近似等于标记103。
CPU 40产生当前帧的AR重叠图像115，其中，当前帧的AR图像113在与标记103对应的区域内重叠在显示图像110上。当前帧的AR重叠图像115显示在LCD 20上并作为前一帧的AR重叠图像记录在存储卡57上。
接下来，将参照图19的流程图描述上述第六实施例的操作。标记运动速度检测器101基于一系列直通图像来检测标记103的运动速度（设置有标记103的汽车图像106的运动速度）。当在标记运动速度不大于阈值水平时在动画拍摄模式下完全按下释放按钮18时（S501中的“是”），执行标准快门速度成像（S502）。标准速度图像数据被馈送至显示图像产生器42（S503）。显示图像产生器42产生当前帧的显示图像110。然后，AR取得图像产生器41不产生AR取得图像105，而是显示图像110兼用作当前帧的AR取得图像105（S504）。由于在标记运动速度低时没有启动AR取得图像产生器41，因此，将抑制图像处理时间和功耗。
另一方面，当标记运动速度大于阈值水平（S501中的“否”）时，将交替地执行低快门速度成像和高快门速度成像（S505）。由于其他步骤S506至S518与第二实施例的步骤S102至S114相同，因此这里将省略对这些步骤的说明。
尽管已在上述实施例中描述了数码相机，但是本发明可应用于由数码相机、个人计算机和其他部件构成的图像记录系统。在这种情况下，基于用作成像单元的数码相机拍摄的图像，个人计算机可以执行显示图像的产生、用于附加信息的图像产生、特定图像图案的读取、附加信息的获取和附加信息重叠图像的产生。此外，本发明还可应用于照相手机、具有相机的头戴式显示器等。
本发明不仅可应用于记录在如存储卡的记录介质上的运动图像，而且可应用于实时取景图像等。
在上述实施例中，多个AR运动图像的数据预先记录在AR图像存储器中，以使得从这些AR运动图像数据当中检索与所读取的特定图像图案相关联的一帧。可以将多个AR运动图像的数据预先记录在服务器中，并且对服务器进行访问以从其检索与所读取的特定图像图案对应的AR运动图像。
此外，在上述实施例中，AR图像可表示字母、字符或符号，而AR图像可表示图示或卡通。
附图标记的描述
43,103 标记
44a 当前帧的AR取得图像
44b 前一帧的AR取得图像
46 主要对象图像
47 柱图像
49a,113 当前帧的AR图像
49a 前一帧的AR图像
49c‑49f 第一至第四内插AR图像
50a,110 当前帧的显示图像
50b 前一帧的显示图像
50c‑50f 第一至第四内插显示图像
55a,115 当前帧的AR重叠图像
55b 前一帧的AR重叠图像
55c‑55f 第一至第四内插AR重叠图像