图像处理装置以及图像处理方法 【技术领域】
本发明涉及一种处理运动图像 (moving images) 的图像处理装置和图像处理方法。 背景技术 例如， 在专利文献 1( 日本特开 2008-182374 号公报 ) 中， 记载了在再现的静止图 像上， 基于拍摄时存储的主被摄体的位置轨迹信息， 将主被摄体像以位置轨迹信息表示的 时间序列顺序依次重叠显示的技术。
然而， 专利文献 1 中所记载的技术中， 在静止图像上依次重叠显示的主被摄体像， 是从静止图像整体所切割出的一部分的静止图像。因此， 专利文献 1 中所记载的技术， 有无 法显示随着主被摄体的位置移动的被摄体自身的运动的问题。
发明内容 本发明目的在于， 通过处理从实时取景图像所获得的运动图像， 使得被摄体自身 的一部分的运动得以表示。
为达到上述目的， 本发明的一种方式为 ：
一种图像处理装置， 其特征在于， 包括 ： 被摄体运动信息生成单元， 检测将运动图 像的画面区域分割而成的多个分割块各自当中的被摄体的运动， 生成指定所述被摄体有运 动的所述分割块和该分割块中的所述被摄体的运动的被摄体运动信息 ； 静止图像获取单 元， 获取静止图像 ； 静止图像处理单元， 利用所述被摄体运动信息生成单元所生成的所述被 摄体运动信息， 在所述静止图像获取单元所获取的所述静止图像上， 根据所述被摄体运动 信息所指定的所述被摄体的运动， 使所述被摄体运动信息所指定的所述分割块所对应的静 止图像块的画像移动。
为达到上述目的， 本发明的一种方式为 ：
一种图像处理方法， 其特征在于， 包括 ： 被摄体运动信息生成步骤， 检测将运动图 像的画面区域分割而成的多个分割块各自当中的被摄体的运动， 生成指定所述被摄体有运 动的所述分割块和该分割块中的所述被摄体的运动的被摄体运动信息 ； 静止图像获取步 骤， 获取静止图像 ； 静止图像处理步骤， 利用所述被摄体运动信息生成步骤所生成的所述被 摄体运动信息， 在所述静止图像获取步骤所获取的所述静止图像上， 根据所述被摄体运动 信息所指定的所述被摄体的运动， 使所述被摄体运动信息所指定的所述分割块所对应的静 止图像块的画像移动。
根据本发明， 目的在于， 通过处理从实时取景图像所获得的运动图像 (moving images)， 使得被摄体自身的一部分的运动得以表示。
附图说明
图 1 是表示本发明的一实施方式所涉及的图像处理装置的各部分的关系的模块图。
图 2 是表示本发明的一实施方式所涉及的图像处理装置的硬件构造图。 图 3 是表示本发明的一实施方式所涉及的图像处理装置所进行的拍摄处理的流程图。 图 4 是用于说明本发明的一实施方式所涉及的图像处理装置所进行的图像处理 的表示运动图像的视图。
图 5 是表示本发明的一实施方式所涉及的图像处理装置所生成的被摄体运动信 息的一个例子的视图。
图 6 是表示本发明的一实施方式所涉及的图像处理装置所生成的多个被摄体运 动信息 ( 最终数据 ) 的一个例子的视图。
图 7 是表示本发明的一实施方式所涉及的图像处理装置所进行的再现处理的流 程图。
图 8 表示用于说明本发明的一实施方式所涉及的图像处理装置所进行的静止图 像块的画像移动的视图。
具体实施方式
以下对本发明的一实施方式， 参照附图进行说明。 此外， 本发明不限于下面的实施 方式和附图。 在不改变本发明的要点的范围内， 可以对下面的实施方式和附图追加变更， 是 理所当然的。
此外， 本发明中， “运动图像” ， 也包括被摄体的运动为不连续的静止图像的集合。
本实施方式所涉及的图像处理装置 1 为数码相机。此外， 本发明所涉及的图像处 理装置， 除数码相机之外， 也可以通过计算机等其它装置而实现。
如图 1， 图像处理装置 1 包括 ： 控制部 10、 拍摄部 20、 显示部 30、 输入部 40 和存储 部 50。
控制部 10 控制拍摄部 20 和显示部 30。另外， 控制部 10 将拍摄部 20 所拍摄的图 像作为实时取景图像， 在显示部 30 上显示。另外， 控制部 10 将基于存储部 50 中记录的图 像数据的图像， 在显示部 30 上显示。另外， 控制部 10 基于来自输入部 40 的操作信号， 控制 拍摄部 20 和显示部 30。 另外， 控制部 10， 具有被摄体运动信息生成部 10A、 静止图像获取部 10B 和静止图像处理部 10C。控制部 10 所具有的所述各部分， 进行后述的图像处理。
拍摄部 20 基于控制部 10 的控制， 对被摄体 ( 拍摄部拍摄的对象 ) 进行拍摄。显 示部 30 基于控制部 10 的控制， 显示图像。输入部 40 将根据用户输入操作的操作信号， 发 送至控制部 10。存储部 50 存储图像数据和被摄体运动信息等各种数据。
接下来， 对图像处理装置 1 的硬件构造进行说明。如图 2， 图像处理装置 1 具有 ： CPU( 中央处理器 )11、 透镜驱动部 21、 拍摄透镜 22、 光圈兼快门 23、 拍摄元件 24、 单元电路 25、 驱动器 26、 TG( 定时发生器 )27、 显示器 31、 按键输入装置 41、 存储器 51、 RAM( 随机存取 存储器 )52、 快闪存储器 53 和总线 90。
此处， 图 1 的控制部 10 是由根据图像处理程序进行处理的 CPU11 所构成的。图 1 的拍摄部 20， 是由透镜驱动部 21、 拍摄透镜 22、 光圈兼快门 23、 拍摄元件 24、 单元电路 25、 驱动器 26 和 TG27 所构成的。图 1 的显示部 30 是由显示器 31 所构成的。图 1 的输入部 40是由按键输入装置 41 所构成的。图 1 的存储部 50， 是由存储器 51、 RAM52， 和快闪存储器 53 所构成的。
拍摄透镜 22， 是由对焦透镜和变焦透镜等构成的透镜组所组成的。构成透镜组的 多个透镜， 各自与透镜驱动部 21 相连接。
透镜驱动部 21， 由使对焦透镜和变焦透镜分别在光轴方向移动的电动机 ( 图中未 示 )、 和基于从 CPU11 送来的控制信号分别使对焦电动机和变焦电动机驱动的电动机驱动 器 ( 图中未示 ) 所构成。
光圈兼快门 23 包括驱动电路 ( 图中未示 )， 该驱动电路基于从 CPU11 送来的控制 信号， 使光圈兼快门 23 工作。该光圈兼快门 23， 发挥光圈和快门的功能。光圈是指控制从 拍摄透镜 22 进入的光量的装置 ； 快门是指控制拍摄元件 24 的光照时间的装置。此处， 拍摄 元件 24 的光照时间 ( 曝光时间 )， 根据快门开关的速度 ( 快门速度 ) 而变化。另外， 拍摄元 件 24 的曝光时间， 根据所述光圈和快门速度而变化。
拍摄元件 24， 例如由 CCD( 电荷耦合器件 ) 图像传感器或是 CMOS( 互补型金属氧化 物半导体 ) 图像传感器等而构成。拍摄元件 24 被驱动器 26 扫描驱动， 每隔一定的周期， 将 被摄体画像的 RGB 值的各色光强经光电转换作为拍摄信号输出至单元电路 25。 该单元电路 25 和驱动器 26 的工作定时， 通过 TG27 由 CPU11 而控制。此外， 拍摄元件 24 具有拜耳排列 的彩色滤光片， 也具有电子快门的功能。该电子快门的快门速度， 通过驱动器 26 和 TG27 由 CPU11 而控制。 单元电路 25 与 TG27 相连接。单元电路 25， 由对拍摄元件 24 输出的拍摄信号进行 相关双采样并保持的 CDS( 相关双采样 ) 电路、 对采样之后的拍摄信号进行自动增益调整的 AGC( 自动增益控制 ) 电路、 和将自动增益调整之后的模拟拍摄信号变换为数字信号的 A/D 变换器所构成。拍摄元件 24 的拍摄信号， 经单元电路 25 作为数字信号发送至 CPU11。
CPU11 具有对单元电路 25 发来的数字信号 ( 图像原始数据 )， 进行伽马校正、 插值 处理、 白平衡处理、 直方图生成处理和亮度色差信号 (YUV 数据 ) 的生成处理等图像处理的 功能。 这样 CPU11 就是控制图像处理装置各部分的单片微机。 尤其是， 本实施方式中， CPU11 进行后述的图像处理。
存储器 51 中， 存放控制 CPU11 的各部分所必需的控制程序、 使得 CPU11 进行后述 的图像处理的图像处理程序、 和必要的数据。控制程序和图像处理程序在 RAM52 中展开。 CPU11 根据在 RAM52 中展开的控制程序和图像处理程序而工作。尤其是， CPU11 根据图像处 理程序进行后述的图像处理。
RAM52 由 DRAM( 动态随机存取存储器 ) 或是 SRAM( 静态随机存取存储器 ) 等构成。 RAM52 作为临时存储由拍摄元件 24 拍摄之后送到 CPU11 的图像数据的缓冲存储器而使用。 另外， 在 RAM52 中， 展开控制程序和图像处理程序。另外， RAM52 也作为 CPU11 的工作存储 器而使用。
显示器 31 包括例如彩色 LCD( 液晶显示器 ) 及其驱动电路。显示器 31 基于 CPU11 的控制， 在拍摄待机状态时， 将由拍摄元件 24 所拍摄的被摄体作为实时取景图像而显示。 记录图像的再现时， 显示器 31 基于 CPU11 的控制， 显示由快闪存储器 53 中存储的图像数据 所生成的图像。
快闪存储器 53， 是预先保存由拍摄元件 24 拍摄的图像的图像数据、 和被摄体运动
信息等的存储介质。
按键输入装置 41， 包括可半按和全按两阶段操作的快门按钮、 模式切换按键、 十字 按键、 变焦按键、 和菜单按键等多个操作按键。根据用户的按键操作， 将操作信号向 CPU11 输出。
总线 90 是传输与总线 90 相连接的各部分之间的交互数据的传输线路。
此外， 图 1 和图 2 的构成要素是一个图像处理装置 1 所具有的物件。然而， 所述构 成要素的至少一部分的功能， 也可以设置在图像处理装置 1 的外部。例如， 显示部 30( 显示 器 31) 也可以是设置在图像处理装置 1 的外部的物件 ( 例如， 计算机的显示器 )。另外， 存 储部 50( 存储器 51、 RAM52 和快闪存储器 53) 的存储区域的至少一部分也可以由外部的装 置 ( 例如服务器 ) 所具有。另外， 拍摄部 20 也可以是设置于图像处理装置 1 的外部的物件 ( 例如， 相机 ( 图像处理装置 1 为计算机的情况下 ) 等 )。
图像处理程序， 也可以通过因特网等通信线路下载至计算机。 这样的情况下， 该计 算机就成为了图像处理装置 1。 另外， 图像处理程序， 也可以与 OS( 操作系统 ) 协同工作， 使 CPU11 进行后述的处理。另外， 图像处理程序也可以记录于各种计算机可读存储介质 ( 例 如， RAM、 ROM、 CD-R、 DVD-R、 硬盘、 或是快闪存储器 )。图像处理程序是计算机可读程序， 记录 该程序的存储介质， 成为计算机程序产品。 接下来， 对本实施方式所涉及的图像处理装置 1 所进行的图像处理方法中的拍摄 处理， 参照图 3 ～ 6 进行说明。此外， 该拍摄处理， 以图像处理装置 1 的用户 ( 操作者 ) 利 用输入部 40 进行规定操作时为契机而开始。例如， 由用户操作输入部 40( 例如， 模式切换 按键 )， 在图像处理装置 1 设定静止图像拍摄模式， 由此该处理开始。该拍摄处理是图像处 理装置 1 的控制部 10(CPU11) 所进行的， 而下面的说明中， 则是控制部 10 所具有的被摄体 运动信息生成部 10A、 和静止图像获取部 10B 进行处理， 以下说明。另外， 该拍摄处理， 根据 用户对输入部 40 的操作， 也有中途结束的情况。
被摄体运动信息生成部 10A， 开始将实时取景图像在显示部 30 上显示 ( 步骤 S101)。具体而言， 被摄体运动信息生成部 10A， 使得拍摄部 20 开始对被摄体的拍摄处理。 然后， 根据依次拍摄的帧图像的原始数据 ( 图像原始数据 ) 生成亮度色差信号的帧图像数 据。然后， 生成的亮度色差信号的帧图像数据存储在缓冲存储器 (RAM52) 中。然后， 将根据 存储的被摄体的帧图像数据所生成的图像在显示部 30 上显示。该处理时的帧频设为， 例如 30fps( 帧 / 秒 )。
被摄体运动信息生成部 10A， 设定 n ＝ 0 和 x ＝ 0 的同时， 进行消去本图像处理所 用的后述的中间数据等的初始化 ( 步骤 S102)。此处， n 为指定帧图像的顺序的数值， x为 指定后述的运动信息中所包括的共同运动方向的反转次数的数值。
被摄体运动信息生成部 10A， 判断输入部 40 所具有的快门按钮是否处于半按的状 态 (S103)。当输入部 40 所具有的快门按钮由用户半按时， 输入部 40 将该半按所对应的操 作信号向被摄体运动情报生成部 10A 输出。被摄体运动信息生成部 10A 在该操作信号被送 到时， 判断快门按钮处于半按状态。
被摄体运动信息生成部 10A 判断快门按钮处于半按状态的时候 ( 步骤 S103 ： 是 )， 进入步骤 S104 的处理。另外， 被摄体运动信息生成部 10A 判断快门按钮不是处于半按状态 ( 例如， 未被半按， 或是半按解除 ) 的时候 ( 步骤 103 ： 否 )， 回到步骤 S102 的处理。这样，
被摄体运动信息生成部 10A 待机， 直到由用户将快门按钮半按为止。另外， 被摄体运动信息 生成部 10A 在半按在步骤 S104 至步骤 S118 之间解除的时候， 回到本拍摄处理的开始状态 ( 步骤 S102)。
被摄体运动信息生成部 10A， 判断上述步骤 S101 中说明的帧图像数据是否生成 ( 步骤 S104)。 被摄体运动信息生成部 10A， 在帧图像数据生成了的情况下 ( 步骤 S104 ： 是 )， 进入步骤 S105。另外， 被摄体运动信息生成部 10A， 在帧图像数据还未生成的情况下 ( 步骤 S104 ： 否 )， 返回步骤 S104。这样， 被摄体运动信息生成部 10A 待机， 直到帧图像数据生成为 止。
被摄体运动信息生成部 10A， 令 n ＝ n+1， 将第 n 号的帧图像数据作为中间数据， 保 存 ( 记录 ) 于存储部 50( 工作存储器 (RAM52))( 步骤 S 105)。这样， 在快门在被半按的状 态下， 每当经过上述的帧频， 第 1、 第 2、 ... 第 n-2、 第 n-1、 第 n 的帧时期 ( 帧图像数据生成 的时期 ) 依此顺序到来。这样， 第 1、 第 2、 ... 第 n-2、 第 n-1、 第 n 的帧时期中生成的帧图 像数据， 分别成为第 1 号、 第 2 号、 ... 第 n-2 号、 第 n-1 号、 第 n 号的帧图像数据。换言之， 第 n 个帧时期到来时， 就记录第 n 号的帧图像数据。 此外， 被摄体运动信息生成部 10A， 将第 n 号的帧图像数据依次保存在存储部 50 中， 而此时， 也可以将第 n-2 号的帧图像数据删除。 由此， 可实现处理的高效化。第 n 号的帧图像数据的图像， 在例如显示在显示部 30 上。 被摄体运动信息生成部 10A， 判断 n 是否是 2 以上 ( 步骤 S106)。换言之， 被摄体 运动信息生成部 10A， 判断存储部 50 中是否保存了 2 个以上的帧图像数据 ( 第 2 号之后的 帧图像有无生成 )。
被摄体运动信息生成部 10A， 在 n 不足 2 的情况下 ( 步骤 S106 ： 否 )， 由于无法进 行后述的帧图像数据比较， 返回步骤 S103。被摄体运动信息生成部 10A， 在 n 为 2 以上的情 况下 ( 步骤 S106 ： 是 )， 由于能够进行后述的帧图像数据比较， 所以进入步骤 S107。
被摄体运动信息生成部 10A， 将在存储部 50 中保存的第 n-1 号的帧图像数据， 与 第 n 号的帧图像数据作比较， 生成第 n 号的被摄体运动信息 Vi(n)( 步骤 S107)。该处理的 具体例子参照图 4 至 5 进行说明。此外， 为了容易理解， 利用帧图像数据的图像 ( 帧图像 ) 对上述处理进行说明， 被摄体运动信息生成部 10A， 将与此对应的处理， 在数据的基础上利 用帧图像数据进行。
如图 4， 帧图像被分割为 150 个 ( 数值可恰当决定。) 分割块 100。此外， 图 4 的分 割块 100 内的数字， 是用于指定分割块 100 的位置的数字 ( 例如， 1 的话， 是第 1 号分割块 100)， 而不是构成帧图像的数字 ( 即被摄体的一部分 )。
此处， 被摄体的一部分的竹叶的集合 110 和 111， 由于风等的影响， 分别同样左右 往复运动 ( 参照图 4 的虚线箭头 )。将第 n-1 号和第 n 号的帧图像相比较， 由于分割块 100 内的被摄体， 也就是竹叶 ( 例如， 第 22 和 23 号的分割块 100) 是左右运动的， 所以分割块 100 内的竹叶 ( 被摄体 ) 成为运动的。另外， 例如第 1 号的分割块 100 的被摄体成为不动 的。此处， 将第 n-1 号和第 n 号的帧图像相比较， 指定各分割块 100 内的被摄体运动信息。 该运动信息可由公知的方法算出。作为公知的方法， 有例如光流法。另外， 作为运动信息的 例子例如有运动矢量。
这样得到的运动信息的集合， 成为被摄体运动信息 Vi(n)( 参照图 5)。此处， 被摄 体运动信息 Vi(n) 是对指定各分割块 100 的信息、 各分割块 100 的运动信息分别建立关联
而得到的信息。指定各分割块 100 的信息， 是图 5 中的 V1(n) 至 V150(n)。此处 Vi(n) 的 i， 是分割块的号码。例如， V1(n) 由于 i ＝ 1， 表示第 1 号的分割块。指定各分割块 100 的信 息， 只要是能指定各分割块的信息就可以， 例如， 也可以是指定与分割块的位置对应的号码 的信息。另外， 运动信息例如是在帧图像的横向为 x 轴、 帧图像的纵向为 y 轴时 ( 参照图 4 的坐标轴 ) 在 x 方向和 y 方向上画像有多少移动的信息。换言之， 运动信息例如是可以指 定在分割块 100 内的被摄体的运动方向和被摄体移动距离的信息。例如， 图 5 中表示了运 动信息是 x ＝ 10、 y ＝ 1 的状态。此外， x 和 y 的数值为像素的数目。此外， 与 x 方向 180 度的相反的方向上， x 的值成为负数。另外， 与 y 方向 180 度的相反的方向上， y 的值成为负 数。如图 5， 第 22 号的分割块 100 中， V22(n) 中表示 x ＝ 10、 y ＝ 1， 也就是第 22 号的分割 块 100 中的被摄体为， x 方向上只移动了 10 个像素、 y 方向上只移动了 1 个像素。此外， 运 动信息也可以表示被摄体不动的情况。这样的情况下， 表示为 x ＝ 0、 y ＝ 0( 例如参照图 5 的 V1(n))。
被摄体运动信息生成部 10A， 将被摄体运动信息 Vi(n) 作为中间数据， 保存于存储 部 50( 工作存储器 (RAM52))。这样， 被摄体运动信息生成部 10A， 将存储部 50 中保存的第 n-1 号的帧图像数据， 与第 n 号的帧图像数据相比较， 按照每块， 生成并记录第 n 号的被摄 体运动信息 Vi(n)， 该第 n 号的被摄体运动信息 Vi(n) 用来指定运动信息， 该运动信息用来 指定各分割块 100 中的被摄体的运动。此外， 指定被摄体的运动， 是指除了将被摄体的运动 唯一指定以外， 还包括将被摄体的运动指定在某个范围的情况。例如， 被摄体在 x ＝ 0.6 ～ 1.4、 y ＝ 0.6 ～ 1.4 的范围内运动的情况下， 该运动信息设为 x ＝ 1、 y ＝ 1。这样， 也可以 将被摄体的运动指定在某个范围。
被摄体运动信息生成部 10A， 基于被摄体运动信息 Vi(n)， 将指定被摄体运动的共 同方向的共同运动方向 D(n) 作为中间数据生成， 保存于存储部 50( 工作存储器 (RAM52)) ( 步骤 S108)。所谓共同运动方向， 是指分割块 100 各自的运动信息中所包括的被摄体的运 动方向 ( 可从上述 x 和 y 的值指定 ) 当中， 指定的最为共同的被摄体的运动方向。此外， 运 动方向为共同， 是指运动方向相互完全一致， 或是相互在规定范围内 ( 例如， ±5 度 ) 的情 况。将相互在规定范围内 ( 例如， ±5 度 ) 的方向作为共同方向的情况下， 例如， 将其规定 范围的中心方向作为共同方向。将相互在规定范围内 ( 例如， ±5 度 ) 的方向作为共同方 向的情况下， 例如， 将 360 度分割为 36 份， 指定分割的各自范围 (10 度的范围 ) 中的运动方 向的数目， 将最多的运动方向所属的范围的中心方向作为共同的方向。通过被摄体运动信 息生成部 10A 生成共同运动方向， 可以指定被摄体的至少一部分在图像整体中， 主要向哪 个方向移动。尤其本实施方式， 适用于拍摄由于风等， 被摄体的一部分 ( 尤其是多个部分 ) 大体由共同的运动而往复运动的情况。
被摄体运动信息生成部 10A， 判断是否 n ≥ 3( 步骤 S109)。在 n 不足 3 的情况下 ( 步骤 S109 ： 否 )， 被摄体运动信息生成部 10A 返回步骤 S103 的处理。在 n 为 3 以上的情 况下 ( 步骤 S109 ： 是 )， 被摄体运动信息生成部 10A， 进入步骤 S110。这样， 被摄体运动信息 生成部 10A 反复步骤 S103 至 S109， 直到获得 3 个以上的帧图像数据为止。如果可以获得 3 个以上的帧图像数据， 就可以判别后述的共同运动方向的反转。
被摄体运动信息生成部 10A， 将第 n 号的 D(n)， 与第 n-1 号的 D(n-1) 相比较 ( 步 骤 S110)。具体而言， 被摄体运动信息生成部 10A， 将存储部 50 中保存的 D(n) 与 D(n-1) 各自所指定的方向作比较。
被摄体运动信息生成部 10A， 判断第 n 号的 D(n) 所指定的方向， 与第 n-1 号的 D(n-1) 所指定的方向相比是否反转 ( 步骤 S111)。例如， 被摄体运动信息生成部 10A， 判断 D(n) 所指定的方向， 与 D(n-1) 所指定的方向是否是相反的方向。如果相反， 则反转 D(n) ； 如果不相反， 则不反转 D(n)。 此外， 相反的方向， 是指除了与 D(n-1) 所指定的方向成 180 度 相反的方向之外， 也可以是以 180 度相反的方向为中心的规定范围内的方向 ( 例如从中心 方向起 5 度的范围内的方向 )。被摄体运动信息生成部 10A 判断第 n 号的 D(n) 所指定的方 向反转的情况下 ( 步骤 S111 ： 是 )， 进入步骤 S112， 设定 x ＝ x+1。由此， 对共同运动方向的 反转次数进行计数。 另外， 被摄体运动信息生成部 10A， 判断第 n 号的 D(n) 所指定的方向没 有反转的情况下 ( 步骤 S111 ： 否 )， 进入步骤 S113。这样， 被摄体运动信息生成部 10A， 根据 共同运动方向的反转数， 可以对被摄体中的至少一部分的主要部分在图像整体中有几次反 转进行计数。
被摄体运动信息生成部 10A， 判断是否是 x ≥ 1( 步骤 S113)。x ＝ 1 的时候， 是从 快门被半按时起、 共同运动信息所指定的方向第一次反转的时候。 此时， 被摄体从往复运动 的中心到了位移最大之处。 从该位移最大的时候起， 通过捕捉被摄体的往复运动， 可以得知 往复运动的周期。另外， 由此， 也可以高效捕捉被摄体的往复运动。 被摄体运动信息生成部 10A， 判断 x ≥ 1 的情况下 ( 步骤 S113 ： 是 )， 在第 n 号的 被摄体运动信息 Vi(n)( 从所有的分割块 100 指定的运动信息的集合 ) 当中， 仅仅将与共同 运动信息 Vm(n) 类似的运动信息保存在存储部 50( 工作存储器 (RAM52))( 步骤 S114)。换 言之， 步骤 S114 中， 被摄体运动信息生成部 10A， 仅仅对与共同运动信息 Vm(n) 类似的运动 信息所指定的分割块 100， 将指定的运动信息照原样保存于存储部 50。 另一方面， 步骤 S114 中， 被摄体运动信息生成部 10A， 对与共同运动信息 Vm(n) 不类似的运动信息所指定的分割 块 100， 不将指定的运动信息照原样保存于存储部 50， 而作为运动信息， 将 x ＝ 0， y＝0保 存于存储部 50。此处， 共同运动信息 Vm(n)， 是指例如第 n 号的被摄体运动信息 Vi(n) 中， 方向和大小 ( 可以由上述的 x 和 y 的值指定 ) 相互一致的运动信息之中， 一致数目最多的 运动信息。另外， 所谓的与共同运动信息 Vm(n) 类似的运动信息， 是指在第 n 号的被摄体运 动信息 Vi(n) 当中， 其方向为共同运动信息 Vm(n) 的方向的规定范围内 ( 例如， ±5 度 )， 且 其大小为共同运动信息 Vm(n) 的大小的规定范围之内 ( 例如， ±5％ ) 的运动信息。这样， 指定与共同运动信息相类似的运动信息 ( 对于共同运动信息在规定范围内的运动信息 ( 与 往复运动所对应的运动信息 )) 的被摄体运动信息 Vi(n)， 作为最终数据被记录。
此外， 反复进行的步骤 S114 中， 被摄体运动信息生成部 10A， 将被摄体运动信息 Vi(n)， 按时间序列， 也就是说， n 的值的顺序在存储部 50 中保存。另外， 被摄体运动信息生 成部 10A， 在不是 x ≥ 1 的时候 ( 步骤 S113 ： 否 )， 以在捕捉被摄体的往复运动的时期还未 到来， 进入步骤 S118。
被摄体运动信息生成部 10A， 判断是否 x ≥ 3( 步骤 S115)。被摄体运动信息生成 部 10A， 判断 x ≥ 3 的情况下 ( 步骤 S115 ： 是 )， 将作为最终数据记录的最小的 n 所对应的被 摄体运动信息 Vi(n) 从存储部 50 中删除 ( 步骤 S116)。另外， 被摄体运动信息生成部 10A， 在判断为不是 x ≥ 3 的情况下 ( 步骤 S115 ： 否 )， 进入步骤 S118。这样， 通过将在 x ≥ 1 之 后起 x ≥ 3 之前的 n 所对应的被摄体运动信息 Vi(n) 作为最终数据记录于存储部 50， 可获
得一个周期的 n( 帧数 ) 所对应的被摄体运动信息 Vi(n)。另外， 对于 x ≥ 3 之后的 n， 通过 将最小的 n 所对应的被摄体运动信息 Vi(n) 从存储部 50 中删除， 可以获得最新的一个周期 的被摄体运动信息。这样， 可以高效地获得一周期的被摄体运动信息。
被摄体运动信息生成部 10A， 将处理结束的意思的显示在显示部 30 上显示。 这样， 被摄体运动信息生成部 10A， 通知用户第一图像处理已结束的意思 (S117)。也就是说， 被摄 体运动信息生成部 10A， 通知用户可以再现在静止图像上附加了往复运动的图像的意思。
被摄体运动信息生成部 10A， 判断输入部 40 所具有的快门按钮是否全按 (S118)。 在输入部 40 所具有的快门被用户全按时， 输入部 40 将该全按所对应的操作信号向被摄体 运动信息生成部 10A 输出。被摄体运动信息生成部 10A 在该操作信号被送到时， 判断为快 门按钮被全按。被摄体运动信息生成部 10A 在判断被全按时 ( 步骤 S118 ： 是 )， 进入步骤 S119。另外， 被摄体运动信息生成部 10A 在判断为未被全按时 ( 步骤 S118 ： 否 )， 返回步骤 S103。这样， 被摄体运动信息生成部 10A 重复上述处理， 直到用户拍摄静止图像。
被摄体运动信息生成部 10A 在判断为被全按时 ( 步骤 S118 ： 是 )， 静止图像获取部 10B， 获取来自被摄体运动信息生成部 10A 的第 n 号的帧图像数据， 该数据作为最终数据的 静止图像 ( 静止图像数据 )， 保存于存储部 50( 工作存储器 (RAM52))( 步骤 S119)。然后， 被摄体运动信息生成部 10A， 将存储部 50 中保存的静止图像数据 ( 拍摄部所获取的静止图 像 ) 与存储部中作为最终数据保存的时间序列顺序的被摄体运动信息 Vi(n) 相关联， 作为 最终数据记录于存储部 50( 快闪存储器 53)。 如图 6， 时间序列顺序的多个被摄体运动信息， 由从 n ＝ min 开始到 n ＝ max 为止 的被摄体运动信息的集合构成。此处， n ＝ min 的被摄体运动信息， 是指作为最终数据的多 个被摄体运动信息 Vi(n) 中最旧的 (n 的值为最小 )， n ＝ max 的被摄体运动信息， 是指最新 的 (n 的值为最大 )。
接下来， 对本实施方式所涉及的图像处理装置 1 所进行的图像处理方法当中的再 现处理， 参照图 7 至 8 进行说明。此外， 该再现图像处理， 以图像处理装置 1 的操作者使用 输入部 40 进行规定的操作时作为契机而开始。例如， 用户操作输入部 40( 例如， 模式切换 按键等 ) 在图像处理装置设定规定的静止图像的再现时， 该处理开始。此时， 控制部 10 根 据存储部 50 中作为最终数据记录的静止图像数据生成静止图像， 在显示部 30 上显示。此 外， 该再现处理由图像处理装置 1 的控制部 10(CPU11) 进行， 而下面的说明中， 是以静止图 像处理部 10C 进行处理， 下面进行说明。另外， 该再现处理， 根据用户对输入部 40 的操作， 也有中途结束的情况。
静止图像处理部 10C， 设定 n ＝ min， 开始 n 的计数 ( 步骤 S201)。
静止图像处理部 10C， 从存储部 50 中， 获取根据所述静止图像数据而记录的被摄 体运动信息当中 n 所对应的被摄体运动信息， 指定该被摄体运动信息当中大于 0 的值的运 动信息 ( 例如， x 或 y 的至少一个不是 0 的运动信息 )( 步骤 S202)。例如， 图 6 中， n ＝ min 的情况下， 指定 V22(n) 和 V23(n) 的运动信息。此外， 被摄体运动信息， 也可以从存储部 50 的 RAM52 中多个地读出， 也可以从步骤 S202 至 S204 的每次处理一个一个读出。
静止图像处理部 10C， 指定所述的 n 所对应的被摄体运动信息当中大于 0 的值的 运动信息所对应的分割块 100( 步骤 S203)。例如， 图 6 中， n ＝ min 的情况下， 指定 V22(n) 和 V23(n) 等所对应的分割块 100。
静止图像处理部 10C， 将在步骤 S203 中所指定的各分割块 100 所对应的各静止图 像块在静止图像上指定， 该指定的各静止图像块内的画像按照原样， 根据步骤 S202 中所指 定的各运动信息而移动。例如， 图 6 中， n ＝ min 的情况下， 仅仅将 V22(n) 和 V23(n) 等所 对应的各分割块 100 各自对应 ( 例如位置和形状相同 ) 的各静止图像块的画像， 以 V22(n) 和 V23(n) 等的各运动信息所指定的移动方向和移动距离 ( 例如， x 方向上 10 个像素， y方 向上 1 个像素 )， 在显示部 30 上显示的静止图像上移动。
对于该静止图像块的画像的移动， 参照图 8 进行更为详细的说明。图 8 的各静止 图像块 200A 至 200I， 与分割块 100( 参照图 4) 有着相同的形状， 位置也是相同的位置。静 止图像块 200E( 实施了影线的块 ) 内的画像， 基于所述运动信息， 例如图 8 那样移动。 此外， 此处是一个静止图像块 200E 在移动， 而即使是多个静止图像块的移动， 移动的原理也是相 同的。
如图 8， 静止图像块 200E 的画像 201( 实施了影线的区域 ) 移动时， 会形成空白区 域 202( 涂满黑色的区域 )。因此， 需要将空白区域 202 用一些画像填补。
静止图像处理部 10C， 例如通过以下的方法， 将空白区域 202 填充。 首先， 指定空白 区域 202 所邻接的静止图像块 200D、 200F、 和 200H 的各像素数据 ( 例如亮度色差值 )。接 下来， 算出移动后的画像 201 的像素数据、 静止图像块 200D 的像素数据、 200F 的像素数据、 和 200H 的像素数据的平均值 ( 例如亮度色差值 )。将算出的平均值作为该空白区域 202 的 像素数据。静止图像处理部 10C 这样填充空白区域 202。 静止图像处理部 10C， 判断是否是 n ＝ max( 步骤 S205)。如果 n ＝ max( 步骤 S205 ： 是 )， 根据一周期的被摄体的运动信息， 进行静止图像块的画像的移动， 所以进入步 骤 S206。 由此， 在显示部 30 上所显示的静止图像的被摄体的至少一部分就在静止图像上作 了一次往复运动。另外， 静止图像处理部 10C， 在 n ＝ max 不成立时 ( 步骤 S205 ： 否 )， 设n ＝ n+1( 步骤 S207)， 返回步骤 S202。由此， 就有显示部 30 上显示的静止图像的被摄体的至 少一部分， 在静止图像上作 1 次往复运动为止， 进行静止图像上的再现。
静止图像处理部 10C， 设定 n ＝ min( 步骤 S206)， 判断根据对输入部 40 具有的规 定的操作按键的操作有无再现结束的指示 ( 步骤 S208)。用户使用输入部 40 操作再现结 束时， 输入部 40 向静止图像处理部 10C 输出再现结束所对应的操作信号。静止图像处理部 10C， 在该操作信号送到时， 判断为有再现结束的指示。静止图像处理部 10C， 在判断为有再 现结束的指示时 ( 步骤 S208 ： 是 )， 结束再现处理。另外， 静止图像处理部 10C， 在判断为没 有再现结束的指示时 ( 步骤 S208 ： 否 )， 重复上述再现处理。由此， 静止图像的被摄体的至 少一部分会往复运动多次。
上述说明的处理 ( 例如参照上述的步骤 S107、 S114、 S116 等 )， 是被摄体运动信息 生成部 10A 所进行的检测分割运动图像 (moving images) 的图像区域而成的多个分割块 100 的各自当中的被摄体的运动， 生成用来指定被摄体中有运动的分割块 100 和此分割块 100 中的运动信息的被摄体运动信息的处理的一例。此外， 被摄体运动信息， 可以是例如指 定被摄体中有运动的分割块 100 和此分割块 100 中的被摄体的运动的信息。也可以是， 例 如由指定分割块 100 的分割块指定信息 ( 例如， 取得图 5 的 V22(n) 等的分割块 100 的位置 等的数据 )， 和运动指定信息 ( 例如， 表示 x ＝ 10， y ＝ 1 的数据 ) 所组成的数据。另外， 上 述所说明的处理 ( 例如参照步骤 S119)， 是静止图像获取单元 10B 所进行的获取静止图像的
处理的一个例子。另外， 上述所说明的处理 ( 例如参照步骤 S202 ～ 204 等 )， 是静止图像处 理单元 10C 所进行的， 利用被摄体运动信息生成单元 10A 所生成的被摄体运动信息， 在静止 图像获取单元 10B 获取的静止图像上， 使得被摄体运动信息所指定的分割块 100 所对应的 静止图像块的画像 201， 根据被摄体运动信息所指定的被摄体的运动而移动的处理的一个 例子。此外， 上述实施方式中， 静止图像处理单元 10C， 在显示部 30 上显示静止图像进行处 理， 而该处理也可以不在显示部 30 上表示而在数据上进行。
此外， 使得静止图像块的画像 201， 根据被摄体运动信息所指定的被摄体的运动而 移动， 是指使画像 201 以与被摄体运动信息所指定的被摄体的运动相同的运动而移动， 或 是虽不同但在规定的范围内按规定的方法而移动。上述内容中， 使画像 201 作与被摄体运 动信息所指定的被摄体的运动相同的运动。
另外， 上述实施方式中， 静止图像是在最后获取的， 然而也可以在拍摄处理的最初 获取静止图像。换言之， 静止图像获取手段 10B 所获取的静止图像 ( 静止图像数据 )， 也可 以是 n ＝ 1 时的帧图像 ( 数据 )。这样的情况下， 被摄体运动信息从 n ＝ 1 开始依次作为最 终数据记录至存储部 50。 另外， 这样的情况下， 也可以不检测被摄体的往复运动。 也可以生 成规定期间的 n 个被摄体运动信息 Vi(n)， 在静止图像上， 根据生成的 n 个被摄体运动信息 Vi(n) 所指定的运动信息， 将静止图像块内的画像移动。
如本说明的本实施方式 ( 也适当包括上述说明的变形例， 下同 ) 中， 生成指定被摄 体中有运动的分割块 100 和此分割块 100 中的运动信息的被摄体运动信息， 在静止图像上， 使得被摄体运动信息所指定的分割块 100 所对应的静止图像块的画像 201， 根据被摄体运 动信息所指定的被摄体的运动而移动。由此， 本实施方式所涉及的图像处理装置 1， 即使被 摄体在相同的位置上持续不动， 也可以仅用一幅静止图像， 将成为被摄体的一部分的少数 区域的运动再现。 另外， 由于仅用一幅静止图像数据， 就可以表示被摄体的至少一部分的运 动， 所以在表示被摄体的运动的时候， 就不需要由多个静止图像数据所构成的数据量大的 运动图像数据。 其结果， 可以抑制图像数据的数据量的同时， 还可以获得能够显示自身一部 分在相同位置不动的被摄体的运动的图像。另外， 可以将运动图像 (moving images) 处理 为可以只表示被摄体的一部分的运动。另外， 可以提供由于使得静止图像块内的画像整体 移动而给予新的印象的图像。进一步地， 可以再现各自分离的多个区域的被摄体的运动。
另外， 本实施方式中， 拍摄处理中生成被摄体运动信息的时候， 仅仅将与共同运动 信息 Vm(n) 类似的运动信息保存至存储部 50 中， 对于与共同运动信息 Vm(n) 不类似的运动 信息所指定的分割块 100， 作为运动信息， 将 x ＝ 0、 y ＝ 0 保存入存储部 50。由此， 只有拍 摄处理时与共同运动信息 Vm(n) 类似的运动信息所指定的分割块 100 中被拍的被摄体 ( 例 如， 图 4 所示竹叶的运动 ) 的运动， 才在再现处理时在静止图像上表示。因此， 与共同运动 信息 Vm(n) 有很大差异的运动信息所指定的分割块 100 中被拍的被摄体 ( 例如， 图中未示， 与图 4 所示的竹叶的运动相比， 以非常快的速度直线移动的汽车 ) 的运动， 在再现处理时在 静止图像上不作表示。由此， 在再现处理中， 只要作周期性往复运动的被摄体 ( 上述的竹叶 等 ) 的运动信息， 与共同运动信息类似， 就只将此被摄体的周期性的往复运动在静止图像 上反复再现， 而不作周期性的往复运动的被摄体 ( 上述的汽车等 ) 的运动则不被再现。其 结果是， 可以避免带给用户在拍摄处理时不作周期性运动的被摄体， 在再现处理时的静止 图像上作周期性运动的不协调感。另外， 也可以在拍摄处理中生成被摄体运动信息的时候， 将在所有分割块 100 中 指定的运动信息按照原样保存至存储部 50， 在再现处理开始之后， 确认所有的分割块 100 的各自的运动信息在一个周期的往复运动 (Vi(min) ～ Vi(max)) 中有无反转， 将运动信息 没有反转的分割块 100 的运动信息， 变为 x ＝ 0、 y ＝ 0， 也就是运动信息的大小变为 0。这 样的话， 即使是拍摄处理时有运动的分割块中所拍的被摄体， 例如该被摄体不是作周期性 往复运动， 而是直线移动的情况下， 在再现处理时， 该直线移动的被摄体 ( 例如， 上述的汽 车等 ) 的运动也不会被再现。由此， 可以避免带给用户在拍摄处理时不作周期性运动的被 摄体， 在再现处理时的静止图像上作周期性运动的不协调感。此处， 确认分割块 100 的各 自的运动信息在一周期的往复运动中是否有反转的方法， 在分割块 100 的各自当中， 依次 确认在时间序列上邻接的运动信息所表示的各自的方向， 在该时间序列上邻接的运动信息 所表示的各自的方向， 如果相反的话， 将反转在时间序列上邻接的运动信息 ； 如果不相反的 话， 则不反转在时间序列上邻接的运动信息。此外， 相反的方向， 是指除了在时间序列上邻 接的运动信息各自所表示的方向相互 180°相反之外， 也可以是以在时间序列上邻接的运 动信息所表示的各自方向相互 180°相反的方向为中心的规定的范围内的方向 ( 例如从中 心方向 5 度范围内的方向 )。
如 以 上 例 子 所 述， 被 摄 体 运 动 信 息 生 成 部 10A， 检 测 分 割 运 动 图 像 (moving images) 而成的多个分割块 100 的各自当中的被摄体的运动， 基于运动信息检测运动图像 (moving images) 的被摄体的往复运动， 生成多个与检测到的所述往复运动的周期 ( 一个 周期的 ) 对应的且指定与往复运动所对应的运动信息 ( 例如， 也可以是上述的类似的运动 信息， 或是上述共同运动信息， 或是其他的运动信息 ) 的被摄体运动信息， 静止图像处理部 10C， 也可以只使用所述被摄体运动信息生成部 10A 所生成的多个被摄体运动信息当中的 对应于往复运动的运动信息， 在静止图像获取单元所获取的静止图像上， 根据运动信息所 指定的所述被摄体的运动， 使得静止图像块的画像作移动。
另外， 上述说明的处理 ( 例如， 参照上述步骤 S107、 S111、 S114 和 S116 等 )， 是被 摄体运动信息生成部 10A 进行的检测将运动图像 (movingimages) 的画面区域分割而成的 多个分割块的各自当中的被摄体的运动， 基于运动信息而检测运动图像 (moving images) 的被摄体的往复运动， 而生成多个与检测到的往复运动的周期对应的被摄体运动信息的处 理的一个例子。此外， 所谓的周期， 是指半周期的整数倍的周期。 “生成多个与往复运动的 周期对应的被摄体运动信息” 是指， 例如生成多个关于所述周期内的被摄体的运动的被摄 体运动信息。 此外， 上述实施方式中， 周期为一个周期， 而在为半个周期的情况下， 也可以在 步骤 S115 中判断是否 x ≥ 2。就这样， 在周期改变的情况下， 例如， 只要改变步骤 S115 中的 x 的值即可。另外， 上述说明的处理 ( 例如， 参照上述步骤 S202 至 S206、 和 S207 等 )， 是静 止图像获取单元 10C 进行的， 利用被摄体运动信息生成单元 10A 所生成的多个被摄体运动 信息， 在静止图像上， 根据运动信息使得静止图像块的画像依次移动的处理的一个例子。 此 外， 在往复运动的周期为半个周期的倍数的情况下， 在再现处理中， 则两次以上进行例如步 骤 S202 至 S207。另外， 在第偶数次的处理中， 将运动信息反转， 使得静止图像块的画像 201 移动。由此， 可以进行合适的往复运动。由此， 本实施方式中， 通过检测并利用往复运动， 可 以更加高效地表示被摄体的往复运动。
上述说明的处理 ( 例如， 步骤 S111)， 是利用在运动信息中包括的被摄体的运动方向的反转来检测往复运动的处理的一个例子。 这样， 本实施方式中， 可以更加高效地检测往 复运动。
另外， 上述说明的处理 ( 例如， 参照步骤 S114 至步骤 S116 等 )， 是所述被摄体运动 信息生成单元 10A 进行的、 生成多个从与所述拍摄部拍摄所述静止图像的时期起追溯的往 复运动的周期对应的所述被摄体运动信息的处理的一个例子。由这样的处理， 可以显示被 摄体的最新的往复运动。这对于往复运动为衰减的运动的情况有效。
此外， 作为运动图像 (moving images) 之外的例子， 也可以利用被摄体的运动为不 连续的静止图像的集合进行上述处理。另外， 运动图像 (movingimages) 也可以是事先拍 摄、 保存好的。