图像处理设备及程序和焦平面失真分量计算方法.pdf

提供了图像处理设备、焦平面失真分量计算方法、图像处理程序和记录介质。所述图像处理设备包括：运动向量接收单元，被配置为从由帧图像组成的帧图像数据中接收表示帧图像的运动的运动向量；建模单元，被配置将从运动向量接收单元接收的运动向量建模为分量分离表达式，其中使用分别表示作为相机的运动的相机运动和焦平面失真中的改变量的分量参数来分离相机运动分量和焦平面失真分量；以及分量计算单元，被配置为计算在分量分离表达式中使用的分量参数，从而计算运动向量中的焦平面失真分量。

1.  一种图像处理设备，包括：
运动向量接收单元，被配置为从由帧图像组成的帧图像数据接收表示所述帧图像的运动的运动向量；
建模单元，被配置将从所述运动向量接收单元接收的所述运动向量建模为分量分离表达式，其中使用分别表示作为相机的运动的相机运动和焦平面失真的改变量的分量参数来分离相机运动分量和焦平面失真分量；以及
分量计算单元，被配置为计算在所述分量分离表达式中使用的所述分量参数，从而计算所述运动向量中的所述焦平面失真分量。

2.  根据权利要求1所述的图像处理设备，其中，所述建模单元将所述分量分离表达式表示为矩阵表达式。

3.  根据权利要求2所述的图像处理设备，其中，所述建模单元将所述相机运动分量表示为
表示关于所述帧图像在垂直方向和水平方向上的平移速度的平移元素；
表示在放大/缩小方向上的放大/缩小速度的放大/缩小元素，以及
表示在一个方向上的角度改变的旋转元素。

4.  根据权利要求3所述的图像处理设备，其中，所述建模单元在所述旋转元素之前将所述分量分离表达式乘上
用于将原点移动到中心的原点校正矩阵，以及
用于将像素的纵横比改变为1∶1的纵横比校正矩阵，并在所述旋转元素之后将所述分量分离表达式乘上
用于将原点从中心移回原始位置的原点校正逆矩阵，以及
用于将像素的纵横比改变回原始纵横比的纵横比校正逆矩阵。

5.  根据权利要求2所述的图像处理设备，其中，所述建模单元将所述焦平面失真分量建模为下面的表达式
1000e00011b0010001---(1)]]>
其中e和b是所述分量参数。

6.  根据权利要求5所述的图像处理设备，其中，所述建模单元将所述相机运动分量建模为下面的表达式
10h01v001cosθ-sinθ0sinθcosθ0001s000s0001---(2)]]>
其中θ、h、v和s是所述分量参数。

7.  根据权利要求6所述的图像处理设备，其中，所述建模单元将所述运动向量建模为下面的表达式
x1y11=A1A2A0B1B2B0001x0y01]]>
=10hc01vc0011p000100011000e00011b0010001---(3)]]>
10h01v001cosθ-sinθ0sinθcosθ0001s000s0001p0001000110-hc01-vc001x0y01]]>

8.  根据权利要求1所述的图像处理设备，还包括：
校正单元，被配置为基于由所述分量计算单元计算的所述焦平面失真分量来校正所述帧图像中的焦平面失真。

9.  根据权利要求8所述的图像处理设备，其中，所述建模单元将所述焦平面失真分量表示为FP失真平行四边形元素和FP失真垂直方向放大/缩小元素。

10.  根据权利要求9所述的图像处理设备，所述校正单元包括：
校正量计算单元，被配置为基于由所述分量计算单元计算的所述焦平面失真分量，计算表示关于所述帧图像执行的关于所述焦平面失真的校正量的焦平面失真校正量；
校正向量生成单元，被配置为基于由所述校正量计算单元计算的所述焦平面失真校正量，生成用于校正所述运动向量中的所述焦平面失真的校正向量；以及
运动补偿单元，被配置为将由所述校正向量生成单元生成的所述校正向量应用到所述帧图像中待处理的处理帧图像。

11.  根据权利要求10所述的图像处理设备，其中，所述校正量计算单元从所述处理帧图像以及紧接在所述帧图像的所述处理帧图像之前和之后的帧图像中，选择所述焦平面失真最小的帧图像，并计算所述焦平面失真，使得所述焦平面失真处于与所述选择的帧图像的焦平面失真相同的级别。

12.  根据权利要求11所述的图像处理设备，
其中，所述建模单元将所述相机运动分量至少表示为
平移元素以及
放大/缩小元素；
以及其中所述校正量计算单元基于所述平移元素选择具有最小焦平面失真的帧图像。

13.  根据权利要求12所述的图像处理设备，
其中，所述建模单元将所述平移元素表示为垂直方向和水平方向上的平移速度；
以及其中所述校正量计算单元
基于所述垂直方向平移速度来计算对应于所述FP失真垂直方向放大/缩小元素的所述焦平面失真校正量，以及
基于所述水平方向平移速度来计算对应于所述FP失真平行四边形元素的所述焦平面失真校正量。

14.  根据权利要求13所述的图像处理设备，其中，在用卷帘式快门方法成像所述帧图像的事件中，所述校正量计算单元用单位矩阵替代所述焦平面失真。

15.  根据权利要求14所述的图像处理设备，
其中所述建模单元将所述相机运动分量至少表示为
平移元素以及
放大/缩小元素；
以及其中所述校正量计算单元将所述焦平面分量的累积值作为所述焦平面失真校正量；
以及其中，在所述平移元素的绝对值低于复位阈值的事件中，所述校正量计算单元复位所述焦平面分量的累积值。

16.  根据权利要求15所述的图像处理设备，
其中，所述建模单元将所述相机运动分量至少表示为
平移元素以及
放大/缩小元素；
以及其中所述校正量计算单元将
所述平移元素和
所述焦平面分量的累积值
作为所述焦平面失真校正量；
以及其中所述校正量计算单元减小或消除关于其与所述平移元素的相关性小的所述焦平面分量的影响。

17.  根据权利要求8所述的图像处理设备，还包括：
运动向量可靠性生成单元，被配置为生成表示所述运动向量的可靠性的可靠性信息；
以及其中所述校正量计算单元基于由所述运动向量可靠性生成单元生成的所述可靠性信息，仅使用关于其所述向量的可靠性高的焦平面分量来生成所述焦平面失真校正量。

18.  一种焦平面失真分量计算方法，包括步骤：
从由帧图像组成的帧图像数据接收表示所述帧图像的运动的运动向量；
将在所述接收步骤中接收的所述运动向量建模为分量分离表达式，其中使用分别表示作为相机的运动的相机运动和焦平面失真中的改变量的分量参数来分离相机运动分量和焦平面失真分量；以及
计算在所述分量分离表达式中使用的所述分量参数，从而计算所述运动向量中的所述焦平面失真分量。

19.  一种图像处理程序，使计算机执行以下步骤：
从由帧图像组成的帧图像数据接收表示所述帧图像的运动的运动向量；
将在所述接收步骤中接收的所述运动向量建模为分量分离表达式，其中使用分别表示作为相机的运动的相机运动和焦平面失真中的改变量的分量参数来分离相机运动分量和焦平面失真分量；以及
计算在所述分量分离表达式中使用的所述分量参数，从而计算所述运动向量中的所述焦平面失真分量。

20.  一种存储图像处理程序的记录介质，所述图像处理程序使计算机执行以下步骤：
从由帧图像组成的帧图像数据接收表示所述帧图像的运动的运动向量；
将在所述接收步骤中接收的所述运动向量建模为分量分离表达式，其中使用分别表示作为相机的运动的相机运动和焦平面失真中的改变量的分量参数来分离相机运动分量和焦平面失真分量；以及
计算在所述分量分离表达式中使用的所述分量参数，从而计算所述运动向量中的所述焦平面失真分量。

图像处理设备及程序和焦平面失真分量计算方法
技术领域
本发明涉及图像处理设备、焦平面失真分量计算方法、图像处理程序和记录介质，例如，它们适于应用到图像处理设备来编辑用成像装置成像的帧图像数据。
背景技术
迄今为止，成像装置广泛地采用了校正由于持有成像装置的用户的手的移动引起的相机抖动的布置，其中将诸如加速传感器之类的传感器提供给成像装置，并且移动诸如透镜之类的光学部分来抵消由于相机抖动引起的移动(例如，查看http:/dspace.wul.waseda.ac.jp/dspace/bitstream/2065/5323/3/Honbun-4189.pdf，“Research on Core Technologies for the Improvement ofVulnerabilities in Video Systems”，Mitsuaki Oshima)。
而且，对于成像装置，使用卷帘式快门(global shutter)方法的CCD(电荷耦合器件)被广泛地用作成像设备。CCD一次传递(transfer)一帧数据。
然而，最近，使用焦平面快门方法的CMOS(互补金属氧化物半导体)器件由于关于成本的优势，在成像装置中得到了广泛地采用。CMOS设备一次传递一行数据，这意味着帧内在快门定时方面存在轻微的时间发散(divergence)。因此，在成像期间成像设备的移动，例如由于用户的手的抖动或者故意的运动(在下文中被称为“摄影操作”)引起的相机抖动，可以导致在用CMOS器件成像的帧图像数据中的对象的焦平面失真。最后，提出了布置来校正帧图像数据中这样的焦平面失真的成像设备(例如，查看日本未审查专利申请公开No.2008-78808)。
发明内容
现在，对于上述具有相机抖动校正功能的成像装置，建立在其中抵消部分抖动以减轻抖动的设计，来防止由于过度校正引起的控制系统的分散(scattering)。也就是说，对于这样的成像装置，虽然可以在帧图像数据内减轻抖动的影响，但是抖动的影响仍然存在于所成像的帧图像数据中。因此，进一步减轻抖动的影响的成像之后的后处理(post-processing)是期望的。
使用后处理，不检测成像装置自身的运动量(在下文中被称为“相机运动”)，这类似于建立在成像装置中的相机抖动校正功能。而且，日本未审查专利申请公开No.2008-8808中描述的方法要求划分成像设备，相应地不可应用于后处理。
因此，图像处理设备基于从帧图像数据检测的运动向量来计算抖动量。然而，如上所述，帧图像数据包括与成像装置的抖动对应的焦平面失真。这导致了由于焦平面失真在运动向量上的影响，抖动的高精度计算是不可计算的问题，从而改善帧图像数据的质量的努力没有取得进步。
期望提供能够改善帧图像数据的质量的图像处理设备、焦平面失真分量计算方法、图像处理程序和记录介质。
根据本发明的实施例，图像处理设备包括：运动向量接收单元，被配置为从由帧图像组成的帧图像数据中接收表示帧图像的运动的运动向量；建模单元，被配置将从运动向量接收单元接收的运动向量建模为分量分离表达式，其中使用分别表示作为相机的运动的相机运动和焦平面失真中的改变量的分量参数来分离相机运动分量和焦平面失真分量；以及分量计算单元，被配置为计算在分量分离表达式中使用的分量参数，从而计算运动向量中的焦平面失真分量。
根据本发明的实施例，通过焦平面失真分量计算方法、用于使计算机执行该方法的步骤的图像处理程序和存储该程序的记录介质，该方法包括步骤：从由帧图像组成的帧图像数据中接收表示帧图像的运动的运动向量；将在接收步骤中接收的运动向量建模为分量分离表达式，其中使用分别表示作为相机的运动的相机运动和焦平面失真中的改变量的分量参数来分离相机运动分量和焦平面失真分量；以及计算在分量分离表达式中使用的分量参数，从而计算运动向量中的焦平面失真分量。
根据上面的配置，可以基于从运动向量计算的焦平面失真分量来执行用于改善帧图像数据的质量的各种类型的处理，从而实现能够改善帧图像数据的质量的图像处理设备、焦平面失真分量计算方法、图像处理程序和存储该图像处理程序的记录介质。
附图说明
图1是图示图像处理终端的外部配置的示意图；
图2是图示相机运动和摄影操作之间关系的示意图；
图3是图示根据第一实施例的图像处理单元的配置的示意图；
图4是用于描述运动补偿处理中的线性内插的示意图；
图5A和图5B是用于描述全局(global)运动向量的生成的示意图；
图6是用于描述涉及便携式摄像机(camcorder)的方向清晰度的示意图；
图7(A)到图7(C)是用于描述由于水平方向上的抖动引起的焦平面失真的示意图；
图8(A)到图8(C)是用于描述由于垂直方向上的抖动引起的焦平面失真的示意图；
图9(A)到图9(C)是图示由于抖动引起的图像中的改变的示意图；
图10A至图10C是图示中心旋转(center-of-rotation)坐标的示意图；
图11A至图11C是用于描述将用户的肘部作为中心的相机运动的示意图；
图12A和图12B是用于描述纵横比的转换的示意图；
图13是图示分量分离模型的组成的示意图；
图14是用于描述分量计算处理过程的流程图；
图15是用于描述滤波处理过程的流程图；
图16A和图16B是示意图，图16A图示焦平面失真分量，以及图16B图示其累积值；
图17是用于描述帧图像和运动向量之间的关系的示意图；
图18A和图18B是用于描述焦平面失真分量的调节的示意图；
图19是用于描述根据第一实施例的FP失真校正量计算处理过程的流程图；
图20A和图20B是用于描述LPF属性的示意图；
图21是用于描述校正向量生成处理过程的流程图；
图22是图示根据第二实施例的图像处理单元的配置的示意图；
图23是用于描述根据第二实施例的FP失真校正量计算处理过程的流程图；
图24是用于描述恰当的角度范围的示意图；
图25是用于描述梯形失真估计处理过程的流程图；
图26A和图26B是用于描述梯形失真的附加校正的示意图；
图27是用于描述附加梯形失真校正处理过程的流程图；以及
图28是用于描述角度改变估计处理过程的流程图。
具体实施方式
将参考附图描述本发明的实施例，将以下面的顺序进行描述。
1.第一实施例(从抖动量中去除焦平面失真量)
2.第二实施例(梯形失真的估计)
3.第三实施例(从抖动量中去除梯形失真)
4.第四实施例(改变梯形失真的估计值)
5.其他实施例
1.第一实施例
1-1.总的配置
如图1所示，图像处理终端10被配置为具有监控单元11、操作单元12和图像处理单元13。图像处理终端10将从便携式摄像机1提供的帧图像数据提供给图像处理单元13。图像处理单元13从组成帧图像的帧图像数据中检测全局运动向量GMV。该全局运动向量GMV表示整个帧图像的运动向量。
如上所述，除了相机的运动量(在下文中被称为“相机运动量”)之外，全局运动向量GMV包括作为焦平面失真的改变量的焦平面失真分量CF。而且，如图2所示，相机运动包括用户故意的移动(在下文中被称为“摄影操作”)和作为非故意的运动的抖动(在下文中被称为“相机抖动”或简称为“抖动”)两者。因此，图像处理单元13被布置来首先从全局运动向量GMV中去除焦平面失真分量CF，然后校正相机抖动。
如图3所示，对于每个帧图像，图像处理单元13向缓存器21和运动检测单元22提供帧图像数据。运动检测单元22基于要处理的帧图像使用下面描述的运动检测处理来计算表示整个帧图像的运动向量的全局运动向量GMV，以及作为从缓存器21提供的紧接在之前的帧图像的参考帧图像。这时，运动检测单元22生成表示全局运动向量GMV的可靠性的可靠性信息，并将可靠性信息与全局运动向量GMV一起提供给分量分离处理单元23。
分量分离处理单元23使用下面描述的分量分离处理，将全局运动向量GMV分离为表示相机运动量的相机运动分量CM和表示焦平面失真的改变量的焦平面失真分量CF。然后，分量分离处理单元23向分离的分量存储缓存器24提供焦平面失真分量CF、相机运动分量CM和可靠性信息。例如，分离的分量存储缓存器24是FIFO(先入先出)缓存器，其累积并暂时存储焦平面失真分量CF、相机运动分量CM和可靠性信息。
滤波处理单元25使用下面描述的滤波处理，基于可靠性信息来执行相机运动分量CM和焦平面失真分量CF的滤波。然后，滤波处理单元25向摄影操作量计算单元27和校正向量生成单元29提供滤波之后的相机运动向量CM。滤波处理单元25还向FP失真校正量计算单元26提供滤波之后的相机运动分量CM和焦平面失真分量CF。
FP失真校正量计算单元26执行FP失真校正量计算处理(下面详细描述)来生成作为关于焦平面失真的校正量的FP失真校正量CFc，并向校正向量生成单元29提供FP失真校正量CFc。
摄影操作量计算单元27使从滤波处理单元25提供的相机运动分量CM经受下面描述的摄影操作量计算处理，从而计算向校正向量生成单元29提供的摄影操作量。
校正向量生成单元29基于摄影操作量和FP失真校正量CFc来执行下面描述的校正向量生成处理以生成校正向量V_C，然后将校正向量V_C提供给运动补偿单元30。该校正向量V_C用于抖动和焦平面失真的校正。
运动补偿单元30将校正向量V_C应用到从缓存器21提供的处理帧图像，从而执行运动补偿处理。注意，运动补偿单元30以比其帧图像本身更小尺寸剪切帧图像，以执行抖动和焦平面失真校正。因此，运动补偿单元30用一个像素或更小的精度(例如，1/2像素精度、1/4像素精度等)来执行线性内插以提高下降了的分辨率。
运动补偿单元30向图1中示出的监控单元11顺序地提供经历线性内插的帧图像。因此，校正了抖动和焦平面失真的帧图像被顺序地显示在监控单元11上。从而，图像处理终端10的图像处理单元13校正帧图像数据的抖动和焦平面失真。
1-2.运动检测处理
运动检测单元22执行运动检测处理，以根据向其提供的将被参考的参考帧图像和将被处理的处理帧图像来检测表示将被处理的处理帧图像的总的运动的全局运动向量GMV。
如图5A所示，对于组成预定数量的像素的每个像素块增量，运动检测单元22计算处理帧图像关于参考帧图像的运动向量(在下文中被称为“本地运动向量LMV”)。例如，运动检测单元22在充当像素块增量的16×16像素的宏块上执行块匹配，并且计算本地运动向量LMV。
这时，如图5B所示，运动检测单元22通过使用表示本地运动向量LMV的可靠性的各种各样的可靠性索引加权本地运动向量LMV，来计算全局运动向量GMV。可靠性索引的例子包括：本地运动向量LMV的大小、绝对差的和，组成块的像素值的方差、从组成参考帧图像数据和处理帧图像数据中相应块的像素值计算的协方差值以及其组合。用于计算全局运动向量GMV的详细方法描述在日本未审查专利申请公开No.2007-230053和日本未审查专利申请公开No.2007-230054中。
可靠性索引越高，每个本地运动向量LMV的可靠性越高。而且，本地运动向量LMV的可靠性越高，全局运动向量GMV的可靠性越高。因此，运动检测单元22将用于处理帧图像数据的可靠性索引用作用于与其相应的全局运动向量GMV的可靠性信息。
以这种方式，运动检测单元22基于针对每个宏块计算的本地运动向量LMV来计算表示整个处理帧图像的运动的全局运动向量GMV。这时，运动检测单元22将用于本地运动向量LMV的可靠性索引用作用于全局运动向量的可靠性信息。
1-3.分量分离处理
首先，将参考图6描述用作成像装置的便携式摄像机1和与便携式摄像机1有关的方向。
将由便携式摄像机1成像的成像图像作为参考，由于便携式摄像机1的移动引起的对象侧向(sideways)移动所关于的X轴方向被称为“水平方向”，由于便携式摄像机1的移动引起的对象垂直移动所关于的Y轴方向被称为“垂直方向”，以及由于便携式摄像机1的移动引起的对象放大或缩小所关于的Z轴方向被称为“放大/缩小方向”。而且，X轴上的旋转被称为“俯仰”，Y轴上的旋转被称为“偏转”，以及Z轴上的旋转被称为“滚转”。而且，由于便携式摄像机1在水平方向上的移动引起的对象移动所关于的方向被称为“侧向”，以及由于便携式摄像机1在垂直方向上的移动引起的对象移动所关于的方向被称为“垂直”。
图像处理终端10的图像处理单元13使用分量分离处理单元23执行分量分离处理。现在，表示整个帧图像的运动的全局运动向量GMV具有各种各样的分量，并且建模所有的分量将导致图像处理单元13上处理负荷的极大增加。为了处理这个问题，图像处理单元13虚构地(fictitiously)假设全局运动向量GMV仅由作为相机的运动的相机运动分量CM和作为焦平面失真的改变量的焦平面失真分量CF配置。
图像处理单元13的分量分离处理单元23将全局运动向量GMV应用到使用未知参数分离为相机运动分量CM和焦平面失真分量CF的分量分离模型，并生成分量分离表达式。分量分离处理单元23通过计算分量分离表达式中的分量参数来计算相机运动分量CM和焦平面失真分量CF两者。
例如，在便携式摄像机1在如图7的(B)和(C)中箭头所指示的水平方向上移动、同时成像图7的(A)中所示的矩形对象SB的事件中，上述的焦平面失真使对象SB的上侧和下侧在帧图像中水平移动，导致以平行四边形形式的失真。另一方面，在便携式摄像机1在如图8的(B)和(C)中箭头所指示的垂直方向上移动、同时成像图8的(A)中所示的矩形对象SB的事件中，对象SB的上部位置和下部位置在垂直方向上移动，使得在垂直方向上放大/缩小对象SB。
因此，如表达式(1)所示，图像处理单元13使用FP失真垂直方向放大/缩小元素EFa和FP失真平行四边形元素EFb来建模焦平面失真分量CF，其中e是表示垂直方向放大/缩小的分量参数，并且b是表示平行四边形失真程度的分量参数。
1000e00011b0010001---(1)]]>
通常，相机运动分量CM由线性变换和旋转变换组成。线性变换由表示对象SB在水平方向和垂直方向上移动的平移速度的平移(translational)元素和表示放大或缩小对象的放大/缩小速度的放大/缩小元素组成。旋转变换由表示对象SB在偏转、俯仰和滚转这三个方向上的角度改变的旋转元素组成。
现在，可以将平移元素、放大/缩小元素以及包括对应于三个方向的角度改变的旋转元素的模型表示为投影变换，如表达式(2)所示。
x1y11=1c1x+c2y+c0a1a2a0b1b2b0c1c2c0x0y01---(2)]]>
然而，用于投影变换的变换表达式不是线性的，因此用最小二乘法是难以获得的，所以需要使用诸如最速下降法之类的梯度方法。使用这样的梯度方式是不利的，因为取决于初始值可能获得不正确的解，而且，处理量很大。
在第一实施例中，我们将假设所提供的帧图像数据由具有下述配置的便携式摄像机1成像。
现在，图9的(B)和(C)图示了在偏转方向和俯仰方向上移动便携式摄像机1的事件中、如图A所示成像的帧图像FM中对象SB的改变。图9的右侧示出的箭头是基于便携式摄像机1的。如图9的(B)和(C)所示，在便携式摄像机1中，由于透镜单元3和对象SB的位置关系根据便携式摄像机1的运动而改变，对象SB的位置和角度在帧图像FM中改变。
如果简单地保持对象SB的位置为恒定就足够了，则所有需要做的将是校正平移元素和放大缩小元素或者旋转元素和放大缩小元素之一。然而，这样的校正没有恰当地校正对象SB的角度改变，导致边间断地可见和不可见、闭合(occlusions)以及梯形方式的对象失真(在下文中，这些都将被集合地称为“梯形失真”)。
便携式摄像机1具有未示出的加速度传感器，其检测作为相机的移动的相机运动量并从相机运动量计算无意的抖动量。附于主单元2的透镜单元3在偏转和俯仰方向上移动，从而物理上抵消抖动量，并抑制对象SB和透镜单元3之间位置关系的改变。
从而，便携式摄像机1根据诸如图9的(B)和(C)所示的偏转和俯仰方向上的抖动，抑制帧图像FM中对象SB的位置和角度改变。也就是说，从便携式摄像机1提供的帧图像数据受到由于便携式摄像机在偏转和俯仰方向上的移动发生的帧图像FM中对象SB的角度改变的抑制。
因此，图像处理终端10的图像处理单元13虚构地假设在相机运动量中，旋转元素EMb仅是滚转方向上的角度改变，并且可以建模相机运动分量CM如表达式(3)所示。
10h01v001cosθ-sinθ0sinθcosθ0001s000s0001---(3)]]>
注意，从左边开始，表达式(3)中的三个矩阵是平移元素EMa、旋转元素EMb和放大/缩小元素EMc。在表达式(3)中，h是表示垂直方向上的平移的分量参数，v是表示水平方向上的平移的分量参数，cosθ和sinθ是表示滚转方向上的旋转的分量参数，以及s是表示由于对象和便携式摄像机1之间距离的改变引起的放大/缩小的分量参数。
因此，图像处理单元13可以应用仿射变换，其中由旋转变换的一个方向和线性变换的三个方向表示全局运动向量GMV。所以，图像处理单元13可以使用一般的变换矩阵来计算分量参数，从而显著地减轻用于计算分量参数的处理负荷。而且，图像处理单元13可以计算某集合解(set solution)，因此不会计算出如同梯度方法的错误解。
而且，分量分离处理单元23使焦平面失真分量CF和相机运动分量CM经受原点校正和像素校正。
如图10A所示，通常，当使用软件执行图像处理时，帧图像的左上角是坐标系统的原点。也就是说，在旋转坐标系统的事件中，帧图像在作为旋转中心的帧图像的最远的左上像素上旋转。然而，便携式摄像机1不在它自己的左上角上旋转。因为用户将最可能试图将对象SB放置在中间来拍摄图像，所以将帧图像的中心用作坐标旋转的中心应该是期望的，如图10C所示。
因此，分量分离处理单元23预先将焦平面失真分量CF和相机运动分量CM与原点校正矩阵MC1相乘，从而将原点移动到中间，如表达式(4)所示。在表达式(4)中，h_c表示帧图像的垂直方向上的像素数量的1/2，以及v_c表示帧图像的水平方向上的像素数量的1/2。
10-hc01-vc001---(4)]]>
最后，分量分离处理单元23将焦平面失真分量CF和相机运动分量CM与作为原点校正矩阵MC1的逆矩阵的原点校正逆矩阵MC2相乘，如表达式(5)所示，从而将原点返回到帧图像的左上方，即，返回到在被移动到中间之前它所在的位置。
10hc01vc001---(5)]]>
从而，分量分离处理单元23可以在原点被移动到帧图像的中间的状态中，计算焦平面失真分量CF和相机运动分量CM。
现在，实际拍摄图像的用户没有将被成像的帧图像的中心作为旋转的中心来旋转便携式摄像机1，如图11A所示，而是在几乎所有情况下，在肘部、手腕等处的轴上旋转便携式摄像机1，如图11B所示。例如，在将便携式摄像机1移动由于肘部的旋转引起的运动量MT的情况下，例如如图11C所示，可以将由于运动量MT引起的运动向量表示为如表达式(6)所示，其中h_a表示从作为旋转轴的肘部到便携式摄像机1处的帧图像的中心的距离。
10001h001cosθ-sinθ0sinθcosθ000110001-h001]]>
=cosθ-sinθhsinθsinθcosθ-hcosθ+h001---(6)]]>
=10hsinθ01-hcosθ+h001cosθ-sinθ0sinθcosθ0001]]>
也就是说，当从原点看时，可以将由于运动量MT引起的运动向量表示为旋转和平移运动的组合，所以旋转轴位置的不同不是有害的。
而且，通常，在帧图像数据的帧图像中像素的纵横比不是1∶1。可以从图12A看到，例如，将矩形的像素和旋转元素EMb相乘，如图12A所示，由于水平和垂直比例的不同，根据旋转，矩形失真为平行四边形，如右侧所示。
因此，分量分离处理单元23乘上表达式(7)中示出的像素校正矩阵MP1，从而在与旋转元素EMb相乘之前将不是方形的像素暂时转换为方形形状。注意，在表达式(7)中，p表示在像素的一边是“1”的事件中的像素比。
p00010001---(7)]]>
在与旋转元素EMb相乘之后，分量分离处理单元23乘上作为像素校正矩阵MP1的逆矩阵的像素校正逆矩阵MP2(表达式(8))，从而将转换为方形的像素重新转换回原始的纵横比。
1p00010001---(8)]]>
也就是说，分量分离处理单元23在旋转元素EMb之前和之后乘上像素校正矩阵MP1和像素校正逆矩阵MP2，如表达式9所示。
1p00010001cosθ-sinθ0sinθcosθ0001p00010001---(9)]]>
如图13所示，分量分离处理单元23使用分量分离模型，其中在校正原点和纵横比时，使用未知的分量参数来执行到焦平面失真分量CF和相机运动分量CM的分离。随后，分量分离处理单元23使全局运动向量GMV与分量分离模型相一致以建模全局运动向量GMV，并且最后，在分量分离表达式的末尾，使原点和像素纵横比返回到它们原来的样子。
在实际的实践中，图像处理单元13的运动检测单元22将全局运动向量GMV计算为仿射变换矩阵表达式，如表达式(10)所示。
x1y11=A1A2A0B1B2B0001x0y01---(10)]]>
当从运动检测单元22提供全局运动向量GMV时，分量分离处理单元23使全局运动向量GMV与图13中示出的分量分离模型相一致，从而生成表达式(11)中示出的分量分离表达式。
x1y11=A1A2A0B1B2B0001x0y01]]>
=10hc01vc0011p000100011000e00011b0010001---(11)]]>
10h01v001cosθ-sinθ0sinθcosθ0001s000s0001p0001000110-hc01-vc001x0y01]]>
然后，分量分离处理单元23将表达式(11)修改为表达式(12)。
x1y11=1p00010001-110hc01vc001-1A1A2A0B1B2B000110-hc01-vc001-1p00010001-1x0y01]]>
=a1a2a0b1b2b0001x0y01---(12)]]>
=1000e00011b001000110h01v001cosθ-sinθ0sinθcosθ0001s000s0001x0y01]]>
以一般的等式形式求解表达式(12)中的分量参数(sinθ、e、b、s、h和v)得到如下。
如果θ＝0(b₁＝0)
sinθ＝0
s＝-a₂s＝a₁
b=a2s=a2a1---(13)]]>
e=b2s=b2a1]]>
v=b0e=a1b0b2]]>
h=a0-bv=a0-a2b0b2]]>
如果θ=π2(b2=0,b1>0)]]>
sinθ＝1
s＝-a₂
b=a1s=-a1a2---(14)]]>
e=b1sp=-b1a2]]>
v=b0e=-a2b0b1]]>
h=a0-bv=a0-a1b1]]>
如果θ=-π2(b2=0,b1<0)]]>
sinθ＝-1
s＝a₂
b=-a1s=-a1a2---(15)]]>
e=-b1s=-b1a2]]>
v=b0e=-a2b0b1]]>
h=a0-bv=a0-a1b1]]>
其他情况(-π2<θ<π2)]]>
tanθ=b1b2p]]>
如果b₁＞0，tanθ＞0或者b₁＜0，tanθ＜0
sinθ=tanθ1+tan2θ,cosθ=11+tan2θ]]>
如果b₁＜0，tanθ＞0或者b₁＞0，tanθ＜0
sinθ=-tanθ1+tan2θ,cosθ=11+tan2θ]]>
b=a1sinθ+a2cosθa1cosθ-a2sinθ]]>
s=a1cosθ+bsinθ]]>
e=b1sinθ]]>
v=b0e---(16)]]>
h＝a₀-bv
从而，分量分离处理单元23通过代入分量分离表达式来建模表示为仿射变换矩阵的全局运动向量GMV，其中使用未知的分量参数以分离的方式表达焦平面失真分量CF和相机运动分量CM。然后，分量分离处理单元23解方程来计算每个参数，从而将全局运动向量GMV分离为焦平面失真分量CF和相机运动分量CM。注意，分量分离处理单元23可能仅仅将分量参数作为焦平面失真分量CF和相机运动分量CM提供给分离的分量存储缓存器24，或者可能提供包含在矩阵中的所有值。对于其他处理也同样是这样。
接下来，将参考图14中示出的流程图来描述根据图像处理程序执行的分量计算处理过程RT1。注意，分量计算处理过程RT1对应于上述的运动检测处理和分量分离处理。
首先，在提供帧图像数据时，图像处理单元13的运动检测单元22启动分量计算处理过程RT1，并且流程前进到步骤SP1。
在步骤SP1中，在检测到表示整个帧图像的运动的全局运动向量GMV时，运动检测单元22向分量分离处理单元23提供全局运动向量GMV，并且流程前进到随后的步骤SP2。
在步骤SP2中，图像处理单元13的分量分离处理单元23通过将从运动检测单元22提供的全局运动向量GMV代入表达式(11)示出的分量分离表达式来建模从运动检测单元22提供的全局运动向量GMV，并且流程前进到随后的步骤SP3。
在步骤SP3中，分量分离处理单元23计算分量分离表达式具有的未知分量参数，从而计算相机运动分量CM和焦平面失真分量CF，在这之后，流程前进到结束步骤，并且分量计算处理过程RT1结束。
1-4.滤波处理
滤波处理单元25基于由运动检测单元22生成的可靠性信息，执行相机运动分量CM和焦平面失真分量CF的滤波。如上所述，可靠性信息由本地运动向量LMV的可靠性索引组成。滤波处理单元25确定每个可靠性索引是否在预定的高可靠性阈值或更高，并对于每个帧图像数据，计算在高可靠性阈值或更高的可靠性索引关于可靠性索引的总数的比例。
在高可靠性阈值或更高的可靠性索引的比例超过预定的滤波阈值的事件中，这意味着全局运动向量GMV的可靠性高，所以滤波处理单元25按照原样地使用对应于全局运动向量GMV的相机运动分量CM和焦平面失真分量CF。另一方面，在高可靠性阈值或更高的可靠性索引的比例没有超过预定的滤波阈值的事件中，这意味着全局运动向量GMV的可靠性低，所以滤波处理单元25不按照原样地使用对应于全局运动向量GMV的相机运动分量CM和焦平面失真分量CF。
具体地，在全局运动向量GMV的可靠性高的事件中，滤波处理单元25将焦平面失真分量CF按照原样地提供给FP失真校正量计算单元26，并且还将相机运动分量CM提供给FP失真校正量计算单元26、摄影操作量计算单元27和校正向量生成单元29。
另一方面，在全局运动向量GMV的可靠性低的事件中，滤波处理单元25丢弃所提供的相机运动分量CM和焦平面失真分量CF。在该情况下，滤波处理单元25将预定的单元矩阵作为焦平面失真分量CF提供给FP失真校正量计算单元26，并且还将预定的单位矩阵作为相机运动分量CM提供给FP失真校正量计算单元26、摄影操作量计算单元27和校正向量生成单元29。注意，可以进行如下的安排，其中例如滤波处理单元25根据可靠性设置多个滤波阈值，使得相机运动分量CM和焦平面失真分量CF之一可以用单位矩阵替代，或者随着元素的增加执行用单位矩阵的替代。
从而，滤波处理单元25选择性地使用基于具有高可靠性的全局运动向量GMV生成的焦平面失真分量CF和相机运动分量CM。因此，图像处理单元13仅将具有高可靠性并且关于其具有小误差的概率低的全局运动向量GMV提供给FP失真校正量计算单元26、摄影操作量计算单元27和校正向量生成单元29。
接下来，将参考图15中示出的流程图来描述根据图像处理程序执行的滤波处理过程RT2。
在从分离的分量存储缓存器24提供可靠性信息、相机运动分量CM和焦平面失真分量CF时，图像处理单元13的滤波处理单元25启动滤波处理过程RT2，并且流程前进到步骤SP11。
在步骤SP11中，滤波处理单元25基于可靠性信息确定全局运动向量GMV的可靠性是否高。在这里获得肯定结果的事件中，这意味着相机运动分量CM和焦平面失真分量CF是可靠的。在该情况下，滤波处理单元25使流程前进到随后的步骤SP12。
在步骤SP12中，滤波处理单元25按照原样地输出由分量分离处理单元23分离的相机运动分量CM和焦平面失真分量CF，使流程前进到结束步骤，从而结束滤波处理过程RT2。
另一方面，在步骤SP11中获得否定结果的事件中，这意味着相机运动分量CM和焦平面失真分量CF不是可靠的。在该情况下，滤波处理单元25使流程前进到随后的步骤SP13。
在步骤SP13中，滤波处理单元25丢弃相机运动分量CM和焦平面失真分量CF并用单位矩阵替代这些，并且将所替代的矩阵作为相机运动分量CM和焦平面失真分量CF输出。然后，滤波处理单元25使流程前进到结束步骤，从而结束滤波处理过程RT2。
1-5.FP失真校正计算处理
应该明白的是，焦平面失真不是在每个帧图像中独立发生的现象，而是由在多个帧图像上连续发生而积累的失真的表现。另一方面，全局运动向量GMV表示关于以前的帧图像的运动。也就是说，焦平面失真分量CF表示关于以前的帧图像的焦平面失真的改变量，而不管它是增加还是减小。因此，所期望的将是，将焦平面失真分量CF的累积值用于焦平面失真的准确校正。
然而，焦平面失真分量CF包括误差。图16A图示了在由于相机抖动等引起的快速重复中发生焦平面失真的事件中，焦平面失真分量CF改变的方式。焦平面失真分量CF的值的正号表示焦平面失真正在增加，以及焦平面失真分量CF的值的负号意味着焦平面失真正在减小。
图16B示出了作为图16A中示出的焦平面失真分量CF的累积值的FP失真累积值。可以从这里看到，随着帧图像数量增加，FP失真累积值显著增加。这是由于焦平面失真分量CF包括的误差被分散(scattered)了。也就是说，在使用焦平面失真分量CF的累积值执行帧图像校正的事件中，误差的累积可导致帧图像的损坏(break down)。
因此，图像处理单元13的FP失真校正量计算单元26计算FP失真校正量CFc，使得焦平面失真等价于处理帧图像、处理帧图像之前的帧图像和处理帧图像之后的帧图像中焦平面失真最小的帧图像的焦平面失真。
现在，相比于焦平面失真分量CF，相机运动分量CM具有小误差和高可靠性。此外，焦平面失真分量CF具有与相机运动分量CM的平移速度的相关性。因此，FP失真校正量计算单元26基于平移速度来计算FP失真校正量CFc。
注意，FP失真校正量CFc被表示为表达式(1)中的焦平面失真分量CF的矩阵，其中用e_c替代FP失真分量参数e，以及用b_c替代FP失真分量参数b。在下述的校正向量生成处理中，乘上FP失真校正量CFc的逆矩阵，从而校正处理帧图像中的焦平面失真。
如图17所示，处理帧图像FM1前一个的帧图像被称为参考帧FM0，并且参考帧FM0前一个的帧图像被称为以前帧图像FM-1。跟在处理帧图像FM1之后的帧图像被称为跟随帧FM2。
此外，由被称为全局运动向量GMV0的表示将参考帧FM0作为参考的情况下处理帧图像FM1的运动。由被称为全局运动向量GMV-1的表示将以前帧图像FM-1作为参考的情况下参考帧FM0的运动。由被称为全局运动向量GMV+1的表示将处理帧图像FM1作为参考的情况下跟随帧FM2的运动。这些被共同地称为“全局运动向量GMV”。
将对应于全局运动向量GMV的相机运动分量CM和焦平面失真分量CF顺序地提供给FP失真校正量计算单元26。注意，对应于全局运动向量GMV0、GMV+1和GMV-1的相机运动分量CM被分别称为相机运动分量CM0、CM+1和CM-1。而且，对应于全局运动向量GMV0、GMV+1和GMV-1的焦平面失真分量CF被分别称为焦平面失真分量CF0、CF+1和CF-1。
FP失真校正量计算单元26比较相机运动分量CM0、CM+1和CM-1中运动分量参数v的值。运动分量参数v表示垂直方向上的平移速度。在垂直方向上平移速度大的事件中，焦平面失真大，而在垂直方向上平移速度小的事件中，焦平面失真小。在相机运动分量CM0、CM+1和CM-1中，FP失真校正量计算单元26选择具有垂直方向上最小平移速度(例如，最小运动分量参数v值)的相机运动分量CM。
在所选择的相机运动分量CM是相机运动分量CM0的事件中，FP失真校正量计算单元26将焦平面失真设置为与处理帧图像FM1的焦平面失真大致相同。FP失真校正量计算单元26将单位矩阵设置为FP失真校正量CFc，并且将“1”设置到表示垂直方向上放大/缩小的FP失真分量参数e_c。所以，对于垂直方向上的放大/缩小，没有校正焦平面失真。
另一方面，在所选择的相机运动分量CM是相机运动分量CM-1的事件中，FP失真校正量计算单元26将焦平面失真设置为与参考帧图像FM0的焦平面失真大致相同。FP失真校正量计算单元26将焦平面失真分量CF0设置为FP失真校正量CFc，并且将焦平面失真分量CF0中的“e”设置为FP失真分量参数e_c。所以，对于垂直方向上的放大/缩小，将焦平面失真校正到参考帧FM0的焦平面失真周围的级别。
再一次，在所选择的相机运动分量CM是相机运动分量CM+1的事件中，FP失真校正量计算单元26将焦平面失真设置为与处理帧图像FM2的焦平面失真大致相同。FP失真校正量计算单元26将焦平面失真分量CF+1的逆矩阵设置为FP失真校正量CFc，并且将焦平面失真分量CF+1中的“e的倒数”设置为FP失真分量参数e_c。所以，对于垂直方向上的放大/缩小，将焦平面失真校正到跟随帧FM2的焦平面失真周围的级别。
FP失真校正量计算单元26以相同的方式比较相机运动分量CM0、CM+1和CM-1中运动分量参数h的值，并且选择具有最小水平方向平移速度(即，最小运动分量参数h值)的相机运动分量CM。然后，FP失真校正量计算单元26根据所选择的相机运动分量CM0、CM-1或CM+1，从“0”、焦平面失真分量CF0中的“b”以及焦平面失真分量CF+1中的“b的倒数”中选择合适的FP失真分量参数b_c。FP失真校正量计算单元26进一步将所选择的FP失真分量参数e_c和b_c作为FP失真校正量CFc，并且提供给校正向量生成单元29。
因此，FP失真校正量计算单元26没有积累焦平面失真分量CF，所以FP失真校正量CFc没有分散。而且，如图18B所示，尽管FP失真校正量计算单元26没有校正所有的焦平面失真(图18A)，但是焦平面失真可以被减小到FP失真累积值之下，从而减小焦平面失真。
该焦平面失真被确认为一种属性(of a nature)，其中例如在大约五帧的短周期内发生增加和减小，同时符号改变，并且最大值不是极其地大。因此，FP失真校正量计算单元26可以简单地通过减小焦平面失真的最大量，来使帧图像中的焦平面失真视觉上不显眼。
以这样的方式，在处理帧图像FM1、参考帧FM0和跟随帧FM2中，FP失真校正量计算单元26基于平移速度选择具有最小焦平面失真的帧图像FM。然后，FP失真校正量计算单元26计算FP失真校正量CFc以处于与所选择的帧图像FM相同的级别。从而，FP失真校正量计算单元26以确定的方式阻止FP失真校正量CFc的分散，并且还减小焦平面失真以在视觉上更不明显。
接下来，将参考图19中示出的流程图描述根据图像处理程序执行的FP失真校正量计算处理过程RT3。
在提供全局运动向量GMV时，FP失真校正量计算单元26启动FP失真校正量计算处理过程RT3，并且使流程前进到步骤SP22。
在步骤SP22中，FP失真校正量计算单元26比较相机运动分量CM0、CM+1和CM-1中运动分量参数h和v的值，然后使流程前进到随后的步骤SP23。
在步骤SP23中，FP失真校正量计算单元26选择具有最小平移速度(即，运动分量参数h和v的最小值)的相机运动分量CM，然后使流程前进到随后的步骤SP24。
在步骤SP24中，FP失真校正量计算单元26根据步骤SP23中选择的相机运动分量CM来计算FP失真校正量CFc。这时，FP失真校正量计算单元26计算FP失真校正量CFc，使得焦平面失真是与对应于相关的相机运动分量CM的帧图像的焦平面失真大致相同的级别。FP失真校正量计算单元26使流程前进到结束步骤，以结束FP失真校正量计算处理过程RT3。
1-6.摄影操作量的计算
摄影操作量计算单元27将预定分接头(taps)数量的LPF(低通滤波器)应用到从滤波处理单元25提供的运动分量参数θ、s、h和v，从而计算作为用户故意进行的运动的摄影操作量。
具体地，得到与分接头数量相同数量的分量参数，并将其应用于FIR(有限冲激响应滤波器)，从而得到滤波之后的运动分量参数(也被称为摄影操作分量参数)。摄影操作分量参数表示摄影操作量。在下文中，摄影操作分量参数将被写为θ_f、s_f、h_f和v_f。
设置LPF的分接头数量使得特性对于LPF是足够的。对LPF设置截止频率，使得可能被认为是相机抖动的频率附近的范围可以被以确定的方式切掉。此外注意，可以使用简单的移动平均滤波器。
在截止频率被设置为0.5Hz的事件中，通过将分接头数量设置到517附近，可以使LPF具有高精度，如图20A所示。此外，如图20B所示，即使分接头数量下降到60附近，LPF将在某种程度上起作用，尽管精度降低了。因此，优选地，基于实际的实施限制来设置摄影操作量计算单元27，该实际的实施限制例如图像处理单元13的硬件的处理能力、输出延时的容忍范围等。
从而，摄影操作量计算单元27使表示相机运动量的运动分量参数θ、s、h和v经受LPF处理，从而生成表示摄影操作量的摄影操作分量参数θ_f、s_f、h_f和v_f。
1-7.生成校正向量
校正向量生成单元29被布置来生成将被应用到处理帧图像的校正向量V_C，以校正相机抖动和焦平面失真。
为了易于描述，我们将把分量分离表达式中的分量和矩阵写为表达式(17)，从而我们可以将表达式(11)的分量分离表达式表示为表达式(18)。注意，变换X₀之前的坐标是对应于参考帧FM0的坐标，以及变换X₁之后的坐标是对应于处理帧图像FM1的坐标。






X₁＝C^-1P^-1FMPCX₀(18)
注意，将抖动量作为M_S以及将摄影操作量作为M_C，得到下面的表达式(19)。
M＝M_SM_C                                                (19)
通过从相机运动分量CM(M)中的运动分量参数减去摄影操作分量参数，可以计算作为M_S的抖动量。校正向量生成单元29根据运动分量参数θ、s、h和v以及从摄影操作量计算单元27提供的摄影操作分量参数θ_f、s_f、h_f和v_f，按照表达式(20)计算作为M_S的抖动量。
MC=10hf01vf001cosθf-sinθf0sinθfcosθf0001sf000sf0001---(20)]]>
MS=MMC-1]]>
将表达式(19)代入表达式(18)，该修改得到表达式(21)。
X₁＝C^-1P^-1FM_SM_CPCX₀＝(C^-1P^-1FM_SP_C)(C^-1P^-1M_CPC)X₁(21)
进一步修改表达式(21)得到表达式(22)。
C-1P-1MCPCX0=C-1P-1MS-1F-1PCX1---(22)]]>
从而，从表达式(22)可以看到，单独将摄影操作量M_C应用到变换X₀之前的坐标的左侧等于将作为M_S的抖动量的逆矩阵和焦平面失真分量CF(F)应用到变换X₁之后的坐标的右侧。
换句话说，将变换X₁之后的坐标乘上表达式(23)中示出的校正向量V_C得到仅仅应用来自参考帧FM0的摄影操作量M_C的坐标(即，其中已经抵消了抖动和FP失真校正量CFc)。
V_C＝C^-1P^-1M_SF^-1PC                                (23)
因此，在提供运动分量参数θ、s、h和v、摄影操作分量参数θ_f、s_f、h_f和v_f以及FP失真分量参数e_c和b_c时，校正向量生成单元29根据表达式(20)和表达式(23)生成提供到运动补偿单元30的校正向量V_C。
所以，在运动补偿单元30处应用校正向量V_C，从而校正处理帧图像FM1处的抖动和焦平面失真。从而，由于已经校正了抖动和焦平面失真，相比于参考帧FM0，校正向量生成单元29可以在仅仅应用摄影操作量M_C的状态中生成处理帧图像FM1。
接下来，将参考图21中示出的流程图描述根据图像处理程序执行的校正向量生成处理过程RT4。
在接收相机运动分量CM、摄影操作分量CMc和FP失真校正量CFc的提供时，校正向量生成单元29启动校正向量生成处理过程RT4，并且使流程前进到步骤SP31。
在步骤SP31中，按照表达式(20)，校正向量生成单元29基于相机运动分量CM和摄影工作分量CMc计算作为M_S的抖动量，在这之后，流程前进到步骤SP32。
在步骤S32中，校正向量生成单元29将作为M_S的抖动量的逆矩阵(即，M_S^-1)和FP失真校正量CFc的逆矩阵(即，F^-1)代入表达式(23)，在这之后，流程前进到步骤SP33。
在步骤SP33中，校正向量生成单元29按照表达式(23)生成校正向量V_C，然后使流程前进到结束步骤，以结束校正向量生成处理过程RT4。
注意，可以通过硬件或通过软件来执行上述的图像处理序列。在通过软件执行图像处理的事件中，在CPU和RAM中以虚拟的方式形成图像处理单元13，并且通过将存储在ROM中的图像处理程序装载到RAM来执行图像处理。
1-8.操作和优点
对于上面的配置，图像处理终端10的图像处理单元13从帧图像的帧图像数据检测全局运动向量GMV，其是表示整个帧图像的运动的运动向量。图像处理单元13使用表示作为相机的运动的相机运动和焦平面失真的改变量的未知分量参数θ、s、h、v、e和b，从而将所检测的全局运动向量GMV建模为分量分离表达式(表达式(11))。因此，可以通过分量分离以分离的方式来表达相机运动分量CM和焦平面失真分量CF。
图像处理单元13计算分量分离表达式中使用的分量参数e和b，以计算全局运动向量GMV中的焦平面失真分量CF。从而，图像处理单元13可以虚构地假设仅由相机运动分量CM和焦平面失真分量CF来配置全局运动向量GMV。因此，图像处理单元13可以以简单的处理来计算全局运动向量GMV中的焦平面失真分量CF。
图像处理单元13基于所计算的焦平面失真分量CF来校正帧图像具有的焦平面失真。因此，图像处理单元13可以减小帧图像中的焦平面失真。
对于图像处理单元13，焦平面失真分量CF被表示为FP失真平行四边形元素EFb和FP失真垂直方向放大/缩小元素EFa。因此，图像处理单元13可以恰当地建模表现为平行四边形形状的失真和垂直方向上的放大/缩小的两种类型的焦平面失真，从而可以用高精度计算焦平面失真分量CF。
图像处理单元13基于所计算的焦平面失真分量CF，关于帧图像计算表示焦平面失真的校正量的FP失真校正量CFc。图像处理单元13还基于所计算的FP失真校正量CFc，生成用于校正全局运动向量GMV中的焦平面失真的校正向量V_C。在帧图像中，图像处理单元13还将所生成的校正向量V_C应用到将被处理的处理帧图像FM1。因此，图像处理单元13可以通过等于所计算的FP失真校正量CFc的量来校正处理帧图像FM1中的焦平面失真，从而可以减小处理帧图像FM1中的焦平面失真。
图像处理单元13从处理帧图像FM1以及作为紧接在处理帧图像FM1之前和之后的帧图像的参考帧图像FM0和跟随帧FM2中，选择具有最小焦平面失真的帧图像。图像处理单元13计算FP失真校正量CFc，使得焦平面失真处于与所选择的帧图像相同的级别。因此，图像处理单元13可以减小焦平面失真而无需使用焦平面失真累积值，从而防止由于焦平面失真中误差的累积引起的帧图像的损坏。
对于图像处理单元13，相机运动分量CM至少由平移元素EMa和放大/缩小元素EMc表示，并且基于平移元素EMa选择具有最小焦平面失真的帧图像。因此，图像处理单元13通过使用比FP失真参数b和e更可靠并且还具有与焦平面失真的相关性的平移元素EMa，可以选择具有最小焦平面失真的帧图像。因此，图像处理单元13可以以确定的方式选择具有最小焦平面失真的帧图像，而不会错误地选择不正确的帧图像。
对于图像处理单元13，由垂直方向平移速度v和水平方向平移速度h表示平移元素EMa，并且基于垂直方向平移速度v对应于FP失真垂直方向放大/缩小元素EFa的焦平面失真校正量CFc。而且，图像处理单元13基于水平方向平移速度h计算对应于FP失真平行四边形元素EFb的焦平面失真校正量CFc。
对于图像处理单元13，分量分离表达式(表达式(11))被表示为矩阵表达式，因此，图像处理单元13可以容易地建模相机运动分量CM和焦平面失真分量CF。
检测全局运动向量GMV时，图像处理单元13生成表示全局运动向量GMV的可靠性的可靠性信息。图像处理单元13进一步基于可靠性信息，仅仅使用可靠性高的全局运动向量GMV的焦平面失真分量CF来生成焦平面失真校正量CFc。因此，图像处理单元13可以仅使用具有很小误差的焦平面失真分量CF来生成焦平面失真校正量CFc，从而可以改善焦平面失真校正量CFc的计算预测。
对于图像处理单元13，相机运动分量CM被表示为一个方向上的平移元素EMa、放大/缩小元素EMc和旋转元素EMb。因此，图像处理单元13可以处理作为仿射变换的分量分离表达式，从而显著减小处理负荷。
对于图像处理单元13，在旋转元素EMb之前，将表达式乘上用于将原点移动到中心的原点校正矩阵MC1，以及乘上纵横比校正矩阵MP1以将像素的纵横比改变到1∶1。此外，对于图像处理单元13，在旋转元素EMb之后，将表达式乘上用于将移动到中心的原点返回到它所属地方的原点校正逆矩阵MC2，并且乘上纵横比校正逆矩阵MP2以将像素的纵横比返回到它们原始的纵横比。因此，对于作为旋转中心的原点被移动到中心并且像素的纵横比被改变到1∶1的帧图像，图像处理单元13可以执行旋转处理。从而，即便在原点处于非中心的位置处并且像素的纵横比不是1∶1的情况下，图像处理单元13仍然可以合适地旋转帧图像。
使用作为e和b的分量参数，图像处理单元13建模焦平面失真分量CF，如表达式(1)所示。因此，图像处理单元13可以恰当地建模表现为垂直方向放大/缩小和平行四边形失真的焦平面失真。
使用作为θ、h、v和s的分量参数，图像处理单元13建模相机运动分量CM，如表达式(3)所示。因此，图像处理单元13可以恰当地将相机运动分量CM建模为滚转方向上的旋转、垂直和水平平移速度以及放大/缩小速度。
图像处理单元13建模全局运动向量GMV，如表达式(11)所示。因此，图像处理单元13可以将全局运动向量GMV建模为包括单独一个方向上的旋转并且合适地从相机运动分量CM和焦平面失真分量CF分离的仿射变换表达式，这解决了关于旋转的旋转中心和像素的纵横比的问题。
对于上述的配置，假设全局运动向量GMV绝大部分根据相机运动分量CM和焦平面失真分量CF来配置，图像处理单元13使用未知分量参数，将全局运动向量GMV建模为分量分离表达式。图像处理单元13计算分量参数，从而计算焦平面失真分量CF。因此，图像处理单元13可以使用容易的分量分离表达式来用容易的处理计算焦平面失真分量CF。
2.第二实施例
图22至图26B中图示了第二实施例，其中用相同的附图标记表示与图1至图21中图示的第一实施例中的那些对应的部分，并且相应地，将在这里省略对这样的部分的冗余描述。
如图22所示，第二实施例与第一实施例的不同在于对应于图像处理单元13的图像处理单元113具有梯形失真估计单元128。而且，对于第二实施例，运动检测处理、FP失真校正量计算处理和校正向量生成处理的内容与第一实施例中的那些不同。
2-1.运动检测处理
与第一实施例中的运动检测单元22对应的运动检测单元122生成本地运动向量LMV以及用于本地运动向量LMV的可靠性索引。在可靠性索引处于采用阈值之上的事件中，运动检测单元122使用本地运动向量LMV来生成全局运动向量GMV。另一方面，在可靠性索引在采用阈值之下的事件中，运动检测单元122不使用本地运动向量LMV。因此，运动检测单元122可以仅使用具有高可靠性的本地运动向量LMV来生成全局运动向量GMV，从而改善全局运动向量GMV的精度。运动检测单元122将所使用的本地运动向量LMV关于所有本地运动向量LMV的数量(即，帧图像中块的数量)的比例作为可靠性信息。
取决于可靠性信息是否超过滤波阈值，滤波处理单元125以与第一实施例相同的方式来执行相机运动分量CM和焦平面失真分量CF的滤波。
2-2.FP失真校正量计算处理
对应于FP失真校正量计算单元26的FP失真校正量计算单元126将FP失真累积值作为FP失真校正量CFc。为了防止如上使用图16A和图16B所描述的FP失真累积值的分散，FP失真校正量计算单元126评估焦平面失真分量CF的可靠性，并且还在平移速度低的事件中复位FP失真累积值。
如上所述，在焦平面失真分量CF和平移速度之间存在相关性(规则)。FP失真校正量计算单元126比较所提供的相机运动分量CM和焦平面失真分量CF，并且基于规则是否在焦平面失真分量CF和平移速度之间保持来评估焦平面失真分量CF的可靠性。
FP失真校正量计算单元126确定FP失真分量参数和运动分量参数e之间的关系以及FP失真分量参数b和运动分量参数h之间的关系中的每个是否匹配规则。FP失真校正量计算单元126保存表示其中FP失真分量参数和运动分量参数匹配规则的范围的、提前存储的关系信息，例如，以表示规则的关系表达式或表格的形式。从而，FP失真校正量计算单元126确定失真分量参数和运动分量参数的关系是否符合该关系信息，从而确定这些关系是否匹配规则。在FP失真分量参数和运动分量参数不匹配规则的事件中，FP失真校正量计算单元126减小FP失真分量参数的影响，因为其可靠性低。
例如，FP失真校正量计算单元126将焦平面失真分量CF与小于1的系数相乘，从而减小不匹配规则的焦平面失真分量CF的FP失真累积值的影响。而且，通过将焦平面失真分量CF设置为单位矩阵，可以将FP失真校正量计算单元126布置来完全消除不匹配规则的焦平面失真分量CF的FP失真累积值的影响。因此，FP失真校正量计算单元126可以主要关于具有高可靠性的焦平面失真分量CF来计算FP失真累积值，从而减小FP失真累积值中的误差，从而可以防止FP失真累积值的分散。
而且，在运动分量参数h和v小于预定的复位值的事件中，这意味着没有出现焦平面失真或出现非常小的焦平面失真，所以FP失真校正量计算单元126将FP失真累积值复位为零。如上所述，焦平面失真分量CF以大约五帧的周期重复增加和减小，同时反转符号。通常，每次运动分量参数h和v的符号改变时，FP失真校正量计算单元126可以规则地复位FP失真累积值，因此可以防止FP失真累积值分散。
而且，FP失真校正量计算单元126可以仅使用具有高可靠性的FP失真分量参数e和b来计算FP失真累积值，从而可以减小FP失真累积值中的误差，并且可以将FP失真累积值用作FP失真校正量CFc。所以，FP失真校正量计算单元126恰当地校正帧图像中几乎所有的焦平面失真。
而且，FP失真校正量计算单元126检测到平移速度变为几乎是零，并复位FP失真累积值。因此，FP失真校正量计算单元126可以恰当地防止FP失真累积值的分散，所以FP失真累积值可以用作FP失真校正量CFc。
接下来，将参考图23中示出的流程图来描述根据图像处理程序执行的FP失真校正量计算处理过程RT10。在提供相机运动分量CM和焦平面失真分量CF时，FP失真校正量计算单元126启动FP失真校正量计算处理过程RT10，并使流程前进到步骤SP101。
在步骤SP101中，FP失真校正量计算单元126确定焦平面失真分量CF和相机运动分量CM的平移速度之间的关系是否符合规则(相关性)。在这里得到否定结果的事件中，焦平面失真分量CF不可靠，所以FP失真校正量计算单元126使流程前进到随后的步骤SP102。
在步骤SP102中，FP失真校正量计算单元126减小或消除焦平面失真分量CF的影响，并使流程前进到随后的步骤SP106。
另一方面，在步骤SP101中得到肯定结果的事件中，这意味着焦平面失真分量CF可靠，所以FP失真校正量计算单元126使流程前进到随后的步骤SP104。
在步骤SP104中，FP失真校正量计算单元126确定相机运动分量CM的平移速度是否在复位阈值之下。在这里得到肯定结果的事件中，这意味着焦平面失真为零或几乎为零。在该情况下，FP失真校正量计算单元126使流程前进到随后的步骤SP105，复位FP失真累积值，前进到结束步骤，并且结束FP失真校正量计算处理过程RT10。
另一方面，在步骤SP104中得到否定结果的事件中，这意味着发生了焦平面失真，所以FP失真校正量计算单元126使流程前进到随后的步骤SP106。
在步骤SP106中，FP失真校正量计算单元126计算FP失真累积值，并使流程前进到随后的步骤SP107。这时，FP失真校正量计算单元126将焦平面失真分量CF或具有减小的影响的焦平面失真分量与在以前的处理帧图像中计算的FP失真累积值相加。
在步骤SP107中，FP失真校正量计算单元126将步骤SP106中计算的FP失真累积值作为FP失真校正量CFc，前进到结束步骤，并结束FP失真校正量计算处理过程RT10。
注意，对于平移速度h和v中的每个，FP失真校正量计算单元126执行FP失真校正量计算处理，并将与FP失真分量参数e和b中的每个对应的FP失真累积值分别作为FP失真校正量CFc。
2-3.梯形失真的去除
如上所述，由于便携式摄像机1的相机抖动校正功能，在偏转方向和俯仰方向上抑制对象和透镜单元之间的角度改变。然而，便携式摄像机1没有完全抵消该角度改变，并且还通过在偏转方向和俯仰方向上驱动透镜单元3来抵消垂直方向和水平方向上的抖动。因此，帧图像数据包括偏转方向和俯仰方向的角度改变。该角度改变被表现为帧图像中的梯形失真。
因此，根据本实施例的图像处理单元113根据全局运动向量GMV中的平移速度来估计偏转方向和俯仰方向的角度改变，并基于角度改变来计算梯形失真量A。图像处理单元113从处理帧图像中抵消梯形失真量A，从而从帧图像数据中去除梯形失真的影响。
2-3-1.梯形失真估计处理
如表达式(11)所示，分量分离表达式不具有偏转方向和俯仰方向的分量。从而，偏转方向和俯仰方向的角度改变具有与平移速度的相关性。因此，图像处理单元113的梯形失真估计单元128执行梯形失真估计处理，其中对于运动分量参数h和v估计偏转方向和俯仰方向的角度改变，并且计算由于该角度改变引起的梯形失真量。
现在，可以使用角度参数ω和φ以及表达式(2)中示出的投影变换表达式，来建模仅由于偏转方向和俯仰方向引起的梯形失真量A，如表达式(24)所示。在表达式(24)中，与表达式(2)中的C₁相应的-cosωsinφ表示偏转方向的角度改变，以及与表达式(2)中的C₂相应的sinφ表示俯仰方向的角度改变。

现在，梯形失真是不仅由于相机的抖动而且还由于摄影操作所发生的现象。将被校正的梯形失真是仅由于抖动引起的梯形失真量A。因此，梯形失真估计单元128根据由于抖动引起的平移速度(在下文中被称为“抖动平移速度”)来估计对应于抖动所改变的角度。
梯形失真估计单元128根据水平方向和垂直方向的平移速度来计算抖动平移速度h-h_f和v-v_f。然后，梯形失真估计单元128将所计算的抖动平移速度h-h_f和v-v_f与指定系数m和n以及固定系数p和q相乘，从而根据表达式25估计对应于抖动的角度改变“yaw”和“pitch”。
yaw＝m(h-h_f)×p，pitch＝n(v-v_f)×q                  (25)
注意，指定系数m和n是外部指定的参数，在梯形失真估计处理中将“1”设置为初始值。固定系数p和q是基于由于抖动引起的角度改变和抖动平移速度之间的相关性，从统计上或逻辑上得到的系数。
梯形失真估计单元128使用在表达式(25)中得到的值，根据表达式(26)来计算角度参数ω和φ。

然而，如果角度参数ω和φ不正确，则帧图像将损坏。因此，梯形失真估计单元128确定角度参数ω和φ的值是否在恰当的角度范围(-Ag°到+Ag°)内，如图24所示。在角度参数ω和φ的值在恰当的范围内的事件中，梯形失真估计单元128按照原样地使用角度参数ω和φ。另一方面，在角度参数ω和φ的值不在恰当的范围内的事件中，梯形失真估计单元128认为角度参数ω和φ的值为“0”。
梯形失真估计单元128将所计算的角度参数ω和φ的值代入表达式(24)，从而将梯形失真量A作为矩阵来计算。梯形失真估计单元128向校正向量生成单元129提供梯形失真量A。从而，梯形失真估计单元128基于运动分量参数h和v来估计梯形失真量A。
接下来，将参考图24中的流程图来描述根据图像处理程序执行的梯形失真估计处理过程RT11。在提供运动分量参数v和h时，梯形失真估计单元128启动梯形失真估计处理过程RT11，并使流程前进到步骤SP111。
在步骤SP111中，梯形失真估计单元128根据表达式(24)，通过投影变换来建模梯形失真量A，并使流程前进到随后的步骤SP112。
接下来，在步骤SP112中，梯形失真估计单元128计算角度参数ω和φ，并使流程前进到随后的步骤SP113。
在步骤SP113中，梯形失真估计单元128确定角度参数ω和φ是否在恰当的角度范围内。在这里得到肯定结果的事件中，梯形失真估计单元128使流程前进到随后的步骤SP114。另一方面，在关于步骤SP113中的确定得到否定结果的事件中，角度参数ω和φ不正确的概率高，所以梯形失真估计单元128使流程前进到随后的步骤SP115。
在步骤SP115中，梯形失真估计单元128用零代替角度参数ω和φ的值，使流程前进到随后的步骤SP114。
在步骤SP114中，梯形失真估计单元128将角度参数ω和φ的值代入表达式(24)，使流程前进到结束步骤，并结束梯形失真估计处理过程RT11。
2-3-2.校正向量生成处理
如上所述，对于第一实施例，校正向量生成单元29基于表达式(11)中示出的分量分离表达式来生成校正向量V_C。相反，校正向量生成单元129基于包括梯形失真量A的分量分离表达式来生成校正向量V_C，如表达式(27)所示。
x1y11=10hc01vc0011P000100011bc00ec000110h01v001cosθ-sinθ0sinθcosθ0001s000s0001]]>

P0001000110-hc01-vc001x0y01]]>
=10hc01vc0011P000100011c1x+c2y+c0a1a2a0b1b2b0c1c2c0P0001000110-hc01-vc001x0y01---(27)]]>
即，使用与表达式(17)至表达式(23)相同的方式写出的表达式(27)，并且从而修改，可以将校正向量V_C写为表达式(28)。注意，A^-1是梯形失真量A的倒数。
VC=C-1P-1MS-1F-1A-1PC---(28)]]>
将运动分量参数θ、s、h和v、摄影操作分量参数θ_f、s_f、h_f和v_f、FP失真分量参数e_c和b_c以及梯形失真量A提供给校正向量生成单元129。校正向量生成单元129按照表达式(20)和表达式(28)计算校正向量V_C。
从而，校正向量生成单元129通过使用梯形失真量A来生成除帧图像中的抖动和焦平面失真之外还能够校正梯形失真的校正向量V_C。因此，运动补偿单元30通过将全局运动向量GMV与校正向量V_C相乘，除了帧图像中的抖动和焦平面失真之外，还可以校正梯形失真。
换句话说，图像处理单元113可以校正由于偏转方向和俯仰方向而不仅是滚转方向上的角度改变引起的梯形失真。图像处理单元113使用仿射变换执行图像处理，但是可以得到好像是使用投影变换执行图像处理的优点，如表达式(27)所示。
2-4.梯形失真的附加校正
现在，梯形失真量A是不仅由于偏转和俯仰方向上的角度改变、而且根据对象和便携式摄像机1之间的距离而改变的值。因此，如图26A所示，在帧图像FM内存在离便携式摄像机1不同距离处的多个对象SB1至SB3的情况下，对于对象SB1至SB3中的每一个，梯形失真量A将不同。
因此，图像处理单元113被布置来通过将校正了梯形失真的帧图像FM显示在图1中示出的监控单元11上，而根据用户的期望来执行梯形失真的附加校正。
在用户使用图1中示出的操作单元12来请求执行梯形失真的附加校正处理的事件中，图像处理单元113将附加校正屏幕151显示在监控单元11上，如图26B所示。
对于附加校正屏幕151，在左上方显示对应于帧图像数据的帧图像FM，并且还显示用于帧图像数据的后退、快进和正常播放的后退按钮152、快进按钮153和播放按钮154。
例如，在用户移动用作操作单元12的鼠标来将光标CS放置在播放按钮154上并在该状态下点击鼠标的事件中，选择播放按钮154。以相似的方式来分别选择其他按钮。这里，图像处理单元113播放帧图像数据，使得在监控单元11上顺序地播放帧图像FM。
在帧图像FM下显示的是梯形失真量减小按钮156、梯形失真量增加按钮157和梯形失真量调节指示器158。在选择梯形失真量减小按钮156的事件中，图像处理单元113将梯形失真量A设置得小。
也就是说，在选择梯形失真量减小按钮156的事件中，图像处理单元113向梯形失真估计单元128提供请求信号来达到将梯形失真量A设置得小的效果。例如，梯形失真估计单元128将表达式(25)中的指定系数m和n的值乘上0.8，以在指定系数n和n的值被设置得小的状态中计算梯形失真量A。所以，将作为关于抖动平移速度相对小的值的梯形失真量A提供给校正向量生成单元129。
校正向量生成单元129生成校正向量V_C来通过作为相对小的值的梯形失真量A校正梯形失真，并将其提供给运动补偿单元30。运动补偿单元30基于校正向量V_C执行帧图像数据的运动补偿处理，从而通过关于抖动平移速度相对小的值来校正梯形失真，并将已校正的帧图像数据显示在监控单元11上。
在选择梯形失真校正量增加按钮157的事件中，类似地，图像处理单元113将梯形失真量A设置得大。在该情况下，例如，梯形失真估计单元128将表达式(25)中的指定系数m和n的值乘以1.2。
也就是说，图像处理单元113允许用户自由地设置梯形失真量A。因此，例如，图像处理单元113可以抵消主要聚焦于对象SB1至SB3中的一个对象SB上的梯形失真，或者可以根据用户进行的选择以平均的方式抵消帧图像FM的全部梯形失真。换句话说，图像处理单元113可以让用户自由选择梯形失真校正的程度。
作为后方图(back graph)显示梯形失真量调节指示器158，指示从初始状态增加或减少了多少的梯形失真量A。从而，用户可以在图像处理单元113上视觉地确认梯形失真的当前附加校正量。
图像处理单元113还在附加校正屏幕151的右下方处显示梯形失真指定空间159。图像处理单元113允许用户将光标CS放置在梯形失真指定空间159上并使用操作单元12输入数值，从而指定指定系数m和n的值。
从而，图像处理单元113允许用户自由选择梯形失真A，关于梯形失真A，由于根据对象和便携式摄像机1之间的距离的改变，精确估计是困难的。从而，图像处理单元113允许用户通过合适地调节帧图像FM中的梯形失真，根据他/她的喜好来生成帧图像数据。
接下来，将参考图27中的流程图来描述根据图像处理程序执行的梯形失真附加校正处理过程RT12。在用户进行请求以达到执行梯形失真的附加校正处理的效果时，根据通过操作单元12的方式输入的用户操作，图像处理单元113启动梯形失真附加校正处理过程RT12，并使流程前进到步骤SP121。
在步骤SP121中，图形处理单元113将附加校正屏幕151显示在监控单元11上，并使流程前进到随后的步骤SP122。
在步骤SP122中，图像处理单元113根据用户操作输入改变指定系数m和n，并使流程前进到随后的步骤SP123。
在步骤SP123中，图像处理单元113确定当前是否正在播放帧图像数据或者是否从用户给出了播放指令，并在这里得到否定结果的事件中，流程在步骤SP123中待命，等待来自用户的播放指令。
另一方面，在步骤SP123中得到肯定结果的事件中，图像处理单元113使流程前进到随后的步骤SP124，在步骤SP124中，根据梯形失真校正量计算处理过程RT11(图25)来执行梯形失真校正量计算处理，然后使流程前进到随后的步骤SP125。
在步骤SP125中，图像处理单元113根据校正向量生成处理过程RT10来执行校正向量生成处理，并使流程前进到随后的步骤SP126。
在步骤SP126中，图像处理单元113执行运动补偿处理。所以，在监控器11上显示其梯形失真量A已经被校正的帧图像FM。图像处理单元113使流程前进到结束步骤，以结束梯形失真附加校正处理过程RT12。
2-5.操作和优点
对于上面的配置，如图28所示，图像处理单元113从由帧图像组成的帧图像数据中将表示整个帧图像的运动的全局运动向量GMV检测为平移速度(步骤SP131)。图像处理单元113根据全局运动向量GMV的平移速度来计算对应于抖动的抖动平移速度(步骤SP132)。图像处理单元113使用平移速度和角度改变之间的相关性来根据所检测的全局运动向量GMV估计角度改变(步骤SP133)。因此，在其中使用硬件传感器检测角度改变不可应用的后处理中，图像处理单元113可以用简单的处理来计算角度改变。
图像处理单元113基于所估计的角度改变，使用投影变换表达式(表达式(24))来计算作为由于角度改变而发生在帧图像中的梯形失真的量的梯形失真量。因此，图形处理单元113可以用容易的处理来计算梯形失真量。
图像处理单元113根据作为与相机抖动(其是通过从全局运动向量GMV中的相机运动分量CM中减去用户故意的运动得到的)对应的平移速度的抖动平移速度，来估计对应于抖动的角度改变，从而计算梯形失真量A。因此，图像处理单元113可以计算梯形失真量A，该梯形失真量A是由于抖动发生的梯形失真并且其校正是所期望的。
图像处理单元113基于已经计算出的对应于抖动的梯形失真量A来校正全局运动向量GMV。因此，图像处理单元113可以减小帧图像中对应于抖动的梯形失真，从而，改善帧图像数据的质量。
图像处理单元113将全局运动向量GMV检测为由平移速度、放大/缩小速度和一个方向上的角度改变组成的仿射变换表达式，并估计除了这一个方向外的两个方向的角度改变。
也就是说，图像处理单元113将全局运动向量GMV处理为表示在仅一个方向上的旋转的仿射变换表达式以减轻处理负荷，并且还以继续(follow-up)的方式执行由于仿射变换表达式不可应用的偏转方向和俯仰方向上的旋转引起的梯形失真校正。因此，图像处理单元113可以校正三个方向或者滚转、偏转和俯仰上的梯形失真。所以，图像处理单元113可以得到与如下情况相同的优点：其中使用如表达式(27)所示的投影变换表达式来建模全局运动向量GMV，同时将全局运动向量GMV处理为仿射变换表达式。
图像处理单元113估计偏转方向和俯仰方向上的角度改变。从而，图像处理单元113可以使用平移速度h和v来估计具有与平移速度h和v的相关性的偏转和俯仰方向上的角度改变“yaw”和“pitch”。
图像处理单元113将相机运动分量CM至少作为平移元素EMa和放大/缩小元素EMc。并将焦平面失真分量CF的累积值作为焦平面失真校正量CFc。在平移元素EMa的绝对值低于复位阈值的事件中，图像处理单元113复位作为焦平面失真分量CF的累积值的FP失真累积值。
因此，图像处理单元113可以使用焦平面失真分量CF的累积值，从而可以通过复位FP失真累积值来防止FP失真累积值的分散，同时恰当地校正帧图像中大部分的焦平面失真分量CF。
图像处理单元113将相机运动分量CM至少作为平移元素EMa和放大/缩小元素EMc，并且将焦平面失真校正量CFc的FP失真累积值作为FP失真校正量CFc，并且减小或消除具有与平移元素EMa很小相关性的焦平面失真分量CF的部分的影响。因此，图像处理单元113可以主要关于具有高可靠性的焦平面失真分量CF生成焦平面失真校正量CFc，从而使得能够改善焦平面失真校正量CFc的精度。
根据上面的配置，图像处理单元113将全局运动向量GMV作为平移速度，并根据该平移速度估计角度改变。从而，图像处理单元113可以简化操作全局运动向量GMV的处理，并且还基于所估计的角度改变来执行各种类型的关于角度改变的校正处理。
3.第三实施例
使用相同的附图标记来表示与图22至图28中图示的第二实施例中的那些对应的第三实施例的部分，并且相应地，在这里将省略对这样的部分的冗余描述。尽管对于第二实施例，在计算梯形失真A之后，校正向量生成单元129生成校正向量V_C而没有改变分量参数的值，但是第三实施例不同于第二实施例在于基于梯形失真量A来重新计算分量参数的值。
3-1.抖动量的重新计算
如上所述，对于第一实施例，便携式摄像机1的透镜单元3通过在偏转方向和俯仰方向上被驱动来执行抖动校正。因此，对于提供给图像处理单元13的帧图像数据，抑制了偏转方向和俯仰方向上的角度改变。
对于本实施例，便携式摄像机1X中的透镜单元3X(未在附图中示出)通过在垂直方向和水平方向上以滑动的方式被驱动，来校正帧图像数据中的抖动。因此，提供到对应于图像处理单元13的图像处理单元213的帧图像数据不抑制在偏转方向和俯仰方向上的角度改变，所以在全局运动向量GMV中显著地体现了偏转方向和俯仰方向上的影响。因此，在计算抖动量M_S时，优选地，以与焦平面失真相同的方式使梯形失真的影响最小化。最后，图像处理单元213被布置来在计算梯形失真量A之后重新计算抖动量M_S。
图像处理单元213的梯形失真估计单元228按照表达式(24)至(26)计算梯形失真量A，在这之后，将表达式(24)代入表达式(27)。在这里，由偏转方向和俯仰方向上的角度改变影响的值主要是分量参数h和v。因此，梯形失真估计单元228无改变地使用分量参数θ、e_c和b_c的值，同时将运动分量参数h和c设置为未知参数，并且重新计算运动分量参数h和v。在下文中，重新计算的运动分量参数将被称为“重新计算的参数”，并被写为h_k和v_k。
梯形失真估计单元228使重新计算的参数h_k和v_k经受LPF处理以计算摄影操作量M_C，并将其与梯形失真量A一起提供给校正向量生成单元129。然后，校正向量生成单元129以与第二实施例相同的方式按照表达式(20)和表达式(28)生成校正向量V_C，除了使用重新计算的参数h_k和v_k代替运动分量参数h和v。
因此，图像处理单元213可以使用在其中已经减小了梯形失真的重新计算的参数h_k和v_k来生成校正向量V_C，所以可以减小梯形失真关于抖动量M_S的影响，并且可以用高精度来校正抖动。注意，在梯形失真附加校正处理中改变梯形失真量A的事件中，图像处理单元213还可以以相同的方式重新计算该重新计算的参数h_k和v_k，或者可以按照原样地使用初始的重新计算的参数h_k和v_k。另一布置是允许用户选择将使用哪组重新计算的参数h_k和v_k。
从而，图像处理单元213使用垂直方向和水平方向上的平移速度和偏转方向和俯仰方向上的角度改变之间的相关性来计算梯形失真A。图像处理单元213基于该相关性，根据抖动平移速度来计算重新计算的参数h_k和v_k，从而减小抖动平移速度中梯形失真的影响，所以可以用高精度来校正抖动。
3-2.操作和优点
通过上面的配置，图像处理单元213使用平移速度和角度改变之间的相关性来从对应于抖动的平移速度h-h_f和v-v_f抵消对应于抖动的角度改变。因此，图像处理单元213可以减轻由于抖动平移速度引起的角度改变，从而改善抖动量M_S的计算精度。
通过上面的配置，图像处理单元213使用平移速度和角度改变之间的相关性来去除表现在平移速度中的角度改变。因此，图像处理单元213可以从抖动量M_S中去除作为将被校正的梯形失真A的角度改变，从而改善抖动量M_S的计算精度。
4.第四实施例
4-1.图像处理单元的配置
使用相同的附图标记表示与图1至图26中图示的第一至第三实施例中的那些对应的第四实施例的部分，并且相应地，将在这里省略对这样的部分的冗余描述。根据本实施例的图像处理单元313被布置来根据拍摄所提供的帧图像数据使用的便携式摄像机的型号来改变图像处理的内容。
例如，在连接未示出的便携式摄像机时，图像处理单元313获取指示便携式摄像机的型号名称的型号信息。图像处理单元313经由诸如因特网之类的未示出的网络来获取与便携式摄像机的型号名称对应的技术信息。该技术信息包括便携式摄像机的成像设备的类型、所采用的抖动校正方法和固定系数信息。
在便携式摄像机的成像设备是CCD(电荷耦合器件)等的事件中，图像处理单元313用单位矩阵替代表达式(11)中的焦平面失真分量CF。从而，图像处理单元313可以执行控制，使得在很清楚不发生焦平面失真的情况下不执行焦平面失真校正，从而防止帧图像被在这样的焦平面失真校正期间发生的错误所干扰，注意，图像处理单元313可以被布置来通过滤波处理单元25丢弃焦平面失真分量CF，或者通过校正向量生成单元29来用单位矩阵替代焦平面失真分量CF。
然后，例如，图像处理单元313根据第二实施例执行抖动和梯形失真校正。这时，图像处理单元313将由固定系数信息指示的值用作固定系数。因此，图像处理单元313可以使用与便携式摄像机的特性相匹配的固定系数，从而改善估计梯形失真的精度。
在抖动校正方法是如同第一和第二实施例的透镜旋转驱动方法的事件中，图像处理单元313根据第二实施例来执行抖动、焦平面失真和梯形失真校正。这时，图象处理单元313将由固定系数信息指示的值用作固定系数。另一方面，在抖动校正方法是如同第三实施例的透镜滑动驱动方法的事件中，图像处理单元313根据第三实施例来执行抖动、焦平面失真和梯形失真校正。这时，图像处理单元313类似地将由固定系数信息指示的值用作固定系数。
以这种方式，图像处理单元313根据便携式摄像机的型号来恰当地选择要执行的图像处理，从而改善抖动、焦平面失真、梯形失真等的校正精度。
4-2.操作和优点
使用上面的配置，图像处理单元313根据拍摄帧图像数据所使用的作为成像装置的便携式摄像机来设置固定系数p和/或q的值。因此，图像处理单元313可以使用与便携式摄像机的特性对应的恰当的固定系数，从而改善估计角度改变的精度，并且因此改善计算梯形失真A的精度。
图像处理单元313根据便携式摄像机采用的抖动校正的方法来改变图像处理的内容。在抖动控制方法是透镜旋转驱动方法的事件中，执行根据第二实施例的图像处理，以及在抖动控制方法是透镜滑动驱动方法的事件中，执行根据第三实施例的图像处理。因此，图像处理单元313可以执行与便携式摄像机的抖动校正方法对应的恰当的图像处理。
图像处理单元313被布置来在通过卷帘式快门方法成像帧图像数据的事件中，用单位矩阵替代焦平面失真分量。因此即便在通过卷帘式快门方法成像帧图像数据的事件中，图像处理单元313仍可以以相同的方式执行合适的图像处理。
使用上面的配置，图像处理单元313可以通过根据成像帧图像数据所使用的便携式摄像机改变角度改变的估计量，来根据便携式摄像机的特性估计合适的角度改变。
5.其他实施例
对于使用焦平面失真分量CF来校正焦平面失真的布置，尽管在上面的第一至第四实施例中进行了描述，但是对于如何使用焦平面失真分量CF，本发明没有限制。例如，可以根据焦平面失真分量CF来计算抖动量。同样在该情况下，可以通过抖动校正来改善帧图像数据的质量。
而且，对于将焦平面失真分量CF建模为FP失真平行四边形元素EFb和FP失真垂直方向放大/缩小元素EFa的布置，尽管在上面的第一至第四实施例中进行了描述，但是本发明不限于此，并且可以在由于便携式摄像机的特性引起的仅一个元素容易出现的事件中，将焦平面失真分量CF仅建模为这两个元素中的一个。
而且，对于基于焦平面失真分量CF通过校正向量V_C来校正帧图像的布置，尽管在上面的第一至第四实施例中进行了描述，但是本发明不限于此，并且可以通过各种各样的方法来校正帧图像，例如使用校正系数等。
而且，对于按照表达式(11)计算相机运动分量CM和焦平面失真分量CF两者的布置，尽管在上面的第一至第四实施例中进行了描述，但是本发明不限于此，并且至少计算焦平面失真分量CF就足够了。
而且，对于基于平移速度来选择具有小的焦平面失真的帧图像的布置，尽管在上面的第一实施例中进行了描述，但是本发明不限于此，并且例如，可以进行基于焦平面失真的累积值来选择具有小的焦平面失真的帧图像的布置。
而且，对于执行FP失真累积值的复位以及不符合规则的焦平面失真分量CF的效果的减小或消除这两者的布置，尽管在上面的第二实施例中进行了描述，但是本发明不限于此，并且可以进行只执行一者的布置。而且，可以进行基于FP失真分量参数和平移速度之间的相关性的幅度来调节FP失真分量参数的值的布置。
而且，对于将相机运动分量CM建模为平移元素EMa、旋转元素EMb和放大/缩小元素EMc的布置，尽管在上面的第一至第四实施例中进行了描述，但是本发明不限于此，并且例如，可以进行将相机运动分量CM仅建模为平移元素EMa和放大/缩小元素EMc的布置。
而且，对于将分量分离表达式写为矩阵表达式的布置，尽管在上面的第一至第四实施例中进行了描述，但是本发明不限于此，并且可以进行将分量分离表达式写为普通等式的布置。
而且，对于在旋转元素EMb之前乘上原点校正矩阵MC1以及在旋转元素EMb之后乘上原点校正逆矩阵MC2的布置，尽管在上面的实施例中进行了描述，但是本发明不限于此；该处理不是在所有的情况下必须执行的，并且例如，可以在原点位于中间或靠近中间来开始的情况下省略。
而且，对于在旋转元素EMb之前乘上像素校正矩阵MP1以及在旋转元素EMb之后乘上像素校正逆矩阵MP2的布置，尽管在上面的实施例中进行了描述，但是本发明不限于此；该处理不是在所有情况下必须执行的，并且例如，可以在像素比例位于1∶1或接近1∶1来开始的情况下省略。
而且，对于在用卷帘式快门方法拍摄帧图像的事件中用单位矩阵替代焦平面失真分量的布置，尽管在上面的第四实施例中进行了描述，但是本发明不限于此，并且可以进行执行图像处理来仅校正梯形失真量A的布置。
而且，对于滤波处理单元25根据可靠性信息分离出焦平面失真分量CF和相机运动分量CM的布置，尽管在上面的第一至第四实施例中进行了描述，但是本发明不限于此；滤波处理不是在所有情况下必须执行的，或者可以仅关于焦平面失真分量CF和相机运动分量CM之一执行。此外，运动检测单元22可以将可靠性索引之和作为可靠性信息。
而且，对于在附加校正屏幕15中由用户改变指定系数m和n的布置，尽管在上面的第二实施例中进行了描述，但是本发明不限于此，并且可以进行如下配置，其中对应于指定系数m和n提供梯形失真量减小按钮156和梯形失真量增加按钮157两者，使得用户可以选择和改变指定系数m和n。
而且，对于在提供帧图像数据时获取型号信息的布置，尽管在上面的第四实施例中进行了描述，但是本发明不限于此，并且可以进行如下布置，其中用户指定便携式摄像机的型号名称、用户指定固定系数等。
而且，对于从便携式摄像机提供的帧图像数据已经经历了抖动校正的布置，尽管在上面的第一至第四实施例中进行了描述，但是对于帧图像数据是否进行了抖动校正的任一方式，本发明都没有限制。
而且，对于作为信息处理设备的图像处理终端10执行根据本发明实施例的图像处理的布置，尽管在上面的第一至第四实施例中进行了描述，但是不发明不限于此，并且可以进行如下的布置，其中具有成像功能的成像装置执行根据本发明的图像处理，从而使得能够从图像处理设备的配置中省略硬件传感器。此外，可以进行如下布置，其中合并根据本发明实施例的硬件传感器和图像处理，例如执行第一实施例，同时用例如陀螺(gyro)传感器物理地仅校正偏转和俯仰方向上的角度改变。
而且，对于提前将图像处理程序等存储在ROM或硬盘驱动等中的布置，尽管在上面的第一至第四实施例中进行了描述，但是本发明不限于此，并且可以进行如下布置，其中图像处理程序等可以被存储在诸如存储棒(索尼公司的注册商标)等的外部存储介质中并被安装到闪存存储器等。此外，可以经由USB(通用串行总线)、以太网、诸如IEEE(电气电子工程师协会)802.11a/b/g之类的无线LAN(局域网)外部地获取图像处理程序，并且还可以通过地面数字电视广播或广播卫星数字电视广播的方式来分配。
而且，对于便携式摄像机用作用于将对象成像为移动图像数据的相机的布置，尽管在上面的第一至第四实施例中进行了描述，但是本发明不限于此，并且可以进行如下布置，其中内置在手机中的相机、数字静止相机的移动图像功能等用作相机。
而且，对于用作图像处理设备的图像处理单元13被配置为包括用作运动检测单元的运动检测单元22以及用作建模单元和分量计算单元的分量分离处理单元23的布置，尽管在上面的第一实施例中进行了描述，但是本发明不限于此，并且可以进行如下布置，其中其他各种配置的运动检测单元、建模单元和分量计算单元组成图像处理设备。
本申请包括与2009年2月19日在日本专利局提交的日本优先权专利申请JP 2009-036897中公开的主题相关的主题，其全部内容通过引用合并于此。
本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、部分组合和替换，只要它们落入所附权利要求或其等价物的范围内即可。