摄像装置、图像处理装置、图像处理方法以及图像处理程序.pdf

本发明提供一种摄像装置。该摄像装置具有：在不同的曝光时间获取两个图像的摄像部(100)、和使用由摄像部(100)获取到的图像来进行复原处理的图像处理部(220)。图像处理部(220)具有：决定对获取到的图像的因手抖动引起的模糊进行规定的模糊内核的模糊内核决定部、和生成复原图像的图像复原部。模糊内核决定部，根据拍摄时的曝光时间而使模糊内核的尺寸发生变化。

权利要求书一种摄像装置，生成减少了因摄像时的手抖动引起的模糊的复原图像，具有：
摄像部，其在一次拍摄中，获取第1图像、以及以比所述第1图像短的曝光时间获取的第2图像；和
图像处理部，其使用由所述摄像部获取到的所述第1图像以及所述第2图像来进行复原处理，
所述图像处理部具有：
模糊内核决定部，其决定对由所述摄像部获取到的所述第1图像中的因手抖动引起的模糊进行规定的模糊内核；和
图像复原部，其使用被决定的所述模糊内核来生成复原图像，
所述模糊内核决定部，根据获取所述第1图像时的曝光时间而使所述模糊内核的尺寸变化。
根据权利要求1所述的摄像装置，其特征在于，
所述模糊内核决定部，所述曝光时间越长，越增大所述模糊内核的尺寸。
根据权利要求1或2所述的摄像装置，其特征在于，
所述摄像装置还具有：变换表，其规定所述曝光时间与所述模糊内核的尺寸之间的对应关系，
所述模糊内核决定部，基于所述变换表来决定所述模糊内核的尺寸。
根据权利要求3的所述的摄像装置，其特征在于，
所述变换表规定所述曝光时间与所述模糊内核相对于基准尺寸的倍率之间的对应关系。
根据权利要求1～4的任一项所述的摄像装置，其特征在于，
当将所述模糊内核作为第一模糊内核时，
所述模糊内核决定部，决定对所述第2图像中的因手抖动引起的模糊进行规定的第2模糊内核，
所述图像复原部，使用所述第1模糊内核以及所述第2模糊内核来生成所述复原图像。
根据权利要求5所述的摄像装置，其特征在于，
所述图像处理部具有：图像合成部，其合成所述第1图像以及所述第2图像来生成第3图像，
所述复原部使用所述第1模糊内核以及所述第2模糊内核，由所述第3图像来生成所述复原图像。
根据权利要求5所述的摄像装置，其特征在于，
所述图像处理部具有合成多个图像的图像合成部，
所述图像复原部使用所述第1模糊内核，由所述第1图像来生成第1复原过程的图像，并使用所述第2模糊内核，由所述第2图像来生成第2复原过程的图像，
所述图像合成部通过合成所述第1复原过程的图像和所述第2复原过程的图像来生成所述复原图像。
根据权利要求1～7的任一项所述的摄像装置，其特征在于，
所述摄像装置还具有：模糊检测部，其通过对由所述摄像部获取到的所述第1图像和所述第2图像进行比较来求出所述第1图像的模糊程度，
当由所述模糊检测部求出的所述第1图像的模糊程度大于预先确定的基准值时，进行所述图像处理部中的复原处理，当所述第1图像的模糊程度小于所述基准值时，不进行所述图像处理部中的复原处理，
根据权利要求1～8的任一项所述的摄像装置，其特征在于，
所述模糊内核决定部还根据获取所述第1图像时的变焦倍率，使所述模糊内核的尺寸变化。
一种图像处理装置，在一次拍摄中，使用由获取第1图像、以及以比所述第1图像短的曝光时间获取的第2图像的摄像装置获取到的所述第1图像以及所述第2图像来进行复原处理，该图像处理装置具有：
图像获取部，其获取所述第1图像、所述第2图像、以及获取所述第1图像时的曝光时间；
模糊内核决定部，其决定对由所述摄像部获取到的所述第1图像中的因手抖动引起的模糊进行规定的模糊内核；和
图像复原部，其使用所决定的所述模糊内核来生成复原图像，
所述模糊内核决定部根据获取所述第1图像时的曝光时间，使所述模糊内核的尺寸变化。
一种程序，用于在一次拍摄中，使用由获取第1图像、以及以比所述第1图像短的曝光时间获取的第2图像的摄像装置获取到的所述第1图像以及所述第2图像来进行复原处理，
该程序使计算机执行：
获取所述第1图像、所述第2图像、以及表示所述第1图像获取时的曝光时间的信息的步骤；
根据所述第1图像获取时的曝光时间来决定对所述第1图像中的因手抖动引起的模糊进行规定的模糊内核的尺寸的步骤；
决定所述模糊内核的步骤；和
使用所决定的所述模糊内核来生成复原图像的步骤。
一种图像处理方法，在一次拍摄中，使用由获取第1图像、以及以比所述第1图像短的曝光时间获取的第2图像的摄像装置获取到的所述第1图像以及所述第2图像来进行复原处理，该图像处理方法包括：
获取所述第1图像、所述第2图像、以及表示所述第1图像获取时的曝光时间的信息的步骤；
根据所述第1图像获取时的曝光时间来决定对所述第1图像中的因手抖动引起的模糊进行规定的模糊内核的尺寸的步骤；
决定所述模糊内核的步骤；和
使用所决定的所述模糊内核来生成复原图像的步骤。

说明书摄像装置、图像处理装置、图像处理方法以及图像处理程序
技术领域
本发明涉及用于生成使由于拍摄时的手抖动引起的模糊减少的复原图像的摄像装置、图像处理装置、图像处理方法、以及图像处理程序。
背景技术
若用数字相机进行图像的获取(拍摄)，则由于CCD(Charge‑Coupled Device：电荷耦合元件)、或CMOS的读出电路的特性或传送路径的特性，有时会对图像混入噪声。此外，由于拍摄时未对好焦距(未聚焦：out‑of‑focus)引起的图像的模糊(模糊：blur)、或手抖动(cam era shake)等引起的图像的模糊会产生。如此，在拍摄图像中，基于拍摄图像固有的特性的噪声，加上拍摄时由人为的操作所引起的模糊，会使图像变差。这些“模糊”之中，有时将由拍摄(曝光)中的相机的运动引起的图像的模糊称为“运动模糊(motion blur)”。
近年来，特别是由于高灵敏度拍摄的需要在增加，需要将由于模糊而变差的图像(以下，称为“变差图像”)复原为尽可能与原图像(以下，称为“理想图像”)接近的图像。为了实现高灵敏度拍摄所要求的明亮且无噪声或无模糊的图像，而大致区分有：提高灵敏度的方案、以及延长曝光时间的方案。
然而，若提高灵敏度则噪声也会增加，因此，信号会被埋入噪声中，大多会成为噪声占据大半的图像。另一方面，通过延长曝光时间，多积蓄此时产生的光，而能得到噪声少的图像。此时，虽然信号没有被埋入噪声中，但存在由于手抖动而易于在图像中产生运动模糊的问题。
因此，当前，用2种方案作为延长曝光时间时的处理法。一种是透镜移动或传感器移动的光学式手抖动补偿。另一种是通过所得到的图像或传感器求出运动模糊的方向/大小，然后通过信号处理来复原图像的方法(基于信号处理的复原方法)。
在光学式手抖动的补偿中，补偿的范围有限。若延长曝光时间，则容易发生手抖动，需要增大透镜或传感器的动作范围。然而，若动作范围变大，则存在当透镜或传感器移动时会产生时间延迟的问题。此外，对于大型化，存在尺寸的物理极限。
基于信号处理的复原方法，例如在专利文献1、专利文献2、非专利文献1、非专利文献2等中被公开。以下，对基于信号处理的复原方法进行说明。
在此，以I(x，y)表示在摄像元件的摄像面所形成的图像的亮度分布。坐标(x，y)是表示摄像面的像素(感光单元)的位置的二维坐标。在图像为例如由以矩阵状排列的M×N个的像素构成时，若将x以及y分别设为满足0≤x≤M‑1、0≤y≤N‑1的关系的整数，则能够通过坐标(x，y)来确定构成图像的各个像素的位置。在此，将坐标的原点(0，0)置于图像的左上角，x轴设为沿垂直方向延伸，y轴设为沿水平方向延伸。然而，坐标的获取方法是任意的。
将L(x，y)设为无模糊(blur)的图像(理想图像或原图像)的亮度分布，规定模糊的PSF，即：将“点扩散函数(Point Spread Function)”设为PSF(x，y)，将噪声设为n(x，y)，以下的式1成立。
【数1】
I(x，y)＝PSF(x，y)*L(x，y)+n(x，y)         (式1)
其中，記号“＊”表示二维旋积运算(卷积)。
手抖动的点扩散函数PSF(x，y)，取决于拍摄(曝光)中的手抖动的轨迹。由于手抖动的轨迹按照每个相机拍摄而不同，PSF(x，y)也按照每个相机拍摄而变化。
通过陀螺仪传感器等检测出拍摄中的手抖动轨迹，当PSF(x，y)为已知时，通过使用该PSF(x，y)来进行反旋积运算(反卷积)，能够从变差图像I(x、y)复原成图像L(x、y)。另一方面，当PSF(x，y)未知时，需要从变差图像I(x、y)推定PSF(x，y)，并复原图像L(x，y)。将前者称为“非盲·反卷积”，将后者称为“盲·反卷积”。在盲·反卷积中，由于需要从变差图像I(x，y)推定PSF(x，y)以及图像L(x，y)两者，因此与非盲·反卷积相比更难以降低模糊。
规定基于手抖动的模糊PSF的旋积运算，通过线性滤波器进行。二维旋积运算的线性滤波器，通常，由具有N×N像素尺寸的系数矩阵构成的积分核(内核)表示。其中，N是3以上的整数。规定模糊的PSF，能够通过模糊内核(blur kernel)来表现。为了从有模糊的图像，复原成降低了模糊的图像(包括去除了模糊的图像)，需要推定规定模糊的模糊内核。
作为基于信号处理的图像复原，例如，非专利文献1公开有，在从存在模糊的一张图像来推定模糊内核以及复原图像时，使用多尺度推定法(multi‑scale inference scheme)。在该多尺度推定法中，最初使用分辨率低的变差图像来推定具有3×3像素尺寸的模糊内核。然后，通过逐渐提高推定中使用的变差图像的分辨率，使模糊内核的分辨率也提高。图19(a)～(h)是用于说明非专利文献1中所公开的方法的图。图19(a)的上段表示3×3像素的模糊内核，下段表示对应的分辨率的复原图像。图19(b)～(h)也同样，逐渐地提高分辨率。
在分辨率低的变差图像中，由于像素数少，因此基于手抖动的模糊的像素尺寸也变小。其结果，在分辨率低的变差图像中，模糊内核的尺寸也变小，用于推定模糊内核所需要的计算量也变少。此外，若从最初就使用像素数大的高分辨率的变差图像来进行模糊内核的推定，则在与真的模糊内核不同的模糊内核(局所解：local minima局部极小)中有发生收敛的可能性。根据多尺度推定法，能够提高模糊内核的推定精度。
此外，在专利文献1中，公开有从连续获取到的2张图像，得到使运动模糊降低的复原图像的方法。在该方法中，分别根据第1图像、以及通过比第1图像短时间曝光而获取到的第2图像来推定模糊内核。根据通过合成所推定的两个模糊内核而得到的合成模糊内核、和合成第1图像以及第2图像而得到的合成图像来生成一个复原图像。根据该方法，仅在第1图像中所包含的运动模糊的程度大的情况下，进行复原处理，在运动模糊的程度小的情况下，不进行复原处理。
先行技術文献
专利文献
专利文献1JP特开2008‑99025号公报
专利文献2JP特开2009‑111596号公报
非专利文献
非专利文献1 Rob Fergus et al.，″Removing camera shake from a singleimage″，Barun Singh Aaron Hertzmann，SIGGRAPH 2006
非专利文献2″High‑quality Motion Deblurring from a Single Image″，Qi Shan，Jiaya Jia，and Aseem Agarwala，SIGGRAPH 2008
发明概要
发明所要解决的技术问题
根据现有技术，最终的模糊内核的尺寸被预先设定为固定值。因此，为了对模糊程度较大的变差图像进行正确的复原处理，需要将模糊内核的尺寸设定为较大的值。包含超过所设定的模糊内核尺寸的较大运动模糊的变差图像无法正确复原。
特别是当在暗的环境下进行拍摄时，为了确保充分的受光量，需要延长曝光时间。若延长曝光时间，则因相机的运动引起的图像的运动模糊的程度一般会变大。因此，在延长用于拍摄黑暗场景的曝光时间时，需要预先将模糊内核的尺寸设定为较大的值。
然而，若增大模糊内核的尺寸，则即使对于运动模糊程度较小的图像，也存在由于要进行基于具有尺寸较大的模糊内核的复原处理，而使复原处理所需要的计算量增多的问题。例如，在将模糊内核的尺寸设定为100×100像素时，当复原其中的能够以10×10像素规定运动模糊的图像时，会不必要地发生对100×100‑10×10＝9900像素的计算。
发明内容
本发明为解决上述现有技术问题，其目的在于，提供一种在变差图像的运动模糊的程度较小的情况下能够抑制复原处理所需要计算量，并且，即使在变差图像的运动模糊的程度较大时也能够得到正确的复原图像的图像复原技术。
解决技术问题的手段
本发明的摄像装置，生成减少了因摄像时的手抖动引起的模糊的复原图像，具有：摄像部，其在一次拍摄中，获取第1图像、以及以比所述第1图像短的曝光时间获取的第2图像；和图像处理部，其使用由所述摄像部获取到的所述第1图像以及所述第2图像来进行复原处理，所述图像处理部具有：模糊内核决定部，其决定对由所述摄像部获取到的所述第1图像中的因手抖动引起的模糊进行规定的模糊内核；和图像复原部，其使用被决定的所述模糊内核来生成复原图像，所述模糊内核决定部，根据获取所述第1图像时的曝光时间而使所述模糊内核的尺寸变化。
在实施方式中，所述模糊内核决定部，所述曝光时间越长，越增大所述模糊内核的尺寸。
在实施方式中，摄像装置还具有：变换表，其规定所述曝光时间与所述模糊内核的尺寸之间的对应关系，所述模糊内核决定部，由所述变换表来决定所述模糊内核的尺寸。
在实施方式中，所述变换表规定所述曝光时间与所述模糊内核相对于基准尺寸的倍率之间的对应关系。
在实施方式中，当将所述模糊内核作为第一模糊内核时，所述模糊内核决定部，决定对所述第2图像中的因手抖动引起的模糊进行规定的第2模糊内核，所述图像复原部，使用所述第1模糊内核以及所述第2模糊内核来生成所述复原图像。。
在实施方式中，所述图像处理部具有：图像合成部，其合成所述第1图像以及所述第2图像来生成第3图像，所述复原部使用所述第1模糊内核以及所述第2模糊内核，根据所述第3图像来生成所述复原图像。
在实施方式中，所述图像处理部具有合成多个图像的图像合成部，所述图像复原部使用所述第1模糊内核由所述第1图像来生成第1复原过程的图像，并使用所述第2模糊内核由所述第2图像来生成第2复原过程的图像，所述图像合成部通过合成所述第1复原过程的图像和所述第2复原过程的图像来生成所述复原图像。
在实施方式中，摄像装置还具有：模糊检测部，其通过对由所述摄像部获取到的所述第1图像和所述第2图像进行比较来求出所述第1图像的模糊程度，当由所述模糊检测部求出的所述第1图像的模糊程度大于预先确定的基准值时，进行所述图像处理部中的复原处理，当所述第1图像的模糊程度小于所述基准值时，不进行所述图像处理部中的复原处理。
在实施方式中，所述模糊内核决定部还根据获取所述第1图像时的变焦倍率，使所述模糊内核的尺寸变化。
本发明的图像处理装置，在一次拍摄中，使用由获取第1图像、以及以比所述第1图像短的曝光时间获取的第2图像的摄像装置获取到的所述第1图像以及所述第2图像来进行复原处理，该图像处理装置具有：图像获取部，其获取所述第1图像、所述第2图像、以及获取所述第1图像时的曝光时间；模糊内核决定部，其决定对由所述摄像部获取到的所述第1图像中的因手抖动引起的模糊进行规定的模糊内核；和图像复原部，其使用所决定的所述模糊内核来生成复原图像，所述模糊内核决定部根据获取所述第1图像时的曝光时间，使所述模糊内核的尺寸变化。
本发明的图像处理程序，用于在一次拍摄中，使用由获取第1图像、以及以比所述第1图像短的曝光时间获取的第2图像的摄像装置获取到的所述第1图像以及所述第2图像来进行复原处理，该程序使计算机执行：获取所述第1图像、所述第2图像、以及表示所述第1图像获取时的曝光时间的信息的步骤；根据所述第1图像获取时的曝光时间来决定对所述第1图像中的因手抖动引起的模糊进行规定的模糊内核的尺寸的步骤；决定所述模糊内核的步骤；和使用所决定的所述模糊内核来生成复原图像的步骤。
本发明的图像处理方法，在一次拍摄中，使用由获取第1图像、以及以比所述第1图像短的曝光时间获取的第2图像的摄像装置获取到的所述第1图像以及所述第2图像来进行复原处理，该图像处理方法包括：获取所述第1图像、所述第2图像、以及表示所述第1图像获取时的曝光时间的信息的步骤；根据所述第1图像获取时的曝光时间来决定对所述第1图像中的因手抖动引起的模糊进行规定的模糊内核的尺寸的步骤；决定所述模糊内核的步骤；和使用所决定的所述模糊内核来生成复原图像的步骤。
发明效果
根据本发明，在变差图像的运动模糊的程度较小时，能够抑制复原处理所需要的计算量，并且即使在变差图像的运动模糊的程度较大时，也能得到正确的复原图像。
附图说明
图1A是表示本发明的摄像装置的概略结构的一个示例的图。
图1B是表示本发明的图像处理装置的概略结构的一个示例的图。
图1C是表示图像处理部或基于图像处理装置的图像复原处理的流程的概略的流程图。
图2(a)是表示具有3×3像素尺寸的模糊内核的一个示例的图，(b)是表示无模糊的图像的像素值的排列例的图。
图3A是表示针对图2(b)的图像中的位置(x，y)＝(2，2)的像素的旋积运算结果的图。
图3B表示针对图2(b)的图像中的位置(x，y)＝(2，3)的像素的旋积运算结果。
图4(a)是表示9×9像素的模糊内核的系数矩阵的一个示例的图，(b)是将(a)所示的系数之中具有非零值的要素涂黑、将具有零的值的要素涂白的图。
图5是例示地表示针对曝光时间的模糊内核尺寸的变化的图。
图6(a)是表示所假设的手抖动较小时，将模糊内核的尺寸设定为较小值的图，(b)是表示当所假设的手抖动较大时，将模糊内核的尺寸设定为较大值的图。
图7是表示本发明的实施方式中的摄像装置的概略结构的方框图。
图8是示意性表示摄像部100中的摄像元件10、拍摄透镜20的概略结构的图。
图9是摄像元件10的摄像面10a的示意性俯视图。
图10是表示在曝光中一个感光单元所积蓄的电荷量的时间变化的示例的图。
图11是表示图6所示的图像处理部220的结构例的方框图。
图12(a)是表示实施方式中的变换表的一个示例的图，(b)是表示实施方式中的变换表的其它示例的图。
图13是表示在本发明的实施方式中能够被执行的处理的流程的流程图。
图14是表示在本发明的实施方式中能够被执行的复原处理的流程的第1示例的图。
图15是表示在本发明的实施方式中能够被执行的复原处理的流程的第2示例的图。
图16是表示在本发明的实施方式中能够被执行的复原处理的流程的第3示例的图。
图17是表示在本发明的实施方式中能够被执行的复原处理的流程的第4示例的图。
图18(a)是表示与变焦倍率以及曝光时间的组合相关的变换表的一个示例的图，(b)是表示与变焦倍率以及曝光时间的组合相关的变换表的其它示例的图。
图19(a)～(h)是用于说明非专利文献1所公开的方法的图。
具体实施方式
以下，在说明本发明的优选实施方式之前，对本发明的基本原理进行说明。而且，在本申请书中，以与那些“像素数”或“像素尺寸”相同含义来使用图像或模糊内核的“尺寸”。
图1A是表示本发明的摄像装置的概略结构的一个示例的图。摄像装置具有：获取图像的摄像部100；和使用由摄像部100所获取的图像来进行复原处理的图像处理部220。摄像部100在一次拍摄中，获取第1图像和以比第1图像短的曝光时间而获取到的第2图像。图像处理部220具有：模糊内核决定部226，其决定用于规定由摄像部100获取到的第1图像的运动模糊的模糊内核；和生成复原图像的图像复原部224。模糊内核决定部226能够根据获取第1图像时的曝光时间而使模糊内核的尺寸变化。
图1B是表示本发明的图像处理装置的概略结构的一个示例的图。图像处理装置250在一次拍摄中，使用用于获取第1图像、以及用比第1图像短的曝光时间获取的第2图像的摄像装置而获取到的两个图像来进行复原处理。图像处理装置250具有：图像获取部，其获取表示获取第1图像、第2图像、以及表示获取第1图像时的曝光时间的信息；决定用于规定第1图像的运动模糊的模糊内核的模糊内核决定部；和生成复原图像的图像复原部。模糊内核决定部能够根据获取第1图像时的曝光时间而使模糊内核的尺寸变化。
图1C是表示图像处理部220或基于图像处理装置250的图像复原处理的流程的概略流程图。首先，在步骤S101中，获取由摄像装置所获取的2张变差图像以及曝光时间信息。接着，在步骤102中，决定用于规定变差图像的运动模糊的程度的模糊内核尺寸。接着，在步骤S103中，决定模糊内核。然后，在步骤104中，使用决定了的模糊内核来生成复原图像。通过以上的处理，从2张变差图像得到去除了运动模糊的复原图像。根据本发明，通过根据获取图像时的曝光时间来合适地决定模糊内核的尺寸，从而能够抑制运算量且进行高精度的复原。针对各处理的细节在后详述。
接着，参照图2，具体地说明本发明的模糊内核。
图2(a)是表示具有3×3像素尺寸的模糊内核的一个示例。该模糊内核，规定了由于曝光中的手抖动而使相机在水平方向上移动了3像素时的模糊的一个示例。图2(b)是表示无模糊图像的像素值的排列例的图。该无模糊的图像设为具有5×5像素尺寸。图2(b)所示的25个数值是构成图像的像素的亮度值的示例。
在图2(a)所示的以模糊内核表示的因手抖动引起的模糊发生时，变差图像通过对图2(b)的图像执行基于图2(a)的模糊内核进行的二维旋积运算而得到。
若将模糊内核设为K、将原图像设为L、将噪声设为N，则由拍摄获取到的图像(变差图像)I通过以下式2表示。
【数2】
I＝K*L+N             (式2)
图3A表示针对图2(b)的图像中的位置(x，y)＝(2，2)的像素的旋积运算结果。该运算针对以图3A的左端的图像中的虚线矩形所包围的3×3像素＝9个的像素值而进行。模糊内核中的9个系数之中的3个要素，虽具有0.2、0.4、0.4的值，但其它6个要素具有零的值。若进行使用了该模糊内核的旋积运算，则0.2、0.4、0.4的系数分别乘以图像内的位置(2，1)、(2，2)、(2，3)的像素值，并求出总和。其结果，得到18×0.2+19×0.4+21×0.4＝19.6的值，该值作为运算后的像素值而被保存在位置(2，2)。
另一方面，图3B表示针对图2(b)的图像中的位置(x，y)＝(2，3)的像素的旋积运算结果。该运算针对图3B的左端的图像中的虚线的矩形所包围的3×3像素＝9个的像素值进行。若进行使用模糊内核的旋积运算，则0.2、0.4、0.4的系数分别乘以图像内位置(2，2)、(2，3)、(2，4)的像素值，求出总和。其结果，得到19×0.2+21×0.4+18×0.4＝19.4的值，该值作为运算后的像素值而被保存在位置(2，3)。
通过一边相对于被赋予的分辨率(像素数)的图像的像素值使模糊内核的中心位置移动、一边进行上述的计算，从而确定旋积运算后的图像，即具有因手抖动引起的模糊的图像(变差图像)。
为了从变差图像复原无模糊的图像，需要推定成为变差的原因的模糊内核的系数矩阵。若推定模糊内核，则能够通过反旋积运算得到变差前的图像(复原)。
图4(a)表示9×9像素的模糊内核的系数矩阵的一个示例。该系数矩阵之中的非零的系数的总和被规格化为等于1。图4(b)是在图4(a)所示的系数之中涂黑了具有非零值的要素、且涂白了具有零的值的要素的图。图4(b)的黑的要素的集合，与手抖动的轨迹对应。根据曝光中的手抖动的轨迹，图4(b)的黑的要素的集合具有不同的图案。
手抖动是由于曝光中的相机的运动而产生的，其轨迹由连接始点和终点的直线或曲线构成。如图4(b)所示，在通过具有有限尺寸的模糊内核表现的手抖动轨迹中，其一部分所包含的“曲线”也通过以直线连结2个像素而得到。
在本发明中，模糊内核的尺寸，不是在拍摄前预先设定的，而是根据拍摄时的曝光时间而被适应地决定的。
图5是例示表示图像的运动模糊的程度与曝光时间的关系的图形。如图所示，一般而言，曝光时间越长，图像的运动模糊的程度越大。这是因为曝光时间越长，因手抖动引起的模糊就积蓄得越多。
以下，表示在本发明中能够被设定的模糊内核的尺寸的示例。图6(a)表示运动模糊的程度较小的图像中的模糊内核的尺寸。这与曝光时间较短的情况相对应。此时，模糊内核的尺寸被设定为相对较小的尺寸。另一方面，图6(b)表示运动模糊的程度较大的图像中的模糊内核的尺寸的示例。这与曝光时间较长的情况相对应。此时，模糊内核的尺寸被设定为相对较大的尺寸。
如此，根据本发明，设定适合于根据曝光时间而假设的运动模糊的程度的模糊内核的尺寸。其结果，在针对运动模糊程度较小的图像的复原处理中，能够防止计算量多得超过所需。此外，与现有技术不同，由于未预先固定模糊内核的尺寸，因此针对运动模糊的程度较大的图像也能够正确地复原。
以下，参照图7至图13，来说明本发明优选的实施方式。在以下的说明中，对同一结构要素赋予相同的参照符号。
(实施方式)
图7是表示本实施方式的摄像装置的概略结构的方框图。本实施方式的摄像装置，是具有手抖动补偿功能的数字式电子相机。摄像装置具有：摄像部100；进行各种信号处理的信号处理部200；显示由拍摄获取到的图像的摄像显示部300；记录图像数据的记录介质400和控制各部的系统控制部500。
摄像部100具备：具有在摄像面上所排列的多个感光单元(发光二极管)的摄像元件(图像传感器)10；具有光圈功能的快门15；和用于在摄像元件10的摄像面上形成像的拍摄透镜20。摄像元件10的典型例是CCD或CMOS传感器。本实施方式中的摄像透镜20具有公知的结构，现实是由多个透镜构成的透镜单元。快门15以及摄像透镜20，由未图示的机构驱动，且执行光学变焦、自动曝光(AE：Auto Exposure)、自动焦点(AF：Auto Focus)所需要的动作。
而且，摄像部100具有用于驱动摄像元件10的摄像元件驱动部30。摄像元件驱动部30由例如CCD驱动器等LSI构成。摄像元件驱动部30通过驱动摄像元件10，从摄像元件10读出模拟信号而变换为数字信号。
信号处理部200具有：图像处理部(图像处理器)220；存储器240；接口(IF)部260；以及变换表280。变换表280是用于规定拍摄时的曝光时间与模糊内核的尺寸之间的关系的表。根据变换表280的信息，图像处理部220使模糊内核的尺寸变化。而且，变换表280可以保存在存储器240或其它记录介质中。以下，将变换表所记录的信息称为“变换表信息”。此外，信号处理部200与液晶表示面板等显示部300以及存储器卡等记录介质400连接。记录介质能够从摄像装置拆卸。
图像处理部220除了进行色调补偿、分辨率变更、自动曝光、自动焦点、数据压缩等动作所需要的各种信号处理，还执行本发明的变差图像的复原处理。图像处理部220通过公知的数字信号处理器(DSP)等硬件与执行包括本发明的图像复原的处理在内的图像处理的软件的组合而适当实现。存储器240由DRAM等构成。该存储器240记录从摄像部100得到的图像数据，并暂时记录由图像处理部220进行了各种图像处理后的图像数据或被压缩的图像数据。这些图像数据在被变换为模拟信号之后，由显示部300显示或直接将数字信号经由接口部260记录在记录介质400中。
上述结构要素，通过包括未图示的中央运算处理单元(CPU)以及闪存存储器的系统控制部500来控制。而且，本实施方式的摄像装置虽然能够具备取景器、电源(电池)、闪光灯等公知的结构要素，但由于这些说明对本发明的理解是非必需的，因此省略。
接着，参照图8以及图9来说明摄像部100的结构。
图8示意性表示摄像部100中的摄像元件10以及透镜20的概略结构。如图所示，摄像元件10具有摄像面10a。在摄像面10a上，排列有多个感光单元。
图9是示意性表示摄像面10a的俯视图。在该例中，感光单元11以矩阵状排列。而且，感光单元11的配列方式，不局限于图示的示例，各个感光单元的平面形状也不局限于正方形。为了生成彩色图像信号，典型而言，在各个感光单元11上配置有原色滤色器或补色滤色器。当然，也可以具有三个摄像元件，例如，采用在以RGB的3色来分离光之后通过各个摄像元件接收各个颜色的光的结构。
通过以上的结构，摄像部100能够通过摄像来获取图像。本实施方式中的摄像部100构成为：在进行手抖动补偿时，在一次拍摄中，获取曝光时间不同的2张图像。图10是例示表示本实施方式中的图像获取方法的图形。在被图示的图形中，横轴表示时刻，纵轴表示一个感光单元中的积蓄电荷量。而且，在图10中，仅表示与上述2次曝光对应的积蓄电荷量，未图示与用于预览显示的图像对应的积蓄电荷等。若由用户按下快门按钮，则首先以较短的时间TS进行曝光，获取第1图像(短时间曝光图像)。接着，以比TS长的时间TL进行第二次曝光，获取第2图像(长时间曝光图像)。而且，短时间曝光图像以及长时间曝光图像的获取順序也可以相反。如此得到的长时间曝光图像，由于是以比短时间曝光图像长的曝光时间获取的，因此，形成亮度等级较大、且因手抖动引起的模糊程度较大的图像。另一方面，短时间曝光图像形成亮度等级较小、且因手抖动引起的模糊程度较小的图像。这2张图像与表示曝光时间的信息(曝光时间信息)一起被输入给信号处理部200，且被用于图像复原处理。
接着，参照图11来说明图像处理部220的结构。
图11是表示图像处理部220的概略结构的方框图。图像处理部220，获取长时间曝光图像、短时间曝光图像、曝光时间信息、变换表信息，且输出与长时间曝光图像相比减少了因手抖动引起的模糊的复原图像。图像处理部220包括：图像获取部222、模糊检测部224、图像合成部225、模糊内核决定部226、图像复原部228、参数更新部229。模糊内核决定部226包括：内核尺寸决定部226a、初始内核设定部226b、内核推定部226c。
图像获取部222从摄像部100获取长时间曝光图像、短时间曝光图像、以及曝光时间信息。
模糊检测部224将由图像获取部222获取到的长时间曝光图像与短时间曝光图像进行比较，并求出长时间曝光图像所包含的运动模糊的程度。例如，能够通过使用公知的代表点匹配法或块匹配法求出2张图像中的各对应点的运动向量，来求出表示运动模糊的程度的评价值。此外，也能够使用根据2张图像的高频分量的强度之比来评价运动模糊的方法，或通过由模板匹配求出2张图像的相关性来评价运动模糊的方法。这些评价方法，例如在特开2009‑111596中被公开。在本实施方式中，仅在对由模糊检测部224求出的运动模糊的程度进行表示的评价值大于预先设定的阈值时，才进行后述的图像复原处理。而且，阈值能够设定为任意值。
图像合成部225，对长时间曝光图像和短时间曝光图像进行合成来生成一个合成变差图像。图像合成部225，例如，通过将长时间曝光图像以及短时间曝光图像所对应的像素的亮度值进行相加，来生成合成变差图像。在此，也可以不是简单地将对应的像素相加，而是以使长时间曝光图像以及短时间曝光图像的亮度等级成为同程度的方式进行加权后再相加。
内核尺寸决定部226a，根据从摄像部100获取到的曝光时间信息以及变换表280中所记录的变换表信息来决定模糊内核的尺寸。具体而言，由变换表求出与曝光时间对应的“模糊内核倍率”，将所求出的模糊内核倍率乘以基准尺寸而得到的值决定为模糊内核的尺寸。其中，所谓“曝光时间”，是指获取长时间曝光图像以及短时间曝光图像时的合计的曝光时间TL+TS。而且，“基准尺寸”可以作为预先固定值被设定在摄像装置中，也可以由用户通过手动来设定。当模糊内核的尺寸由用户通过手动来设定时，能够设定考虑到基于不同用户的运动模糊的程度不同的更优选的基准尺寸。或者，也可以根据图像获取时的各种的拍摄参数，按照每个拍摄来决定不同的尺寸。针对变换表的细节后述。
初始内核设定部226b，设定复原处理所需的初始模糊内核。初始模糊内核，可以通过手动来设定，也可以预先被设定为固定的系数矩阵。或者，也可以根据图像获取时的各种的拍摄参数，按照每个拍摄来决定不同的初始模糊内核。从缩短图像处理所需的时间的观点出发，初始模糊内核，虽然优选接近于实际模糊内核，但也不必一定接近，即使不接近也能够复原处理。而且，初始模糊内核的尺寸，能够通过后述的复原算法而被设定为不同的值。例如，在使用非专利文献1所公开的算法时，初始模糊内核的尺寸被设定为3×3像素等较小的值。此外，当在复原过程中使用不伴随模糊内核的尺寸变化的算法时，初始模糊内核的尺寸被设定为由上述内核尺寸决定部226a所决定的尺寸。
图像复原部228，使用初始模糊内核并根据在图像合成部225所生成的合成变差图像来生成复原图像。内核推定部226c根据合成变差图像、以及由图像复原部224生成的复原图像来进行模糊内核的推定。参数更新部229，通过由内核推定部226c推定的模糊内核来更新初始模糊内核。已被更新的初始模糊内核，被赋予图像复原部228，重复执行基于图像复原部228、内核推定部226c、参数更新部229的上述处理。
图11所示的结构，表示图像处理部220的功能块的一个示例，图像处理部220能够被分割为其它的功能块。图像处理部220，例如通过在公知的硬件中装入图像处理的软件，而适当地实现。
接着，说明本实施方式中的变换表。图12(a)是表示本实施方式中的变换表的一个示例的图。在该示例中，在变换表中，规定了曝光时间的范围与模糊内核倍率之间的对应关系。通过参照这样的变换表，内核尺寸决定部226a，例如，当曝光时间(TL+TS)在从T1至T2的范围内时，公知应将模糊内核的倍率设定为A 1倍。图12(b)是表示变换表的其它示例的图。如该示例，也可以被规定为根据曝光时间来直接决定模糊内核的尺寸。例如，当曝光时间(TL+TS)不在从T2至T3的范围内时，模糊内核的尺寸被设定为N2×N2(N2∶3以上的整数)。此时，不需要设定上述模糊内核的基准尺寸。而且，变换表不局限于上述的变换表，只要是表示曝光时间与模糊内核的尺寸之间的对应关系，则无论何种表格均可。
变换表可以预先被制成为预先信息。以下，说明变换表的制成方法的一个示例。
首先，在曝光时间为某值的条件下，多人经多次拍摄作为目标的物体(在图像内能够测量移动距离的图形(chart)或点光源等)，分别测量移动量。接着，改变其他曝光时间来进行同样的测量，按照每个曝光时间求出移动量的平均值。在变换表中记录如此得到的表示平均移动量与曝光时间之间的关系的信息。
而且，变换表中所保存的信息，可以根据需要改写。例如，摄像装置可以学习用户在过去进行的拍摄中的图像的运动模糊的倾向，并与该用户相匹配地具备改写变换表的功能。
接着，参照图13说明使用本实施方式的摄像装置来进行拍摄时的概略步骤的示例。
首先，用户使被摄体朝向摄像装置，若用户半按下快门按钮，则通过自动焦点动作，使被摄体聚焦。若用户深度按下快门按钮，则开始“曝光”(步骤S1)。此时，在摄像元件10的摄像面上形成被摄体。若在曝光中，因用户而不稳定地移动了摄像装置，则由于图像在摄像元件10的摄像面上进行移动，所以因手抖动引起的模糊会被附加在图像上。若从曝光开始经过较短的时间Ts，则暂时使曝光停止，进行基于摄像元件10的信号电荷的读出，获取短时间曝光图像(步骤S2)。接着，开始第二次曝光，一直到经过较长的时间TL为止曝光继续。经过了时间TL后，曝光结束，再次进行基于摄像元件10的信号电荷的读出，获取长时间曝光图像(步骤S3)。而且，如上所述，步骤S2以及步骤S3的顺序可以相反。
若获取短时间曝光图像以及长时间曝光图像，则摄像部100将获取到的2个图像以及曝光时间信息输入给信号处理部200中的图像处理部220。图像处理部220根据所输入的信息来进行图像复原处理，生成与长时间曝光图像相比减少了因手抖动引起的模糊的复原图像(步骤S
4)。所生成的复原图像，被发送到显示部300或记录介质400，且被显示或被记录(步骤S5)。
接着，参照图14来说明基于图像处理部220的步骤S4的图像复原处理的步骤。
首先，图像获取部222在步骤S41中，获取短时间曝光图像以及长时间曝光图像。接着，在步骤S42中，模糊检测部224求出获取到的表示2个图像中的运动模糊的程度的运动模糊评价值。运动模糊评价值，如上所述，利用公知的方法来求出。接着，在步骤S43中，根据由模糊检测部224求出的运动模糊评价值来判断运动模糊大小。当运动模糊评价值在预先设定的阈值以下时，不进行复原处理，处理结束。此时，作为复原结果而在存储器240中保存长时间曝光图像。另一方面，当运动模糊评价值大于预先设定的基准值时，执行以下的步骤S44～S50。
首先，在步骤S44中，图像获取部222获取曝光时间信息。接着，图像合成部225在步骤S45中，合成短时间曝光图像与长时间曝光图像来生成合成变差图像。接着，在步骤S46中，由内核尺寸决定部226a决定模糊内核的尺寸。此时，内核尺寸决定部226a参照变换表信息来决定与曝光时间(TL+TS)对应的模糊内核的尺寸。之后，在步骤S47中，由初始模糊内核设定部222来决定初始模糊内核。
接着，在步骤S48中，图像复原部228使用在步骤S45生成的合成变差图像和在步骤S47设定的初始模糊内核来执行图像复原处理，生成复原图像。该图像复原处理通过公知的复原算法来执行。图像复原部228暂时在存储器240中记录所得到的复原图像。在步骤S49中，内核推定部226c根据复原图像进行模糊内核的推定，参数更新部228根据所推定的模糊内核来更新以前的模糊内核。
接着，在步骤S50中，判定更新前后的模糊内核、以及更新前后的复原图像的变化是否小于规定阈值。当变化在阈值以上时，再次执行步骤S48的处理，然后，直至变化小于阈值为止重复步骤S48～S50。当变化不小于阈值时，判断为处理已收敛，在存储器240中保存复原结果。
而且，上述的处理的流程仅是一个示例，各处理的顺序不需要一定是图14所示的顺序。例如，步骤S 45的合成图像的生成，也可以在获取步骤S44的曝光时间信息之前进行。
以下，说明在步骤S48、S49中能够进行的模糊内核的推定以及图像复原的细节。
在此，说明非专利文献2所公开的基于信号处理法的图像复原方法。在非专利文献2的信号处理法的情况下，首先，根据在步骤S47中设定的初始模糊内核，来进行第1图像复原。该阶段的模糊内核虽然不必与真的模糊内核(正解)一致，但被复原的结果，与变差图像相比，更接近于原图像。
接着，根据第1图像复原结果即第1复原图像进行模糊内核的推定。由于第1复原图像比变差图像更接近于原图像，因此，所推定的模糊内核接近于正解。在此，使用所推定的模糊内核，即以接下来的模糊内核来更新初始模糊内核，从而进行第2图像复原。通过直至没有了模糊内核的变化、以及图像复原结果的变化为止重复进行该处理，从而同时进行模糊内核推定与图像复原。
以下，描述图像复原处理的更具体的方法。
图像复原部228通过所赋予的模糊内核(最初是初始值，接下来为更新值)和变差图像，进行图像的复原。式3表示该处理所使用的评价式EL。
[数3]

    (式3)
其中，I是变差图像、L是无模糊的图像L、f是模糊内核。变量wk、λ1、λ2是通过手动被设定的“权重”。Θ是规定对图像实施何种微分的运算符的设置。Θ具体而言，具有0次微分、1次微分(x、y方向上分别)、2次微分(x方向上2次、y方向上2次、x与y方向上各1次)的合计6个微分参数。d*是微分运算符。若使用d*来表现Θ，则表示为Θ＝{d0、dx、dy、dxx、dxy、dyy}。通过d*，能够进行使用了亮度信息与边缘信息两者的处理，也能够得到仅以亮度无法得到的信息。M是二维掩码，图像中的平坦領域、即局部的光滑区域(Ω)所包含的像素中具有“1”的要素，在除此以外的像素中具有“0”的要素。||·||p是p标准(morme)运算符。Φ(x)是近似表示自然观察的图像中的亮度梯度x与其分布密度(对数表示)之间的关系的函数。
式3的右边的第1项是表示进行复原图像L与模糊内核f的旋积而得到的图像与变差图像I之差(距离)的项。通过对图像实施基于6个微分参数的运算，能够根据亮度以外的信息来评价图像的近似度。
式3的右边的第2项是表示图像内的亮度梯度的性质(称为“heavy tail”)。Φ(dxL)、Φ(dyL)是当对复原图像的亮度梯度进行直方图化时，在梯度为0附近具有如下统计学上的性质，即：出现概率的急剧的峰值显现，且随着梯度变大出现概率变小。在第2项中，分别对x方向的梯度与y方向的梯度，计算了距表示上述统计学上的性质的分布的距离。在非专利文献1所公开的方法中也利用了该统计学上的性质。
式3的右边的第3项是使用掩码M、微分变差图像和微分复原图像，来进行平坦度的评价的项。在平坦的区域中具有在变差图像与复原图像之间亮度的梯度值接近的值。因此，使用x、y方向的梯度值的误差作为评价值。
通过求出将式3的右边进行最小化的L，能够求出复原图像L(L的最佳化)。L的最佳化的具体的计算方法，在非专利文献2中已被公开。
接着，详细说明得到复原图像L之后进行的基于模糊内核推定部226c的处理。
模糊内核推定，是使用在图像复原部228得到的复原图像L与变差图像I来推定模糊内核f的问题。f能够通过以对以下的式4的右边进行最小化的方式决定f，来求出模糊内核f(f的最佳化)。
[数4]