图像显示方法、图像拍摄方法以及图像合成方法.pdf

本发明提供一种图像显示方法、图像拍摄方法以及图像合成方法，显示图像使得所显示的图像被认为是具有大于等于显示器件的像素数的像素的高分辨率的图像。其中，图像显示方法包括：检测显示器件的位移的步骤；使上述显示器件上的图像向与上述显示器件的位移的相反方向，以亚像素单位，移动与上述显示器件的位移相应的大小并进行显示的步骤。

1.  一种图像显示方法，其特征在于，包括：
检测显示器件的位移的步骤；以及
使上述显示器件上的图像，向上述显示器件的位移的相反方向，以亚像素单位，移动对应于上述显示器件的位移的大小并进行显示的步骤。

2.  根据权利要求1所述的图像显示方法，其特征在于，
上述显示图像的步骤包括：
将上述显示器件的位移，分为像素单位的位移和剩余的小于1像素的位移的步骤；
通过插值求出使上述显示器件上的图像移动与上述小于1像素的位移相应的大小后的图像的步骤；以及
使上述通过插值求出的图像，移动与上述像素单位的位移相应的大小的步骤。

3.  一种投影式图像显示装置的图像显示方法，其特征在于，包括：
使能够被投影到图像的区域，按照预定模式以亚像素单位移动的步骤；
每当上述区域移动时，就通过插值求出向上述区域的位移的相反方向移动与上述位移相应的大小后的图像的步骤；以及
对上述所求出的图像进行投影的步骤。

4.  一种投影式图像显示装置的图像显示方法，其特征在于，包括：
根据上述图像显示装置的运动，检测能够被投影到图像的区域的位移的步骤；以及
使投影在上述区域的图像，向上述区域的位移的相反方向，以亚像素单位，移动与上述区域的位移相应的大小并进行显示的步骤。

5.  一种图像显示方法，其特征在于，包括：
一边使摄像器件上的入射图像按照预定模式以亚像素单位移动，一边拍摄多个图像的步骤；
检测显示器件的位移的步骤；以及
从上述多个图像中，选择使上述显示器件上的图像向上述显示器件的位移的相反方向移动与上述显示器件的位移相应的大小后的图像，并进行显示的步骤。

6.  根据权利要求5所述的图像显示方法，其特征在于，
还包括缩小上述多个图像和各图像的位移的步骤，
在上述选择并显示图像的步骤中，根据上述缩小后的各图像的位移，从上述缩小后的多个图像中选择图像。

7.  一种图像显示方法，其特征在于，包括：
一边使摄像器件上的入射图像按照预定模式以亚像素单位移动，一边拍摄多个图像的步骤；以及
根据上述多个图像和各图像的位移推测像素值，从而推测像素数比上述多个图像的每一个都多的图像并进行显示的步骤。

8.  根据权利要求7所述的图像显示方法，其特征在于，
还包括缩小上述多个图像和各图像的位移的步骤，
在上述推测并显示图像的步骤中，根据上述缩小后的多个图像和上述缩小后的各图像的位移，推测像素数比上述缩小后的多个图像的每一个都多的图像并进行显示。

9.  根据权利要求7所述的图像显示方法，其特征在于，
还包括传输上述预定模式的信息的步骤，
在上述推测并显示图像的步骤中，将所传输的上述预定模式的信息用作上述多个图像的位移。

10.  根据权利要求7所述的图像显示方法，其特征在于，
上述推测并显示图像的步骤，根据上述多个图像本身，求出上述多个图像各自的位移。

11.  一种图像拍摄方法，其特征在于，包括：
用摄像器件拍摄第1图像的步骤；
使上述摄像器件上的入射图像，按照预定模式以亚像素单位移动的步骤；
将上述移动后的入射图像作为第2图像拍摄的步骤；以及
根据上述第1图像、第2图像以及上述第2图像相对于上述第1图像的位移推测像素值，从而推测像素数比上述第1图像和第2图像多的第3图像的步骤。

12.  根据权利要求11所述的图像拍摄方法，其特征在于，
反复进行上述使入射图像移动的步骤，和将上述移动后的入射图像作为第2图像拍摄的步骤；
在上述推测第3图像的步骤中，根据上述第1图像和多个上述第2图像进行推测。

13.  根据权利要求11所述的图像拍摄方法，其特征在于，
在上述推测第3图像的步骤中，用最小二乘法进行图像的推测。

14.  一种图像拍摄方法，其特征在于，包括：
用摄像器件拍摄第1图像的步骤；
在上述摄像器件上的入射图像移动后，拍摄第2图像的步骤；
检测上述第2图像相对于上述第1图像的位移的步骤；
将上述第2图像的位移，分为像素单位的位移和剩余的小于1个像素的位移的步骤；
使上述第2图像向上述像素单位的位移的相反方向移动上述像素单位的位移量的步骤；以及
根据上述第1图像、上述移动后的第2图像以及上述小于1个像素的位移推测像素值，从而推测像素数比上述第1图像和上述移动后的第2图像多的第3图像的步骤。

15.  根据权利要求14所述的图像拍摄方法，其特征在于，
反复进行上述拍摄第2图像的步骤，
在上述推测第3图像的步骤中，根据上述第1图像和多个上述第2图像进行推测。

16.  根据权利要求14所述的图像拍摄方法，其特征在于，
在上述推测第3图像的步骤中，用最小二乘法进行图像的推测。

17.  一种图像拍摄方法，其特征在于，包括：
检测摄像器件的运动的步骤；
将上述摄像器件的运动与预定模式的运动相加的步骤；
使入射图像向上述摄像器件移动，以抵消上述相加后的运动所带来的影响的步骤；以及
拍摄上述入射图像的步骤。

18.  根据权利要求17所述的图像拍摄方法，其特征在于，
还包括从多个预定模式中选择1个的步骤，
在上述对预定模式的运动进行相加的步骤中，根据上述所选择出的模式对运动进行相加。

19.  一种图像合成方法，其特征在于，包括：
将第2图像相对于第1图像的位移，分为像素单位的位移和剩余的小于1个像素的位移的步骤；
使上述第2图像向上述像素单位的位移的相反方向移动上述像素单位的位移量的步骤；以及
根据上述第1图像、上述移动后的第2图像以及上述小于1像素的位移推测像素值，从而推测像素数比上述第1图像和上述移动后的第2图像多的第3图像的步骤。

20.  根据权利要求19所述的图像合成方法，其特征在于，
还包括检测上述第2图像相对于上述第1图像的位移的步骤。

21.  根据权利要求19所述的图像合成方法，其特征在于，
将多个图像用作上述第2图像，
在上述推测第3图像的步骤中，根据上述第1图像和多个上述第2图像进行推测。

22.  根据权利要求19所述的图像合成方法，其特征在于，
在上述推测第3图像的步骤中，用最小二乘法进行图像的推测。

图像显示方法、图像拍摄方法以及图像合成方法
技术领域
本发明涉及一种拍摄或显示图像的技术，特别涉及一种使拍摄或显示的图像的像质改善的技术。
背景技术
对于在手持状态下拍摄或显示图像的器件，修正手抖动是很重要的。例如，日本特开2002-123242号公报中公开了一种检测因显示器件的移动而产生的位移，并使显示器件上的图像显示位置向该位移的相反方向移动的技术。另外，日本特开平7-283999号公报中公开了一种利用摄像器件的小于像素尺寸的移动，取得像素数大于摄像器件的像素数的图像的技术。
发明内容
但是，从像质的观点来看，与完全修正手抖动相比，有时残留适度的手抖动更能以好的像质进行记录、传输、显示。这是因为：当人看到因摄像器件的小于像素尺寸的移动而得到的一系列图像时，人的大脑会推测为这是尺寸比摄像器件的像素小的像素的值，从而认为这些图像是高分辨率的图像。因此，从改善像质的观点来看，人们迫切需要一种小于像素尺寸、即亚像素单位的手抖动修正方法。
另外，在上述日本特开平7-283999号公报中公开了以下方法，即，将摄像器件进行了小于像素尺寸的移动时在该位置所拍摄到的像素值，就此当作比摄像器件的像素数多的输出图像的相应位置的像素值来使用。但是，就此使用摄像器件的像素的值的话，不能期望像质有大的改善。因此，需要一种以高精度的亚像素单位对数字图像进行像素值推测的图像拍摄方法。
本发明的目的在于，显示图像，使得所显示的图像被认为是具有大于等于显示器件的像素数的像素的高分辨率的图像。
另外，本发明的目的还在于，拍摄比具有摄像器件的像素数的图像拥有更多信息的图像。
为了解决上述问题，本发明的技术方案1提供一种图像显示方法，其特征在于，包括：检测显示器件的位移的步骤；以及使上述显示器件上的图像，向上述显示器件的位移的相反方向，以亚像素单位，移动与上述显示器件的位移相应的大小并进行显示的步骤。
由此，与显示器件被固定时相比能够在更多的点显示图像，因此，能够显示图像使得该图像被认为是分辨率高于显示器件的高分辨率图像。
根据技术方案1所述的图像显示方法，其特征在于，上述显示图像的步骤包括：将上述显示器件的位移，分为像素单位的位移和剩余的小于1像素的位移的步骤；通过插值求出使上述显示器件上的图像移动与上述小于1像素的位移相应的大小后的图像地步骤；以及使上述通过插值求出的图像，移动与上述像素单位的位移相应的大小的步骤。
本发明的技术方案2提供一种基于投影式图像显示装置的图像显示方法，其特征在于，包括：使能够将图像投影在其上的区域，按照预定模式以亚像素单位移动的步骤；每当上述区域移动时，通过插值求出向上述区域的位移的相反方向移动与上述位移相应的大小后的图像的步骤；以及对上述所求出的图像进行投影的步骤。
由此，因为要投影的像素的位置以亚像素单位移动，所以，能够由投影式图像显示装置进行高分辨率的图像显示。
本发明的技术方案3提供一种基于投影式图像显示装置的图像显示方法，其特征在于，包括：根据上述图像显示装置的运动，检测能够将图像投影在其上的区域的位移的步骤；以及使投影在上述区域的图像，向上述区域的位移的相反方向，以亚像素单位，移动与上述区域的位移相应的大小并进行显示的步骤。
由此，与显示器件被固定时相比能够在更多的点显示图像，因此，能够显示图像使得该图像被认为是分辨率高于其显示器件的高分辨率图像。
本发明的技术方案4提供一种图像显示方法，其特征在于，包括：一边使摄像器件上的入射图像按照预定模式以亚像素单位移动，一边拍摄多个图像的步骤；检测显示器件的位移的步骤；以及从上述多个图像中，选择使上述显示器件上的图像向上述显示器件的位移的相反方向移动与上述显示器件的位移相应的大小后的图像，并进行显示的步骤。
由此，不通过插值求出图像，就能显示图像使得该图像被认为是分辨率高于显示器件的高分辨率图像。
根据技术方案4所述的图像显示方法，其特征在于，还包括缩小上述多个图像和各图像的位移的步骤，上述选择并显示图像的步骤，根据上述缩小后的各图像的位移，从上述缩小后的多个图像中选择图像。
本发明的技术方案5提供一种图像显示方法，其特征在于，包括：一边使摄像器件上的入射图像按照预定模式以亚像素单位移动，一边拍摄多个图像的步骤；以及根据上述多个图像和各图像的位移推测像素值，从而推测像素数比上述多个图像的每一个都多的图像并进行显示的步骤。
由此，能够推测与所拍摄的多个图像的张数相当的数量的像素值，从而推测高分辨率的图像并进行显示。
根据技术方案5所述的图像显示方法，其特征在于，还包括缩小上述多个图像和各图像的位移的步骤，上述推测并显示图像的步骤，根据上述缩小后的多个图像和上述缩小后的各图像的位移，推测像素数比上述缩小后的多个图像的每一个都多的图像并进行显示。
根据技术方案5所述的图像显示方法，其特征在于，还包括传输上述预定模式的信息的步骤，上述推测并显示图像的步骤，将所传输的上述预定模式的信息用作上述多个图像的位移。
根据技术方案5所述的图像显示方法，其特征在于，上述推测并显示图像的步骤，根据上述多个图像本身，求出上述多个图像各自的位移。
本发明的技术方案6提供一种图像显示方法，其特征在于，包括：用摄像器件拍摄第1图像的步骤；使上述摄像器件上的入射图像，按照预定模式以亚像素单位移动的步骤；将上述移动后的入射图像作为第2图像拍摄的步骤；以及根据上述第1图像、第2图像以及上述第2图像相对于上述第1图像的位移推测像素值，从而推测像素数比上述第1图像和第2图像多的第3图像的步骤。
根据技术方案6所述的图像显示方法，其特征在于，反复进行上述使入射图像移动的步骤，和将上述移动后的入射图像作为第2图像拍摄的步骤；上述推测第3图像的步骤，根据上述第1图像和多个上述第2图像进行推测。
根据技术方案6所述的图像显示方法，其特征在于，上述推测第3图像的步骤，用最小二乘法进行图像的推测。
本发明的技术方案7提供一种图像显示方法，其特征在于，包括：用摄像器件拍摄第1图像的步骤；在上述摄像器件上的入射图像移动后，拍摄第2图像的步骤；检测上述第2图像相对于上述第1图像的位移的步骤；将上述第2图像的位移，分为像素单位的位移和剩余的小于1像素的位移的步骤；使上述第2图像向上述像素单位的位移的相反方向移动上述像素单位的位移量的步骤；以及根据上述第1图像、上述移动后的第2图像以及上述小于1像素的位移推测像素值，从而推测像素数比上述第1图像和上述移动后的第2图像多的第3图像的步骤。
由此，与摄像器件被固定时相比，能够在更多的点捕捉入射光，因此，能够取得像素数多于摄像器件的图像。
根据技术方案7所述的图像显示方法，其特征在于，反复进行上述拍摄第2图像的步骤，上述推测第3图像的步骤，根据上述第1图像和多个上述第2图像进行推测。
根据技术方案7所述的图像显示方法，其特征在于，上述推测第3图像的步骤，用最小二乘法进行图像的推测。
本发明的技术方案8提供一种图像显示方法，其特征在于，包括：检测摄像器件的运动的步骤；将上述摄像器件的运动与预定模式的运动相加的步骤；使入射图像向上述摄像器件移动，以抵消上述相加后的运动所带来的影响的步骤；以及拍摄上述入射图像的步骤。
由此，能够抵消手抖动，并拍摄具有由预定模式的运动产生的有目的的模糊的图像。
根据技术方案8所述的图像显示方法，其特征在于，还包括从多个预定模式中选择1个的步骤，上述对预定模式的运动进行相加的步骤，根据上述所选择出的模式对运动进行相加。
本发明的技术方案9提供一种图像显示方法，其特征在于，包括：将第2图像相对于第1图像的位移，分为像素单位的位移和剩余的小于1像素的位移的步骤；使上述第2图像向上述像素单位的位移的相反方向移动上述像素单位的位移量的步骤；以及根据上述第1图像、上述移动后的第2图像以及上述小于1像素的位移推测像素值，从而推测像素数比上述第1图像和上述移动后的第2图像多的第3图像的步骤。
根据技术方案9所述的图像显示方法，其特征在于，还包括检测上述第2图像相对于上述第1图像的位移的步骤。
根据技术方案9所述的图像显示方法，其特征在于，将多个图像用作上述第2图像，上述推测第3图像的步骤，根据上述第1图像和多个上述第2图像进行推测。
根据技术方案9所述的图像显示方法，其特征在于，上述推测第3图像的步骤，用最小二乘法进行图像的推测。
根据本发明，能够拍摄具有比显示器件的像素数多的像素的高分辨率的图像，并能够显示图像，使得该图像被认为是具有比显示器件的像素数多的像素的高分辨率的图像。
附图说明
图1是本发明实施例1的图像摄影显示系统的框图。
图2A、图2B分别是表示位移按照预定模式随时间变化的例子的图。
图3是表示使摄像器件上的像素以亚像素单位移动时的、构成入射图像的入射光与摄像器件输出的关系的示意图。
图4是本发明实施例2的图像摄影显示系统的框图。
具体实施方式
下面，参照附图详细说明本发明的实施例。
[实施例1]
图1是本发明实施例1的图像摄影显示系统的框图。图1的图像摄影显示系统包括摄像装置10、20，图像显示装置30，作为投影式图像显示装置的液晶投影机40，以及静止图像记录传输部2。摄像装置10、20，图像显示装置30以及液晶投影机40，可以分别单独地动作。该图像摄影显示系统的目的在于，拍摄和显示静止图像。
摄像装置10包括手抖动传感器11、虚拟手抖动信号加法部12、光学修正部14、摄像器件15以及图像合成部18。
光学修正部14按照修正信号光学地控制入射图像IP，并使摄像器件15上的图像移动。光学修正部14例如是有源棱镜(active prism)。摄像器件15例如是CCD(Charge-Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)传感器，拍摄入射图像IP，并将所得到的图像输出到图像合成部18。
手抖动传感器11，检测由手抖动给摄像器件15带来的加速度、角加速度等，求出由手抖动产生的入射图像IP在摄像器件15上的位移，并将其输出到虚拟手抖动信号加法部12。
虚拟手抖动信号加法部12，使所求出的入射图像IP的位移与按照预定模式的位移相加，并将所得到的相加后的位移输出到光学修正部14。另外，虚拟手抖动信号加法部12，将所加的按照预定模式的位移输出到图像合成部18。光学修正部14，使入射图像IP向相加后的位移的相反方向移动相加后的位移的量。
当手持摄像装置10进行拍摄时，手抖动传感器11检测摄像器件15的运动，虚拟手抖动信号加法部12将按照预定模式的由虚拟的手抖动产生的运动与摄像器件15的运动相加。进而，光学修正部14使往摄像器件15的入射图像IP移位，以抵消相加后的运动所产生的影响，并由摄像器件15拍摄入射图像IP。摄像器件15将所拍摄到的静止图像输出到静止图像记录传输部2。
因此，此时能够抵消手抖动，并拍摄具有由预定模式的运动产生的模糊(blur)的图像。即，能够仅给图像带来有目的的模糊。
虚拟手抖动信号加法部12中，作为虚拟的手抖动的模式，预先存储有多个擅长摄影的人的自然的手抖动，和多个虚拟再现了著名的摄影师的摄影技术的手抖动，可以根据摄影状况和摄影对象选择其中之一，按照所选择的模式对运动进行相加。
以下，说明摄像装置10是固定的，虚拟手抖动信号加法部12仅将按照预定模式的位移(虚拟的手抖动)输出到光学修正部14的情况。
图2A、图2B分别是表示位移按照预定模式随时间变化的例子的说明图。虚拟手抖动信号加法部12，如图2A或图2B那样使位移按照预定模式变化，并使摄像器件15上的入射图像以亚像素单位移动。以亚像素单位移动，是指以小于1像素的精度移动。这里，位移的各分量是小于1像素的。
摄像器件15拍摄与模式的最初的位移相对应的入射图像。然后，反复进行由虚拟手抖动信号加法部12使位移变化的动作，和由摄像器件15拍摄由光学修正部14使之移动后的入射图像的动作。即，摄像器件15，在每次由虚拟手抖动信号加法部12施加的位移发生变化时，拍摄互不相同的图像。摄像器件15将所拍摄到的图像输出到图像合成部18。虚拟手抖动信号加法部12中预先存储有多个这样的模式，可以根据摄影状况和摄影对象从多个模式中选择1个，并按照所选择出的模式对位移进行相加。
图3是表示使摄像器件15上的像素以亚像素单位移动时的、构成入射图像的入射光与摄像器件输出之间的关系的示意图。在图3中，设入射光i0、i1、i2、i3、i4、i5、i6、i7的间隔为摄像器件15的像素间隔的三分之一。
在使摄像器件15上的入射图像移动之前，入射光i0～i2入射到像素EL0，这些入射光与输出信号o00间的关系，可如式(1)那样表示。
[式1] o 00 = a 0 × i 0 + a 1 × i 1 + a 2 × i 2 o 10 = a 0 × i 3 + a 1 × i 4 + a 2 × i 5 - - - ( 1 ) ]]>
式(1)的系数a0、a1、a2可通过预先测出已知的入射光i0～i2与输出信号o00间的关系而得到。
接着，考虑使摄像器件15上的图像移动的情况。这里，为了方便，如图3所示，基于不是使入射光移动，而是使摄像器件15移动了位移MV1的图进行考虑。此时，入射光i1～i3入射到像素EL0，这些入射光与输出信号o00间的关系，可如式(2)那样表示，即：
[式2] o 01 = a 11 × i 1 + a 21 × i 2 + a 31 × i 3 o 11 = a 11 × i 4 + a 21 × i 5 + a 31 × i 6 - - - ( 2 ) ]]>
式(2)的系数a11、a21、a31可通过预先测出已知的入射光i1～i3与输出信号o01间的关系而得到。
接着，考虑使摄像器件15上的图像进一步移动的情况。这里，为了方便，基于不使入射光移动，而是使摄像器件15进一步移动了位移MV2的图进行考虑。此时，入射光i2～i4入射到像素EL0，这些入射光与输出信号o02间的关系，可如式(3)那样表示，即：
[式3] o 02 = a 22 × i 2 + a 32 × i 3 + a 42 × i 4 o 12 = a 22 × i 5 + a 32 × i 6 + a 42 × i 7 - - - ( 3 ) ]]>
式(3)的系数a22、a32、a42可通过预先测出已知的入射光i2～i4与输出信号o02间的关系而得到。同样，对于像素EL1，入射光i3～i7与输出信号o10、o11、o12间的关系，可如式(1)～(3)那样表示。将式(1)～(3)联立(summarize)表示，则成为式(4)。
[式4] A i 0 i 1 i 2 i 3 i 4 i 5 i 6 i 7 = o 00 o 01 o 02 o 10 o 11 o 12 - - - ( 4 ) ]]>
A = a 0 a 1 a 2 a 11 a 21 a 31 a 22 a 32 a 42 a 0 a 1 a 2 a 11 a 21 a 31 a 22 a 32 a 42 ]]>
在式(4)中，矩阵A是特征矩阵。这样，式(4)表示3张图像与分辨率是摄像器件15的3倍的入射光的关系。同样，如式(4)那样，当得到了N(N是大于等于2的整数)张图像与分辨率是摄像器件15的N倍的入射光间的关系时，如果得到特征矩阵的逆矩阵，就能够通过使该逆矩阵与输出信号相乘来推测入射光，并能取得分辨率是摄像器件15的N倍的图像。
如图2A、2B那样，虚拟手抖动信号加法部12能够通过使位移变化得到如式(4)那样的关系。图像合成部18根据式(4)，基于在某时刻所拍摄的图像、之后在虚拟手抖动信号加法部12使位移变化后所拍摄的图像、以及后者相对于前者的位移，推测像素值，从而推定像素数比这些图像都多的图像，并将其输出到静止图像记录传输部2。
静止图像记录传输部2，将由图像合成部18所推定的图像传输到图像显示装置30、40。另外，也可以是静止图像记录传输部2将图像合成部18的输出写入到存储卡等，进而从存储卡等读出数据再输出到图像显示装置30、40。
这样，由图1的摄像装置10对入射图像施加按照预定模式的位移，从而能够拍摄与由摄像器件15原先得到的图像相比像素数多的高精细的静止图像。
另外，当可进行足够张数的拍摄时，图像合成部18用式(5)即
[式5] A i 0 i 1 i 2 i 3 i 4 i 5 i 6 i 7 = ( A T A ) - 1 A T o 00 o 01 o 02 o 10 o 11 o 12 - - - ( 5 ) ]]>
进行基于最小二乘法的图像的推测。于是，能够改善推测的精度。当基于所拍摄到的N张图像推测图像时，能够推测像素数为所拍摄的图像的N倍的图像。即使在拍摄张数被限制为小于N张的情况下，也可以进行基于最小二乘法的推测。如以上那样，能对由图像合成部18所推测的像素数多的高分辨率图像进行记录或传输。
当正在拍摄时图像发生了变化的情况下，得到有模糊的图像。为了减轻这样的被拍摄物随时间的变化而导致的模糊，图像合成部18可以检测图像变化了的区域，不对该区域进行以上那样的高分辨率的图像的推测，而选择所拍摄到的图像中的一个，与所推测的其他区域进行合成。
如望远摄影时等那样，有时手抖动传感器11的精度和由虚拟手抖动信号加法部12相加的位移的精度不够。此时，图1的摄像装置20根据图像本身推测图像的运动。摄像装置20包括摄像器件25、修正部26、移动量检测部27、以及图像合成部28。
摄像器件25是与摄像器件15相同的器件。摄像器件25首先拍摄作为基准的第1图像，然后，在摄像器件25运动等导致摄像器件25上的入射图像移动后，拍摄第2图像。摄像器件25反复进行入射图像移动后拍摄第2图像的动作。
移动量检测部27，使每个第2图像和作为基准的第1图像移动，使得每个第2图像与作为基准的第1图像间的误差(差的平方值)最小，从而检测各第2图像相对于作为基准的第1图像的位移。移动量检测部27，将所检测出的各第2图像的位移，分为像素单位的位移和剩余的小于1像素的位移，并将像素单位的位移输出到修正部26，将小于1像素的位移输出到图像合成部28。
修正部26使各第2图像向该图像的像素单位的位移方向的相反方向移动像素单位的位移量，并将所得到的图像输出到图像合成部28，以抵消检测出的第2图像的位移。图像合成部28，根据第1图像、多个移动后的第2图像、以及小于1像素的位移，利用式(4)推测像素值，从而推测像素数比第1图像和移动后的第2图像都多的第3图像的像素，并将所得到的作为高分辨率图像的第3图像输出到静止图像记录传输部2。图像合成部28也可以利用式(5)基于最小二乘法进行图像的推测。
图像合成部28，可以对所生成的图像的误差小于预先给出的阈值的区域，推测以上那样的高分辨率图像，并对于误差大于等于阈值的区域，选择所拍摄到的图像中的1个，合成各区域的图像。
另外，还可以对随时间而变化的、误差大于等于阈值的区域，从多个图像中选择其区域的误差小于阈值的图像，并用所选择的图像推测高分辨率的图像。
另外，对误差大于等于阈值的区域，图像合成部28也可以利用不包含在静止图像中的被称为蓝背景色(blue back color)或色度键色(chroma key color)的特定的像素值。此时，与高分辨率的静止图像分开，另行记录或传输以MPEG(moving picture experts group)方式等编码后的动图像，在蓝背景色或色度键色的区域将动图像解码并显示。
说明使用了像素数比所记录或传输的高分辨率的图像少的显示器件的高分辨率显示。在图1中，图像显示装置30包括手抖动传感器31、手抖动修正部32、图像存储器34、图像缩小插值部35、读出位置控制部36、以及显示器件37。这里，假设使用图像显示装置30时，是用手持等，而不是将其固定。
手抖动传感器31，检测由手抖动给显示器件37带来的加速度、角加速度等，求出由手抖动产生的显示器件37的位移，并将其输出到手抖动修正部32。手抖动修正部32，将显示器件37的位移分为显示器件37的像素单位的位移和剩余的小于1像素的位移，并将像素单位的位移输出到读出位置控制部36，将小于1像素的位移输出到图像缩小插值部35。图像存储器34存储所传输等的图像数据，并将其输出到图像缩小插值部35。
图像缩小插值部35，缩小从图像存储器34读出的图像以使其能显示在显示器件37上，并且，通过线性插值求出各像素的值，使得缩小了的图像向显示器件37的小于1像素的位移的相反方向，移动与小于1像素的位移相等的大小。读出位置控制部36从图像缩小插值部35读出图像数据，并输出到显示器件37，使得由图像缩小插值部35得到的图像，向像素单位的位移的相反方向移动与像素单位的位移相等的大小。
结果，显示器件37的图像被认为是在亚像素位置插值后的高分辨率的图像。例如，即使是包含字符和图案、且经由互联网传输的主页的图像，也能通过将高分辨率的主页图像存储在图像存储器34中，显示同样地进行了插值的图像。
另外也可以是，图像缩小插值部35使图像移动将小于1像素的位移乘以预定的值而得到的位移量，读出位置控制部36使图像移动将像素单位的位移乘以预定的值而得到的位移量。
这里，说明了直接观察显示器件的情况，而在通过光学系统观察显示器件、或对显示器件进行投影时，也能用类似的方法进行显示。作为一例，说明将图1的液晶投影机40用作图像显示装置的情况。图1的液晶投影机40包括虚拟手抖动发生部42、图像存储器44、图像缩小插值部45、显示器件47、以及光学修正部48。输出图像OP被投影到屏幕上等。
虚拟手抖动发生部42生成用于指示屏幕等上的能够被投影到图像的区域以亚像素单位进行移动的信号，并输出到图像缩小插值部45和光学修正部48。虚拟手抖动发生部42，按照例如图2A、图2B那样的模式，使能够被投影到图像的区域以亚像素单位移动。
每当能够被投影到图像的区域移动时，图像缩小插值部45与图像缩小插值部35同样地求出向其位移的相反方向移动等于其位移的大小后的图像的各像素的值。显示器件47，显示所求出的各像素，并通过光学修正部48对所显示的图像进行投影。光学修正部48根据来自虚拟手抖动发生部42的信号，控制射出图像OP的射出方向。
这样，因为液晶投影机40以亚像素单位移动所投影的像素的位置，所以，能够由投影式图像显示装置进行高分辨率的图像显示。
说明在液晶投影机40中代替虚拟手抖动发生部42而设置手抖动传感器和手抖动修正部的液晶投影机(未图示)。假设该液晶投影机在使用时是用手持等而不是固定。手抖动传感器检测由手抖动产生的液晶投影机的运动，求出能够被投影到图像的区域的位移，并将其输出到手抖动修正部。手抖动修正部，将能够被投影到图像的区域的位移分为图像的像素单位的位移和剩余的小于1像素的位移，并将像素单位的位移输出到光学修正部，将小于1像素的位移输出到图像缩小插值部。
每当能够被投影到图像的区域移动时，图像缩小插值部与图像缩小插值部35同样地求出向该小于1像素的位移的相反方向移动等于小于1像素的位移的大小后的图像的各像素的值，并将其输出到显示器件。显示器件显示所求出的图像。光学修正部控制射出图像OP的射出方向，以使其向像素单位的位移的相反方向移动等于像素单位的位移的大小。
该液晶投影机与图像显示装置30同样能够显示被认为是具有比显示器件高的分辨率的高分辨率图像。
(第2实施方式)
图4是本发明实施例2的图像摄影显示系统的框图。图4的图像摄影显示系统包括摄像装置210，图像显示装置230、240、250，以及动图像记录传输部4。摄像装置210和图像显示装置230、240、250分别可以单独动作。
摄像装置210包括手抖动传感器211、虚拟手抖动信号加法部212、光学修正部214、摄像器件215以及图像缩小部218。手抖动传感器211、虚拟手抖动信号加法部212以及光学修正部214，分别与图1的手抖动传感器11、虚拟手抖动信号加法部12以及光学修正部14相同。另外，虚拟手抖动信号加法部212将按照预定模式的位移输出到动图像记录传输部4。
摄像器件215拍摄动图像，并将其输出到图像缩小部218。图像缩小部218根据需要缩小所输入的图像，将其输出到动图像记录传输部4。例如，图像缩小部218，在显示器件237的像素数少于摄像器件215像素数等的情况下，将所输入的图像缩小。动图像记录传输部4，将图像缩小部218的输出和按照预定模式的位移传送给图像显示装置230、240、250。另外，也可以是动图像记录传输部4将图像缩小部218和虚拟手抖动信号加法部212的输出写入存储卡等中，进而从存储卡等读出数据再输出到图像显示装置230、240、250。
图像显示装置230包括图像存储器234和低分辨率显示器件237。图像存储器234存储由动图像记录传输部4所传输或读出的图像数据，并将其输出到低分辨率显示器件237。低分辨率显示器件237具有例如与摄像器件215相同数量的像素，显示从图像存储器234输出的图像。
当低分辨率显示器件237显示由摄像器件215通过进行小于其像素尺寸的移动而得到的一系列的图像时，看了该图像的人推定位于摄像器件215的像素间的位置的像素值，认为是具有比摄像器件215高的分辨率的高分辨率图像。结果，能够记录或传输被认为是超过摄像器件215和显示器件237的分辨率的分辨率那样的、带有自然的手抖动的动图像。
对于一系列的静止图像，可以一边施加按照预定模式的位移一边进行拍摄，并将其作为动图像记录或传输。此时也可以取得与动图像的情况同样地被认为是高分辨率的图像的效果。说明在这样的情况下所使用的图像显示装置240。图像显示装置240包括手抖动传感器241、图像存储部243、图像存储器244、显示图像选择部246以及显示器件247。假设图像显示装置240是可携带的装置。
在摄像器件210中，虚拟手抖动信号加法部212生成施加按照预定模式的位移的信号，摄像器件215将与该信号相对应的一系列的静止图像作为动图像来进行拍摄。摄像器件210，将施加位移的信号和所拍摄的一系列的静止图像，记录或传输到动图像记录传输部4。图像存储部243存储所读出或传输的施加位移的信号和一系列静止图像的数据，并将其一部分存储在图像存储器244中。将静止图像和拍摄静止图像时所使用的施加位移的信号相对应地存储。
手抖动传感器241检测显示器件247的移动产生的位移，并将其输出到显示图像选择部246。显示图像选择部246根据所读出或传输的施加位移的信号，从图像存储器244的多个图像中，选择图像并将其输出到显示器件247，该所选择的图像相当于使显示器件247移动前所显示的图像，向显示器件247的位移的相反方向，移动与位移相等的大小而得到的图像。显示器件247显示所选择出的图像。
这样，与图1的图像显示装置30相同，由图像显示装置240得到的图像，被认为是像素数比显示器件多的高分辨率的图像。此时，在图像显示装置240中，不需要对图像进行插值。
另外，当显示器件237、247的像素数少于摄像器件215的像素数时，在图像缩小部218中将图像缩小后进行记录或传输，以使其适合像素数最少的显示器件。此时，图像缩小部218也缩小与各图像相对应的位移的大小。显示图像选择部246从缩小后的多个图像中进行选择。此时，可利用记录容量更小、传输速度更低的图像记录传输部，作为动图像记录传输部4。另外，当动图像记录传输部4的记录容量或传输速度受到限制时，图像缩小部218可以按照这些限制缩小图像。
说明图像显示装置250。图像显示装置250包括图像合成部253、图像存储器254、读出位置控制部256以及高精细显示器件257。假设用摄像装置210进行拍摄、记录或传输的图像的分辨率，低于高精细显示器件257的分辨率。另外，假设高精细显示器件257是不能移动的器件。此时，需要对记录或传输的图像进行合成，得到高分辨率的图像。
在图4中，图像合成部253使用由动图像记录传输部4所传输或读出的施加按照预定模式的位移的信号，将所传输或读出的图像数据合成为更高分辨率的动图像，输出到图像存储器254。此时，图像合成部253与图1的图像合成部18相同，进行像素值的推测，从而进行高分辨率的图像的推测。所传输或读出的图像数据，既可以是由图像缩小部218缩小后的图像的数据，也可以是未缩小的图像的数据。
读出位置控制部256从图像存储器254进行读出，再输出到高精细显示器件257。当图像中具有大于等于1像素的位移时，读出位置控制部256变更来自图像存储器254的读出地址，进行像素单位的修正，以抵消所施加的按照预定模式的位移。高精细显示器件257显示从图像存储器254输出的图像。
这样，图像显示装置250能够显示分辨率比接收到的图像高的图像。
图像合成部253，可以将图像中变化小的区域判断为静止图像部分，将各图像中的该区域的以亚像素单位的移动，作为该图像的位移来检测，推测高分辨率模式的像素值，来合成高分辨率的图像。
如以上那样，在图4的图像摄影显示系统中，摄像装置将图像缩小，以使其适合可利用的若干种图像显示装置中像素数最少的图像显示装置，接收所得到的图像数据的图像显示装置，能够与各可显示的分辨率相一致地，推测并显示分辨率比图像数据高的图像。另外，当图像数据的记录容量或传输速度受到限制时，也能够按照这些限制缩小图像尺寸，再进行记录或传输，并在接收图像数据的图像显示装置中合成高分辨率图像并进行显示。
施加按照预定模式的位移的信号，可作为MPEG格式的PAN信号或SCAN信号，多路复用成MPEG流再记录或传输。
在以上的实施方式中，说明了像素为1维的推测，但也能容易地进行2维的推测。
如上所述，本发明能够改善拍摄或显示的图像的像质，因此，对拍摄或显示图像的装置等很有用。