用于改进具有高照明差的照片质量的装置和方法.pdf

这里提供了一种装置和用在包含数码照相机的装置中的图像重构方法。所述装置和方法包括在图像重构模式下在短时曝光期间驱动图像传感器，在图像重构模式下在相对长时曝光期间驱动图像传感器，并获取具有不同照明度的第一和第二帧图像；将第一和第二帧图像的实际相同的图像数据赋给各具有预定尺寸的各局部区域；计算每个所述局部区域的图像数据的局部方差值；将所述第一帧图像的局部方差值与所述第二帧图像的局部方差值做比较，将高权重赋给具有高局部方差值的一个局部图像，并将低权重赋给具有低局部方差值的另外局部图像；对所述第一和第二帧图像的各局部区域的图像数据施加所确定的权重，执行图像重构，并显示所重构的图像。

1.  一种装配有照相机的装置，包括：
图像传感器，用于获取具有不同照明度的实际相同的各图像；
多个存储器，用于存储由所述图像传感器产生的图像；
图像控制器，用于将存储在所述各存储器中的每个图像划分成多个各具有预定尺寸的局部图像，计算所述局部图像的方差值，相互比较所计算的局部方差值，将高权重赋给具有高方差值的局部图像，将低权重赋给具有低方差值的局部图像，合成所述各局部图像，并建立重构的图像；以及
显示器，用于显示所述重构的图像。

2.  如权利要求1所述的装置，还包括：
定时控制器，用于产生曝光控制信号，以控制所述图像传感器的曝光时间，其中，当从所述图像控制器接收控制信号，所述定时控制器至少产生两个定时控制信号，用于向所述图像传感器提供不同的曝光时间。

3.  如权利要求2所述的装置，其中所述图像控制器包括：
局部区域分配器，用于确定所述图像数据的各局部区域；
均值计算器，用于计算所确定各局部区域的图像数据的均值；
方差值计算器，用于利用所述图像数据的所述均值计算所述各局部区域的方差值；
比较器，用于比较所计算的局部方差值；
权重计算器，用于根据所比较的结果将高权重赋给具有高方差值的局部图像，并将低权重赋给具有低方差值的局部图像；以及
图像重构单元，用于利用所确定的权重合成所述各局部图像，并执行图像重构。

4.  如权利要求3所述的装置，其中所述图像控制器还包括：
预处理器，用于跟踪所捕捉图像的运动向量，并控制所述各图像的像素位置相互等同。

5.  如权利要求3所述的装置，其中所述均值计算器使用下面的公式计算图像数据的均值：
M ( i , j ) = Σ r = - 1 1 Σ s = - 1 1 I ( i + r , j + s ) 9 ]]>
所述方差值计算器使用下面的公式计算所述局部图像数据的方差值：
Var ( I ( i , j ) ) = Σ r = - 1 1 Σ s = - 1 1 [ I ( i + r , j + s ) - M ( i , j ) ] 2 9 ]]>
其中“i”是X轴坐标，“j”是Y轴坐标，“r”是在3×3区域中的X轴坐标的偏移，“s”是在3×3区域中的Y轴坐标的偏移，I(i，j)是在坐标(i，j)的图像的像素值，M(i，j)是在以坐标(i，j)为中心的3×3区域中的像素值的均值，以及Var(I(i，j))是在以坐标(i，j)为中心的3×3区域中的像素值的方差，
所述权重计算器使用下面的公式计算权重：
W S ( i , j ) = σ S 2 ( i , j ) + 1 [ σ S 2 ( i , j ) + 1 ] + [ σ L 2 ( i , j ) + 1 ] ]]>
W L ( i , j ) = σ L 2 ( i , j ) + 1 [ σ S 2 ( i , j ) + 1 ] + [ σ L 2 ( i , j ) + 1 ] , ]]>以及
所述图像重构单元使用下面的公式执行图像重构：
R(i，j)＝W_S(i，j)×I_S(i，j)+W_L(i，j)×I_L(i，j)

6.  如权利要求3所述的装置，其中所述各权重满足下面的等式：
W_S(i，j)+W_L(i，j)＝1

7.  一种用在移动电话或手持电话中的图像处理装置，包括：
通信组件，用于执行无线通信功能；
数据处理器，用于执行由所述通信组件传送的/接收的信号的调制/解调和编码/解码功能；
控制器，用于处理在通信模式中由所述数据处理器传送的/接收的所述信号，并在图像处理模式中产生图像处理控制信号；
定时控制器，用于在所述图像处理模式中产生至少两个具有不同曝光时间的曝光控制信号；
图像传感器，用于利用所述曝光控制信号获取具有不同照明度的实际相同的各图像；
图像处理器，用于将每个从所述图像传感器获取的图像划分成多个各具有预定尺寸的局部图像，计算所述各局部图像的方差值，相互比较所计算的局部方差值，将高权重赋给具有高方差值的局部图像，将低权重赋给具有低方差值的局部图像，合成所述各局部图像，并建立重构的图像；
多个存储器，用于存储由所述图像传感器产生的所述各图像，并存储由所述图像处理器重构的图像；以及
显示器，用于显示所述获取的图像和所述重构的图像。

8.  如权利要求7所述的装置，其中所述图像处理器包括：
局部区域分配器，用于确定所述图像数据的各局部区域；
均值计算器，用于计算所确定各局部区域的图像数据的均值；
方差值计算器，用于利用所述图像数据的所述均值计算所述各局部区域的方差值；
比较器，用于比较所计算的各局部方差值；
权重计算器，用于根据所比较的结果将高权重赋给具有高方差值的局部图像，并将低权重赋给具有低方差值的局部图像；以及
图像重构单元，用于利用所确定的权重合成所述各局部图像，并执行图像重构。

9.  一种用在包含数码照相机的装置中的图像重构方法，包括步骤：
获取/显示具有不同照明度的实际相同的各图像；
将所获取的每个图像划分成多个各具有预定尺寸的局部图像，并计算所述各局部图像的图像数据的局部方差值；
相互比较所计算的各局部方差值，将高权重赋给具有高局部方差值的局部图像，将低权重赋给具有低局部方差值的局部图像；
对所述各局部区域的图像数据施加所确定的权重，执行图像重构，并显示所重构的图像。

10.  如权利要求9所述的方法，其中计算所述局部方差值的所述步骤还包括步骤：
确定所述图像数据对局部区域；
计算所确定各局部区域的图像数据的均值；以及
利用所述图像数据的所述均值计算所述各局部区域的方差值。

11.  如权利要求10所述的方法，其中所述确定和赋给权重的步骤还包括步骤：
比较所计算的各局部方差值，以及
根据所述比较的结果，将高权重赋给具有高局部方差值的局部图像，将低权重赋给具有低局部方差值的局部图像。

12.  如权利要求11所述的方法，还包括步骤：
获取不同的各图像，跟踪所获取各图像的运动向量，并控制所述各图像的像素位置相互等同。

13.  如权利要求10所述的方法，其中所述均值使用下面的公式计算：
M ( i , j ) = Σ r = - 1 1 Σ s = - 1 1 I ( i + r , j + s ) 9 ]]>
所述方差值使用下面的公式计算：
Var ( I ( i , j ) ) = Σ r = - 1 1 Σ s = - 1 1 [ I ( i + r , j + s ) - M ( i , j ) ] 2 9 ]]>
其中“i”是X轴坐标，“j”是Y轴坐标，“r”是在3×3区域中的X轴坐标的偏移，“s”是在3×3区域中的Y轴坐标的偏移，I(i，j)是在坐标(i，j)的图像的像素值，M(i，j)是在以坐标(i，j)为中心的3×3区域中的像素值的均值，以及Var(I(i，j))是在以坐标(i，j)为中心的3×3区域中的像素值的方差，
所述权重使用下面的公式计算：
W S ( i , j ) = σ S 2 ( i , j ) + 1 [ σ S 2 ( i , j ) + 1 ] + [ σ L 2 ( i , j ) + 1 ] ]]>
W L ( i , j ) = σ L 2 ( i , j ) + 1 [ σ S 2 ( i , j ) + 1 ] + [ σ L 2 ( i , j ) + 1 ] , ]]>以及
所述图像重构使用下面的公式执行：
R(i，j)＝W_S(i，j)×I_S(i，j)+W_L(i，j)×I_L(i，j)

14.  一种用在包含数码照相机的装置中的图像重构方法，包括步骤：
在图像重构模式中在短时曝光期间驱动图像传感器，在所述图像重构模式中在相对长时曝光期间驱动所述图像传感器，并获取具有不同照明度的第一和第二帧图像；
将实际相同的所述第一和第二帧图像的图像数据赋给各具有预定尺寸的各局部图像；
计算每个局部区域的图像数据的局部方差值；
将所述第一帧图像的局部方差值与所述第二帧图像的局部方差值做比较，将高权重赋给具有高局部方差值的一个局部图像，并将低权重赋给具有低局部方差值的另外局部图像；以及
对所述第一和第二帧图像的各局部区域的图像数据施加所确定的权重，执行图像重构，并显示所重构的图像。

15.  一种用在包含有数码照相机的装置中的运动图像显示方法，包括步骤：
在图像重构模式下在第一时曝光期间驱动图像传感器，以获取第一图像，计算所述第一图像的第一局部方差值，并存储所述第一局部方差值；
在图像重构模式下在第二时曝光期间驱动所述图像传感器，以获取第二图像，计算所述第二图像的第二局部方差值，并存储所述第二局部方差值；
将所述第二图像的所述第二局部方差值与所述第一图像的所述第一局部方差值做比较，将高权重赋给具有高局部方差值的一个局部图像，并将低权重赋给具有低局部方差值的另外局部图像；以及
对所述第一和第二图像的相应局部区域的图像数据施加所确定的权重，执行一个图像重构，并显示所重构的图像。

16.  一种用在包含数码照相机的装置中的图像重构方法，包括步骤：
在图像重构模式下，控制选择具有不同照明度的第一和第二图像；
如果选择了所述第一和第二图像，将所述第一和第二图像实际相同的的图像数据赋给各具有预定尺寸的各局部区域，并计算所述各局部区域的图像数据的局部方差值；
相互比较所述第一和第二图像的所述局部方差值，将高权重赋给具有高局部方差值的一个局部图像，并将低权重赋给具有低局部方差值的另外局部图像；以及
对所述第一和第二图像的各局部区域的图像数据施加所确定的权重，执行图像重构，并显示所重构的图像。

用于改进具有高照明差的照片质量的装置和方法
技术领域
本发明涉及用于改进照片质量的装置和方法。特别，本发明涉及用于通过合成具有高照明差的照片来改进照片质量的装置和方法。
背景技术
近来，开发商在改进由数码照相机或带有数码照相机组件的设备捕捉的照片和图像的质量的方法方面进行了大量的研究，因而建议了各种必要的设备，如，用于处理视频和图像数据的高性能的处理器，高容量的存储器，以及可控制的照相机传感器，等等。近来制造的数码照相机或具有数码照相机组件的设备包含上述的必要设备，对所捕捉图像或照片也有各种改进结果。
目前正在开发许多具有数码照相机的混合终端设备，这种混合终端设备正在不断进入市场。混合终端设备的代表性例子是移动电话(也称手持设备)。近来，移动电话开始包含各种不同的功能。特别是，当前移动电话的例子是装备有照相机，以便可以用作数码照相机或可携式摄像机。所述移动电话基本上可以在执行通信功能的同时捕捉照片。对捕捉照片的用户，应该知道的最重要的事情就是自从出现带有数码照相机的移动电话之后所捕捉照片的质量究竟有多少改进。
数码照相机和具有数码照相机的设备使用各种方法来改进所捕捉照片或图像的质量，这些方法的代表性例子是用于改进具有高照明差的照片或图像的质量的方法。典型地，在使用照相机捕捉目标物体的情况下，要根据目标物体的外部照明来控制曝光，以便使用所控制的曝光。这样，在调整具有低照明的目标物体的曝光的情况下，具有相对高照明的背景画面是饱和的，这样就很难识别目标物体。另一方面，在调整背景画面的曝光的情况下，具有相对低照明的目标物体的画面变得太黑，这样也很难识别目标物体。特别地，如果以如图1A所示的以目标物体为中心捕捉画面，则很难识别目标物体的背景画面。另一方面，如果以目标物体的背景画面为中心捕捉画面，则目标物体的画面变得很黑，这样，如图1B所示，很难识别目标物体的画面。因此，在上述的高照明差的环境下，如果以目标物体为中心调整曝光所捕捉的画面与以背景画面为中心调整曝光的所捕捉的画面相合成，并适当地处理合成的结果，在照片画面的所有区域可以建立不损失画面质量的最佳照片画面。
发明内容
因此，针对上述问题提出本发明，并且本发明的一个目是提供一种装置和方法，用于改进具有与数码照相机的目标物体相关的高照明差的照片质量。
本发明的另一个目的是提供一种装置和方法，用于通过使用数码照相机对相互之间具有高照明差的照片图像进行合成来改进照片质量。
本发明的另一个目的是提供一种装置和方法，用于通过产生数码摄像机的图像传感器的不同曝光来获取具有不同照明差的运动图像，并从所获取的运动图像合成具有不同照明差的图像，以便可以改进运动图像的图像质量。
根据本发明地一个方面，通过提供一种带有照相机的装置，实现上述和其他的目的。所述装置包括：图像传感器，用于获取具有不同照明度的实际相同的各图像；多个存储器，用于存储由所述图像传感器产生的各图像；图像控制器，用于将存储在所述各存储器中的各个图像划分成多个各具有预定尺寸的局部图像，计算所述局部图像的方差值，相互比较所计算的方差值，将高权重赋给具有高方差值的局部图像，将低权重赋给具有低方差值的局部图像，合成所述各局部图像，并建立重构的图像；以及显示器，用于显示所述重构的图像。
根据本发明的另一个方面，提供一种图像处理装置，用于移动电话或手持电话。所述装置包括：通信组件，用于执行无线通信功能；数据处理器，用于执行由所述通信组件传送的/接收的信号的调制/解调和编码/解码功能；控制器，用于处理在通信模式中由所述数据处理器传送的/接收的所述信号，并产生在图像处理模式中的图像处理控制信号；定时控制器，用于在所述图像处理模式中产生至少两个具有不同曝光时间的曝光控制信号；图像传感器，用于利用所述曝光控制信号获取具有不同照明度的实际相同的各图像；图像处理器，用于将每个从所述图像传感器获取的图像划分成多个各具有预定尺寸的局部图像，计算所述各局部图像的方差值，相互比较所计算的局部方差值，将高权重赋给具有高方差值的局部图像，将低权重赋给具有低方差值的局部图像，合成所述各局部图像，并建立重构的图像；多个存储器，用于存储由所述图像传感器产生的所述各图像，并存储由所述图像处理器重构的图像；以及显示器，用于显示所获取的图像和所述重构的图像。
根据本发明的另一个方面，提供一种图像重构方法，用在包含数码照相机的装置中。所述方法包括步骤：获取/显示具有不同照明度的实际相同的各图像；将所获取的各个图像划分成多个各具有预定尺寸的局部图像，并计算所述各局部图像的图像数据的局部方差值；相互比较所计算的局部方差值，将高权重赋给具有高局部方差值的局部图像，将低权重赋给具有低局部方差值的局部图像；对所述各局部区域的图像数据施加所确定的权重，执行图像重构，并显示所重构的图像。
根据本发明的另一个方面，提供一种用在包含数码照相机的装置中的图像重构方法。所述方法包括步骤：在图像重构模式中在短时曝光期间驱动图像传感器，在所述图像重构模式中在较长时曝光期间驱动所述图像传感器，并获取具有不同照明度的第一和第二帧图像；将所述第一和第二帧图像的实际相同的图像数据赋给各具有预定尺寸的局部图像；计算各个局部区域的图像数据的局部方差值；将所述第一帧图像的局部方差值与所述第二帧图像的方差值做比较，将高权重赋给具有高局部方差值的局部图像，将低权重赋给具有低局部方差值的局部图像；并且对所述第一和第二帧图像的各局部区域的图像数据施加所确定的权重，执行图像重构，并显示所重构的图像。
根据本发明的另一个方面，提供一种用在包含有数码照相机的装置中的运动图像显示方法。所述方法包括步骤：在图像重构模式下在第一时曝光期间驱动图像传感器，以获取第一图像，计算所述第一图像的第一局部方差值，并存储所述第一局部方差值；在图像重构模式下在第二时曝光期间驱动图像传感器，以获取第二图像，计算所述第二图像的第二局部方差值，并存储所述第二局部方差值；将所述第二图像的所述第二局部方差值与所述第一图像的所述第一局部方差值做比较，将高权重赋给具有高局部方差值的一个局部图像，并将低权重赋给具有低局部方差值的另一局部图像；并且对所述第一和第二图像的相应局部区域的图像数据施加所确定的权重，执行一个图像重构，并显示所重构的图像。
附图说明
下面结合附图的详细说明将使本发明的上述和其他目的、特征和其他优点得到更清晰的理解。附图包括：
图1A到图1B是以高照明捕捉的照片图像和另外的以低照明捕捉的照片图像；
图2是示出当捕捉照片图像时的照明与由图像传感器获取的输出数据关系的图示；
图3A和图3B分别是在高照明区域的数据分布图示和在低照明区域的数据分别图示；
图4是示出根据本发明实施例的用于重构具有图3A到图3B特性的图像的原理的图示；
图5是示出根据本发明实施例的用于改进具有高照明差的照片质量的装置的框图；
图6是示出根据本发明实施例的图5中的图像控制器的框图；
图7到图8是示出根据本发明实施例的用于获取和重构具有高照明差的照片图像的过程的流程图；
图9是根据本发明实施例的将所获取的第一和第二图像赋给局部区域的例子；
图10是根据本发明实施例的示例性照片，其中重构了具有高照明差的照片图像；
图11是示出根据本发明实施例的各时间的时序图，在这些时间控制图像传感器以获取具有高照明差的照片图像；以及
图12是示出对移动电话或终端应用图6的设备而形成的例子的框图。
在全部这些附图中，应该注意，相同或相似的元件用相同的参考标号来标记。
具体实施方式
将参考附图详细说明本发明的几个实施例。在下面的说明中，为了简明略去了有关的公知的功能和配置的详细说明。
目前市场上出现了各种装备有数码照相机的的产品，而且也在不断提出和开发出用于改进数码照相机捕捉的照片图像质量的各种方法。本发明实施例使用这样的数码照相机捕捉两个或多个相互之间具有高照明差的的照片图像，并重构所述照片图像，从而改进照片图像的质量。特别地，本发明实施例通过控制曝光时间，以目标物体为中心捕捉第一照片图像，以背景图像为中心捕捉第二照片图像，并合成第一和第二图像，以便能够重构一个合成的照片图像，其中形成清晰的目标物体的图像和清晰的背景图像。如果以高照明差捕捉图像，当对如图1A所示的具有低照明的目标物体调整曝光，则具有相对高照明的背景图像是饱和的，这样数码照相机很难识别目标物体。另一方面，如果对图1B所示的背景图像调整曝光，具有相对低照明的目标物体的图像变得太黑，这样，数码照相机也很难识别该目标物体。
在这样的情况下，如果将以目标物体为中心的调整曝光所捕捉的图像与以背景图像为中心调整曝光所捕捉的图像相互合成，并且适当处理所合成的结果，就可以在该照片图像的所有区域建立没有图像质量降低的最佳照片图像。
为使用本发明的方法重构所期望的图像，需要两个或多个相互之间具有的照明差的图像，如图1A到图1B所示。
图2是示出当捕捉照片图像时照明与图像传感器获取的输出数据之间关系的图示。特别地，图2是示出当图像传感器获取输出数据且当捕捉了期望的目标物体时，各亮度级别之间的关系。图3A示出了当曝光时间设置成长时段时所建立图像数据的特性。图3B是输出当曝光时间设置成短时段时所建立图像数据的特性。
参见图2到图3B，该关系图示根据图2所示的曝光时间而变化。曝光时间越长，斜率越高。可以看出在特定曝光状态的具有高亮度的特定位置是饱和的。在这种情况下，将输出信号确定为最大值，以便成为常数。在所捕捉图像数据中的高照明区域将按照图3A的“A”区域的形式分布，并且在所捕捉图像数据中的低照明区域将按照图3B的“B”区域的形式形成。
具有图3A中以实线标记的A区域的亮度分布的特定区域的输出信号具有间隔Δ_NH。具有以虚线标记的A区域的亮度分布的另外区域的输出信号具有间隔Δ_L。因此，在图3A中，以虚线图标记的输出信号的方差小于以实线图标记的另外输出信号的方差。具有图3B中以实线标记的B区域的亮度分布的特定区域的输出信号具有间隔Δ_NL。具有以虚线标记的B区域的亮度分布的另外区域的输出信号具有间隔Δ_S。因此，在图3B中，以虚线图标记的输出信号的方差小于以实线图标记的另外输出信号的方差。即，通过长时曝光获取的图像的高照明区域是饱和的，这样，像素数据的分布范围减小了，导致方差的降低。通过短时曝光获取的图像的低照明区域的像素数据的分布范围减小了，导致方差降低。
图4是示出根据本发明实施例的用于重构至少两个相互之间具有照明差的图像数据的原理的图示。
如图4所示，根据曝光时间描画了具有斜率SL1的特性的第一情形和具有斜率SL2的第二情形，这样，可以捕捉相互之间具有高照明差的图像。在这种情况下，所捕捉照片图像的高照明区域期望获取斜率SL2特性的输出信号，并且所捕捉照片图像的低照明区域期望获取斜率SL1特性的输出信号。这样，计算通过斜率SL1特性获取的图像的第一局部方差和通过斜率SL2特性获取的图像的第二局部方差，在所述第一和第二局部方差之间，权重施加到较大的局部方差，并且执行图像的重构，这样，可以重构所期望的照片图像。
根据本发明实施例的用于重构图像的发明装置可以装配有数码照相机。在这种情况下，所述数码照相机的图像传感器有选择地控制捕捉照片图像期间的曝光时间，重构通过不同曝光时间所捕捉的图像，并因此改进照片图像的质量。为了这样的操作，所述发明装置包含：图像传感器，用于将所捕捉的目标物体的图像信号转换成电信号；显示器，用于显示有所述图像传感器捕捉的图像；存储器，用作以数据文件形式存储所捕捉图像的存储空间；以及处理器，用于控制上述的部件并处理输入的图像数据等。
用在数码照相机或包含有数码照相机的设备中的图像传感器产生与在其光接收部件上照明光的量成比例的电信号，并且通过模拟到数字(AD)转换将该电信号转换成数字数据。所述控制器按照照片图像数据的形式处理该数字数据。在这种情况下，每个图像传感器在其中包含可读/可记录的寄存器，并且所述控制器在所述图像传感器的寄存器中写入预定的值以控制所述图像传感器的操作。特别地，各商用图像传感器分别包含能够控制曝光的寄存器，并且，为了获取期望的图像，当捕捉目标物体时，根据记录在所述寄存器中的数值有选择地应用曝光。
由上述的数码照相机或装配有数码照相机的设备中不同曝光引起的具有改进质量的图像重构方法必须获得具有照明差的图像，因此要求两个或多个图像。
图5是示出根据本发明优选实施例的用于改进具有高照明差的照片质量的数码照相机的框图。
参见图5，输入单元140产生控制数码照相机各操作的键信号。在这种情况下，输入单元140处理至少两个相互之间具有高照明差的图像，这样产生用于改进所处理图像质量的的键命令。在这种情况下，该键命令可以包含用于处理两个或多个相互之间具有照明差的静态图像的第一键命令，和用于处理在帧间隔上以预定照明差捕捉运动图形的各图像的第二键命令。上述的键命令可以通过在输入单元140上安装独立的键来实现，也可以按照菜单形式实现，以便用户可以在所述菜单上点击。
图像控制器110控制所述数码照相机的整体操作，并控制根据本发明实施例的用于改进至少两个相互之间具有照明差的图像的质量的功能。当从输入单元140接收了命令，图像控制器110产生用于获取相互之间具有照明差的各图像的控制信号。而且，图像控制器110处理具有高照明差的图像，以便改进所述图像的质量。应该注意，具有不同照明度的图像数量必须至少不少于“2”。为了说明的方便，本发明实施例假定示例性的情况是获取两个具有照明差的图像，以改进合成图像的质量。
当从图像控制器100接收了控制信号，定时控制器120产生定时控制信号，用于控制图像传感器130的曝光时间。在这种情况下，该定时控制信号产生用于设定短时曝光的第一曝光控制信号，和用于设定长时曝光的第二曝光控制信号。如果图像控制器110控制运动图像模式下的定时控制操作，定时控制器120顺序产生所述第一和第二曝光控制信号，以便具有不同照明度的帧图像信号可以连续地产生。
根据由定时控制器120产生的曝光控制信号，图像传感器130将照相机(没有示出)捕捉的光信号转换成电信号。在这种情况下，图像传感器130在曝光控制信号的间隔期间获取图像，以便产生具有不同照明度的图像信号。图像传感器130将所述照相机的光学部件的输出信号和由所述光学部件捕捉的光信号转换成电信号，并且该电信号可以被转换成数字图像数据。图像传感器130可以独立于所述照相机的光学系统而实现。假定在本发明的实施例中，所述照相机的光学系统独立于图像传感器130。假定图像传感器130包含用于将光/电转换的电信号转换成数字图像信号的信号处理器。在这种情况下，所述信号处理器可以用数字信号处理器(DSP)来实现。当从定时控制器120接收了输出的曝光控制信号，所述DSP可以控制所述图像传感器的输出图像信号的获取时间。
存储器150包括用于存储从图像传感器130获取的两个或多个图像数据单元的存储区。从图像传感器130获取的两个或多个图像数据单元表示了具有不同照明度的图像数据，并且假定所述两个或多个图像数据单元等于帧单元中的图像数据。假定在本发明实施例中重构两个图像数据单元。存储器150包含缓冲区，用于存储第一和第二帧图像数据。所述第一和第二帧缓冲区分别存储由图像传感器产生的图像信号。在这里的情况，所述第一帧缓冲区存储从产生所述第一曝光控制信号的间隔期间产生的帧的图像信号，并且，所述第二帧缓冲区存储从产生所述第二曝光控制信号的间隔期间产生的帧的图像信号。
存储器150可以包括用于存储各种程序和所述数码照相机的重要信息的只读存储器(ROM)，和用于临时存储程序执行时所产生数据的随机存取存储器(RAM)。在这里，所述ROM可以包含用于存储程序的程序存储器和多个用于存储重要信息的闪存。根据本发明的实施例，所述程序存储器可以存储本发明的程序。每个闪存可以存储所处理的屏幕图像数据。
当从图像控制器110接收了控制信号，显示器160可以显示图像捕捉过程所需要的各种菜单信息和所捕捉的屏幕图像。显示器160可以用液晶显示器(LCD)来实现。
图6是示出根据本发明实施例的图5的图像控制器的框图。图9是根据本发明实施例的、将所获取的第一和第二图像赋给局部区域的例子。
根据本发明实施例的用于重构两个或多个具有不同照明度的图像的方法可以分成第一到第三方法。所述第一方法预捕捉并存储相互之间具有高照明差的照片图像，并执行图像重构模式。在这里，图像控制器110从所述第一和第二帧缓冲区读取具有不同照明度的两帧图像数据单元。所述第二方法在图像重构模式下捕捉两帧具有不同照明度的屏幕，并重构所捕捉屏幕图像的帧图像数据。所述第三方法在每个帧单元处理相继捕捉的相互之间具有速度差的运动图像信号，以便可以重构屏幕图像。
参见图6，第一帧缓冲区201和第二帧缓冲区202分别存储具有不同照明度的帧图像数据。局部区域分配器211和212建立局部区域，用于计算如图9所示的帧图像数据的各方差值。特别地，在计算所述第一和第二帧图像数据的方差值的时候，计算所述局部区域图像的方差值，而不是计算整个图像的方差值。通过比较所述各方差值确定权重，并将所确定的权重施加到所述局部图像，以便重构图像。在各局部区域单元执行图像重构。局部区域分配器211和212确定帧图像数据的局部区域。在这里，所述局部区域可以包含至少如图9所示的3×3像素。均值计算器221和222分别计算所分配的局部区域的图像像素的均值。局部方差值计算器231和232从均值计算器221和222接收所述局部区域图像的均值，并利用所接收的均值计算局部方差值。
在这里，下文中说明用于计算局部方差值的方法。
当由N个图像数据计算方差，要计算N个图像数据的均值，然后N个数据与所计算均值之间的差值平方再平均，这样就计算出所期望的方差值，如下面表达式所表示的：
N个数据：D(n)，其中n＝1，2，...，N
N个数据的均值：m＝(D(1)+D(2)+...+D(N))/N
方差：Var(D)＝((D(1)-m)²+(D(2)-m)²+...+(D(N)-m)²)/N
如从图9中可以看到的，将上述的方差计算方法与其他的计算例子图像中的以点I(i，j)为中心的3×3区域的方差的方法相比较，其中，根据局部区域分配器211和212，参数“i”从左到右增长，另外的参数“j”从上到下增长，在这种情况下，确定所述另外的方法使用9个数据单元计算期望的方差。下面的公式1表示均值计算器221和222中图像数据的均值，下面的公式2表示方差值计算器231和232中的图像数据的方差。
公式1
M ( i , j ) = Σ r = - 1 1 Σ s = - 1 1 I ( i + r , j + s ) 9 ]]>
公式2
Var ( I ( i , j ) ) = Σ r = - 1 1 Σ s = - 1 1 [ I ( i + r , j + s ) - M ( i , j ) ] 2 9 ]]>
对公式1到公式2，“i”是X轴坐标，“j”是Y轴坐标，“r”是在3×3区域中的X轴坐标的偏移，“s”是在3×3区域中的Y轴坐标的偏移，I(i，j)是在坐标(i，j)的图像的像素值，M(i，j)是在以坐标(i，j)为中心的3×3区域中的像素值的均值，以及Var(I(i，j))是在以坐标(i，j)为中心的3×3区域中的像素值的方差。
在将目标区域移动到另外的区域时候，同时使用公式1和2计算各像素的局部方差值。在这里，即使局部方差计算区域从3×3区域扩展到5×5或更大的区域，通过将公式1到2的变量“i”和“j”改变成其他的变量，依然可以计算各像素的局部方差值。
如果在将目标区域移动到区域单元中的其他区域的时候，使用公式1到2计算各局部区域的图像数据的均值和方差值，则比较器240从方差值计算器231和232接收上述两个局部图像的方差值，并相互比较所接收的方差值。权重计算器250根据比较器240的输出方差之间的比较结果利用公式4到5计算用于重构所述图像的权重。图像重构单元260将所确定的由公式4到5所表示的权重施加到局部区域图像，以便可以利用下面的公式3重构所述图像。
如果以特定曝光值获取的第一图像I_s的位于坐标(i，j)的像素值被确定为I_s(i，j)，并且具有不同于所述特定曝光值的另外曝光值的第二图像I_L的在坐标(i，j)的像素值被确定为I_L(i，j)，合成的图像R(i，j)可以由下面的公式3来表示：
公式3
R(i，j)＝W_S(i，j)×I_S(i，j)+W_L(i，j)×I_L(i，j)
在这里，如果在所述合成图像的以坐标(i，j)为中心的的局部区域中计算的各方差被确定为σ_S²(i，j)和σ_L²(i，j)，用于计算由公式3表示的合成图像R(i，j)的权重W_S(i，j)和W_L(i，j)可以分别由下面的公式4和5表示。权重W_S(i，j)和W_L(i，j)满足下面的等式6。
公式4
W S ( i , j ) = σ S 2 ( i , j ) + 1 [ σ S 2 ( i , j ) + 1 ] + [ σ L 2 ( i , j ) + 1 ] ]]>
公式5
W L ( i , j ) = σ L 2 ( i , j ) + 1 [ σ S 2 ( i , j ) + 1 ] + [ σ L 2 ( i , j ) + 1 ] ]]>
等式6
W_S(i，j)+W_L(i，j)＝1
在权重计算器250计算由公式4和5表示的权重W_S(i，j)和W_L(i，j)的时候，将预定值“1”加到方差，以防止出现零值的情况。
在计算了所述局部方差值之后，比较器240接收所述第一和第二帧图像数据的局部方差值，并相互比较所接收的方差值。在这里，所述第一和第二帧图像的局部区域的图像包含相同的像素。权重值计算器250根据比较器240的比较结果信号确定公式4到5的权重W_s和W_L。在这里，如果在短时曝光期间捕捉的图像的局部方差值高于在长时曝光期间捕捉的另外图像的局部方差值，权重计算器240确定在短时曝光期间获取的局部图像的权重W_s高于在长时曝光期间获取的另外局部图像的权重W_L。如果在长时曝光期间捕捉的图像的方差值高于在短时曝光期间捕捉的另外图像的方差值，方差值计算器240确定从相应的局部区域获取的短曝光局部图像的权重W_s低于长曝光局部图像的权重W_L。
如果按照上面所述确定权重W_s和W_L，图像重构单元260使用公式3合成图像，以便重构图像。权重W_s和W_L的和值等于“1”，以便不会将超过图像数据最大值的值计算为结果数据。因此，通过图像重构单元260重构的图像数据根据具有照明差的图像数据的方差值确定其权重，以便控制目标物体的亮度和背景图像的另外亮度。
执行上述的局部图像重构操作，直到所述帧图像的最后局部图像被重构。如果所述最后局部图像重构终结，上述的图像重构操作也终结。第一和第二帧图像201和202各由局部区域分配器、均值计算器和方差值计算器处理，但是，局部区域分配器、均值计算器和方差值计算器处理可以集成为一体。特别地，局部区域分配、均值计算和方差值计算操作在第一帧图像201执行，并且结果数据存储在存储器150。其后，当执行所述第二帧图像202的局部区域分配、均值计算和方差值计算操作，必须存取和处理存储的第一帧图像的局部方差值。特别地，图像控制器110计算/存储所述第一帧图像的局部图像的方差值，计算所述第二帧图像的局部图像的方差值，并将所述第一帧图像的局部方差值与所述第二帧图像的局部方差值比较。根据比较结果，图像控制器110按照不同的方式确定权重W_s和W_L，以便可以重构局部图像。
在使用图6的配置重构局部图像的情况下，如图10所示重构在图1A到图1B所示的两个图像，结果改进了图像质量。特别地，如果根据本发明实施例，使用图1A所示的第一图像和图1B所示的第二图像执行图像重构操作，其中第一图像由于对低照明目标物体调整曝光，具有高照明的背景部分是饱和的，其中第二图像由于对背景部分调整曝光，具有相对低照明的目标物体太黑，在所有目标物体和背景部分可以建立没有降低质量的最佳图像。
当使用公式4到5的权重来重构图像，具有高照明差的图像质量会显著改进。具有低照明差的另外图像的质量则很难受到影响，即使使用公式4和5的权重来重构图像。如果根据本发明重构在具有小的曝光时间差的特定状态下获取的两个或多个图像，重构的结果很难影响原始的图像。特别地，如果在曝光时间发生小差异，其均值 I s ( i , j ) ≅ I L ( i , j ) ]]>这样，合成图像R(i，j)可以由R(i，j)＝[W_S(i，j)+W_L(i，j)]×I_S(i，j)＝I_S(i，j)表示。在这种情况下，重构图像的质量等于原始图像的质量。
图7是示出根据本发明优选实施例的、用于控制图5的设备来重构两个或多个相互之间具有高照明差的图像的方法的流程图。特别地，图7描述了用于捕捉具有不同照明度的两个图像的方法，预处理所捕捉的图像，使所述两个图像的像素位置互相相等，并根据所述图像的方差值重构图像。
参见图7，如果用户选择图像重构模式，图像控制器110利用输入单元140确认该用户选择，并向定时控制器120输出用于执行图像重构模式的控制信号。定时控制器120产生第一和第二曝光控制信号，用于确定不同的曝光时间。在这里，所述第一曝光控制信号具有短曝光时间，并且同所述第一曝光控制信号相比，所述第二曝光控制信号具有相对长的曝光时间。接收上述曝光控制信号的图像传感器130产生在所述第一曝光控制信号生成期间捕捉的帧图像数据(下文中称作第一帧数据)。由图像传感器130产生的所述第一帧图像数据存储在存储器150的所述第一帧缓冲区。图像控制器110在显示器160上输出所述第一帧图像数据，以便显示器160显示所接收的第一帧图像数据。在这里，所述第一帧图像数据可以显示成如图1A所示的图像。图像传感器130产生在所述第二曝光控制信号生成期间捕捉的帧图像数据。由图像传感器130产生的第二帧图像数据存储在存储器150的所述第二帧缓冲区。图像控制器110在显示器160上输出第二帧图像数据，以便显示器160显示所述第二帧图像数据。在这里，所述第二帧图像数据可以被显示成如图1B所示的图像。在第一和第二曝光时间期间以不同照明差捕捉的两个帧图像数据分别存储在存储器150的所述第一和第二帧缓冲区。图像控制器110接收所述第一和第二帧图像数据，并重构帧图像数据。控制图像控制器110以重构图像的方法计算在短时曝光期间获取的所述第一帧图像数据的第一局部方差和在长时曝光期间获取的所述第二帧图像数据的第二局部方差，并对所述第一和第二局部方差中较大者施以权重，以便重构图像数据。在使用上述方法重构帧图像数据的情况下，目标物体的目标物体图像和背景图像更清楚地在所重构的帧图像数据中表示。上述重构的帧图像数据显示在显示器160上，并且显示在显示器160上的图像可以显示成如图10所示那样。
使用数码照相机重构图像的方法有选择地控制曝光时间，其间由图像传感器130捕捉图像。本发明的实施例从图像传感器130接收在短时曝光期间捕捉的第一图像和在长时曝光期间捕捉的第二图像，并分别在所述第一和第二帧缓冲区存储所述第一图像和第二图像。图像控制器110顺序读取分别存储在所述第一和第二帧缓冲区的第一和第二帧图像数据，并重构合成的图像。图像控制器110将最终的合成图像存储在存储器150中，并将其显示在显示器160上。
在短时曝光期间捕捉照片图像，并且在步骤311到321计算所捕捉照片图像的局部方差值。在相对长时曝光期间捕捉照片图像，并且在步骤331到341计算所捕捉照片图像的局部方差值。
参见步骤311到315，图像控制器110向定时控制器120输出第一曝光控制信号，以便在图11参考标号515所示的短时曝光期间E_s捕捉目标物体。在步骤311，定时控制器120向图像传感器130输出具有短时曝光的第一曝光控制信号。在步骤313，图像控制器110在时段E_s从图像传感器130接收图像数据，并在步骤315将由图像传感器130产生的图像数据I_s存储到存储器150的所述第一帧缓冲区。如果所述第一帧图像数据已经存储在所述第一帧缓冲区，图像控制器110获得对存储在所述第一帧缓冲区的短曝光图像数据I_s的存取，以便预处理图像并计算局部方差值。
参见步骤331到335，图像控制器110向定时控制器120输出第二曝光控制信号，以便在相对长时曝光期间E_L捕捉目标物体。在步骤331，定时控制器120向图像传感器130输出所述第二曝光控制信号。图像控制器110在时段E_L从图像传感器130接收图像数据，并在步骤335将由图像传感器130产生的图像数据I_s存储到存储器150的所述第二帧缓冲区。在这里，在比上述步骤313所获取图像数据的曝光时间较长的曝光期间捕捉在步骤333获取的图像数据I_L，以便其照明度与存储在所述第一帧缓冲区的图像数据不同。存储在第一帧缓冲区的图像数据I_s可以等同于图1A的图像数据，存储在第二帧缓冲区的另外的图像数据I_L可以等同于图1B的图像数据。然后，图像控制器110获得对存储在第二帧缓冲区的图像数据I_L的存取，以便预处理图像并计算局部方差值。
参见在步骤317到319和337到339执行的图像预处理操作，第一图像的像素位置必须与第二图像的像素位置相等，以便利用两个或多个图像重构合成的图像。但是，如果用户使用其数码照相机直接拍照片，即使用户很老练，用户的手也会颤抖，这样由于颤抖会建立模糊的图像。因此，在步骤317，图像控制器110检测长曝光图像I_s的运动向量Vs，并在步骤319利用运动向量V_s获取修正的图像C_s。在步骤337，图像控制器110检测长曝光图像I_L的运动向量V_L，并在步骤339利用运动向量V_L获取修正的图像C_L。
当如上述利用两个或多个照片图像处理图像时，会出现这样的问题，由于在图像捕捉期间发生的用户手抖动，在两个或多个照片图像中的对应像素的位置会互不相同。如上所述，在处理两个或多个照片图像时，如果各照片图像的像素位置不相同，本发明的图像重构效果会被破坏。为了解决上述问题，可以使用用于修正因用户手抖动而引起的所捕捉图像的抖动的自动稳定功能。所述图像自动稳定功能估算用在运动图像压缩算法中的运动向量，以便可以修正模糊的图像。如果图像严重模糊，本发明的图像重构操作可能不可用。在这里，本发明的实施例可以根据所接收的运动向量的估算结果来确定是否应用图像重构方法。
如果目标物体不是由固定的照相机捕捉的，则很难获得相同的照片图像。特别地，如果手持照相机的用户利用照相机捕捉了期望的目标物体，如图1A到图1B所示，会不同地捕捉照片图像的像素位置。即使在上述的情况下，使用运动图像估算结果，可以使照片图像的像素位置相等。
不仅可以使用上述的运动向量来控制照片图像的像素位置相互相等，而且用户还可以使用用来确定照片图像中央像素位置的方法。在这里，在图像预处理过程中，用户指定的像素被确定为中央像素，以便可以再调整照片图像的像素位置。
然后，在步骤321，图像控制器110计算与第一帧图像数据相关联的局部方差，并在步骤341计算与第二帧图像数据相关联的局部方差。
参见在步骤321到341的用于计算局部方差值的方法，当由N个图像数据计算方差，要计算N个图像数据的均值，并且N个数据与所计算均值之间的差值平方再平均，这样就计算出所期望的方差值。当计算图9所示的示例性图像中以图像I(i，j)为中心的3×3区域的方差，其中参数“i”从左到右增长，另外的参数“j”从上到下增长，利用由N＝9表示的9个数据单元计算该方差值。公式1表示图像数据的均值，公式2表示图像数据的方差。在将目标区域移动到另外区域的同时使用公式1和公式2计算各像素的局部方差值。在这里，即使局部方差计算区域从3×3区域扩大到5×5或更大的区域，通过将公式1到2的参数“i”和“j”改变到其他的变量，也可以计算各像素的局部方差值。
在步骤351到363，在将目标区域向各区域单元中的另外区域移动的同时，如果利用公式1到2计算各局部区域图像数据的均值和方差，图像控制器110比较两个局部图像的方差值以确定权重，并重构合成图像。
参见上述的图像重构操作，通过在步骤321和341计算的方差值重构合成的图像数据。上述的图像重构方法对所述局部区域的高方差部分施以较高的权重，以便重构图像。在这里，图像控制器110必须确定施加权重的方法。如果由照相机实际捕捉的各图像相互之间具有低照明差，当通过对两个具有不同曝光时间的图像施以不同权重重构合成图像时，本发明的图像重构方法应该不影响所捕捉的图像。
如果以特定曝光值获取的第一图像I_s的位于坐标(i，j)的像素值被确定为I_s(i，j)，并且具有不同于所述特定曝光值的另外曝光值的第二图像I_L的位于坐标(i，j)的像素值被确定为I_L(i，j)，合成图像R(i，j)可以由公式3表示。在这里，如果在以合成图像的坐标(i，j)为中心的局部区域计算的各方差被确定为σ_S²(i，j)和σ_L²(i，j)，用于计算由公式3表示的合成图像R(i，j)的权重W_S(i，j)和W_L(i，j)可以分别由公式4和5表示。在公式4和5中表示的权重W_S(i，j)和W_L(i，j)满足等式6。
如上所述，在步骤351，图像控制器110获得对所述第一和第二帧图像数据的第一方差值的存取，并在步骤353相互比较所存取的方差值。在这里，所述第一和第二帧图像的所述局部区域的图像包含相同的像素，并且各像素的位置已经在前面由预处理过程修正。在步骤353，图像控制器110在各局部区域单元中将第一帧图像数据的相同像素的方差值与第二帧图像数据的相同像素的另外方差值做比较。在这里，如果在短时曝光期间捕捉的图像的局部方差值高于在长时曝光期间捕捉另外图像的局部方差值，在步骤355，图像控制器110确定公式4到5的权重W_s和W_L。在这里，确定短曝光局部图像的权重W_s高于长曝光局部图像的权重W_L。在步骤353，如果在长时曝光期间捕捉的图像的局部方差值高于在短时曝光期间捕捉的图像的局部方差值，在步骤357，图像控制器110确定公式4到5的权重W_s和W_L。在这里，确定短曝光局部图像的权重W_s小于长曝光局部图像的权重W_L。
如果按如上所述确定了权重W_s和W_L，在步骤359，图像控制器110利用等式6合成图像，以便重构该图像。在这里，权重W_s与W_L的和等于“1”，以便不会将高于图像数据最大值的的值计算成结果数据。如果相互比较各方差值并根据比较结果重构图像，然后，在步骤361，图像控制器110确定当前重构的图像是否等于最后的局部区域图像。如果在步骤361确定当前重构的图像不等于最后的局部区域图像，在步骤363，图像控制器110获得对下一个局部图像的方差值的存取，并返回到步骤353，以便在步骤353继续将所存取的局部方差值做相互比较。然后，如果在步骤361重构最后的局部图像，图像控制器110检测所重构的最后局部图像，并结束上述的图像重构操作。
图像控制器110重复执行步骤351到363，并根据局部图像方差值的比较结果确定权重W_s和W_L，以便重构局部图像。因此，如果按如上所述重构局部图像，图1A到图1B的两个图像被重构成图10所示的图像。这样，如果使用图8的方法重构图像，可以看出图像质量得到改进，如图10所示。如果使用图1A所示的第一图像和图1B所示的第二图像执行图像重构操作，其中第一图像由于对低照明目标物体调整曝光，具有高照明的背景部分是饱和的，其中第二图像由于对背景部分调整曝光，具有相对低照明的目标物体太黑，在所有目标物体和背景部分可以建立没有降低质量的最佳图像，如图10所示。
当使用公式4到5的权重重构图像，具有高照明差的图像质量会显著改进。具有低照明差的另外图像的质量则很难受到影响，即使使用公式4和5的权重来重构图像。如果根据本发明重构在具有小的曝光时间差的特定状态下获取的两个或多个图像，重构的结果很难影响原始的图像。特别地，如果在曝光时间发生小差异，其均值 I s ( i , j ) ≅ I L ( i , j ) ]]>这样，合成图像R(i，j)可以由R(i，j)＝[W_S(i，j)+W_L(i，j)]×I_S(i，j)＝I_S(i，j)表示。在这种情况下，重构图像的质量等于原始图像的质量。
图7是示出在执行了图像预处理操作之后计算局部方差值的方法的流程图。但是，如果当照相机捕捉图像时，图像的捕捉可以不受模糊图像的影响，即如果照相机固定在一个位置捕捉图像，可以不需要执行所述的预处理功能。因此，用户可以根据需要选择预处理功能。
当不使用预处理功能，如果只以一种图像的形式重构两个或多个图像，获取第一图像，然后获取第二图像，计算它们的局部方差值，以便可以重构图像。特别地，当根据本发明的实施例重构图像，只使用局部区域计算结果数据，以便在获取了第一图像并存储到存储器之后获取第二图像的同时可以重构局部图像。以这种方式，本发明的实施例根据处理器的性能或算法优化可以执行实时的处理。
图8是示出用于当存储了第一帧图像并获取第二帧图像时计算各帧图像的局部方差值以重构图像的过程的流程图。在这里，由图像传感器130传送的图像数据可以按行单元传送到图像传感器(110。由图像传感器130传送的图像数据存储在存储器150，并且在同时可以计算局部区域图像的方差值。
参见图8，在步骤411，图像控制器110产生具有短曝光时间的第一曝光控制信号，在步骤413，在产生所述第一曝光控制信号的同时捕捉图像数据，并按行单元输出所捕捉的数据。图像控制器110在第一帧缓冲区按行单元存储从图像传感器获取的第一帧图像数据。在步骤415，图像控制器110计算存储在第一帧缓冲区的图像数据的局部区域的的局部方差值，并存储所计算的局部方差值。然后，在步骤417，图像控制器110产生具有短曝光时间的的第二曝光控制信号，在步骤419，在产生第二曝光控制信号的同时从图像传感器130获取第二帧图像数据，并将从图像传感器130获取的第二帧图像数据按行单元存储在第二帧缓冲区。在步骤421，图像控制器110计算存储在第一帧缓冲区的第二帧图像数据的局部方差值。
这样，如果图像控制器110开始计算第二帧图像数据的局部方差值，在步骤425，图像控制器110获得对第一帧图像数据的第一局部方差值和第二帧图像数据的第二局部方差值的存取，并在步骤427对第一局部方差值和第二局部方差值进行比较。在这里，图像控制器110继续执行向第一帧缓冲区存储从图像传感器130获取的第二帧图像数据的操作和计算第二帧图像数据的局部方差值的操作。在这里。图8中的步骤425到437与图7中的步骤351到363相同。
从照相机获取图像以执行图像重构的方法示例性地示出在图7到图8的图像重构过程中。根据本发明的图像重构过程可以重构从外部部件按一种图像形式接收的两个或多个图像。特别地，从外部部件(如磁盘或通信组件)接收具有不同曝光时间的两个或多个图像(见图1A和图1B)，在所接收的图像上执行图8的过程，以便可以只按照一种图像形式重构所接收的图像。
根据本发明的实施例，短曝光信号E_s和长曝光信号E_L相继产生，并且在移动具有不同曝光的图像的同时可以相继地重构图像。图11时示出根据本发明实施例的图像传感器110使用图5的数码照相机获取具有不同照明度的各定时的时序图。参见图11，参考标号511指示从定时控制器120产生的第一和第二曝光控制信号，参考标号513指示图像传感器130输出帧图像信号的定时，并且参考标号515指示第二曝光时间。参考标号517和519指示根据本发明实施例的用于改进两个图像质量的的方法。特别地，参考标号517指示用于只按一种帧图像信号的形式处理两个帧图像信号的方法，并且参考标号519指示用于顺序处理两个相继的帧图像信号以建立相继帧图像信号的方法。
如果按图11所示，具有不同曝光时间的曝光控制信号相继产生，图5的数码照相机设备可以重构运动图像信号的图像。特别地，可携摄像机或带有可携摄像机组件的设备每秒可以捕捉多帧图像数据。这样，当捕捉帧图像信号，定时控制器120产生曝光控制信号，用于依次重复图11的参考标号513所表示的第一时曝光(如短曝光)和第二时曝光(长曝光)。但是，图像传感器130产生在例如与图11的参考标号513的相同时段的图11的参考标号515的曝光时间期间捕捉的帧图像信号。图像控制器110使用上述的方法计算两个帧图像信号的局部方差值，分析所计算的各方差值，并对两个方差值中较大者施加预定的权重，以便将两个帧图像数据重构成一个图像帧数据。在使用图11的参考标号517的方法重构图像的情况下，可以产生等于由照相机实际捕捉的图像的1/2的帧图像数据单元。除了基于参考标号517所表示方法的图像重构方法，还使用只按一种帧图像重构两个相继帧图像数据的方法。特别地，如图11的参考标号519所示，使用相继产生的第一和第二帧图像数据重构一个帧图像数据，以及使用所述第二帧图像数据和后继的第一帧图像数据重构一个帧图像数据的方法。
为了平滑地重现运动图像信号，需要每秒30帧图像数据。这样，按特定模式使用的可携摄像机必须两次捕捉场景。为了对运动图像捕捉过程施用上述的方法，需要每秒60帧的捕捉速度。
假定运动图像每秒包含30帧(即30帧/s)。如果基于上述模式的可携带摄像机由图11的参考标号519的方法处理，另外的能够捕捉每秒30帧的可携摄像机可以重构包含30帧的图像。
当捕捉运动图像时，用户的手可能抖动，这样就引起在短时曝光期间捕捉的第一图像和在相对长时曝光期间捕捉的第二图像之间的不可预料的移动。结果是，在第一和第二图像之间发生极端的图像差异。这样，在开始本发明的图像重构过程之前，预处理步骤跟踪图像的移动。这样，如果发生极端的图像差异，本发明直接使用原始图像，而不对图像重构过程施用本发明的算法。另一方面，如果发生微小的图像差异，本发明实施例对图像重构过程采用本发明的算法，以便可以获得合成图像。
根据本发明实施例的图像重构算法可以应用在装配有照相机的移动电话。
图12是示出根据本发明优选实施例的基于所述图像重构方法的移动电话(也称手持电话)的框图。
参见图12，通信组件510包括执行射频(RF)通信功能的升频转换器和降频转换器。数据处理器520包括可以执行CDMA通信的MODEM(调制和解调器)和CODEC(编码和解码器)。数据处理器520调制/解调和传送/接收信号，并且编码/解码所调制/解调的信号。控制器500根据本发明的实施例控制所述移动电话的整个图像重构操作。在这里，数据处理器520和控制器500可以集成为一体。输入单元530可以产生各种命令和键信号，以根据本发明的实施例执行图像重构操作。存储器540存储用于执行移动电话的各种操作的数据和移动电话操作时产生的数据。存储器540可以存储根据本发明实施例的用于图像重构的照片图像和经重构的照片图像。显示器550根据从控制器500接收的控制信号显示移动电话操作期间产生的各种数据。在根据本发明的实施例执行图像重构的情况下，显示器550显示用于图像重构的照片图像和经重构的照片图像。图12的图像传感器130执行与图6的图像传感器130同样的操作。用在装配有照相机的移动电话中的图像传感器产生与光接收部件上光照明质量成比例的电信号，并模拟到数字(AD)转换该电信号，以便该电信号转换到可由图像处理器100处理数字数据。所述图像传感器其中包括可读/可记录的寄存器，并由存储在该寄存器中的信息控制。商用图像传感器各包含用于控制曝光的寄存器，以便图像处理器100可以控制图像传感器130的不同曝光，因而获取具有不同曝光的图像。而且，近来有建议的各种可以容易地由开发者编程的工业产品，以及容易控制照相机和LCD的处理器等。图像处理器100包括不同于图像传感器130和显示器550的其余部件。
参见图12，在所述移动电话操作时，图像传感器130和图像处理器100不操作。当从控制器500接收了控制信号，显示器550显示所述移动电话操作时期间产生的数据。
当移动电话处在待机模式，如果输入单元530输出图像重构命令，控制器500控制图像处理器，以便其执行图像重构操作。在这里，图像重构模式可以分成第一到第三模式。所述第一模式按静态图像的形式捕捉目标物体的照片图像，并执行图像重构。所述第二模式按运动图像的形式捕捉目标物体的照片图像，并利用图11的时序图执行图像重构。所述第三模式从存储器540选择两个或多个以不同曝光捕捉的照片图像，并执行图像重构。在这里，当从用户接收了图像重构请求，控制器500可以按菜单形式在显示器550上显示上述的第一到第三图像重构方法。这样，上述的图像重构方法可以按菜单形式显示，并且移动电话的用户可以从该菜单选择相应的图像重构方法。
假定图像处理器100只执行图像处理功能，并且不包括用于控制程序的处理器，所述图像重构过程可以由控制器530执行。特别地，在终端设备具有控制器500的情况下，图像处理器100既包括用于在显示器550上显示由图像传感器130产生的图像数据的图像处理功能，又包括用于控制图像传感器130曝光的曝光控制功能。计算用于图像重构的局部方差值的过程和用于图像重构的其他过程可以由控制器500来处理。为了便于说明，假定图像控制器100执行图像重构过程。
如果选择第一图像重构方法，控制器500将所选择的方法通知所述图像处理器，并激活图像处理器100和显示器550之间的数据路径。图像处理器100可以在显示器550上显示由图8的过程处理的图像数据。在这里，图8的过程可以由图像处理器100来处理。图像处理器100对图像数据处理负全责，并且图8的控制过程可以由控制器500来处理。在这里，图像处理器500控制图像传感器130，以便图像传感器130可以捕捉具有不同曝光的两个和多个照片图像。由图像传感器130捕捉的照片图像可以在显示器550上显示。然后，依次计算各局部方差值，并相互比较所计算的局部方差值。具有高局部方差值的局部图像被赋给高权重，另外的具有低局部方差值的局部图像被赋给低权重，并且上述的局部图像相互合成，以便可以重构图像。
在这里，在没有预处理所捕捉照片图像而重构图像的情况下，两个照片图像的局部方差值在获取第二照片图像的特定时间相互比较，以便可以实时地重构图像。
如果选择第二图像重构方法，控制器将所选择的方法通知给图像处理器100，并激活图像处理器100和显示器550之间的数据路径。图11所示的曝光控制信号传送给图像传感器130。图像处理器100处理帧单元上由图像传感器130以不同曝光捕捉的图像数据，并将处理结果输出到显示器550。显示器550显示以预览的形式显示所接收的图像。在这里，图像处理器100可以通过采用两帧的时间作为周期来重构一个图像，并可相继地重构两帧图像数据。通过采用两帧时间作为一个周期来重构一个图像的方法捕捉具有不同曝光的第一和第二帧图像，并重构第一和第二帧图像。如果图像处理器100根据图11的时序图控制图像传感器130的曝光，奇数编号的图像和偶数编号的图像(如第一和第二图像，第三和第四图像，第五和第六图像，等等)可以重构为一个图像。用于相继地重构两帧图像数据的方法捕捉相继的具有不同曝光的帧图像，并对当前输入的帧图像和前面的帧图像进行重构。这样，如果图像处理器100根据图11的时序图控制图像传感器130的曝光，所述前面的帧图像和所述当前的帧图像(如，第一和第二图像，第三和第四图像，第五和第六图像，等等)可以重构为一个图像。
如果选择了第三图像重构方法，控制器500在显示器550上显示菜单，请求用于图像重构的照片图像选择。在这里，如果用户用于图像重构的的照片图像，控制器500识别所选择的照片图像，并控制图像处理器100执行图像重构过程。在这里，所选择的照片图像表示具有不同曝光的照片图像。图像处理器100依次计算所选择照片图像的局部方差值，并相互比较所计算的局部方差值。这样，将较高的权重施加到具有较高局部方差的第一局部图像，将较低的权重施加到具有较低方差的第二局部图像，并且第一局部图像与第二局部图像合成，产生图像重构。
上述的图像重构过程可以由控制器500来处理。在这里，图像处理器100根据所选择的图像重构方法控制图像传感器130，并执行具有不同曝光的照片图像的获取操作和用于在显示器550上显示所获取的图像数据的图像数据处理操作。控制器500依次计算所获取照片图像的局部方差值，相互比较所计算的局部方差值，将较高的权重赋给具有高局部方差值的局部图像，将较低的权重赋给具有低方差值的局部图像，并使用较高和较低的权重合成各局部图像，产生图像重构。
本发明使用以不同曝光捕捉的两个或多个静态图像或者以不同曝光相继捕捉的运动图像实时地重构图像，并获得对所存储的具有不同曝光的两个或多个照片图像的存取，以便其可以重构所期望的图像。尽管上述的图像重构方法适用于移动电话，应该注意它们也可用在各种终端设备上，例如，数码照相机，以及计算机，等等。
从上述的说明中可用看出，本发明的各实施例在图像捕捉模式期间捕捉至少两个具有不同照明度的照片图像，以便它们获得高质量的图像，其中目标物体图像和背景图像各具有高清晰度。本发明各实施例计算所获取的各图像的方差值，比较所计算的方差值，将高权重赋给具有高局部方差值的局部图像，将低权重赋给具有低局部方差值的局部图像，并相互合成两个局部图像，以便它们可以重构图像。因此，在所重构的图像中目标物体图象和背景图像的各质量得到改进，因而重新产生清晰的图像。
尽管为了说明的目的公开了本发明的特定实施例，本领域的普通技术人员应该理解，在不脱离本发明的权利要求书所定义的范围和精神的前提下，可以做各种修改、添加和替换。