图像处理设备、图像拾取设备、图像处理方法、图像处理程序以及存储介质.pdf

上传人:a*** 文档编号:6013340 上传时间:2019-04-03 格式:PDF 页数:21 大小:1.28MB
返回 下载 相关 举报
摘要
申请专利号:

CN201580027015.X

申请日:

2015.05.21

公开号:

CN106464808A

公开日:

2017.02.22

当前法律状态:

实审

有效性:

审中

法律详情:

实质审查的生效IPC(主分类):H04N 5/232申请日:20150521|||公开

IPC分类号:

H04N5/232; G06T5/00

主分类号:

H04N5/232

申请人:

佳能株式会社

发明人:

渡边武史

地址:

日本东京

优先权:

2014.07.04 JP 2014-138487

专利代理机构:

中国国际贸易促进委员会专利商标事务所 11038

代理人:

曾琳

PDF下载: PDF下载
内容摘要

一种图像处理设备100,包括:数据存储单元101,所述数据存储单元101被配置成存储关于第一光学特性数据的信息,数据生成单元102,所述数据生成单元102被配置成基于与拍摄图像相关的所述第一光学特性数据和散焦特性数据,生成第二光学特性数据,以及,恢复单元104,所述恢复单元104被配置成基于所述第二光学特性数据,恢复所述拍摄图像。

权利要求书

1.一种图像处理设备,包括:
数据存储单元,所述数据存储单元被配置成存储关于第一光学特性数据的信息;
数据生成单元,所述数据生成单元被配置成基于散焦特性数据和与拍摄图像有关的第
一光学特性数据来生成第二光学特性数据;以及
恢复单元,所述恢复单元被配置成基于第二光学特性数据来恢复拍摄图像。
2.根据权利要求1所述的图像处理设备,
其中,所述数据生成单元被配置成将第一光学特性数据与散焦特性数据组合以生成第
二光学特性数据。
3.根据权利要求1或2所述的图像处理设备,
其中,第一光学特性数据是根据图像拾取光学系统和拍摄条件确定的像差数据,以及
其中,散焦特性数据是根据散焦量确定的像差数据。
4.根据权利要求1到3中的任一项所述的图像处理设备,
其中,第一光学特性数据是关于焦平面的像差数据。
5.根据权利要求1到4中的任一项所述的图像处理设备,进一步包括被配置成确定散焦
特性数据的散焦确定单元。
6.根据权利要求5所述的图像处理设备,
其中,所述散焦确定单元被配置成基于拍摄图像的散焦量来确定散焦特性数据。
7.根据权利要求6所述的图像处理设备,
其中,所述散焦确定单元被配置成基于通过拍摄图像的距离信息确定的散焦量来确定
散焦特性数据。
8.根据权利要求5所述的图像处理设备,
其中,所述散焦确定单元被配置成基于用户的指令来确定散焦特性数据。
9.根据权利要求1到8中的任一项所述的图像处理设备,进一步包括过滤器生成单元,
所述过滤器生成单元被配置成通过使用第二光学特性数据来生成图像恢复过滤器,
其中,所述恢复单元被配置成通过使用图像恢复过滤器来恢复拍摄图像。
10.根据权利要求9所述的图像处理设备,
其中,所述过滤器生成单元被配置成:
基于第二光学特性数据来计算光学传递函数,
对计算出的光学传递函数执行频带转换,直到图像拾取元件的尼奎斯特频率,以及
基于经频带转换的光学传递函数来生成图像恢复过滤器。
11.一种图像拾取设备,包括:
图像拾取单元,所述图像拾取单元被配置成光电转换通过图像拾取光学系统形成的光
学图像以输出拍摄图像;
数据存储单元,所述数据存储单元被配置成存储关于第一光学特性数据的信息;
数据生成单元,所述数据生成单元被配置成基于散焦特性数据和与拍摄图像有关的第
一光学特性数据来生成第二光学特性数据;以及
恢复单元,所述恢复单元被配置成基于第二光学特性数据来恢复拍摄图像。
12.一种图像处理方法,包括以下步骤:
基于存储在数据存储单元中的关于第一光学特性数据的信息来生成与拍摄图像有关
的第一光学特性数据;
基于散焦特性数据和与拍摄图像有关的第一光学特性数据来生成第二光学特性数据;
以及
基于第二光学特性数据来恢复拍摄图像。
13.一种图像处理程序,所述图像处理程序使得计算机执行包括以下步骤的过程:
基于存储在数据存储单元中的关于第一光学特性数据的信息来生成与拍摄图像有关
的第一光学特性数据;
基于散焦特性数据和与拍摄图像有关的第一光学特性数据来生成第二光学特性数据;
以及
基于第二光学特性数据来恢复拍摄图像。
14.一种存储根据权利要求13所述的图像处理程序的存储介质。

说明书

图像处理设备、图像拾取设备、图像处理方法、图像处理程序以及存储介质

技术领域

本发明涉及对拍摄图像执行图像恢复的图像处理设备。

背景技术

对于通过图像拾取光学系统拍摄的对象,从一个点发射的光不能会聚到另一点,
并由于在图像拾取光学系统中发生的衍射、像差等等的影响,具有微小的分散。这样的细微
分散分布被称为PSF(点扩散函数)。由于图像拾取光学系统的影响,拍摄图像在PSF与图像
卷积的情况下被形成,并因此,图像被模糊,其分辨率劣化。

最近,拍摄图像通常作为电子数据存储,通过执行图像处理来校正由图像拾取光
学系统导致的图像劣化的图像恢复已经被提出。为了校正由图像拾取光学系统导致的图像
劣化,需要获得图像拾取光学系统的准确的OTF信息。然而,在现实中,由图像拾取设备拍摄
的对象通常是具有深度方向的三维对象,而不是平面对象。PTL 1公开了在图像拾取光学系
统中提供的光学调制器、以及在放大焦深的同时执行图像处理的方法。PTL 2公开了获取拍
摄图像的距离图以根据距离来执行图像处理的方法。

引用列表

专利文献

[PTL 1]日本专利公开No.2008-268869

[PTL 2]日本专利公开No.2009-15828

发明内容

技术问题

然而,在PTL 1中所公开的图像处理方法中,由于放大焦深,不需要用于每一个散
焦量的校正数据,但是,前景和背景两者都彼此类似地被锐化。在PTL 2中所公开的图像处
理方法中,公开了根据距离添加模糊的方法,但是,未公开根据距离对模糊的校正。因此,不
能执行考虑到在拍摄图像时源自对象的深度方向的焦点位置的小位移的高度准确的图像
恢复。

本发明提供了能够利用少量的数据来准确地校正拍摄图像的图像处理设备、图像
拾取设备、图像处理方法、图像处理程序以及存储介质。

对问题的解决方案

作为本发明的一个方面的图像处理设备包括:数据存储单元,所述数据存储单元
被配置成存储关于第一光学特性数据的信息,数据生成单元,所述数据生成单元被配置成
基于与拍摄图像有关的所述第一光学特性数据和散焦特性数据,生成第二光学特性数据;
以及,恢复单元,所述恢复单元被配置成基于所述第二光学特性数据,恢复拍摄图像。

作为本发明的另一方面的图像拾取设备包括:图像拾取单元,所述图像拾取单元
被配置成光电转换通过图像拾取光学系统形成的光学图像,以输出拍摄图像;数据存储单
元,所述数据存储单元被配置成存储关于第一光学特性数据的信息;数据生成单元,所述数
据生成单元被配置成基于与拍摄图像有关的所述第一光学特性数据和散焦特性数据,生成
第二光学特性数据;以及,恢复单元,所述恢复单元被配置成基于所述第二光学特性数据,
恢复拍摄图像。

作为本发明的另一方面的图像处理方法包括下列步骤:基于存储在数据存储单元
中的关于第一光学特性数据的信息,生成与拍摄图像有关的第一光学特性数据;基于与拍
摄图像有关的所述第一光学特性数据和散焦特性数据,生成第二光学特性数据;以及,基于
所述第二光学特性数据,恢复拍摄图像。

作为本发明的另一方面的图像处理程序导致计算机执行包括下列步骤的过程:基
于存储在数据存储单元中的关于第一光学特性数据的信息,生成与拍摄图像有关的第一光
学特性数据;基于与拍摄图像有关的所述第一光学特性数据和散焦特性数据,生成第二光
学特性数据;以及,基于所述第二光学特性数据,恢复拍摄图像。

作为本发明的另一方面的存储介质存储图像处理程序。

通过下列参考附图对示例性实施例的描述,本发明的其他特征和方面将变得清
晰。

发明的有利效果

根据本发明,可以提供能够利用少量的数据来准确地校正拍摄图像的图像处理设
备、图像拾取设备、图像处理方法、图像处理程序以及存储介质。

附图说明

图1A是实施例1中的图像处理设备的框图。

图1B是实施例1中的图像处理方法的流程图。

图2A是示出了实施例1中的第一光学特性数据、散焦特性数据、第二光学特性数据
以及PSF的示例的图示。

图2B是说明实施例1中的图像拾取光学系统的焦平面的图示。

图3A是实施例1中的拍摄图像数据的示意图。

图3B是实施例1中的拍摄图像数据的示意图。

图3C是实施例1中的拍摄图像数据的示意图。

图4A是示出了实施例1中的关于第一光学特性数据的信息的示例的图示。

图4B是示出了实施例1中的关于第一光学特性数据的信息的示例的图示。

图5是实施例1中的图像恢复的流程图。

图6是实施例2中的图像拾取设备的框图。

具体实施方式

下面将参考附图详细描述本发明的示例性实施例。

首先,将描述该实施例中的图像处理方法(图像恢复)的概述。满足下列表达式
(1),其中,在现实空间(x,y)中,f(x,y)是不会被光学系统劣化的图像,h(x,y)是PSF(点扩
散函数),而g(x,y)是劣化的图像。

g(x,y)∫∫f(X,Y)*h(x-X,y-Y)dXdY...(1)

当对于表达式(1)执行傅里叶变换,以将现实空间(x,y)转换为频率空间(u,v)时,
满足下列表达式(2)。

G(u,v)=F(u,v)*H(u,v)...(2)

在表达式(2)中,F(u,v),G(u,v),和H(u,v)分别是f(x,y),g(x,y),以及h(x,y)的
傅里叶变换的结果。因此,满足下列表达式(3)。

F(u,v)=G(u,v)/H(u,v)...(3)

表达式(3)意味着,未劣化的图像f(x,y)的傅里叶变换的结果F(u,v)可以通过将
频率空间中的劣化的图像g(x,y)的傅里叶变换的结果G(u,v)除以点扩散函数h(x,y)的傅
里叶变换的结果H(u,v)而获得。因此,未劣化的图像f(x,y)可以通过对于F(u,v)执行傅里
叶逆变换而获得。

然而,事实上,如果执行这样的处理以获得未劣化的图像,则由图像拾取元件导致
的噪声放大,从而难以获得合适的。

作为恢复图像以抑制噪声的放大的方法,使用通过下列表达式(4)表示的维纳过
滤器W(u,v)是已知的。

W(u,v)=1/H(u,v)*|H(u,v)|2/(|H(u,v)2+Г)…(4)

在表达式(4)中,符号H(u,v)表示光学传递函数(OTF),而符号Γ表示降低噪声的
放大的量的常数。

将通过表达式(4)表示的W(u,v)乘以劣化的图像g(x,y)的傅里叶变换的结果G(u,
v),由于在光学系统中发生的衍射或像差而导致的PSF的相位成分变为零,振幅成分的频率
特性被放大以能够获得高分辨率且合适的图像。为了有效地使用表达式(4),需要获得图像
拾取光学系统的准确的OTF信息。例如,可以基于图像拾取光学系统的设计值信息(如果它
是已知的话),计算OTF信息。可替代地,可以通过拍摄点光源的图像获得的强度分布的傅里
叶变换,来计算OTF信息。

通常,由图像拾取设备实际拍摄的对象是具有深度方向的三维对象,而不是平面
对象。关于对象,对焦位置和失焦位置混合。为了通过使用由表达式(4)所表示的OTF执行图
像恢复以校正拍摄图像,需要知道OTF信息。因此,OTF信息预先存储在图像处理设备中。例
如,在变焦透镜中,需要关于焦距、F数、拍摄距离以及图像高度全部的组合的OTF信息。拍摄
距离是从图像拾取元件到聚焦的对象点的距离。如上文所描述的,将全部数据(OTF信息)存
储在图像拾取设备中需要巨大的存储容量,从而是不切实际的。为了解决这样的问题,该实
施例提供了如在下列实施例中具体地描述的图像处理设备、图像拾取设备、图像处理方法、
程序以及存储介质。

实施例1

首先,参考图1A和1B,将描述本发明的实施例1中的图像处理设备以及图像处理方
法。图1A是该实施例中的图像处理设备100的框图。图1B是该实施例中的图像处理方法(图
像恢复)的流程图。

如图1A所示,该实施例中的图像处理设备100包括数据存储单元101(存储器)、数
据生成单元102(数据生成器)、过滤器生成单元103(过滤器生成器)、恢复单元104(恢复处
理器)以及散焦确定单元105(散焦确定器)。图像处理设备100被配置成输入由诸如照相机
之类的图像拾取设备拍摄的对象图像(拍摄图像)。拍摄图像(图像数据)是被图像拾取光学
系统劣化的图像。因此,首先,在图1B中的步骤S101,图像处理设备100开始对拍摄图像的图
像恢复。

随后,在步骤S102,数据生成单元102生成与拍摄数据(拍摄图像数据)相关的光学
特性数据(第一光学特性数据)。拍摄图像数据包括拍摄条件(拍摄条件信息)(诸如焦距、F
数(孔径值)、拍摄距离以及图像高度)作为当拍摄图像时确定的参数。在该实施例中,数据
存储单元101(光学特性数据存储器)存储关于图像拾取光学系统所特有的光学特性数据
(第一光学特性数据)的信息。因此,数据生成单元102基于拍摄图像数据以及存储在数据存
储单元101中的关于光学特性数据的信息,生成对应于拍摄条件(焦距、F数、拍摄距离、图像
高度等等)的光学特性数据(第一光学特性数据)。如果没有关于对应于拍摄图像的拍摄条
件的光学特性数据的信息,则数据生成单元102基于关于与接近于拍摄条件的条件对应的
光学特性数据的信息,生成要用于图像恢复的光学特性数据(第一光学特性数据)。在该实
施例中,在步骤S102生成的光学特性数据(第一光学特性数据)是根据图像拾取光学系统和
拍摄条件确定的像差数据(波前像差)。优选地,第一光学特性数据是关于焦平面(对焦平
面)的像差数据。

随后,在步骤S103,数据生成单元102基于与拍摄图像相关的第一光学特性数据
(在步骤S102生成的光学特性数据)和散焦特性数据,生成第二光学特性数据。更具体而言,
数据生成单元102将第一光学特性数据与散焦特性数据组合,以生成第二光学特性数据(与
散焦特性相结合的光学特性数据)。散焦特性数据是根据散焦量确定的像差数据(波前像
差)。

散焦确定单元105确定散焦特性数据。优选地,散焦确定单元105基于拍摄图像的
散焦量,确定散焦特性数据。更优选地,散焦确定单元105基于根据拍摄图像的距离图(距离
信息)确定的散焦量,确定散焦特性数据。在该实施例中,可以由用户调整散焦特性数据(散
焦特性的量)。在此情况下,散焦确定单元105基于用户的指令,确定(改变)散焦特性数据。

随后,在步骤S104,过滤器生成单元103通过使用在步骤S103生成的第二光学特性
数据(与散焦特性相结合的光学特性数据)生成图像恢复过滤器。优选地,过滤器生成单元
103通过使用第二光学特性数据,对于拍摄图像中的每一个图像高度生成要应用于拍摄图
像的图像恢复过滤器。

随后,在步骤S105,恢复单元104通过使用在步骤S104生成的图像恢复过滤器,恢
复拍摄图像。换言之,恢复单元104基于在步骤S103生成的第二光学特性数据(与散焦特性
相结合的光学特性数据),恢复拍摄图像。在该实施例的图像恢复中,例如,使用维纳过滤
器,但是,实施例不仅限于此。然后,在步骤S106,图像处理设备100输出经恢复的图像(经校
正的图像)。

接下来,参考图2A和2B,将描述该实施例中的图像拾取光学系统的光学特性数据
(第一光学特性数据)、散焦特性数据、与散焦特性相结合的光学特性数据(第二光学特性数
据)以及PSF。图2A是示出了第一光学特性数据、散焦特性数据、第二光学特性数据以及PSF
的示例的图示。图2B是说明图像拾取光学系统的焦平面的图示。

图像处理设备100中所提供的数据存储单元101(光学特性数据存储器)存储在图
像拾取光学系统的各种拍摄条件下每一图像高度位置所对应的波前像差信息(关于第一光
学特性数据的信息)。取决于计算中的参考球面的中心位置,波前像差(像差数据)在其轮廓
(profile)中不同。因此,在该实施例中,计算对于每一图像高度的参考球面的中心位置,作
为在图2B中表示为(2)的图像拾取光学系统的焦平面上的点。在图2B中,附图标记201表示
图像拾取光学系统,附图标记202表示图像拾取平面(图像拾取元件)。

第一光学特性数据(或关于第一光学特性数据的信息)是通过上文所描述的方法
计算出的波前像差。在该实施例中,例如,图像拾取设备100的用户任意地确定散焦量,并将
它与第一光学特性数据组合,以生成与散焦特性相结合的光学特性数据(第二光学特性数
据)。该实施例中的散焦特性数据是波前像差(像差数据)。

接下来,参考图3A到3C,将详细地描述该实施例中的散焦特性(散焦特性数据)。图
3A到3C是拍摄图像数据的示意图。图3A是示出了将整个拍摄图像(全部像素)与散焦特性的
一致量组合的过程的图示。图3A到3C中的每一格子301指示拍摄图像数据中的每一像素。例
如,给予每一像素的散焦特性量可以由图像处理设备100的用户任意地确定。

图3B是示出了将拍摄图像的一部分与散焦特性的一致量组合的过程的图示。在图
3B的格子301中,由粗线指示的格子302指示要与散焦特性组合的区域(像素)。例如,散焦特
性量可以由图像处理设备100的用户任意地确定。

图3C示出了图像处理设备100的散焦确定单元105获取拍摄图像的距离信息的过
程。在此情况下,散焦确定单元105根据拍摄图像的距离信息,自动地确定散焦量(散焦特
性)。然后,图像处理设备100的数据生成单元102生成由散焦确定单元105确定的散焦特性
(散焦特性数据),并将散焦特性与光学特性数据(第一光学特性数据)组合。在图3C中,格子
301内部的数字(-5到+5)指示参考焦点位置的距离信息。散焦确定单元105能够通过基于每
一条距离信息计算散焦量来根据距离信息生成散焦特性。

如果对象的劣化的量大并因此在该实施例的图像恢复中丢失了光学传递函数
(OTF)的大部分信息,则由噪声放大或瞬变(ringing)的生成导致的图像劣化的不良影响比
通过校正拍摄图像的劣化获得的效果更凸出。因此,优选的是,与散焦特性相结合的光学特
性数据被设置为在小于或等于0.5λ的波前像差RMS的范围内。

如果在该实施例的图像恢复中在高于或等于图像拾取元件的尼奎斯特频率的一
半的范围内有OTF的频率响应,则校正效果显著出现。因此,更优选地,与散焦特性相结合的
光学特性数据被设置为在小于或等于0.3λ的波前像差RMS的范围内。换言之,优选的是,散
焦特性在如下区域中被组合,在该区域中第一光学特性数据和散焦特性数据的总和(即,第
二光学特性数据)的波前像差RMS在小于或等于0.5λ的范围内或在小于或等于0.3λ的范围
内。当光学特性良好并从而像差量小时,可组合的散焦特性的量变大。

接下来,参考图4A和4B,将描述存储在图像处理设备100的数据存储单元101中的
关于光学特性数据(第一光学特性数据)的信息。图4A和4B是示出了关于光学特性数据的信
息的示例的图示。

相对于图像拾取光学系统的焦距、F数(孔径值)以及拍摄距离的组合,对于拍摄图
像数据中的每一图像高度,光学特性数据具有彼此不同的特性。因此,如图4A所示,数据存
储单元101可以通过相对于焦距、F数以及拍摄距离的组合将拍摄图像数据的内部区域划分
为多个格子401,来离散地存储关于光学特性数据的信息。

可替代地,如图4B所示,数据存储单元101可以存储关于位于拍摄图像数据的中心
的图像拾取光学系统的光轴到最轴外点的信息,同时分割所述信息。在此情况下,关于其余
过程所需的图像圈中的坐标点的光学特性数据被内插和生成。在该实施例中,考虑到个人
计算机(PC)的规格或图像拾取设备的存储器容量,优选的是,使用适当的方法。在该实施例
中,还可以使用除在图4A和4B中所示出的方法以外的方法。

该实施例的图像处理设备100通过使用与散焦特性相结合的光学特性数据,对拍
摄图像数据执行图像恢复。从而,可以以高精度校正拍摄图像数据(即,可以执行图像恢
复)。根据该实施例,光学特性数据不必对于每一个散焦位置预先存储,从而,必需的存储容
量可以缩小为大约几个兆字节到数十兆字节的数据量。

接下来,参考图5,将描述该实施例中的图像恢复的具体过程。图5是图像恢复的流
程图。图5示出了根据图像恢复的从与散焦特性相结合的光学特性数据的生成到拍摄图像
的校正和输出的过程,它对应于图1中的步骤S103到S106。

首先,在步骤S501,数据生成单元102生成与散焦特性相结合的光学特性数据(即,
第二光学特性数据W(ξ,η))。随后,在步骤S502,数据生成单元102获取第二光学特性数据W
(ξ,η)的光瞳函数G(ξ,η)=exp{i*W(ξ,η)}。然后,图像处理设备100(数据生成单元102或过
滤器生成单元103)在作为ξ和η的积分范围的ξ2+η2≦NA2的范围内计算光瞳函数G(ξ,η)的自
相关,并通过πNA2将其标准化以计算光学传递函数(OTF)。符号ξ和η表示通过光学系统(图
像拾取光学系统)中的光线的方向余弦来表示的出射光瞳坐标,而符号NA表示光学系统的
数值孔径。可替代地,作为计算OTF的其他方法,可以通过PSF根据光瞳函数G(ξ,η)来计算
OTF。在此情况下,执行光瞳函数G(ξ,η)的傅里叶变换,以通过放大计算点扩散函数,然后,
对通过放大的点扩散函数的绝对值进行平方以计算PSF,并进一步执行PSF的傅里叶变换以
计算OTF。

在步骤S502获得的OTF是所谓的光学空中图像的PSF的频率响应,它是直到光学截
止频率λ/(2NA)的频带内的频率响应。因此,为了在图像恢复中将OTF应用到数字拍摄图像,
需要进行采样以适于取决于图像拾取元件的大小(传感器大小)的频带,即,需要执行直到
图像拾取元件的尼奎斯特频率的频带转换。由于实际图像拾取元件的每一像素总是返回输
入光强度分布的平均值,因此,优选的是,将图像拾取元件的像素的特性与OTF相加。当诸如
低通滤光器之类的光学部件被插入在图像拾取元件之前时,优选的是,其特性与OTF相加。

随后,在步骤S503,过滤器生成单元103通过使用根据各种条件(拍摄条件)获得的
OTF,设计图像恢复过滤器(频率空间图像恢复过滤器),以校正拍摄图像的劣化。作为图像
恢复过滤器,可以使用维纳过滤器或维纳过滤器的变形的过滤器。在该实施例中,优选地,
过滤器生成单元103基于第二光学特性数据计算光学传递函数(OTF),并且它对计算出的光
学传递函数执行频带转换,直到图像拾取元件的尼奎斯特频率。然后,过滤器生成单元103
基于经过频带转换的光学传递函数,生成图像恢复过滤器。典型的图像拾取光学系统具有
窄的平移不变区域,在此区域中光学特性对于每一个位置都不变,只在该窄的区域中满足
表达式(1)。因此,需要应用取决于拍摄图像数据中的图像高度位置而变化的图像恢复过滤
器。

因此,在步骤S504,过滤器生成单元103执行在步骤S503确定的频率空间图像恢复
过滤器到现实空间图像恢复过滤器的频率转换。随后,在步骤S505,过滤器生成单元103对
拍摄图像(将对其执行图像恢复的图像)执行在步骤S504确定的现实空间图像恢复过滤器
的卷积过程。在该实施例中,优选的是,在根据拍摄图像中的图像高度位置切换现实空间图
像恢复过滤器的同时执行该过程,以便缩短计算时间。因此,过滤器生成单元103对在频率
空间中设计的频率空间图像恢复过滤器执行到要使用的现实空间图像恢复过滤器的频率
转换。然后,在步骤S506,图像处理设备100输出通过图像恢复校正的经恢复的图像(经校正
的图像)。

实施例2

接下来,参考图6,将描述本发明的实施例2中的图像拾取设备。图6是该实施例中
的图像拾取设备600的框图。图像拾取设备600包括能够执行参考图1所描述的实施例1中的
图像处理方法的图像处理器604(图像处理设备)。

在图像拾取设备600中,通过包括孔径光阑601a(或光阻止部件)和聚焦透镜601b
的图像拾取光学系统601,在图像拾取元件602上对对象(未示出)进行成像。孔径值(F数)由
孔径光阑601a或光阻止部件确定。图像拾取元件602光电转换通过图像拾取光学系统601形
成的对象图像(光学图像),以输出图像(拍摄图像)。从图像拾取元件602输出的电信号被输
出到A/D转换器603。A/D转换器603将从图像拾取元件602输入的电信号(模拟信号)转换为
数字信号,然后,将数字信号(拍摄图像数据)输出到图像处理器604。图像拾取元件602和A/
D转换器603构成图像拾取单元。

图像处理器604对应于实施例1中的图像处理设备100,它对拍摄图像执行图像恢
复,并输出经校正的图像(经恢复的图像)。对于焦距、F数、拍摄条件以及图像高度的每一组
合,存储器608(数据存储单元)存储图像拾取光学系统601的光学特性数据(关于第一光学
特性数据的信息)。类似于实施例1,可以在图像处理器604中提供数据存储单元。

图像拾取单元(图像拾取元件602和A/D转换器603)将通过图像拾取光学系统601
形成的光学图像转换为电信号,以输出拍摄图像。在此情况下,图像拾取光学系统控制器
606和状态检测器607获取拍摄条件,诸如焦距、F数以及在拍摄图像时的拍摄距离。图像处
理器604生成对应于获取的拍摄条件的光学特性数据(第一光学特性数据),并生成通过组
合第一光学特性数据与散焦特性获得的光学特性数据(第二光学特性数据)。然后,图像处
理器604通过使用基于第二光学特性数据生成的图像恢复过滤器,对拍摄图像执行图像恢
复,以输出经恢复的图像(经校正的图像)。

由图像处理器604处理的输出图像(经恢复的图像)以预定格式被记录在图像记录
介质609中。显示器605显示通过对该实施例中的已处理的图像(经恢复的图像)执行预定的
处理以供显示而获得的图像。可替代地,显示器605可以显示经过简单处理的图像以供高速
显示。显示器605还显示用于由用户选择图像恢复模式或正常拍摄模式的GUI。当由用户通
过显示器605上的GUI选择图像恢复模式时,系统控制器610控制图像处理器604执行参考图
1所描述的图像处理方法。系统控制器610包括CPU、MPU等等,它控制图像拾取设备600的全
部。

在该实施例中,图像拾取光学系统601(镜头设备)与图像拾取设备600(图像拾取
设备主体)集成,但实施例不限于此。图像拾取光学系统601可以是可移动地安装在图像拾
取设备主体上的可互换镜头,诸如单反照相机。

其他实施例

本发明的各实施例还可以通过读出并执行记录在存储介质(也可以比较全面地称
为“非暂态计算机可读存储介质”)上的计算机可执行指令(例如,一个或多个程序)以执行
上文所描述的实施例中的一个或更多的功能和/或包括一个或多个用于执行上文所描述的
各实施例中的一个或多个的功能的电路(例如,专用集成电路(ASIC))的系统或设备的计算
机来实现,并通过由系统或设备的计算机,例如,通过从存储介质读出并执行计算机可执行
指令以执行上文所描述的各实施例中的一个或多个的功能,和/或控制一个或多个电路以
执行上文所描述的各实施例中的一个或多个的功能执行的方法来实现。计算机可以包括一
个或多个处理器(例如,中央处理单元(CPU)、微处理单元(MPU)),可包括读出并执行计算机
可执行指令的单独的计算机或单独的处理器的网络。可以,例如,从网络或存储介质向计算
机提供计算机可执行指令。存储介质可包括,例如,硬盘、随机存取存储器(RAM)、只读存储
器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字多功能盘(DVD),或蓝光
盘(BD)TM、闪存设备、存储器卡等等中的一种或多种。

每一实施例中的图像处理设备能够计算并生成光学特性数据,而不将它们存储用
于针对每一散焦量的校正。根据每一实施例,可以提供能够利用少量数据来准确地校正拍
摄图像中包含焦点位置的小的位移的劣化图像(拍摄图像)的图像处理设备、图像拾取设
备、图像处理方法、图像处理程序以及存储介质。

虽然参考示例性实施例描述了本发明,但是应该理解,本发明不限于所公开的示
例性实施例。所附权利要求的范围应该遵循最广泛的解释,以便包含所有这样的修改以及
等同的结构和功能。

参考符号列表

100 图像处理设备

101 数据存储单元

102 数据生成单元

104 恢复单元

权利要求书(按照条约第19条的修改)

1.一种图像处理设备,包括:

数据存储单元,所述数据存储单元被配置成存储关于第一光学特性数据的信息;

数据生成单元,所述数据生成单元被配置成基于散焦特性数据和与拍摄图像有关的第
一光学特性数据来生成第二光学特性数据;以及

恢复单元,所述恢复单元被配置成基于第二光学特性数据来恢复拍摄图像,

其中,所述数据生成单元被配置成对于拍摄图像的每个位置,将第一光学特性数据与
散焦特性数据组合以生成第二光学特性数据。

2.根据权利要求1所述的图像处理设备,

其中,第一光学特性数据是根据图像拾取光学系统和拍摄条件确定的像差数据,以及

其中,散焦特性数据是根据散焦量确定的像差数据。

3.根据权利要求1或2所述的图像处理设备,

其中,第一光学特性数据是关于焦平面的像差数据。

4.根据权利要求1到3中的任一项所述的图像处理设备,进一步包括被配置成确定散焦
特性数据的散焦确定单元。

5.根据权利要求4所述的图像处理设备,

其中,所述散焦确定单元被配置成基于拍摄图像的散焦量来确定散焦特性数据。

6.根据权利要求5所述的图像处理设备,

其中,所述散焦确定单元被配置成基于通过拍摄图像的距离信息确定的散焦量来确定
散焦特性数据。

7.根据权利要求4所述的图像处理设备,

其中,所述散焦确定单元被配置成基于用户的指令来确定散焦特性数据。

8.根据权利要求1到7中的任一项所述的图像处理设备,进一步包括过滤器生成单元,
所述过滤器生成单元被配置成通过使用第二光学特性数据来生成图像恢复过滤器,

其中,所述恢复单元被配置成通过使用图像恢复过滤器来恢复拍摄图像。

9.根据权利要求8所述的图像处理设备,

其中,所述过滤器生成单元被配置成:

基于第二光学特性数据来计算光学传递函数,

对计算出的光学传递函数执行频带转换,直到图像拾取元件的尼奎斯特频率,以及

基于经频带转换的光学传递函数来生成图像恢复过滤器。

10.一种图像拾取设备,包括:

图像拾取单元,所述图像拾取单元被配置成光电转换通过图像拾取光学系统形成的光
学图像以输出拍摄图像;

数据存储单元,所述数据存储单元被配置成存储关于第一光学特性数据的信息;

数据生成单元,所述数据生成单元被配置成基于散焦特性数据和与拍摄图像有关的第
一光学特性数据来生成第二光学特性数据;以及

恢复单元,所述恢复单元被配置成基于第二光学特性数据来恢复拍摄图像,

其中,所述数据生成单元被配置成对于拍摄图像的每个位置,将第一光学特性数据与
散焦特性数据组合以生成第二光学特性数据。

11.一种图像处理方法,包括以下步骤:

基于存储在数据存储单元中的关于第一光学特性数据的信息来生成与拍摄图像有关
的第一光学特性数据;

基于散焦特性数据和与拍摄图像有关的第一光学特性数据来生成第二光学特性数据;
以及

基于第二光学特性数据来恢复拍摄图像,

其中,通过对于拍摄图像的每个位置将第一光学特性光学数据与散焦特性数据组合来
生成第二光学特性数据。

12.一种图像处理程序,所述图像处理程序使得计算机执行包括以下步骤的过程:

基于存储在数据存储单元中的关于第一光学特性数据的信息来生成与拍摄图像有关
的第一光学特性数据;

基于散焦特性数据和与拍摄图像有关的第一光学特性数据来生成第二光学特性数据;
以及

基于第二光学特性数据来恢复拍摄图像,

其中,通过对于拍摄图像的每个位置将第一光学特性光学数据与散焦特性数据组合来
生成第二光学特性数据。

13.一种存储根据权利要求12所述的图像处理程序的存储介质。

图像处理设备、图像拾取设备、图像处理方法、图像处理程序以及存储介质.pdf_第1页
第1页 / 共21页
图像处理设备、图像拾取设备、图像处理方法、图像处理程序以及存储介质.pdf_第2页
第2页 / 共21页
图像处理设备、图像拾取设备、图像处理方法、图像处理程序以及存储介质.pdf_第3页
第3页 / 共21页
点击查看更多>>
资源描述

《图像处理设备、图像拾取设备、图像处理方法、图像处理程序以及存储介质.pdf》由会员分享,可在线阅读,更多相关《图像处理设备、图像拾取设备、图像处理方法、图像处理程序以及存储介质.pdf(21页珍藏版)》请在专利查询网上搜索。

一种图像处理设备100,包括:数据存储单元101,所述数据存储单元101被配置成存储关于第一光学特性数据的信息,数据生成单元102,所述数据生成单元102被配置成基于与拍摄图像相关的所述第一光学特性数据和散焦特性数据,生成第二光学特性数据,以及,恢复单元104,所述恢复单元104被配置成基于所述第二光学特性数据,恢复所述拍摄图像。。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1