《一种光场成像自动重对焦方法.pdf》由会员分享，可在线阅读，更多相关《一种光场成像自动重对焦方法.pdf（14页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104079827A43申请公布日20141001CN104079827A21申请号201410301659022申请日20140627H04N5/232200601G06T7/00200601G02B7/3620060171申请人中国科学院自动化研究所地址100190北京市海淀区中关村东路95号72发明人谭铁牛孙哲南侯广琦张驰秦娅楠74专利代理机构中科专利商标代理有限责任公司11021代理人宋焰琴54发明名称一种光场成像自动重对焦方法57摘要本发明公开了一种光场成像自动重对焦方法，该方法建立点扩散函数模型和模糊度评价模型，基于以上模型，根据不同对焦深度及其对应重对焦图像估计。
2、感兴趣区域的模糊度估计函数，对函数求取极值点获得感兴趣区域对焦深度，最终获得该深度对应的重对焦图像。本发明通过直接估计感兴趣区域的对焦深度实现感兴趣区域的重对焦，克服了现有方法计算冗余度大的弊端，为光场成像在扩大成像景深方面的应用提供了一种快速有效的自动重对焦机制，提高了光场成像感兴趣区域重对焦操作的执行效率，有利于促进光场成像的研究及应用发展。51INTCL权利要求书2页说明书8页附图3页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书8页附图3页10申请公布号CN104079827ACN104079827A1/2页21一种光场成像自动重对焦方法，其特征在于，该方法包括以。
3、下步骤步骤S1、建立光场重对焦处理模型，该模型建立重对焦图像和对焦深度的基本映射关系；步骤S2、根据点扩散函数定义对H建模，并确定用以估计H的重对焦图像数量N；步骤S3、对于采集到的光场原始图像，将其解码为4D光场参数化表示，该参数化表示由对应于不同视角的子孔径图像构成；步骤S4、自动检测出需重对焦的感兴趣区域；步骤S5、对该光场做重对焦处理，渲染出N幅对焦在不同深度II1，N的图像步骤S6、使用机器学习的方法，构建模糊度评价模型BM；步骤S7、利用模糊度估计模型BM，对重对焦图像估计感兴趣区域的模糊度HI；步骤S8、利用I和HII1，N估计出该光场中感兴趣区域的点扩散函数的方差步骤S9、求取。
4、函数的极小值点0，即为重对焦在感兴趣区域的对焦深度0；步骤S10、利用重对焦算法渲染出0对应的感兴趣区域对焦清晰的光场重对焦图像。2根据权利要求1所述的光场成像自动重对焦方法，其特征在于，所述步骤S2进一步包括以下步骤步骤S21、获取点光源S0的光场表示步骤S22、对光场做重对焦渲染处理得到其中是重对焦算子；步骤S23、将进行尺度变换后，得到重对焦点扩散函数根据对焦深度与关系F，进一步可得到H；步骤S24、本发明仅关注对焦深度与图像模糊度之间的关系，图像模糊度采用H的方差H衡量，以简化模型复杂度，最终建模得到H。3根据权利要求1所述的光场成像自动重对焦方法，其特征在于，所述步骤S4中的自动检测。
5、感兴趣区域，是利用目标检测算法，在中心视角的子孔径图像上自动检测出感兴趣区域坐标及尺寸，该坐标及尺寸用于对渲染在任意深度的重对焦图像的感兴趣区域进行分割。4根据权利要求1所述的光场成像自动重对焦方法，其特征在于，所述步骤S6进一步包括以下步骤步骤S61、建立感兴趣区域模糊度训练库。训练库包含了感兴趣区域图像样本，这些样本对应于不同模糊度，并由模糊度进行标注；步骤S62、对训练集中的样本提取图像模糊度评价特征；步骤S63、利用步骤S61的感兴趣区域模糊度训练库及步骤S62提取的模糊度评价特征，训练模糊度评价回归模型。权利要求书CN104079827A2/2页35根据权利要求1所述的光场成像自动重。
6、对焦方法，其特征在于，所述步骤S7包括以下步骤步骤S71、利用所述步骤S4得出的感兴趣区域坐标，提取重对焦图像的感兴趣区域；步骤S72、对感兴趣区域图像提取图像模糊度评价特征；步骤S73、将该图像模糊度评价特征送入所述步骤S6得到的回归模型中，得到感兴趣区域的模糊度评价。6根据权利要求1所述的光场成像自动重对焦方法，其特征在于，所述步骤S9求取极小值点基于公式该式建立一种确定感兴趣区域重对焦的对焦深度的模型。权利要求书CN104079827A1/8页4一种光场成像自动重对焦方法技术领域0001本发明涉及一种用于光场成像中感兴趣区域ROI的自动重对焦方法，属于计算成像、图像处理、计算机视觉等技术。
7、领域。背景技术0002光场为光辐射在空间各个位置各个方向的传播。1908年LIPPMANN首先提出了基于透镜阵列形式的光场相机，直到1992年ADELSON在此基础上提出了全光场相机并提出了其在图像深度提取方面的应用后，光场成像作为一种计算成像方式开始受到越来越多的关注。光场成像利用其特殊的成像结构，拓宽了图像捕获的数据种类，在扩大成像景深、深度估计、超分辨率、物体分割、生物特征识别等领域已经得到应用。0003利用光场成像在扩大成像景深方面的优势，可以在一次曝光后，通过重对焦处理获取不同深度的重对焦图像，基于此RAGHAVENDRA和ZHANG分别将其应用在人脸和虹膜检测识别领域，有助于推进生。
8、物特征识别在大范围场景下的应用。在拍摄过程中，用户最关注的是感兴趣区域的对焦情况，希望ROI对焦清晰。由于没有关于ROI区域深度信息的先验知识，目前常用的对焦策略是渲染出场景中所有不同深度的一组重对焦图像，根据对ROI的模糊度判断从这一组重对焦图像中找到模糊度最小的一幅重对焦图像以实现ROI的自动重对焦ARF处理。这种重对焦模式虽然在目前光场成像角度分辨率较低小于10的情况下速度很快，但当角度分辨率较大如大于16时渲染出一组重对焦图像耗时增加，当用户其实只关注某一感兴趣区域的重对焦图像时，对其他区域进行重对焦处理其实是一种不必要的操作，影响了自动重对焦处理的效率。0004目前，光学上的自动对焦。
9、AF主要有主动式和被动式两种处理方式，其中主动式就是利用外界的近红外光或超声波信号获取ROI深度，利用深度信息调节成像镜头焦距；被动式的是利用ROI的清晰度评价值反复迭代获取最优值来调节成像镜头焦距。被动式的自动对焦方式与上述的光场成像ROI重对焦处理类似，相比较主动式的对焦方式而言，被动式的仍是一种比较耗时的处理手段。借鉴主动式自动对焦方法，如果在光场成像过程中能够直接获取ROI的深度，利用深度值确定感兴趣区域的重对焦参数，就可以直接针对ROI进行重对焦处理，而不再需要计算所有深度的重对焦图像，这样就能够把重对焦操作处理计算量降到最低，提高了自动重对焦的效率。光场成像本身也可以用来对场景进行。
10、深度估计，但这种深度估计方法计算量较大耗时较多不适合用于快速的ARF操作，而且对于不是朗伯表面LAMBERTSURFACE的物体，如虹膜，深度估计尚不够准确。利用离焦模糊对深度进行估计NAYAR等人已经开展了相关研究并提出一个实时深度估计系统，因此该方法为光场成像自动重对焦过程中关键的深度估计提供一种可借鉴的快速有效的解决途径。发明内容0005一要解决的技术问题0006本发明旨在突破现有光场成像感兴趣区域重对焦过程中计算冗余度较大的局限，说明书CN104079827A2/8页5提出一种新的光场成像自动重对焦方法，以提高光场成像感兴趣区域重对焦的效率。0007二技术方案0008为解决上述技术问题。
11、，本发明提出一种光场成像自动重对焦方法，该方法包括以下步骤0009步骤S1、建立光场重对焦处理模型，该模型建立重对焦图像和对焦深度的基本映射关系；0010步骤S2、根据点扩散函数定义对H建模，并确定用以估计H的重对焦图像数量N；0011步骤S3、对于采集到的光场原始图像，将其解码为4D光场参数化表示，该参数化表示由对应于不同视角的子孔径图像构成；0012步骤S4、自动检测出需重对焦的感兴趣区域；0013步骤S5、对该光场做重对焦处理，渲染出N幅对焦在不同深度II1，N的图像0014步骤S6、使用机器学习的方法，构建模糊度评价模型BM；0015步骤S7、利用模糊度估计模型BM，对重对焦图像估计感。
12、兴趣区域的模糊度HI；0016步骤S8、利用I和HII1，N估计出该光场中感兴趣区域的点扩散函数的方差0017步骤S9、求取函数的极小值点0，即为重对焦在感兴趣区域的对焦深度0；0018步骤S10、利用重对焦算法渲染出0对应的感兴趣区域对焦清晰的光场重对焦图像。0019根据本发明的一种实施方式，所述步骤S2进一步包括以下步骤0020步骤S21、获取点光源S0的光场表示0021步骤S22、对光场做重对焦渲染处理得到其中是重对焦算子；0022步骤S23、将进行尺度变换后，得到重对焦点扩散函数根据对焦深度与关系F，进一步可得到H；0023步骤S24、本发明仅关注对焦深度与图像模糊度之间的关系，图像模。
13、糊度采用H的方差H衡量，以简化模型复杂度，最终建模得到H。0024根据本发明的一种实施方式，所述步骤S4中的自动检测感兴趣区域，是利用目标检测算法，在中心视角的子孔径图像上自动检测出感兴趣区域坐标及尺寸，该坐标及尺寸用于对渲染在任意深度的重对焦图像的感兴趣区域进行分割。0025根据本发明的一种实施方式，所述步骤S6进一步包括以下步骤0026步骤S61、建立感兴趣区域模糊度训练库。训练库包含了感兴趣区域图像样本，这些样本对应于不同模糊度，并由模糊度进行标注；0027步骤S62、对训练集中的样本提取图像模糊度评价特征；说明书CN104079827A3/8页60028步骤S63、利用步骤S61的感兴。
14、趣区域模糊度训练库及步骤S62提取的模糊度评价特征，训练模糊度评价回归模型。0029根据本发明的一种实施方式，所述步骤S7包括以下步骤0030步骤S71、利用所述步骤S4得出的感兴趣区域坐标，提取重对焦图像的感兴趣区域；0031步骤S72、对感兴趣区域图像提取图像模糊度评价特征；0032步骤S73、将该图像模糊度评价特征送入所述步骤S6得到的回归模型中，得到感兴趣区域的模糊度评价。0033根据本发明的一种实施方式，所述步骤S9求取极小值点基于公式该式建立一种确定感兴趣区域重对焦的对焦深度的模型。0034三有益效果0035本发明基于光场成像的经典重对焦理论，通过建立离焦模糊与对焦深度关系模型，以。
15、及模糊度评价模型，提出了一种新的光场成像自动重对焦方法，可实现感兴趣区域的快速有效重对焦操作，克服了现有方法计算冗余度大的弊端，提高了光场成像重对焦操作的执行效率，有利于促进光场成像的研究及应用发展。附图说明0036图1为光场成像对焦示意图；0037图2为本发明提供的光场成像自动重对焦方法流程图；0038图3为本发明提供的自动重对焦方法光线空间RAYSPACE示意图。具体实施方式0039为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。0040成像系统以某一焦距对场景进行成像过程中，位于对焦面的物体成像清晰，偏离对焦面的物体成像模糊，离焦。
16、模糊正是由此偏离造成的，可用点扩散函数PSF分析表示，基于此，本发明建立一种光场重对焦模型为00410042其中代表卷积，GX为某区域清晰图像，P为全场景清晰图像，为清晰区域所对应的对焦深度，H为该深度对应的点扩散函数，NX为图像噪声。因此本发明提出的光场成像自动重对焦方法的核心即是从某一已知的GX估计感兴趣区域的对焦深度值0。0043与对焦深度对应的点扩散函数H随着对焦面深度变化而改变，图像模糊度采用H的方差H衡量。利用模糊度估计模型，估计不同对焦深度II1，N对应的HI，即0044说明书CN104079827A4/8页70045其中BM为模糊度评价函数，N为估计H所需的样本深度个数。那么，。
17、感兴趣区域对焦深度值0采用如下式子得到，即00460047其中为基于I和HI对方差H的估计函数，第一项确保0为的极小值，第二项保证了对H估计的准确度，为平衡系数。该式建立了一种确定感兴趣区域重对焦的对焦深度的模型。0048图1为光场成像对焦示意图N1。如图1所示，S为一点光源，其对焦面101微透镜面与主透镜L之间的距离为F，其在传感器平面102所成的像满足高斯分布，即00490050其中为点光源S产生的四维光场参数化表示；XX1，X2T为空间维度坐标；UU1，U2T为角度维度坐标；R为光学参数常量，当主镜头焦距、光圈等参数确定后，R为恒定值；X0为S对应的图像空间维度坐标。0051根据积分重对。
18、焦原理，即重对焦本质上是对子孔径图像的缩放，平移，积分的过程，积分重对焦方法参考文献RNGDIGITALLIGHTELDPHOTOGRAPHYPHDTHESIS，STANFORDUNIVERSITY,2006所述，可将重对焦图像表示为00520053其中为重对焦算子，L为四维光场，为重对焦面与主透镜之间的距离与F的比值，X为重对焦图像的空间坐标。0054为了消除积分重聚焦造成的图像尺度变化，本发明定义一个积分不变调整图形尺度算子，即00550056其中为尺度变化系数，IX为待调整图像。0057于是，S点光源对应的点扩散函数PSF可以表示为00580059将重对焦公式和尺度算子代入，可进一步表示。
19、为00600061其中说明书CN104079827A5/8页80062如图1所示，当重对焦于点光源S0时，其重对焦面103距主透镜L的距离为0F，其四维光场可表示为00630064根据S0的虚拟传感器平面104与实际传感器平面102之间的几何关系，结合传感器平面所成像呈高斯分布的特点，可进一步将S0建立的四维光场表示为00650066其中F为主镜头的焦距。0067重对焦平面对应F的重对焦图像与重对焦平面对应F的重对焦图像满足以下关系，00680069其中0，由此可进一步推导出S0在重对焦面对应F时所定义的PSF为00700071进一步表示为00720073其中，为简化起见，令1，则H可表示为0。
20、074H|0|R0075该式直观描述了一种模糊度与对焦深度之间的关系。从该式可以看出，通过估计图像模糊度H，就可以得到感兴趣区域对焦深度0与已知某一对焦深度的偏差|0|，进而可以利用已知的得到关于0的两个估计值和。0076图2为本发明提供的光场成像自动重对焦方法流程图，如图2所示，该方法包括以下步骤0077步骤S1、建立光场重对焦处理模型，该模型建立重对焦图像和对焦深度的基本映射关系。0078如前所述，重对焦图像和对焦深度的基本映射关系即说明书CN104079827A6/8页9其中H为对焦深度对应的点扩散函数，GX为重对焦图像。0079步骤S2、根据点扩散函数定义对H建模，并确定用以估计H的重。
21、对焦图像数量N。0080步骤S2可以进一步包括以下几个步骤0081步骤S21、获取点光源S0的光场表示0082步骤S22、对光场做重对焦渲染处理得到其中是重对焦算子；0083步骤S23、将进行尺度变换后，得到重对焦点扩散函数根据对焦深度与关系F，进一步可得到H；0084步骤S24、本发明仅关注对焦深度与图像模糊度之间的关系，图像模糊度采用H的方差H衡量，以简化模型复杂度，最终建模得到H。0085步骤S3、对于采集到的光场原始图像，将其解码为4D光场参数化表示，该参数化表示由对应于不同视角的子孔径图像构成。0086解码方法参见上文提到的参考文献RNGDIGITALLIGHTELDPHOTOGRA。
22、PHYPHDTHESIS，STANFORDUNIVERSITY，2006。0087步骤S4、自动检测出需重对焦的感兴趣区域ROI。0088该步骤具体可利用目标检测算法，在中心视角的子孔径图像上自动检测出感兴趣区域坐标及尺寸，该坐标及尺寸用于对渲染在任意深度的重对焦图像的感兴趣区域进行分割。0089步骤S5、对该光场做重对焦处理，渲染出N幅对焦在不同深度II1，N的图像0090步骤S6、使用机器学习的方法，构建模糊度评价模型BM。0091该步骤具体包括如下分步骤0092步骤S61、建立感兴趣区域模糊度训练库。训练库包含了感兴趣区域图像样本，这些样本对应于不同模糊度，并由模糊度进行标注；0093步。
23、骤S62、对训练集中的样本提取图像模糊度评价特征；0094步骤S63、利用步骤S61的感兴趣区域模糊度训练库及步骤S62提取的模糊度评价特征，训练模糊度评价回归模型。0095步骤S7、利用模糊度估计模型BM，对重对焦图像估计感兴趣区域的模糊度HI。0096所述步骤S7的估计感兴趣区域模糊度进一步包括以下几个步骤0097步骤S71、利用步骤S4得出的感兴趣区域坐标，提取重对焦图像的感兴趣区域；0098步骤S72、对感兴趣区域图像提取图像模糊度评价特征；0099步骤S73、将该图像模糊度评价特征送入步骤S6得到的回归模型中，得到感兴趣区域的模糊度评价。0100步骤S8、利用I和HII1，N估计出该。
24、光场中感兴趣区域的点扩散函数的方差说明书CN104079827A7/8页100101步骤S9、求取函数的极小值点0，即为重对焦在感兴趣区域的对焦深度0。0102所述步骤S9求取极小值点基于公式该式建立一种确定感兴趣区域重对焦的对焦深度的模型。0103步骤S10、利用重对焦算法渲染出0对应的感兴趣区域对焦清晰的光场重对焦图像。0104图3为本发明提供的自动重对焦方法光线空间RAYSPACE示意图，与图1情况对应。图3中的X坐标和U坐标分别表示空间维度坐标和角度维度坐标。附图标记301为光源S0对应的四维光场，其斜率则对应它在场景中的对焦深度，对S0进行重对焦即是将301表示的四维光场垂直投影到重。
25、对焦投影面302。0105本发明提供的自动重对焦方法通过图3进行解释描述，即是，如感兴趣区域确定为S0所处位置，目标是获取S0清晰的重对焦图像，首先根据某一对焦深度I渲染出其对应的重对焦图像，利用模糊度评价模型确定HI303，然后就可以得到该HI对应的四维光场S0301和S0304，它们分别对应重对焦投影面302和305，即分别代表深度为0I和0I的重对焦投影面，对这两个投影面对应的重对焦图像进行模糊度评价，选取模糊度最小的即是感兴趣区域S0的重对焦图像。0106下面介绍基于DIIVINE指数方法的模型建立的实施例。0107DIVIINE方法是一种性能突出的无参考图像质量评价方法，其应用图像质。
26、量的统计特征，可以对不同内容的图像做出较为客观的质量评价。自然图像往往包含有内容不变的统计特性，而降质过程，如模糊、噪声等，常常会改变这些图像的统计特性。DIVIINE方法正是基于这样的假设，通过对图像抽取统计特性特征，完成质量评价。该方法可以从图像多个特征角度对图像进行质量评价，由此带来即是计算量的增大。在光场成像自动重对焦过程中只需关注图像质量中的模糊度评价这一特征，因此需要对现有DIIVINE评价方法进行改进，使其在模糊度这一特征上的权重较大，降低图像其他特征的权重，由此可以减少对其他特征进行评价的操作，节省计算时间，提高图像评价过程的效率。0108基于DIVIINE模糊度评价的方法，本。
27、发明利用LASSO回归对DIIVINE的图像质量特征进行加权，即01090110其中W为特征权重系数，A为大小为MN的训练集矩阵，M为训练样本的维数，N为特征维数，为模糊度标记向量，为平衡系数。然后，用加权特征训练支持向量机回归SVR模型，该模型用于对重对焦图像进行模糊度评价，其中SVR参数通过对训练集数据交叉验证估计得到。0111本发明可广泛应用于大场景远距离多模态生物特征识别系统中。与传统相机相比，光场成像技术应用于大场景远距离情况下的生物特征识别具有更大的优势，因为光场成像可以扩大成像场景的景深范围，而且可以在一次曝光的情况下，利用重对焦技术，获得不同对焦面的图像。由于大场景下目标的多变。
28、性，系统对目标区域自动重对焦的实时处理说明书CN104079827A108/8页11效率要求更高。本发明提供的自动重对焦方法减少了现有方法对目标区域重对焦处理过程中的计算冗余度，为多模态生物特征识别系统在大场景远距离这一复杂环境下的应用提供了一种高效可靠的实现机制。0112以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。说明书CN104079827A111/3页12图1说明书附图CN104079827A122/3页13图2说明书附图CN104079827A133/3页14图3说明书附图CN104079827A14。