《产生浅景深影像的方法及装置.pdf》由会员分享，可在线阅读，更多相关《产生浅景深影像的方法及装置.pdf（12页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102457740 A(43)申请公布日 2012.05.16CN102457740A*CN102457740A*(21)申请号 201110031413.2(22)申请日 2011.01.26099135063 2010.10.14 TWH04N 13/00(2006.01)G03B 35/00(2006.01)G02B 27/22(2006.01)(71)申请人华晶科技股份有限公司地址中国台湾新竹市科学园区力行路12号(72)发明人李运锦(74)专利代理机构北京同立钧成知识产权代理有限公司 11205代理人刘芳(54) 发明名称产生浅景深影像的方法及装置(57) 。
2、摘要本发明提供一种产生浅景深影像的方法及装置，适用于包括左镜头及右镜头的立体成像系统。此方法分别利用左镜头及右镜头拍摄左眼影像及右眼影像，接着计算左眼影像及右眼影像相对应的多个像素中各个像素的像差，然后依据左镜头及右镜头拍摄左眼影像及右眼影像的焦距、左镜头及右镜头的镜头间距以及各个像素的像差，估测各个像素的深度信息。最后则依据左镜头及右镜头的焦距以及所估测各个像素的深度信息，将左眼影像或右眼影像中的像素模糊化，以获得浅景深影像。(30)优先权数据(51)Int.Cl.权利要求书2页 说明书5页 附图4页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 2 页 说明书 5 页 。
3、附图 4 页1/2页21.一种产生浅景深影像的方法，适用于包括一左镜头及一右镜头的一立体成像系统，该方法包括下列步骤：分别利用该左镜头及该右镜头拍摄一左眼影像及一右眼影像；计算该左眼影像及该右眼影像相对应的多个像素中各所述像素的一像差；依据该左镜头及该右镜头拍摄该左眼影像及该右眼影像的一焦距、该左镜头及该右镜头的一镜头间距以及各所述像素的该像差，估测各所述像素的一深度信息；以及依据该左镜头及该右镜头的该焦距以及所估测所述像素的深度信息，模糊化该左眼影像或该右眼影像中的所述像素，以获得一浅景深影像。2.根据权利要求1所述的产生浅景深影像的方法，其中计算该左眼影像及该右眼影像相对应的所述像素中各所。
4、述像素的该像差的步骤包括：依据各所述像素在该左眼影像及该右眼影像中的一位置，计算各所述像素在该左眼影像及该右眼影像中的一位移，以作为该像差。3.根据权利要求1所述的产生浅景深影像的方法，其中依据该左镜头及该右镜头的该焦距以及所估测所述像素的深度信息，模糊化该左眼影像或该右眼影像中的所述像素，以获得该浅景深影像的步骤包括：利用该焦距求得一对焦平面；依据各所述像素的深度信息，计算该像素与该对焦平面的一距离；以及依据各所述像素与该对焦平面的该距离，模糊化该像素，以获得该浅景深影像。4.根据权利要求3所述的产生浅景深影像的方法，其中模糊化该像素的程度与所计算该像素与该对焦平面的该距离呈正比。5.根据权。
5、利要求1所述的产生浅景深影像的方法，其中在估测各所述像素的该深度信息的步骤之后，还包括：比较所述像素的深度信息，以辨识该左眼影像及该右眼影像中的至少一物件，其中各个所述物件具有深度信息相近的多个相邻像素。6.根据权利要求5所述的产生浅景深影像的方法，其中各个所述物件中所述相邻像素的深度信息的一差值小于一预设值。7.根据权利要求5所述的产生浅景深影像的方法，其中依据该左镜头及该右镜头拍摄的该焦距以及所估测所述像素的深度信息，模糊化该左眼影像或该右眼影像中的所述像素，以获得该浅景深影像的步骤还包括：计算各个所述物件的一模糊程度；以及依据该左镜头及该右镜头拍摄的该焦距以及该物件的该模糊程度，扩大模糊。
6、化该左眼影像或该右眼影像中的该物件，以获得该浅景深影像。8.根据权利要求7所述的产生浅景深影像的方法，其中扩大模糊化该物件的一程度与所计算该物件的该模糊程度呈正比。9.一种产生浅景深影像的装置，包括：一左镜头，拍摄一左眼影像；一右镜头，拍摄一右眼影像，其中该左镜头及该右镜头具有一镜头间距；以及一处理单元，耦接该左镜头及该右镜头，计算该左眼影像及该右眼影像相对应的多个像素中各所述像素的一像差，并依据该左镜头及该右镜头拍摄该左眼影像及该右眼影像的权 利 要 求 书CN 102457740 A2/2页3一焦距、该左镜头及该右镜头的一镜头间距以及各所述像素的该像差，估测各所述像素的一深度信息，以及依据。
7、该左镜头及该右镜头的该焦距以及所述像素的深度信息，模糊化该左眼影像或该右眼影像中的所述像素，以获得一浅景深影像。10.根据权利要求9所述的产生浅景深影像的装置，其中该处理单元还包括比较所述像素的深度信息，以辨识该左眼影像及该右眼影像中的至少一物件，并计算各个所述物件的一模糊程度，而据以扩大模糊化该左眼影像或该右眼影像中的该物件，以获得该浅景深影像，其中所辨识的各个所述物件具有深度信息相近的多个相邻像素。权 利 要 求 书CN 102457740 A1/5页4产生浅景深影像的方法及装置技术领域0001 本发明涉及一种影像处理方法及装置，尤其涉及一种产生浅景深影像的方法及装置。背景技术0002 随。
8、着光学技术的进步，可调整光圈、快门甚至可更换镜头的相机逐渐普及，相机的功能也趋于多样化。其中，在使用相机拍摄影像时，为了突显所拍摄影像中的主题，一般会采用所谓浅景深的拍摄技巧，将相机透镜的焦距聚集到影像中的特定距离范围，使得此距离范围内的物件可以清楚成像，同时也使得此距离范围外的物件逐渐模糊。0003 然而，一般相机镜头所能制造出的浅景深效果相当有限，若要获得较佳的浅景深效果，则需倚赖大孔径的镜头来加强远距离物件的模糊化，而让清楚成像的主题得以从背景中突显出来。然而，大孔径镜头的体积庞大且价格昂价，并非一般消费型相机所能配备。0004 另一种制造浅景深效果的方式则有赖于影像后制，利用影像处理的。
9、方式估测影像中各个物件的深浅关系，然后再据此加强远距离物件的模糊程度，以突显主题。然而，此种方式只能凭借一般认知来判别物件的模糊程度，对于不在对焦范围内的物件，其模糊程度则难以估测而可能造成相当大的误差，结果导致处理后的影像产生不连续或是不够自然的问题。0005 因此，如何能够取得影像中物件的正确深度信息，以协助辨别各个物件的模糊程度并制造较佳的浅景深效果，实为本领域技术所要解决的一大问题。发明内容0006 本发明提供一种产生浅景深影像的方法及装置，可提高虚拟浅景深影像的真实性。0007 本发明提供一种产生浅景深影像的方法，适用于包括左镜头及右镜头的立体成像系统。此方法分别利用左镜头及右镜头拍。
10、摄左眼影像及右眼影像，接着计算左眼影像及右眼影像相对应的多个像素中各个像素的像差，然后依据左镜头及右镜头拍摄左眼影像及右眼影像的焦距、左镜头及右镜头的镜头间距以及各个像素的像差，估测各个像素的深度信息。最后则依据左镜头及右镜头的焦距以及所估测各个像素的深度信息，将左眼影像或右眼影像中的像素模糊化，以获得浅景深影像。0008 在本发明的一实施例中，上述计算左眼影像及右眼影像相对应的像素中各个像素的像差的步骤包括依据各个像素在左眼影像及右眼影像中的位置，计算各个像素在左眼影像及右眼影像中的位移，以作为像差。0009 在本发明的一实施例中，上述依据左镜头及右镜头拍摄左眼影像及右眼影像的焦距以及所估测。
11、各个像素的深度信息，将左眼影像或右眼影像中的像素模糊化，以获得浅景深影像的步骤包括利用左镜头及右镜头的焦距求得一对焦平面，并依据各个像素的深度信息，计算各个像素与对焦平面的距离，之后则依据各个像素与对焦平面的距离，将此像素模说 明 书CN 102457740 A2/5页5糊化，以获得浅景深影像。其中，所述将像素模糊化的程度与所计算像素与对焦平面的距离呈正比。0010 在本发明的一实施例中，在上述估测各个像素的深度信息的步骤之后，还包括比较各个像素的深度信息，以辨识左眼影像及右眼影像中的至少一个物件，其中各个物件具有深度信息相近的多个相邻像素。其中，各个物件中相邻像素的深度信息的差值小于预设值。。
12、0011 在本发明的一实施例中，上述依据左镜头及右镜头拍摄左眼影像及右眼影像的焦距以及所估测像素的深度信息，将左眼影像或右眼影像中的像素模糊化，以获得浅景深影像的步骤还包括计算各个物件的模糊程度，并依据该左镜头及该右镜头拍摄的该焦距以及该物件的模糊程度，扩大模糊化左眼影像或右眼影像中的物件，以获得浅景深影像。其中，扩大模糊化物件的程度与所计算物件的模糊程度呈正比。0012 本发明提供一种产生浅景深影像的装置，其包括左镜头、右镜头及处理单元。其中，左镜头用以拍摄左眼影像，右镜头则用以拍摄一右眼影像，而此左镜头及右镜头具有一镜头间距。处理单元耦接左镜头及右镜头，而用以计算左眼影像及右眼影像相对应的。
13、多个像素中各个像素的像差，并依据左镜头及右镜头拍摄左眼影像及右眼影像的焦距、左镜头及右镜头的镜头间距以及各个像素的像差，估测各个像素的深度信息，以及依据左镜头及右镜头的焦距以及各个像素的深度信息，将左眼影像或右眼影像中的像素模糊化，以获得浅景深影像。0013 在本发明的一实施例中，上述的处理单元还包括比较各个像素的深度信息，以辨识左眼影像及右眼影像中的至少一个物件，并计算各个物件的模糊程度，而据以扩大模糊化左眼影像或右眼影像中的物件，以获得浅景深影像，其中所辨识的各个物件具有深度信息相近的多个相邻像素。0014 基于上述，本发明的产生浅景深影像的方法及装置，通过立体成像系统所撷取的左右眼影像的。
14、像差，估测影像中各个像素的深度信息，并依据此深度信息对影像中的各个像素或物件进行模糊化处理，而可产生较佳的虚拟浅景深影像。0015 为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。附图说明0016 图1是依照本发明一实施例所示的利用立体成像系统拍摄影像的范例。0017 图2(a)(c)是依照本发明一实施例所示的利用立体成像系统拍摄影像的范例。0018 图3是依照本发明一实施例所示的产生浅景深影像的装置方块图。0019 图4是依照本发明一实施例所示的产生浅景深影像的方法流程图。0020 图5是依照本发明一实施例所示的模糊化影像中像素的方法流程图。0021 图6是。
15、依照本发明一实施例所示的产生浅景深影像的方法流程图。0022 主要附图标记说明：0023 102、104、106：物件；110、310：左镜头；0024 120、320：右镜头；0025 210a230a、210b230b、210230：影像；说 明 书CN 102457740 A3/5页60026 300：拍摄装置；330：处理单元；0027 S410S440：本发明一实施例的产生浅景深影像的方法步骤；0028 S510S530：本发明一实施例的模糊化影像中像素的方法步骤；0029 S610S660：本发明一实施例的产生浅景深影像的方法步骤。具体实施方式0030 立体成像系统的双镜头可拍摄同。
16、一区域不同角度的影像，而结合左、右镜头所拍摄影像间的像差信息以及可预知的镜头间距、焦距等信息，即可准确估测出影像中各个像素或物件的深度信息。本发明即通过立体成像系统估测影像中物件深度信息，并据以对影像中的各个物件进行扩大模糊化的处理，从而产生具有较佳浅景深效果的影像。0031 详言之，图1及图2(a)(c)是依照本发明一实施例所示的利用立体成像系统拍摄影像的范例。请同时参照图1及图2(a)(c)，本实施例的立体成像系统包括具有固定视野的左镜头110及右镜头120(如图1所示)。本实施例即在此左镜头110及右镜头120的视野内，立体成像系统前方不同距离的位置分别摆设尺寸相同的物件(即物件102、。
17、104及106)。对于物件102、104及106，分别利用左镜头110及右镜头120拍摄所得的影像则如图2(a)中的影像210a230a以及图2(b)中的影像210b230b。其中，若将相同物件的影像重叠显示则可得图2(c)所示的影像210230，此影像210230中重叠显示的物件间的位移即为像差(disparity)。由图2(c)可知，距离愈远的物件(例如物件106)，其在两个镜头所拍摄影像间的像差也越小；反之，距离愈近的物件(例如物件102)，其在两个镜头所拍摄影像间的像差则越大。而依据此处左镜头110及右镜头120所拍摄影像间的像差，以及左镜头110及右镜头120的镜头间距与焦距，即可估。
18、测出影像中各个物件或像素的深度信息。0032 本发明即根据上述原理，提供一种产生浅景深影像的方法及装置。图3是依照本发明一实施例所示的产生浅景深影像的装置方块图。请参照图3，本实施例的拍摄装置300例如是立体成像系统，其包括左镜头310、右镜头320及处理单元330。0033 左镜头310与右镜头320中均配置有感光元件(未显示)，用以分别感测进入左镜头310与右镜头320的光线强度，进而产生左眼影像及右眼影像。所述的感光元件例如是电荷耦合元件(Charge Coupled Device，CCD)、互补性氧化金属半导体(Complementary Metal-Oxide Semiconduct。
19、or，CMOS)元件或其他元件，在此不设限。此外，左镜头310与右镜头320之间例如具有约为77毫米的镜头间距，而可模拟真实人眼间的距离。0034 处理单元330例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的微处理器(Microprocessor)、数字信号处理器(Digital SignalProcessor，DSP)、可程序化控制器、专用集成电路(Application SpecificIntegrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其他类似装置，其耦接左镜。
20、头310及右镜头320，而用以对上述左镜头310及右镜头320所撷取的左眼影像及右眼影像进行处理，以获得浅景深影像。0035 详言之，图4是依照本发明一实施例所示的产生浅景深影像的方法流程图。请同时参照图3及图4，本实施例的方法适用于图3的拍摄装置300，适于在使用者利用拍摄装置300拍摄影像时，产生具有浅景深效果的输出影像，以下即搭配图3的拍摄装置300的各说 明 书CN 102457740 A4/5页7项元件，说明本实施例方法的详细步骤：0036 首先，分别利用左镜头310及右镜头320拍摄左眼影像及右眼影像(步骤S410)。其中，左镜头310及右镜头320例如是采用相同的参数拍摄影像，所。
21、述参数包括焦距、光圈、快门、白平衡等，本实施例并不设限。0037 接着，由处理单元330计算左眼影像及右眼影像相对应的多个像素中各个像素的像差(步骤S420)。详言之，本实施例以像素为单位来计算像差，而计算方式则类似于图2(c)所示的方式，依据左眼影像及右眼影像中相对应像素(例如物件106的最右端像素)在影像(即影像210a及210b)中的位置来计算此像素在影像中的位移，以作为此像素的像差。0038 然后，依据左镜头310及右镜头320拍摄左眼影像及右眼影像的焦距、左镜头310及右镜头320的镜头间距以及上述计算所得各个像素的像差，处理单元330即可估测各个像素的深度信息(步骤S430)。详言。
22、之，由图1及图2(a)(c)所示的范例可知，左、右眼影像中相对应像素的像差是由镜头焦距(决定影像大小)、镜头间距(决定影像重叠范围)以及该像素对应物件与镜头间的距离(即深度信息，决定影像中物件的大小)而来决定，这些参数之间存在着某种关系，而记载此关系的关系表可通过在拍摄装置300出厂前预先测试而得。因此，当使用者实际使用拍摄装置300拍摄影像并计算出影像中像素的像差时，即可利用预先建立的关系表查询而得。0039 最后，由处理单元330依据左镜头310及右镜头320的焦距以及所估测各个像素的深度信息，将左眼影像或右眼影像中的像素模糊化，以获得浅景深影像(步骤S440)。详言之，浅景深效果的目的就。
23、是要维持对焦范围内的物件清晰，并将对焦范围外的物件依其距离远近逐渐模糊化，才能够突显出对焦范围内的物件。0040 举例来说，图5是依照本发明一实施例所示的模糊化影像中像素的方法流程图。请参照图5，本实施例由处理单元330利用左镜头310及右镜头320的焦距求得一个对焦平面(步骤S510)，并依据上述所求得各个像素的深度信息，计算像素与对焦平面的距离(步骤S520)，最后则可依据各个像素与对焦平面的距离，对像素进行模糊化处理，以获得浅景深影像(步骤S530)。其中，上述模糊化像素的程度例如是与所计算像素与对焦平面的距离呈正比，意即，距离愈近模糊化程度愈轻，距离越远模糊化程度愈重。此外，上述的模糊。
24、化处理例如是采用模糊化滤镜(blur filter)对目标像素及其周围像素的像素值进行加权平均，而所使用滤镜的尺寸及种类则可由处理单元330依照目前的拍摄模式自动选定或是由使用者依照拍摄环境自由选定，在此不设限。0041 由于上述浅景深影像的产生方法使用准确的像素深度信息来实施模糊化处理，因此其所产生的影像也具有较佳的浅景深效果，而大幅提高虚拟浅景深影像的真实性。0042 值得一提的是，除了上述针对影像中各个像素进行模糊化处理的方式之外，本发明还包括针对影像中的各个实体物件进行模糊化处理，同样可达到本发明提高浅景深效果的目的，以下则再举一实施例详细说明。0043 图6是依照本发明一实施例所示的。
25、产生浅景深影像的方法流程图。请同时参照图3及图6，本实施例的方法适用于图3的拍摄装置300，适于在使用者利用拍摄装置300拍摄影像时，产生具有浅景深效果的输出影像，以下即搭配图3的拍摄装置300的各项元件，说明本实施例方法的详细步骤：说 明 书CN 102457740 A5/5页80044 首先，分别利用左镜头310及右镜头320拍摄左眼影像及右眼影像(步骤S610)，接着由处理单元330计算左眼影像及右眼影像相对应的多个像素中各个像素的像差(步骤S620)，然后依据左镜头310及右镜头320拍摄左眼影像及右眼影像的焦距、左镜头310及右镜头320的镜头间距以及上述计算所得各个像素的像差，估测。
26、各个像素的深度信息(步骤S630)。上述步骤S610S630的详细内容与前述实施例中的步骤S410S430相同或相似，在此不再赘述。0045 与前述实施例不同的是，本实施例在处理单元330估测出各个像素的深度信息之后，进一步比较这些像素的深度信息，以辨识出左眼影像及右眼影像中的至少一个物件(步骤S640)。其中，由处理单元330所辨识出的各个物件均具有深度信息相近的多个相邻像素，而所谓的深度信息相近即是指物件中的各个相邻像素彼此之间的深度信息的差值小于一个预设值，而具有此种特征的影像区块合理认为是一个独立的物件。此外，在本发明的另一实施例中，处理单元330更可同时参考各个像素的像素值，来辨识影。
27、像中的物件，例如通过互相连接的像素区块的轮廓来辨识物件，本实施例不限定其实施方式。0046 接着，处理单元330即针对所辨识出的各个物件，计算其模糊程度(步骤S650)，并依据左镜头310及右镜头320的焦距以及所计算各个物件的模糊程度，对左眼影像或右眼影像中的对应物件进行扩大模糊化的处理，以获得浅景深影像(步骤S660)。其中，处理单元330例如是依据左镜头310及右镜头320的焦距求得对焦平面，而依照各个物件的深度信息，对位于对焦平面外的物件进行扩大模糊化处理，并维持对焦平面内的物件的清晰程度。上述扩大模糊化物件的程度例如是与所计算该物件的模糊程度呈正比，意即，愈不模糊的物件模糊化程度愈轻。
28、，愈模糊的物件则加重模糊化，由此即可获得较佳的浅景深效果。0047 综上所述，本发明的产生浅景深影像的方法及装置因采用立体成像系统所拍摄的左右眼影像来估测影像中像素或物件的深度信息，因此可获得准确的深度信息估测结果，而将此结果应用在影像的模糊化上，则可获得较佳的浅景深效果，而大幅提高虚拟浅景深影像的真实性。0048 虽然本发明以实施例揭示如上，但其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，可作任意改动或等同替换，故本发明的保护范围应当以本申请权利要求所界定的为准。说 明 书CN 102457740 A1/4页9图1图2(a)图2(b)图2(c)图3说 明 书 附 图CN 102457740 A2/4页10图4说 明 书 附 图CN 102457740 A10。