《在显示器上显示立体图像对以降低观看不适的方法和显示设备.pdf》由会员分享,可在线阅读,更多相关《在显示器上显示立体图像对以降低观看不适的方法和显示设备.pdf(20页珍藏版)》请在专利查询网上搜索。
1、(10)申请公布号 CN 102714751 A(43)申请公布日 2012.10.03CN102714751A*CN102714751A*(21)申请号 201180006063.2(22)申请日 2011.01.1312/657,045 2010.01.13 USH04N 13/04(2006.01)G02B 27/22(2006.01)(71)申请人夏普株式会社地址日本国大阪府大阪市阿倍野区长池町22番22号545-8522(72)发明人潘昊 袁昌(74)专利代理机构中科专利商标代理有限责任公司 11021代理人王波波(54) 发明名称在显示器上显示立体图像对以降低观看不适的方法和显示设。
2、备(57) 摘要一种在显示器上显示立体图像对的方法。所述方法包括:接收形成所述立体图像对的图像对,其中一幅图像是左图像,另一幅图像是右图像。然后基于左图像的左区域与右图像的右区域之间的匹配来估计左图像和右图像之间的视差。基于所估计的视差来调整左图像和右图像之间的视差。基于调整后的视差,来修改要显示在显示器上的左图像和右图像中的至少一个。(30)优先权数据(85)PCT申请进入国家阶段日2012.07.13(86)PCT申请的申请数据PCT/JP2011/050907 2011.01.13(87)PCT申请的公布数据WO2011/087145 EN 2011.07.21(51)Int.Cl.权利。
3、要求书2页 说明书9页 附图8页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 2 页 说明书 9 页 附图 8 页1/2页21.一种在显示器上显示立体图像对的方法,所述方法包括:(a)接收形成所述立体图像对的图像对,其中一幅图像是左图像,另一幅图像是右图像;(b)估计所述左图像和所述右图像之间的视差,其中视差估计基于所述左图像的左区域与所述右图像的右区域之间的匹配,所述匹配根据相似度标准,并且仅使用在所述左区域和所述右区域之间具有足够相似度的像素;(c)基于所估计的视差来调整所述左图像和所述右图像之间的视差;(d)基于调整后的视差,来修改要在所述显示器上显示的所述左图像和。
4、所述右图像中的至少一个。2.一种在显示器上显示立体图像对的方法,所述方法包括:(a)接收形成所述立体图像对的图像对,其中一幅图像是左图像,另一幅图像是右图像;(b)估计所述左图像和所述右图像之间的视差,其中视差估计基于所述左图像的左区域与所述右图像的右区域之间的匹配,所述匹配进一步基于与所述左图像和所述右图像中的至少一个具有足够相似度的另一左区域和另一右区域中的至少一个;(c)基于所估计的视差来调整所述左图像和所述右图像之间的视差;(d)基于调整后的视差来修改要在所述显示器上显示的所述左图像和所述右图像中的至少一个。3.一种在显示器上显示立体图像对的方法,所述方法包括:(a)接收形成所述立体图。
5、像对的图像对,其中一幅图像是左图像,另一幅图像是右图像;(b)估计所述左图像和所述右图像之间的视差,其中视差估计基于所述左图像的左区域与所述右图像的右区域之间的匹配;(c)基于所估计的视差来调整所述左图像和所述右图像之间的视差,其中所述调整进一步基于模型,所述模型基于显示特性以及观看者偏好;(d)基于调整后的视差来修改要在所述显示器上显示的所述左图像和所述右图像中的至少一个。4.根据权利要求1至3中任一项所述的方法,其中,所述立体图像包括水平视差。5.根据权利要求1至3中任一项所述的方法,其中,所述视差估计提供了L至R视差映射、R至L视差映射、R至L视差匹配误差以及L至R视差匹配误差,其中L至。
6、R视差映射用于给出所述左图像中每个像素的视差,R至L视差映射用于给出所述左图像中每个像素的视差。6.根据权利要求5所述的方法,其中,所述调整后的视差进一步基于观看者偏好,以增大或减小所述所估计的视差的量。7.根据权利要求6所述的方法,其中,所述调整后的视差进一步基于人类视觉系统HVS模型,所述HVS模型基于所述显示器的显示特性。8.根据权利要求7所述的方法,其中,对所述左图像和所述右图像中的至少一个的所述修改基于所述所估计的视差的增大量或减小量。9.根据权利要求7所述的方法,其中,所述显示特性包括观看者的观看条件和所述显权 利 要 求 书CN 102714751 A2/2页3示器的显示配置中的。
7、至少一个。10.根据权利要求1至3中任一项所述的方法,其中,所述视差估计基于单一视差矢量。11.根据权利要求1所述的方法,其中,所述相似度标准基于所述左区域和所述右区域之间的RGB像素值。12.一种用于在显示器上显示立体图像对的显示设备,所述显示设备包括:接收部,用于接收形成所述立体图像对的图像对,其中一幅图像是左图像,另一幅图像是右图像;估计部,用于估计所述左图像和所述右图像之间的视差,其中视差估计基于所述左图像的左区域与所述右图像的右区域之间的匹配,所述匹配根据相似度标准,并且仅使用在所述左区域和所述右区域之间具有足够相似度的像素;调整部,用于基于所估计的视差来调整所述左图像和所述右图像之。
8、间的视差;修改部,用于基于调整后的视差,来修改要在显示器上显示的所述左图像和所述右图像中的至少一个。13.一种在显示器上显示立体图像对的显示设备,所述显示设备包括:接收部,用于接收形成所述立体图像对的图像对,其中一幅图像是左图像,另一幅图像是右图像;估计部,用于估计所述左图像和所述右图像之间的视差,其中视差估计基于所述左图像的左区域与所述右图像的右区域之间的匹配,所述匹配进一步基于与所述左图像和所述右图像中的至少一个具有足够相似度的另一左区域和另一右区域中的至少一个;调整部,用于基于所估计的视差来调整所述左图像和所述右图像之间的视差;修改部,用于基于调整后的视差来修改要在所述显示器上显示的所述。
9、左图像和所述右图像中的至少一个。14.一种在显示器上显示立体图像对的显示设备,所述显示设备包括:接收部,用于接收形成所述立体图像对的图像对,其中一幅图像是左图像,另一幅图像是右图像;估计部,用于估计所述左图像和所述右图像之间的视差,其中视差估计基于所述左图像的左区域与所述右图像的右区域之间的匹配;调整部,用于基于所估计的视差来调整所述左图像和所述右图像之间的视差,其中所述调整进一步基于模型,所述模型基于显示特性以及观看者偏好;修改部,用于基于调整后的视差来修改要在所述显示器上显示的所述左图像和所述右图像中的至少一个。权 利 要 求 书CN 102714751 A1/9页4在显示器上显示立体图像。
10、对以降低观看不适的方法和显示设备技术领域0001 本发明总体涉及在显示器上显示立体图像对以降低观看不适的方法和显示设备。背景技术0002 在平面立体显示器上观看立体内容有时会使观看者具有不适或疲劳的不愉快感觉。不适和疲劳可能至少部分地由现有平面立体显示器的局限性引起。平面立体显示器(无论是基于LCD的还是基于投影的)在同一平面表面上示出两幅图像,这两幅图像之间具有视差。通过对立体图像进行时间和/或空间复用,显示器使左眼看到立体图像之一,而右眼看到立体图像中的另一个。两幅图像的视差使观看者感觉正在观看具有深度信息的三维场景。这种观看机制与眼睛正常感知自然的三维场景的机制不同,并且可以引起眼转向-。
11、调节冲突。眼转向-调节冲突冲突使眼肌拉紧并向大脑发送模糊的信号,最终引起不适/疲劳。0003 优选的解决方案是构建一种体三维显示器来代替已有的平面立体显示器。不幸的是,很难构造这样的体显示器,也很难控制这样的显示器。0004 另一种解决方案至少部分地基于信号处理。信号处理以某种方式处理发送至平面立体显示器的立体图像对。尽管信号处理不能从根本上完全解决该问题,但是眼转向-调节冲突可以被显著减小,从而降低了不适和/或疲劳的可能性。0005 希望提供一种降低对立体图像的不适和/或疲劳的显示系统。0006 结合附图,通过以下对本发明的详细描述,将更容易理解本发明的上述和其他目的、特征和优点。发明内容0。
12、007 在本发明的一个实施例中,提供了一种在显示器上显示立体图像对的方法。所述方法包括:(a)接收形成所述立体图像对的图像对,其中一幅图像是左图像,另一幅图像是右图像;(b)估计左图像和右图像之间的视差,其中视差估计基于左图像的左区域与右图像的右区域之间的匹配,所述匹配根据相似度标准,仅使用在左区域和右区域之间具有足够相似度的像素;(c)基于所估计的视差来调整左图像和右图像之间的视差;(d)基于调整后的视差,来修改要在显示器上显示的左图像和右图像中的至少一个。0008 在本发明的另一实施例中,提供了一种在显示器上显示立体图像对的方法。所述方法包括:(a)接收形成所述立体图像对的图像对,其中一幅。
13、图像是左图像,另一幅图像是右图像;(b)估计左图像和右图像之间的视差,其中视差估计基于左图像的左区域与右图像的右区域之间的匹配,所述匹配进一步基于与左图像和右图像中的至少一个具有足够相似度的另一左区域和另一右区域中的至少一个;(c)基于所估计的视差来调整左图像和右图像之间的视差;(d)基于调整后的视差来修改要在显示器上显示的左图像和右图像中的至少一个。说 明 书CN 102714751 A2/9页50009 在本发明的另一实施例中,提供了一种在显示器上显示立体图像对的方法。所述方法包括:(a)接收形成所述立体图像对的图像对,其中一幅图像是左图像,另一幅图像是右图像;(b)估计左图像和右图像之间。
14、的视差,其中视差估计基于左图像的左区域与右图像的右区域之间的匹配;(c)基于所估计的视差来调整左图像和右图像之间的视差,其中所述调整进一步基于模型,所述模型基于显示特性以及观看者偏好;(d)基于调整后的视差来修改要在显示器上显示的左图像和右图像中的至少一个。0010 在本发明的另一实施例中,提供了一种用于在显示器上显示立体图像对的显示设备。所述显示设备包括:接收部,用于接收形成所述立体图像对的图像对,其中一幅图像是左图像,另一幅图像是右图像;估计部,用于估计左图像和右图像之间的视差,其中视差估计基于左图像的左区域与右图像的右区域之间的匹配,所述匹配根据相似度标准,仅使用在左区域和右区域之间具有。
15、足够相似度的像素;调整部,用于基于所估计的视差来调整左图像和右图像之间的视差;修改部,用于基于调整后的视差,来修改要在显示器上显示的左图像和右图像中的至少一个。0011 在本发明的另一实施例中,提供了一种在显示器上显示立体图像对的显示设备。所述显示设备包括:接收部,用于接收形成所述立体图像对的图像对,其中一幅图像是左图像,另一幅图像是右图像;估计部,用于估计左图像和右图像之间的视差,其中视差估计基于左图像的左区域与右图像的右区域之间的匹配,所述匹配进一步基于与左图像和右图像中的至少一个具有足够相似度的另一左区域和另一右区域中的至少一个;调整部,用于基于所估计的视差来调整左图像和右图像之间的视差。
16、;修改部,用于基于调整后的视差来修改要在显示器上显示的左图像和右图像中的至少一个。0012 在本发明的另一实施例中,提供了一种在显示器上显示立体图像对的显示设备,所述显示设备包括:接收部,用于接收形成所述立体图像对的图像对,其中一幅图像是左图像,另一幅图像是右图像;估计部,用于估计左图像和右图像之间的视差,其中视差估计基于左图像的左区域与右图像的右区域之间的匹配;调整部,用于基于所估计的视差来调整左图像和右图像之间的视差,其中所述调整进一步基于模型,所述模型基于显示特性以及观看者偏好;修改部,用于基于调整后的视差来修改要在显示器上显示的左图像和右图像中的至少一个。0013 结合附图,通过以下对。
17、本发明的详细描述,将更容易理解本发明的上述和其他目的、特征和优点。附图说明0014 图1示出了降低不适和/或疲劳的立体观看系统。0015 图2示出了三维映射。0016 图3示出了视差估计。0017 图4A-4C示出了掩蔽技术。0018 图5示出了映射功能。0019 图6示出了Percival舒适区。0020 图7示出了新图像的合成。0021 图8A-8C示出了图像遮挡。说 明 书CN 102714751 A3/9页60022 图9示出了丢失像素填充技术。0023 图10示出了用于降低不适和/或疲劳的显示设备。具体实施方式0024 系统提供了一种基于信号处理的技术来降低与3D观看体验有关的不适和。
18、/或疲劳。更具体地,在给定了平面立体显示器的情况下,该技术接收可能引起观看不适/疲劳的立体图像对,并输出引起更小观看不适/疲劳或不引起观看不适/疲劳的修改后的立体图像对。0025 图1示出了用于降低观看者不适的立体处理系统。该技术接收立体图像对100、110,其中一幅图像100用于左眼观看(L图像),另一幅图像110用于右眼观看(R图像);并输出修改后的立体图像对120、130,其中L图像120优选地不变,而R图像130是合成图像(RN图像)。如果输入的立体图像对中两幅图像之间某些区域具有非常大的视差,则这种大的视差可能引起严重的眼转向-调节冲突,从而使一些观众感到不适甚至疲劳。0026 如图。
19、1所示,(立体观看不适降低的框图),该技术可以包括三个主要部件,即,视差映射估计200、视差映射调整300以及R图像合成400。为了简明起见,该系统可以假定输入立体图像对已被修整为使得两幅图像之间的视差是仅仅是水平视差。在其他情况下,系统可以假定输入立体图像对在任何其他方向上被修整或不被修整,并相应地进行修改。0027 视差映射估计200输出两个视差映射:L至R映射202以及R至L映射204。L至R映射202提供了L图像中每个像素的视差,而R至L映射204提供了R图像中每个像素的视差。数据还趋向于指示遮挡区域。视差映射估计200还提供了两个视差映射的匹配误差,所述匹配误差提供了对映射数据中的置。
20、信度的度量。0028 由输入对来控制视差映射调整300中对L至R映射202以及R至L映射204的调整。不适模型302可以基于图像对202、204中估计的视差、观看条件获取304、显示特性306和/或观看者偏好(观看者偏好按钮)308,来预测不适。基于该估计,可以修改视差的量。修改可以引起全局修改、基于对象的修改、基于区域的修改等等。创建修改后的视差映射310、320集合。0029 R图像合成400基于来自视差映射调整300、视差映射估计200和输入图像对100、110的数据来合成RN图像130。以下描述视差映射估计200、视差映射调整300和R图像合成400的优选实现方式。0030 视差映射估。
21、计200输入图像对(L图像100和R图像110),并输出两个视差映射(L至R映射202和R至L映射204)。L至R视差映射202包含了L图像100中每个像素(或选定的像素)的视差,R至L映射204包含了R图像110中每个像素(或选定的像素)的视差。产生L至R映射202和R至L映射204的技术优选地在功能上是相同的。为了便于讨论,作为示例示出了L至R视差映射的产生,以类似方式产生R至L映射。0031 当产生L至R视差映射202时,视差映射估计200主要执行以下功能:在给定了已被适当修整的立体图像对的情况下,针对左图像中与真实或虚拟世界中的三维点相对应的任何像素位置xL,找到右图像中与相同三维点相。
22、对应的像素位置xR。按照这种方式,可以将左图像的左区域(即,包含像素位置xL的区域)与右图像的右区域(即,包含像素位置xR的区域)相匹配。左图像和右图像中相应像素位置之间的水平差异xR-xL称作视差,说 明 书CN 102714751 A4/9页7如图2所示(视差定义的图示)。这示出了分别映射到左图像中的位置xL和右图像中的位置xR(从垂直方向来看)的3D点。左图像中位置处xL的视差为DVxR-xL;右图像中位置处xR的视差为DVxL-xR。由于已经修整了立体图像对,所以只需要沿着水平线一维地进行对应像素的搜索。对于不同的修整或不修整,沿其他方向执行搜索。0032 视差估计可以被表征为优化以寻。
23、找使预定义的成本函数最小化或减小的一个或多个合适视差矢量。视差估计方法通常可以被分为三个不同类别之一:(1)估计单一视差矢量,(2)估计水平线的多个视差矢量,或(3)估计整个图像的多个视差矢量。0033 使用基于单一视差矢量的视差估计产生了其中仅有一个视差矢量要优化的成本函数,从而优化仅产生感兴趣像素/窗口/块/区域的一个视差矢量。为了获得分辨率mn的密集视差矢量映射,构造并优化多达mn个成本函数。一些合适的技术包括块匹配和Lucas-Kanade。0034 使用基于水平线的视差估计产生了其中水平线的多个视差矢量同时被优化的成本函数。为了获得分辨率mn的充分密集的视差矢量映射,仅构造m个成本函。
24、数,每个成本函数产生n个视差矢量。成本函数的优化有时很复杂,并且典型地是通过动态编程来实现的。0035 使用基于整个图像的视差估计产生其中整个图像的所有视差矢量都用作优化的一部分的成本函数。因此,为了获得分辨率为mn的密集视差矢量映射,构造仅一个成本函数,该成本函数同时产生mn个视差矢量。成本函数的优化在三者之中计算上最复杂,并且典型地是通过所谓最小割/最大流的全局优化方法来实现的。0036 通过使用有限计算资源而确定的实时视差估计,优选的视差估计技术是基于单一视差矢量的。这降低了计算复杂度,尽管典型地在获得的图像中具有略微更低的鲁棒性和增大的噪声。0037 图3示出了示例性视差映射估计200。
25、(视差估计部件中的多层视差估计)。基于正则化分块匹配技术来构造视差映射估计200的成本函数。正则化块匹配可以被构造为基本块匹配的扩展。基本块匹配技术的成本函数可以是分别来自左右图像的两个块/窗口之间的总体像素差。左图像中位置x0的成本函数可以被定义为:0038 0039 其中,WCx0是L图像中以x0为中心的窗口(即,左图像的另一左区域,但也可以是右图像的另一右区域),D(x,x+DV)是L图像中x处(即左图像的左区域)的像素与R图像中x+DV处(即右图像的右区域)的像素之间的单一像素差。为了提高鲁棒性,成本函数可以使用左图像中以x0为中心的窗口与右图像中以x0+DV为中心的窗口之间的像素差之。
26、和。以上仅使用像素差的等式可能不足以找到真实的视差。优选地,搜索范围中成本函数的全局最小值对应于真实视差,然而对于许多自然立体图像对而言,由于缺少纹理和/或相应的图案等,所以全局最小值并不总是对应于真实视差。0040 正则化分块匹配技术可以包括基本块匹配的等式中的正则化项P,以探究相邻视差中的空间相关性(或其他相关性度量)。具体地,成本函数可以变成:说 明 书CN 102714751 A5/9页80041 0042 其中,控制正则化项P的强度。P优选地被设置为偏向(favor)与相邻视差矢量相类似的视差矢量DV,而抑制与相邻视差矢量显著不同的DV。由于该正则化项,修改后的成本函数并不总是选择使。
27、像素匹配差异最小化的视差矢量,而是选择不仅使像素匹配差异最小化并且还接近一个或多个相邻运动矢量的视差矢量。0043 优选的修改后的正则化分块匹配提高了正则化块匹配技术的有效性。可以被用来提高有效性的因素包括:(1)相邻像素的视差矢量高度相关(如果不是严格相同的话),以及(2)基本分块匹配成本函数产生的估计误差通常是稀疏的而不是群集的。0044 在视差估计200中使用的优选成本函数为:0045 0046 这种修改后的成本函数采用正则化分块匹配的形式。第一项涉及左图像中的x0与右图像中的x0+DV在RGB像素值方面的相似度/差异度,而第二项涉及DV与其预测值之间的差异度。0047 在传统的块匹配技。
28、术中,所有像素差D(x,x+DV)都用在求和中。在求和中使用所有像素隐含地假定:所有这些像素都具有相同的视差矢量。当窗口较小时,窗口中的像素典型地属于相同的对象,该假设是可接受的。然而当窗口较大时,该假设是不可接受的。较大的窗口可能包含具有不同视差的多个对象。0048 然而在修改后的技术中,并不是WCx0中所有的单一像素差D(x,x+DV)都用在求和中。在求和中仅选择了这些像素差中的一些。可以由二元函数MskC(x)来控制这种选择。只有RGB值与左图像中的中心像素的RGB值(或其他值)足够相似的像素才包含在求和中,原因在于这些像素和中心像素很有可能属于相同的对象,从而具有相同的视差。0049 。
29、计算左图像中窗口中的每一个像素(或选定的像素)与该窗口中的中心像素(或选定的像素)之间的差异,如果该差异小于阈值SC,则该像素的MskC(x)(也可以被看作是相似度标准)是1,并选择该像素;否则,该像素的MskC(x)是0,并且不选择该像素。MskC(x)在数学上被表示为:0050 0051 图4以示例的方式示出了基于Mskc(x)的选择(说明了Mskc(x)的生成方式),该示例仅具有灰度值而不具有RGB值(出于说明的目的)。图4A示出了在像素值集合的33窗口中9个像素的灰度值。图4B示出了像素与中心像素之间的差异。也就是说,9个像素与中心像素之间的绝对差异。这提供了对一致性的度量。图4C示出。
30、了值的阈值处理(例如值为40)。图4C示出了阈值被设置为40时的Mskc(x)。这允许去除不足够相似的值,从而可以确定更优的成本函数。存在许多计算单一像素差D(x,x+DV)的方式。以下实施例是优选的技术:0052 D(x,x+DV)|RL(x)-RR(x+DV)|+|GL(x)-GR(x+DV)|+|BL(x)-BR(x+DV)|说 明 书CN 102714751 A6/9页90053 其中,RL(x)、GL(x)和BL(x)是左图像中位置x处的RGB值,RR(x)、GR(x)和BR(x)是右图像中位置x处的RGB值。0054 第二项P(DV-DVp)是正则化项,所述正则化项引起相邻视差矢量。
31、的空间一致性。输入是DV与预测的DVp之间的差异。该正则化项抑制与预测值的较大差异,其中参数控制该正则化项对整个成本函数的贡献。0055 优选技术中使用的P(DV-DVp)的一个实施例是图5所示的P(DV-DVp)|DV-DVp|(示出了P(DV-DVP)。预测DVp不仅用作搜索的初始化,还将搜索正则化。可以通过以下等式来计算预测DVp:0056 0057 其中WDx0是用于预测的窗口。尽管WDx0与WCx0均以位置x0为中心,然而WDx0和WCx0是两个不同的窗口。典型地,WDx0应当比WCx0大得多。MskD(x)可以被定义为:0058 0059 其中,MskD(x)选择像素,其中所选像素。
32、的估计视差矢量被用在求平均中。0060 传统上,在非常小的窗口中(如,33)不进行预测。由于预测基于空间上高度相关的相邻DV,所以当窗口较小时,这种假设成立。当窗口较大时,这种假设不成立。因此,视差估计部件中的预测优选地对于像素选择使用较大的窗口,如,1010或更大的窗口。仅选择RGB值与中心像素的RGB值相似的像素,原因在于这些像素与中心像素更有可能属于相同的对象,并且更有可能具有相同的视差。0061 图3示出了视差映射估计200技术的总体框图。存在用于视差映射估计的多个模块。0062 最初,对左图像和右图像进行低通滤波201。低通滤波作为预处理步骤来执行的,这出于两个主要原因。第一,针对后。
33、续空间下采样而准备抗混叠滤波。第二,去除噪声,以提高估计稳定性。可以使用任何合适的低通滤波器,例如,高斯低通滤波器。还可以设置221低通参数Ln。0063 接下来,执行203左图像和右图像的空间下采样。该操作对图像对均执行下采样,这降低了后续模块中的计算成本。还可以设置223下采样因子Mn。0064 通过根据先前视差矢量映射(“DVM”)进行预测205,根据从先前层中获得的DVM(视差映射)而产生待搜索的当前视差矢量的预测DVp。如上所述,DVp不仅用作当前层中搜索的起始点,还用作抑制与DVp较大偏离的正则化项。0065 成本函数最小化207通过使相应的成本函数最小化来找到视差矢量。作为一个实。
34、施例,该技术使用搜索来找到成本函数的最小值:0066 0067 DVM 209的空间上采样将DVM上采样到输入图像的分辨率。由于输入图像已经在空间下采样模块中被下采样以降低计算成本,所以在成本函数最小化模块中计算的DVM仅说 明 书CN 102714751 A7/9页10具有下采样后的左图像的分辨率,其低于原始图像的分辨率。可以使用任何合适的上采样技术,如,双线性内插。0068 该技术可以是多层的,以不同参数多次运行以上5个模块。通过调整每一层中的参数,多层结构试图平衡多个矛盾的需求,如,计算成本、运行速度、估计精度、大/小对象以及估计鲁棒性。具体地,在层n中,可以重新设置以下参数:0069 。
35、在方框201中使用的低通滤波参数Ln;0070 在方框203和209中使用的下采样和上采样因子Mn;0071 在方框205中使用的用于计算预测的窗口尺寸225;0072 在方框207中使用的用于块匹配的窗口尺寸227;0073 在方框207中使用的在块匹配中的搜索步长229;以及0074 在方框207中使用的在块匹配中的搜索范围231。0075 视差映射调整300输入L至R映射和R至L映射以及相应的匹配误差(如果需要的话),并输出新的视差映射:L至Rn映射和R至Ln映射。视差映射的调整基于两个因素,即,模型302的预测和/或观看者偏好308。0076 观看者偏好主要是指观看者想要如何调整显示器。
36、上的立体3D内容(来自左图像和右图像)。如果观看者不喜欢3D内容中的原始深度,观看者可以增大屏幕上的视差(增大所估计的视差),这将引起更强的深度。观看着还可以减小屏幕上的视差(减小所估计的视差),这将引起更弱的深度。本发明因此允许观看者按照他们选择的任何方式来调整3D深度。0077 模型302基于人类视觉系统对立体刺激物、显示特性/显示配置、和/或观看条件的响应。例如,图6中针对分辨率为19201080的46”立体显示器,图形地示出了Percival舒适区。0078 特定显示器的上述显示特性是指例如显示器的尺寸、图像分辨率(有多少个像素)以及亮度。模型302可以是根据人类视觉系统(HVS)的科。
37、学调查结果而获得的规则集合。HVS模型考虑显示特性(具体地,尺寸和分辨率),并引导视差调整过程以为用户提供舒适的3D观看体验。例如,如果模型检测到显示器上过度的正视差,则可以减小视差(按比例缩小)以降低观看不适。0079 上述的观看条件可以是指观看者从前面观看显示器的情况。观看条件涉及例如观看距离(从观看者到显示器中心的3D距离)和观看角度。0080 视差映射调整可以将输出视差映射调整到Percival舒适区之内。可以通过以下缩放来完成调整:L至Rns*L至R,并且,R至Lns*R至L,其中,s是0到1之间的缩放因子。0081 这种调整后的视差是指相对于上述观看者偏好增大或减小的新视差值。按照这种方式,可以在左图像和右图像之间产生视差映射。视差映射中特定像素位置的值是可以基于用户的选择或基于自动调整来增大或减小的视差值。在修改了视差映射中的值之后,通过新视图合成步骤400来重新产生右图像。0082 新R图像合成400包括对以下内容的输入:(1)图像对,(2)新视差映射,以及(3)视差映射的匹配误差;并且新R图像合成400确定合成的新R图像。图7示出了框图。0083 参考图7(方框107:新R图像的合成),两个方框350和355分别基于L至Rn和说 明 书CN 102714751 A10。