多平面立体显示系统及采用三维去混叠的操作方法 本发明涉及三维(3D)成像,更具体地说是涉及一种利用3D去混叠方式在空间中产生立体三维图像的多平面显示系统。
众所周知,三维(3D)图像可以制造出来并且看上去可显现在空间之中。但一般都需要使用如护目镜和/或头戴物一类的特制眼镜,而这类特制眼镜会成为一种累赘。另外,对人眼睛来说这类特制眼镜必竟是一个附加物,因此它们会减弱观看实际3D图像的感觉。使用这类特制眼镜还会造成眼睛疲劳,而只有通过限制观看图像地时间来缓减眼睛疲劳,而且这类特制眼镜的体积一般比较大,因此戴着会感觉不舒服。
于是,就产生了一种可产生立体3D图像并可将其显示出来而无需使用具有上述缺陷的特制眼镜的需求。
其他立体系统利用例如自发光立体元素也就是三维像素(voxel)来产生这种立体3D图像。位于加利福尼亚州山景市的三维技术实验室的(3D Technology Laboratories of Mountain View,California)系统就是一个例子,在该系统中,红外激光束在一渗入稀土杂质离子的固态玻璃或塑料体中相互交汇而产生这种以三维象素为基础的图像。但是,由两个不可见的红外激光束产生可见光的非线型效应使其效率很低仅约为1%,因此要在大型显示器中产生明亮的图像就需要大功率的激光。而这种大功率激光对眼睛具有潜在的危害性,因此需要在显示器周围安装一个很有效果的防护罩。另外,扫描激光的分辨率一般很低而使得三维象素个数较少,而且立体机制的实体性质使得整个系统具有很大的重量。
位于马萨诸塞州剑桥市的阿客里提系统有限公司(ActualitySystems,Inc.of Cambrudge,Massachusetts)的另一个立体显示系统采用了一个激光二极管线性阵列,通过一快速旋转的多面反射镜将二极管反射到了一个快速旋转的投影屏上。但是,必须小心地使这种尺寸相对大的快速旋转的部件保持平衡以避免发生振动和可能是灾难性的损坏。另外,显示器中的三维像素的尺寸、形状和方向都取决于它们的位置,从而导致了依赖于位置的显示分辨率。
位于佛罗里达州墨尔本的尼奥斯技术有限公司(Neos Technologies,Inc.ofMelbourne,Florida)提供了另一种立体显示系统,该系统采用声光方式将激光束扫描到一快速旋转的螺旋状投影屏幕上。这一庞大的旋转部件需要独立于显示动作而小心翼翼地保持平衡。这种激光仪系统具有低分辨率和低速率的特点,这就大大地限制了三维象素的个数。另外,显示器中的三维像素的尺寸、形状和方向都取决于它们的位置,从而导致了依赖于位置的显示分辨率。最后,显示器的极为显目的非直线特性大大地增加了计算不同的二维图像的处理要求。
还有其他类型的公知的3D成像系统,例如立体显示器,这种立体显示器给各个眼睛提供存在细微差别的一个画面的不同透视图。然后大脑再将分立的图像合为一个单一的3D图像。一些系统仅提供单一的一个观察点且还需要特制的眼睛配戴物,或者可以通过实施头部跟踪来避免使用眼睛配戴物,但那样3D图像只能被单个的一个观察者看到。或者,有的显示器可以为在不同的角度的多个观察区提供在各个观察区的适合于那一观察点的图像,例如多观察点自动立体显示器就是这样的。用户的两个眼睛必须处在不同的但又相邻的观察区内来观看3D图像,而且观察区必须非常窄以防止当观察者相对于显示器移动时出现不连续的跳跃。一些系统只有水平视差/环视。另外,深度焦点会聚差异很快就会导致眼睛疲劳从而大大地限制了观察时间。另外,立体显示器的视野有一定的限制从而不能实际用于如虚拟(virtual)现实和/或力反馈界面(forcefeedback interface)等直接的交互技术。
头戴式显示器(HMD)通常用于虚拟现实应用中,在该显示器中一对视频显示器为各个眼睛呈现合适的透视图。一个HMD一次只能用于一个人,且每只眼睛的视野范围有限。必须采用头部跟踪来提供视差。
其他的显示系统还包含全息显示器,在该显示器中相干激光与一组被称为全息光栅的非常细的线栅相互作用而生成图像。光栅改变入射光的方向和强度以使其看起来是来自被显示物体的位置。但是,一般的光学全息包含有大量的信息,因此要以高速率更新全息显示所进行的运算是巨大的。对于具有较大尺寸和足够视野范围的全息显示器,像素个数一般大于2亿5千万。
因此,需要一种其运算量可以为处理系统所接受的且具有改善的可视性和可实施性的高品质的立体3D成像技术。
另外,在三维成像中,离散像素的使用由于象素化使得部分图像会呈现锯齿状,例如在立体3D图像的不连续深度间的过渡中就会出现上述情况。因此也需要一种可以柔化立体3D图像各部分间的过渡过程的方法。
本发明公开了一种用于产生立体三维图像的多平面立体显示系统(MVD)及其操作方法。该MVD系统包含一个多表面光学装置,该装置又包含排列成阵列形式的多个分立光学元件;一用于有选择地将一组图像投影在多表面光学装置的各个光学元件上以生成多表面光学装置中第一个可见的立体三维图像的图像投影仪;和一用于利用多表面光学装置中的第一个立体三维图像来产生好象浮在离开多表面光学装置的某一位置处的第二个可见的立体三维图像的浮动图像产生器。
多表面光学装置中的各个分立光学元件的每一个包含有一个具有可控变化半透明性的液晶元件。还提供有用于控制液晶元件的半透明度的光学元件控制器,以控制该液晶元件的半透明性,以使一分立的液晶元件得到控制而具有一种用来接收和显示来自图像投影仪的图像组中的各自图像的不透明光散射状态,而将其余的液晶元件控制成大体上透明的状态以允许看到在不透明的液晶元件上所显示的图像。
光学元件控制器在一特定成像周期期间以一高速率扫过液晶元件,以从中选择一个液晶元件并使之在一特定成像周期内处于不透明光散射状态中,且使不透明光散射状态移过液晶元件用于连续接收图像组而产生出具有三维深度的立体三维图像。
图像投影仪将图像组投影到多表面光学装置中以在多表面光学装置中以一大于35Hz的可以防止出现人感觉得到的图像闪烁的频率形成完整的第一个立体三维图像。例如,空间频率可以为约40Hz。例如在一个实施例中,如果采用了约50个光学元件且空间频率为约40Hz,那么图像投影仪需以2kHz的频率将各个图像组投影到各自的光学元件上。
图像投影仪包含一用于输出图像组的投影透镜。该投影仪也包含一用于将各个图像组聚焦到各自光学元件上的以控制来自投影透镜的图像组的投影深度及分辨率的自适应光学聚焦系统。另外或此外,图像投影仪包含多个激光源以分别用来发射红、绿、和蓝色激光,从而可以以多种颜色产生和投影图像组。
另外,采用一种3D去混叠方法来光滑在多表面光学装置中的光学元件之间过渡区的投影图像部分。去混叠对在光学元件之间过渡区所显示的像素进行调整,以便像素的颜色值可作为像素与光学元件之间距离的函数来调整,从而在立体三维图像部分间产生一光滑的过渡。
附图的简要说明:
图1显示的是这里所公开的多平面立体显示系统;
图2显示了一基于液晶的呈透明态的光学元件;
图3显示的是图2所示光学元件处于散射不透明的状态中;
图4-7显示的是形成一立体3D图像的多个光学元件上的图像连续显示;
图8显示了一薄膜态的光调制器;
图9显示的是一用于图像投影仪中的自适应光学系统;
图10显示的是图9所示自适应光学系统与一个多光学元件系统相结合的情况;
图11显示的是铁电液晶(FLC)空间光调制器(SLM)中的一个像素的侧剖视图;
图12-14显示了图11所示的FLCSLM的座标轴的角度取向;
图15显示了用于产生多平面数据组的方法的流程图;
图16显示了在多个光学元件中的一个三维象素的3D去混叠处理;
图17表示的是没有经过3D去混叠的三维象素的显示情况;
图18表示的是经过3D去混叠的三维象素的显示情况;
图19表示的是有和没有3D去混叠情况下的视深度之间的比较图;
图20表示的是实施3D去混叠的方法的流程图;
图21-22表示的是不进行去混叠处理的包含半透明前景物体的3D图像的产生情况;
图23-34表示的是进行了去混叠处理的包含半透明前景物体的3D图像的产生情况。
优选实施例的详细描述
图1显示的是一个多平面立体显示系统10,该系统可产生实质上为立体的三维(3D)图像,即,所产生的3D图像占据一个具体的、有限的3D体积,因此真正存在于图像出现的位置。因此,这样的3D图像是真正的3D图像,不同于例如立体照相等仅仅是由于视觉所产生的光学错觉而被认为是3D的图像。
由系统10所产生的3D图像具有很高的分辨率且能以多种颜色显示出来,因此具有与观看真实物体相关的特点。例如,这样的3D图像可以具有水平向和垂直向的活动视差或环视性,即观察者12活动后仍接收到视觉光线而维持3D图像的3D形象。
另外,观察者12不必要戴任何例如立体成像面罩或眼镜等特制的护目镜来观看3D图像,这一优点就避免了戴护目镜,护目镜对观察者来说是一个拖累、还会引起眼睛疲劳等。而且,所述3D图像在水平方向和垂直方向都具有一个连续的观察视野,在一定情况下可视的水平视野范围可为3600。另外,观察者在距离MVD系统10的任意远处都不会失去3D感。
多平面立体显示系统10包含一用于从例如计算机等图像数据源16处接收3D图像数据的界面接口14:所述计算机可以与系统结合成一体,也可通过通讯接口实现与系统10的远程连接,也可与常规的远程通讯连接器可例如互联网(Internet)等任何网络相连。界面接口14可以是PCI总线,也可以是加利福尼亚州圣克拉拉市的因特尔公司(INTEL of SantaClara,California)可以提供的加速图像通道(AGP)。还可使用下述的其他界面接口:以IEEE1014标准为标准的VME后板互连总线系统、小计算机系统接口(SCSI)、在苹果马斯图克(Apple Macintosh)计算机及其他系统中使用的NuBus高性能扩展总线系统、工业标准构造(Industry StandardArchitecture)(ISA)接口、扩展ISA(Extended ISA)(EISA)接口、通用系列总线(Universal Serial Bus)(USB)接口以及现已按照IEEE 1394标准制成为标准化的且能提供计算机中的高速通讯和同步实时数据服务的火线(FireWire)总线接口,也可以是其他通用的或专用接口。
接口14将3D图形数据传输到多平面立体显示系统(MVD)控制器18,该控制器包含一级高速的图像缓冲器。MVD控制器18将可视成为立体3D图像的三维图像转换成一系列的取自3D图像的不同深度的二维图像片段。然后,对应于图像片段的帧数据被快速地从MVD控制器18的高速图像缓冲器中送到图像投影仪20。
该MVD控制器18和接口14的功能可在一计算机中实施,例如加利福尼亚州山景市硅图公司(SILICON GRAPHICS of MountainView,California)可以提供的欧克坦图形工作站(OCTANE graphicsworkstation)。也可使用其他通用的以计算机为基础的系统,例如采用195MHz精简指令集计算(RISC)微处理器的个人计算机(PC)。相应地,应理解为所公开的MVD系统10及其元件也不限于用特定的硬件和/或软件来实施。
图形数据源16可选择为一个计算机的图形应用程序,所述程序操作一应用程序接口(API)及一设备驱动器,以便以适当的格式通过诸如接口14等的输入/输出(I/O)装置将3D图像数据提供给计算机的MVD控制器18。所述MVD控制器18可以是应用于个人计算机并选择使用特定数据处理扩展卡的硬件和/或软件。
例如,MVD控制器18中的扩展卡可以包含用于将来自图形数据源16的3D数据组转换成系列的、形成了对应于片段24-30的一个多平面数据组的二维图像片段的图形硬件和/或软件。这样就以实时或近于实时的更新速率产生可用于例如外科手术模拟、空中交通控制、或军事演习和控制等真实场合的3D图像34。所述的扩展卡也可包含一用于操纵3D数据组和进行3D图像的结构绘制的结构内存的几何引擎。
在图像数据传输到图像投影仪20之前,MVD控制器18或者是图形源16可以在图像数据上进行3D去混叠处理以便平滑3D图像34所显示的特征,从而避免例如在沿Z方向的平行板间的纵深向出现锯齿状线,所述锯齿状线的出现是由于在垂直于Z轴的x-y平面内成行排列的光学元件36-42所组成的MOE装置32的内在固有的离散三维象素结构而引起的。当对应于图像片段24-30的数据产生时,在平面过渡的边缘附近也就是在例如光学元件36-38的光学元件之间可能出现图像元素。为了避免具体图像元素有一个突然的过渡,可以产生两个片段24、26以使图像44-46中的各个图像都包含有这一具体的图像元素,这样这一具体的图像元素就在由光学元件36-38所形成的两个平面间共享,以此来弱化过渡而使3D图像34看上去显得更连续些。在各个连续的光学元件上的图像元素的亮度是不同的,其亮度是按照图像元素在图像数据中的位置而定的。
为了最大限度提高将图像数据传送到产生图像的MVD控制器18的速率,图形数据源16和MVD控制器18也可以通过接口14执行零运行编码。不言而喻,其他技术的图像数据传送也可以采用,例如采用运动图形专家组(Motion Picture Experts Group)(MPEG)数据通讯标准及delta(△)压缩。
3D图像可以维持以40Hz的速率更新的50 SVGA量级分辨率的图像,其结果是原始数据以大于2GB/sec的速率被显示出来。由于不传送零数据,这种原始数据率可以大大地减小。一个立体三维图像一般具有大量的代表着物体内部、被前景物体遮住的背景物体、及周围空间的零数据。图形数据源16可以对图像数据进行编码以便于用一个零运行标志(ZRF)或零运行码且在其后跟随或相关于一运行长度来代表零的运行。这样为了显示只需传送零数据的个数而不需传送零数据了。在MVD控制器18中的3D图像缓冲器可以进行初始化以存储所有的零数据,那么在图像数据在缓冲器中进行存储时,借助于等于零数据的串长度的数据位置或像素的数目来实现对ZRF标志的检测,使得MVD控制器18跳到了缓冲器的前面。那么在3D图像缓冲器就容纳了要输出到图像投影仪20的3D数据,其中可能包含用于使SLM工作以生成二维图像的SLM驱动器。
图像投影仪20包含有用于将3D图像的二维片段24-30以高帧频和按时间顺序的方式投射到用于析出图像的多光学元件(MOE)装置32处,以产生在观察者12看来出现在MOE装置32所在空间的第一个立体三维图像34的相关光学元件22。MOE装置包含多个光学元件36-42,该光学元件在MVD控制器18的控制下有选择地接收片段24-30中的各个片段,所接收的片段显示成了二维图像44-50,其中一个光学元件在每一帧频周期期间接收和显示各自的片段。由MVD控制器18产生的片段的深度数等于光学元件36-42的数目,也就是说每个光学元件代表着所产生和显示的立体3D图像的一个深度分辨率单位。
光学元件36-42可以是由例如由向列型、铁电型、或胆甾醇型材料、或诸如采用本领域中用于这种组份所公知的、已作修改的肯特形态(KentState)公式的胆甾醇结构的其他稳定的高分子材料等所组成的液晶显示器。
由MOE装置32的光学元件36-42将每一片段24-30作为一组显示图像所做的全部显示,是以下述的足够高帧频来进行的,例如帧频要大于35Hz以使观察者12不需要立体成像头罩而是直接就可看到一个连续的立体3D图像34而不是分立的二维图像44-50。因此,如图1所示,图像44-50可以是一个球的横剖面,这样所产生的3D图像34对处在组成MOE装置32的光学元件36-42中间的观察者12看来是一个球体。
在另一个实施例中,图像44-50可以被产生出来用以显示完整的、具有2D和3D的混和图像,例如2D文本作为标题处在球体的下方或其上方。一种应用可以是具有2D和3D图像特点、以使观察者12可以看到诸如微软视窗(MICROSOFT WINDOW)95的图形用户界面(GUI)的图形用户界面控制板,其中2D屏幕图形呈现为一种虚拟(virtual)的平面屏幕显示,而诸如球体的3D图像则呈现在一种虚拟的平面屏幕显示之上。
在一定的取向范围内可以看到第一个立体3D图像34。另外,来自第一个立体3D图像34的光52进一步经一实像投影仪54处理后产生了第二个立体3D图像56,在观察者12看来第二个立体图像是漂浮在与MOE装置32有一定距离的空间中的与第一个立体3D图像大体相同的图像。实像投影仪54或者是浮像投影仪可以由一组用于收集来自MOE装置32的光52而将3D图像34再成像到自由空间中的光学元件和/或镜组成。实像投影仪54可以是一个高清晰度立体显示器(HDVD),该高清晰度立体显示器(HDVD)包含有用以产生一个位于MOE装置32的光轴上的可视信号区的球面或抛物线面镜。
例如,实像投射系统可以是下述专利中所描述的装置:授予Prince的第5,552,934号美国专利和授予Crabtree,Ⅳ的第5,572,375号美国专利,这些专利在此作为参考文献。在另一个实施例中,实像投影仪54可以使用全息光学元件,该全息元件所起作用与产生浮像56的常规球形或抛物面形镜所起作用相同,只是可以产生多个可视区,例如一个是在光轴线上的中心区域处可视区、以及在光轴两侧的可视区,这样多个观察者就可以看到多个3D浮像。
在另一个实施例中,实像投影仪54可包含全息光学元件(HOEs),也就是常规意义上的不显示已存在物体的记录图像的全息图。HOE可以起到诸如透镜和/镜子等常规光学元件所起的接收、反射、和改变入射光光路的作用。与例如玻璃或塑料等常规光学元件相比,HOEs具有重量很轻和廉价再生的特点,还具有常规光学元件所不能获得的独特光学特性。例如,HOE可以从与预定光轴成不同的角度处对同一物体生成多个图像,因此使用一个相对小的HOE后,不需要象常规光学元件所要求的那样通过增大元件尺寸就可以使显示的视野得到很大程度的提高。相应地,如实像投影仪54一样使用至少一个HOE,就可构造出相对紧凑的具有360视野范围的MVD系统10。另外,对于一个结合使用了激光光源的图像投影仪20来说,由于HOE所具有的波长选择性使得HOEs特别适合于上述的带有激光光源的高性能仪器。
既然在观察者12看来两个立体3D图像34、56都具有一定体积和深度,还可以选择颜色,那么多平面立体显示系统10就可用于虚拟事实和触觉应用中,例如应用于下面描述的外科教学的触觉动画的例子中。实像投影仪54使得浮动的3D图像56可以直接用于实际的场合。MVD系统10还可包含一用于接收观察者12试图操纵两个图像34、56的手的动作的用户反馈装置58。所述的手动作可以由用户反馈装置58将其转换成控制信号,该控制信号传输到接口14再到MVD控制器18以使图像34、56中的一个或两个发生相应于观察者12的动作的改变。或者,也可以将反馈装置58结合到包含有3D图形处理器的图形数据源16处以实现对图像34、56中的一个或两个的修改。
许多新的交互技术可以使采用了实像投影仪54的MVD10的性能得到提高。例如,由马萨诸塞州剑桥市的感应装置有限公司(Cambridge,Massachusetts,SENSIBLE DEVICES,INC.)开发的一种力(force)反馈接口就是一项强有力的使动技术,该技术使得MVD系统10具有了可以用手实际触摸和操纵3D图像34、56的能力。如果配以适当的程序,观察者12就可以对三维图像进行造型,仿佛图像是用粘土制成的,方式是使用一个被称为数字粘土的系统,该系统是本申请受让人帝曼斯诺梅迪亚联合有限公司(DIMENSIONAL MEDIA ASSOCIATES)的商品。
具有力反馈接口的MVD系统10的另一个应用是外科模拟器和训练器,其使用者可以看到和摸到三维的虚拟解剖,包括虚拟心跳和对使用者虚拟刺激作出反应的动画,这一MVD的应用可以:获得外科医师资格、实施创新的新方法、或者例如通过利用互联网通讯协议在互联网上实施远程外科手术。
这样,触觉效果和动画结合起来可以为利用MVD系统10所产生的3D图像来工作的使用者提供实时的模拟和刺激。例如观察者12是一个正在对医学学生进行教学的外科医师,那么只要外科医师在一个虚拟的现实中观察和操纵第一个3D图像34,学生就可通过观看由于采用了实像投影仪54而产生的随着第一个3D图像34的改变而发生相应变化的第二个3D图像56来学习了。学生也可以轮流单独地操纵诸如心脏图象的图象34,这样甚至可以将其动画成象为3D图象34,54的心跳。教学医师可以对正在对例如模拟心脏外科的仿佛是真的图像实施操作的学生进行观察和评分。
MOE装置
在一个图示实施例中,MOE装置32由一组作为光学元件36-42的由玻璃制成的单个像素液晶显示器(LCDs)组成,光学元件36-42间通过玻璃、塑料、或者空气间隔区来彼此分开。光学元件36-42也可以由塑料或其他具有例如重量轻的构造的各种优点的材料组成。玻璃、塑料、和/或空气间隔区可以和LCDs结合起来以形成一连续的光学构型来消除在相互界面处发生反射。LCDs和间隔器间可通过光学接触、折射率匹配流体或光学胶接剂而连接起来。另外,也可以用例如水、矿物油、或折射率匹配流体等液体来替代间隔器,这些液体可以在一外部冷却装置中循环以使MOE装置32冷却。而且在运输和安装这种具有液体间隔的MOE装置32的过程中,可以将其中的液体弄空以使总重量减轻,而在安装好之后再将间隔液体注入。
在一个优选实施例中,光学元件36-42是平面矩形的,也可以呈现例如圆柱形等曲线的和/或任何其他的形状。可以采用例如挤塑等不同的技术来构造圆柱形LCD显示器,而且圆柱形显示器还可以彼此套叠。光学元件36-42间的间隔距离可以是固定的,而在另外的实施例中也可以是变化的以便于在不增加光学元件36-42的个数的条件下大大增加MOE装置32的深度。例如,既然随着观察距离的增加观察者12的眼睛就失去了对深度的敏感性,因此离观察者12越远的光学元件间的距离就可以越大些。可以实施对数间距,即光学元件36-42间的距离随与观察者12间的距离成线性增加。
组成光学元件36-42的液晶显示器具有通过MVD控制器18中的一个MOE装置驱动器以实现在下述两个状态间的电子快速切换的特性:如图2所示的清晰、高透明状态和如图3所示的不透明、高分散状态。图2-3所示是光学元件36的横剖面图,其中液晶分子60-64悬浮在可以是玻璃、塑料、或空气间隔件的基板66-68之间,也可以具有分别施加在基板66-68之上的透明传导层70、71。
传导层70、71可以由喷涂或蒸发的一层氧化铟锡(ITO)薄膜构成,该氧化铟锡薄膜具有极好的透光性和低阻抗性,但与玻璃或塑料基板相比该氧化铟锡薄具有相对高的折射率。而这两种材料折射率的不同使得在二者的界面处产生反射,因此需要在基板66-68上在传导层70、71和基板66-68之间有选择地设置另外的抗反射(AR)材料涂膜或涂层,以减少例如不需要的反射引起的反向光的数量。例如,采用一光学厚度为典型波长的四分之一如76nm的、折射率为约1.8的AR层就可将基板-传导层界面处的反射减少到很低的水平。
由于使用了AR涂层,就可以去掉光学元件36-42间的间隔材料而在其间留有空气或真空,这样便可减少MOE装置32的总重量。这种AR涂层可以是经真空淀积、蒸发或喷涂上去的电介质。另外,AR涂层可以是用溶胶-凝胶(SOL-GEL)制成的旋涂层、浸涂层、或是新月形涂层。
参见图2,在采用这种传导层70、71的情况下,在两传导层之间设置一例如是引自MVD控制器18的电源72,这样就在光学元件36的两基板66-68之间产生了一个电场74,该电场使得液晶分子60-64进行了排列从而使光76没有或几乎没有散射地通过了光学元件36,因此光学元件36大体上是透光的。
参见图3,可采用例如打开一受MVD控制器18控制的快速切换开关78而使传导层70、71间的回路断开,这相当于去掉了电源72。在去掉电源72的情况下,液晶分子60-64发生自由取向,这样光76就发生了任意散射而产生散射光80。在这种构型下,光学元件36似乎是不透明的,因此可以将其作为一个接收和显示由投影仪20聚焦在其上的图像44的投射屏幕。
在另一个实施例中,如图2-3中所示,光学元件36可以由下述方式启动而处于如图2所示的透明状态中:使与第一基板66相邻的传导层70与地相连,同时使与第二基板68相邻的传导层71与一例如电压值约为50V-250V的供电电压相连。而为了使光学元件36处在如图3所示的分散、不透明状态中,可以将上述的电源反接,也就是在一例如约为1ms-5ms的预定延迟时间之后将传导层71与地相接,然后再将传导层70接到供电电压上。再通过反转上述过程还可使光学元件36再回到透明状态中。在光学元件36中没有平均直流(DC)或电压,如具有恒定的外加电压就会导致故障。也没有可产热的且对光学元件会增加能量需求的连续的交流电流(AC)或电压。
在工作过程中,仅有MOE装置32的光学元件36-42中的单独一个元件在任何给定的时间内都处在散射的不透明状态中而形成一散射平面或表面。当图像投影仪20高速率地在每个投射周期内投射一个片段的方式投射片段24-30时,散射平面就在MOE装置的整个深度范围内快速放映而形成一个有效深度可变的投射屏幕,而其余的透明光学元件可使观察者12看到从接收到的图像片段24-30所显示出来的图像。
如图4-7所示,MVD控制器18向图像投影仪20输入了连续的帧数据,由此产生了图像82-88,MVD控制器18与光学元件36-42的开关相同步,以便使光学元件36在向其上发送如图4所示的图像82时是不透明的;使光学元件38在向其上发送如图5所示的图像84时是不透明的;使光学元件40在向其上发送如图6所示的图像86时是不透明的;使光学元件42在向其上发送如图7所示的图像88时是不透明的。MVD控制器18可以在向图像投影仪20输入各组帧数据与使某一相应光学元件呈现不透明状态之间设置一个延迟,以便于图像投影仪20在所述延迟期间有足够的时间对应于帧数据组1-4分别生成各个图像82-88。
参见图4-7,当其中一个光学元件是不透明的而分别显示出其上的图像时,剩余的光学元件却是透明的,因此在光学元件36上所呈现的如图4中所示的图像82透过例如至少光学元件38仍是可见的,类似地,至少透过光学元件40后图5中所示的图像84仍是可见的,至少透过光学元件42后图像86仍是可见的。由于图像投影仪20以高频率将图像82-88显示到光学元件36-42上,相应地光学元件36-42也以一相对高的频率在不透明和透明两个状态间切换,因此图像82-88便形成了一个单一的立体3D图像34。
为了形成一个连续的没有可以感觉到的闪烁的立体3D图像34,每一光学元件36-42须以一个大于约35Hz的帧频来接收各自的图像并切换到不透明的状态。相应地,为了刷新和/或更新完整的3D图像,图像投影仪20的帧频也须大于约N×35Hz。对于一个由50个LCD元件组成的MOE装置32来说,如果各个光学元件的帧频为40Hz,那么图像投影仪20的总的帧频便须大于约50×40Hz=2kHz。如果要用MVD系统10呈现出高性能和/或高品质的立体3D图像,则图像投影仪20需要在15kHz量级上具有更高的帧频。
在一个实施例中,图4-7中所示的图像82-84被连续显示出来,以这种连续的帧排序在每个空间周期内对深度范围更新一次来更新MOE装置32中的光学元件36-42的整个空间。这种连续的帧排序在最低限度的帧频条件下可能是足够的,例如对静止的图像82-88是约32Hz的帧频,对显示运动的图像82-88是帧频为约45Hz。在另一个实施例中,采用了半随机平面排序以减弱图像抖动和减少动作所显现的人工迹象,在这一方法中虽然各个光学元件在每个空间周期仍旧是只更新一次,却以一个更高的频率来实现深度的更新。所述的半随机平面排序包含有多平面交错,其中偶数平面由图像来照明,然后奇数平面再被照明,这样不需提高图像投影仪20的帧频便可提高可被感知的空间更新率。
MOE装置32保持图像投影仪20产生的图像分辨率以提供高逼真度的三维图像。液晶板36-42处在清晰透明状态中时是高度透光的且无晕阴,所述液晶板还能在清晰透明状态和不透明散射状态之间快速切换,在所述的不透明散射状态中来自图像投影仪20的光和图像大体上被有效地和大致地散射开了。
在另外的实施例中,可以制造出重量轻的MOE装置32。液晶板36-42可以由一组在其内表面涂膜的玻璃基板组成,透明的传导层70、71上涂有一层绝缘层。可在绝缘层上选择性地设置一高分子排列层。在某一液晶板的基板之间的液晶成份薄层的厚度设置为约10-20微米。
液晶板的大部分体积和重量与玻璃基板有关,随着液晶板的数目和横向尺寸的增加,MOE装置32的重量就会显著增加。采用塑料基板来组成液晶板36-42是解决重量增加的一个办法。其他的措施包括通过采用辊-辊处理来将塑料基板制得很薄的方法来生产MOE装置32中的光学元件,所有的制造工艺要能以连续的低成本的方法来进行。
如果MOE装置32采用了这种相对轻的组成的话,那么在该装置不工作时可以将其折叠起来,这样就可将MVD系统10制成便携式的。除了或代替液晶技术之外,光学元件36-42也可包含其他无机材料,例如有机地采用旋转或浸沉涂布的ITO层。
高帧频图像投影仪
由MVD系统10产生的三维图像34、56的最大分辨率和颜色深度都是直接由高帧频图像投影仪20的分辨率和颜色深度所决定的。MOE装置32的作用基本上是将来自图像投影仪20的二维图像系列转换成一个3D立体图像。
在一个实施例中,图像投影仪20包含一个具有短弧的弧灯光源。来自光源的光被分色光学元件分成红、绿和蓝成份,用于照明三个分立的空间光调制器(SLMs)。经SLMs调制后,三个颜色通道再合成一单光束并从例如是聚焦透镜的光学元件22射出而进入MOE装置32,这样,来自片段24-30的每个二维图像分别在光学元件36-42其中的一个上显示出来。
在另一个实施例中,图像投影仪20以高功率固态激光器替代了弧光灯泡和分色元件。激光源具有效率高、光束方向性强、单一波长操作等许多优点。另外,激光源可产生高饱合的明亮色彩。
在另外的实施例中,如果可获得高速率的工作,那么也可以采用其他不同的技术来实施SLM。例如,采用高速液晶装置,以微电机装置为基础的调制器或其他的光调制方法以提供这种高帧频成像。例如,可采用下述的各种技术来对图像投影仪20所输出的图像进行调制:德克萨斯州达拉斯市的德克萨斯仪器公司的数字化光线处理(Dallas,Texas,TEXASINSTRUMENTS,Digital Light Processing)(DLP)技术;加利福尼亚州萨尼威尔市硅光机器公司的光栅光线阀值(Sunnyvale,California,SILICONLIGHT MACHINES,Grating Light Valve)(GLV)技术;科罗拉多州博尔达市博尔达非线性系统公司出品的模拟铁电LCD装置(Boulder,Colorado,BOULDER NONLINEAR SYSTEMS,AnalogFerroelectric LCD)。SLM也可以是铁电液晶(FLC)装置,并可完成FLCSLM的极化偏置。
为了在MVD系统10中获得极高分辨率的图像,图像44-50必须能正确快速地再聚焦到MOE装置32的各个相应的光学元件上,这也是为了使各个图像能在具有合适深度的光学元件上显示出来。为了满足这种再聚焦的要求,采用了本领域中公知的自适应光学系统装置,例如可以是在互联网址http://guernsey.et.tudelft.nl/focus/index.html上获取的的文章“利用小型器具的自适应镜面的图像光学聚焦”(focusing of imagingoptics using micromachined adaptive mirrors)中描述的快速聚焦装置。如图8中所示,膜状光调制器(MLM)90具有一个薄的弹性膜片92,该弹性膜片具有如镜子一样的可控反射和聚焦特性,可以由塑料、硝化棉、“MYLAR”、或者涂有一具有反射特性的传导反射层的处于拉伸状态中的诸如铝等的金属膜片构成。在大体上临近膜片92处设置有一个电极和/或压电致动元件94。电极94可以是在相对于膜片92表面的二维空间内延伸的扁平形或近似的平面形。膜片92通过一个例如椭圆形安装环或圆形环的安装结构96被安装在大体上临近电极94处。
电极94能够被设置于源自于一个电源98、例如约1000伏特的高电压之下。电压可以在一个预定的范围内变化以吸引和/或排斥膜片92。可以通过将膜片92连接到地100而使之具有地电位,这样由于静电吸引就会使模片变形成例如抛物线等曲线形状。当发生上述变形时,膜片92就会起到如聚焦光学元件的作用,且其焦距和投影距离会随着电极电压的改变而迅速变化。例如,膜片92弯曲表面的焦距可以等于膜片92曲率半径的一半,所述的曲率半径由下述因素决定:膜片92的张度、膜片92材料的机械特性、92与电极94间的距离、以及电极94上的电压值。
在一个实施例中,膜片92总是弯向电极94。另外,在92离开电极94的一侧设置一个包含有透明传导涂层的金属带,且使该金属带具有一固定的电压值,这样,膜片92会在两个方向上发生变形,即膜片92可弯离或弯向电极,因而可使聚焦图像的范围扩大。在下述例举的一篇论文中描述了这种变化受控的多方向膜片92:在1976年的斯派研讨会学报的75卷的97-102页(SPIE CONFERENCEPROCEEDINGS,VOL.75,pp.97-102(1976))上的由马丁·叶林(MartinYellin)撰写的论文。
MLM90的形变光学效果可以被投影光学元件22放大,使来自目标板的被投影的图像可以以高再聚焦速率聚焦在与图像投影仪20距离不同的地方。另外,MLM90还能在它的全部聚焦范围内保持近似恒定的放大倍数。
参见图9,MLM90可以与一自适应光学系统102结合成一体,例如可以使MLM90临近于四分之一波片104和分光器106从而将图像聚焦到投影光学元件22处。来自目标或目标板112的图像110经过偏振器108被分光器106水平起偏,再经过四分之一波片104后环形偏振光入射在用于反射和聚焦的膜片92上。经反射后聚焦图像114返回经过四分之一波片104,且光114与入射光110间的偏振角为900。分光器106接着使光114反射到投影光学元件22上以形成目标图像。由于与MLM90一起还采用了四分之一波片104和偏振器108,就使得自适应光学系统可以折叠成一个相对紧凑的构型,这样就避免了将MLM90进行离轴安装和/或安装在与投影透镜22有一定距离的地方。
图像可以聚焦在一个距离投影元件22标准远FN处的标准投影板116,并且图象还可在距最小投影板118的最小距离FMIN至距投影元件22最大投影板120的最大距离FMAX范围之间高速率地再聚焦,同时图象的高分辨率仍得到保持。
如图10所示,包含带有MLM90、四分之一波片104、和偏振器108的自适应光学系统的图像投影仪20可以有选择地快速地将3D图像的个体2D片段投影到个体光学元件36-42上去,以便于使2D片段聚焦到至少一个光学元件上,这种高准确性的聚焦就使得2D片段不会入射在MOE装置32中的光学元件36-42间的间隔件122上。
参见图9-10,在另一个实施例中,图像投影仪20可以包含一具有多个像素126的SLM124,用于调制来自目标板112的光110。可以使用扭转向列形(TN)SLMs,其中通过在SLM124的前后基板上制造方位角相差900的两结合层而形成一个可切换的半波片。TN SLM的液晶与各表面上的结合层成列排列,然后光滑地进入两基板之间以形成二分之一螺旋线结构。如果所选择的螺旋线结构的螺距接近光的波长,则螺旋线结构就可起到了半波片的作用而使入射光旋转900。对TN SLM施加一足够强度的电场可使处于两基板之间的液晶材料的松散粒子重新定位成垂直于基板的点,从而解开螺旋结构而损坏掉半波片,这样就可消除入射光的偏振旋转。TN液晶材料中缺乏固有偏振使得TN SLM对所施加的电压的方向不敏感,电压的正负都对波片有同样的衰减作用,因此TN SLM相当于一个具有延迟作用的波片,且是所施加电压的数值的函数。
另外,如图11所示,SLM124可以是由多个像素126组成的基于铁电液晶(FLC)的装置,各个像素126包含位于例如硅基板130等半导体基板上的FLC材料128,在基板和FLC材料之间设置有一个电极132。所述电极可以由铝组成。在FLC材料128之上置有一透明导体134,且该导体与一例如工作电压为2.5V的电压源相连。一个例如用玻璃组成的滑动盖板136放置在透明导体134之上。
由这样的像素126组成的FLC SLMs的工作方式与扭绞向列相(TN)SLMs的工作方式相似,其中例如在电极128和导体134间所施加的电场使得入射光可发生偏振旋转。旋转角度与所施加的电压成比例,在00-900之间变化。如与一例如偏振器108等外部偏振器结合使用,SLM124的偏振旋转就会对入射光进行强度调制。
与TN SLM不同,FLC SLM具有固有偏振,这使得FLC SLM具有理想厚度以形成一不依赖于所施加的电压就可产生延迟的波片。这样FLC SLM就相当于一个具有辨向能力的波片,且随所施加电压的数值和方向变化。
对于图11中所示的FLC SLM124中的像素126,FLC SLM124半波片不施加电压时通常具有一个大约与一水平参考轴成22.50的方位角,使入射光偏振旋转450。当施加电压时,透明导体134的偏置为2.5V,这相当于像素126的电极132上的电压范围的一半。
参见图12-14,分别显示的是在0V、2.5V、5V时,由FLC SLM124中的像素126所形成的半波片的分别具有00、450、900偏振时的基轴取向。
TN SLMs和FLC SLMs都需要有均衡的直流(DC)才能维持正常的工作。如果对像素126施加连续的DC电场,就会由于杂质离子辐射而损坏基板上的结合层,进而也就损坏了像素126。为了防止发生这种破坏,该电场被定期性地和/或不规则地予以变向,其为TN SLMs采用频率为约100Hz级,而对FLC SLMs采用频率为约1Hz级。TN SLM对电场方向的敏感性的不足使得通过它的图像在电场反向时能够保持恒定不变。但是FLC SLM通常对电场方向是敏感的,这就会导致发生灰度倒置,即:在SLM处于DC均衡状态下的图像的黑区变白而白区变黑。
为了防止在SLM124的DC均衡期间发生灰度倒置,对入射光的偏振进行偏置以使由于施加到像素126上的电场而产生的正负图像具有相同的样子。SLM124和/或单个的像素126之上设置有一静态的半波片138用以在SLM124之前接收入射光110。将波片138设置成可以使入射光偏振旋转22.50,从而使所得到的灰度在给电极132施加以0V或5V时有最大的亮度而在给电极132施加以2.5V时有最小的亮度。在另外的实施例中,为了防止由于采用了波片138会使最大亮度降低,可以采用具有450的静态取向的FLC材料128,这样就可使经偏振偏置的FLCSLM124的最大亮度和不含有波片138的未经偏置的SLM的最大亮度相符。
如上所述,在关于图像投影仪20的另外实施例中,在目标板112处可使用诸如有色和/或固态生色激光等激光器。这种激光例如可以是在例如CDROMs和激光视频系统等其他信息存储和恢复技术中可获得的结合蓝绿固态激光。
在图像投影仪20的另一个实施例中,自适应光学元件可用在头上显示中以产生在深度向不固定而是可以移向或移离观察者12的3D图像。如果不使用MOE装置32,则2D图像片段24-30被直接投影进观察者12的眼睛中而出现在正确的深度位置处。通过快速显示所述片段24-30,观察者12就可感知到一个3D图像。在这个MVD系统10的实施例中,可以将图像投影仪20中的自适应光学元件和其他元件做得非常紧凑而使之能结合到现有的用于头盔显示的头上显示器中或交通工具的驾驶室中或仪表盘系统中。
在另一个实施例中,片段24-30可被产生和投影出来,以使图像44-50中的一些图像分别在一个以上的光学元件36-42上得以显示,从而通过把MOE装置32中一定深度范围内的各图像而非相应于单个光学元件的一个单一深度的图象显示出来的方式对其深度作过度取样。例如,如果MOE装置32具有比图像片段24-30数目更多的光学元件36-42平面,过取样就更具优势,这样图像44-50的数目就大于图像片段24-30的数目。例如,一个片段24可以作为图象44-46分别在两个光学元件36-38上显示出来。这种过取样可以使所产生的3D图像34显得更加连续,而无需增加光学元件36-42的个数或提高图像投影仪20的帧频。过取样可以这样来进行:例如,将多个光学元件切换成不透明状态,并在各自的多投影周期内将一个单个的投影片段接收到各自不透明状态的多个光学元件上。
从多平面数据组中制成3D图像
为了制成将显示为一组2D图像44-50的2D图像片段组24-30从而形成3D图像34,需要将由MVD控制器18从图形数据源16处接收的3D图像数据转换生成多平面数据组。各个片段24-30在MOE装置32的合适深度处显示出来;也就是片段24-30被有选择地投影到光学元件36-42中的一个具体元件上。如果将3D图像34的片段24-30制作得足够近,则图像34看起来就是一个连续的3D图像。这里所述的多平面去混叠技术可以用以增强3D图像34的连续性。
计算多平面数据组(MPD)的方法由MVD系统10来执行。具体地说,MVD控制器18执行这样一种方法以将来自颜色缓冲器和图形数据源16的帧缓冲器的深度(或Z)缓冲器的信息相结合起来,这可以是一个图形计算机。所述的方法也包含固定深度运算和去混叠。
参见图15,在步骤140中该方法响应于操作MVD系统10的使用者12的交互行为,例如可通过一GUI或可选择的用户反馈装置58来选择和/或操纵要显示的图像。根据这种操作和/或交互行为,MVD系统10执行步骤142以根据存储在帧缓冲器中的图像数据而生成图像,其中所述的帧缓冲器可以是MVD控制器18中的一个存储器。帧缓冲器可以包含例如颜色和深度缓冲器等子缓冲器。在一般的生成过程中,图形计算机计算深度缓冲器中的在相同(X,Y)位置处的各个像素的颜色和深度。如果一个新像素的深度小于以前计算出的像素的深度,那么新像素就更接近于观察者,因此新像素的颜色和深度就分别替代了颜色和深度缓冲器中的旧像素的颜色和深度。一旦一幅画面中的所有物体都生成了图像数据集,该方法就会反复执行步骤144-152。另外,在帧缓冲器的所生成的图像可以在一个2D计算机屏幕上以3D图像的方式显示给观察者12以作为生成的立体3D图像34的前序,这样就允许观察者12来选择以哪个图像来生成为3D图像34。
在执行用于MPD计算的方法中,在步骤144中是从颜色缓冲器中读取数据,在步骤146中是从深度缓冲器中读取数据。例如,帧缓冲器中在X向和Y向的像素的个数与所需图像片段24-30大小相同,这由光学元件36-42的像素维数决定。如果帧缓冲器中每维上的像素个数和图像片段24-30中的每维上的像素个数不相等,则在步骤148中对颜色和深度缓冲器中的数据进行标定以使之与具有对图像片段24-30所期望的像素维数的MVD系统10具有相同的分辨率。MVD控制器18在用于存储由颜色和深度缓冲器中的已经过上述标定的数据所产生的最终MPD的存储器中包含有一个输出缓冲器。
输出缓冲器中存储着一组对应于2D图像的数据,所述的2D图像具有与由片段24-30所投影的图像44-50相同的分辩率和颜色深度。在一个优选实施例中,图像44-50的个数等于由MOE装置32中的光学元件36-42所形成的平面的个数。在MPD计算完成、2D图像的像素在步骤150中被存储在输出缓冲器中之后,输出缓冲器转变成保持在图像投影仪20中的一个存储器中的MVD图像缓冲器,经图像投影仪20,2D图像被转换成了图像片段24-30,用以形成上述的可由观察者12看到的3D图像34。该方法例如在3D图像34产生的同时重新返回到步骤140以处理新的输入并由此更新或改变3D图像34例如以产生动画3D图像。
MVD系统10可以以两种模式运行:可变的深度模式和固定的深度模式。在可变的深度模式中,在完成包括有步骤146的MPD计算之前要对深度缓冲器进行检测,以便确定一个最大的深度值Zmax和最小的深度值Zmin,它们与在MVD系统10制成3D立体图像之前出现在一个独立的2D屏幕上的3D图像的极限深度值相对应。在固定深度模式中,观察者12以交互行为或者是在程序启动过程中分别指定由MVD系统10所生成的3D图像的前后边界来对Zmax和Zmin进行赋值。可变深度模式可以使所有在2D屏幕上可见的物体都显示在MOE装置32中,而不管深度范围也不管由于对包含某物体的画面进行交互操作而造成的图像深度的改变。
在固定深度模式中,由于某些物体可能处在MOE装置32的虚拟深度范围之外,所以在2D屏幕上可见的物体可能在MOE装置32中就是不可见的。在固定深度模式的另外的实施例中,相对于观察者12来说,被确定安置在越过MOE装置32“背部”或最后的光学元件位置的图像像素就可能被取而代之地显示在最后的光学元件上。例如,从图1中所示的观察者12的角度来看,光学元件36就是在其上投影有远处图像的最后的光学元件。在这种模式中,尽管整个物体景象保持可见,但只有在MOE装置32产生的立体3D图像中其深度处在Zmax和Zmin之间的物体才是可见的。
在这里所述的MPD方法中,在深度缓冲器中的深度值可以利用Zmax和Zmin值在步骤148中来进行补偿和标定,以便于使具有Zmin深度的像素的标定深度为0,具有Zmax深度的像素的标定深度等于MOE装置32中的光学元件36-42平面的个数。在步骤150中,通过检测标定深度值di的整数部分[di]和通过颜色缓冲器对在相同(x,y)坐标处的适当的MPD片段24-30赋以颜色值的方式而将具有标定深度的像素分类存储在输出缓冲器中。颜色值指示着相关像素或三维象素的亮度。
采用已公开的MPD方法,由MVD系统10所产生的立体3D图像34可能是不完整的,也就是说,如果某些物体或部分从观察2D计算机屏幕上的相应的3D图像的观察者的观察角度来看是不可见的话,这些物体或部分就会被完全消除。在由MVD系统10所产生的立体显示中提供了环视(look-around)图像,以允许图1中的观察者12可以改变一个观察角度以便于看到先前被隐藏着的物体,因此这种MVD系统10比现有的3D图像的2D显示更具有优势。
在另外的实施例中,本MPD方法还可以通过利用标定深度值的小数部分即di-[di]来将像素的颜色值的这一小数部分赋值给片段组24-30中的两个邻近的MVD图像片段来实现这里所述的去混叠。例如,如果一个标定深度值是5.5且各个片段对应于一个固定的深度值,那么就将像素的一半亮度赋值给片段5和片段6。如果标定深度是5.25,那么将就75%的颜色值赋值给片段5,这是由于片段5“更接近”于标定深度,而将25%的颜色值赋值给片段6。
不同程度的去混叠适合于不同的显形任务。去混叠程度可以从一个极端,即忽略小数深度值而进行颜色赋值,变化至另一个利用所有小数深度值进行赋值的另一个极端,或者去混叠程度可以变化至这些极端之间的任何值。可以通过用一个去混叠参数乘以标定深度的小数部分然后再用去混叠参数的一半抵消结果值的方法来实现这种可变的去混叠。最终的颜色值可以由固定的经反向抵消的在一例如0-1之间的预定范围之内的值来确定。去混叠参数1对应于完全的去混叠,无穷大的去混叠参数对应于不进行去混叠。也可以实施去混叠参数小于1的情况。
在标定深度缓冲器值时,可以利用开放式图形库(Open GraphicsLibrary)(OpenGL)中的用于支持形成和成像操作的图形硬件的多平台软件界面具体包含的透视法投影。这种透视投影会造成深度缓冲器中的非线性值。在3D图像34的虚拟深度和可视深度之间存在准确关系时,MVD控制器18会在生成标定深度的步骤148中考虑到这种非线性。另外也可在步骤148中利用正射投影来标定深度缓冲器值。
在现有的2D监视器中,在3D数据的显形之中可以计算产生透视性以创造一种深度感,以便于在观察者的角度看来物体显得更小、而平行线呈现为交汇在一起。在公开的MVD系统10中,具有计算透视性的3D图像34得以产生,以创造一种前述的深度感,因此3D图像34的深度被加强了。
在另一个实施例中,片段24-30可被产生和投影出来,以使图像44-50中的一些图像分别在一个以上的光学元件36-42上得以显示,从而通过把MOE装置32中一定深度范围内的各图像而非相应于单个光学元件的一个单一深度的图象显示出来的方式对其深度作过度取样。例如,如果MOE装置32具有比图像片段24-30数目更多的光学元件36-42平面,过取样就更具优势,这样图像44-50的数目就大于图像片段24-30的数目。例如,一个片段24可以作为图象44-46在两个光学元件36-38上分别显示出来。这种过取样可以使所产生的3D图像34显得更加连续,而无需增加光学元件36-42的个数或提高图像投影仪20的帧频。过取样可以这样来进行:例如,将多个光学元件切换成不透明状态,并在各自的多投影周期内将一个单个的投影片段接收至各自不透明状态的多个光学元件上。
MVD系统的其他实施例
在一个实施例中,MOE装置32包含有10个液晶板36-42,且装置的尺寸为长5.5英寸(14cm)×宽5.25英寸(13.3cm)×深2英寸(4.8cm)。图像投影仪20包含一个声光激光束扫描仪,它利用一对离子激光器来产生红、绿和蓝光,经调制后再进行高频声波扫描。激光扫描仪能够以200×200个点的分辨率每秒向量扫描166000个点。当与10个平面MOE装置32相结合以40Hz运作时,MVD系统10就可产生总共包含400,000个三维象素的3D图像,即:3D图形元素。如图像更新率为1Hz,就可获得24比特RGB分辨率的颜色深度。如使用实像投影仪54,就可获得1000×450的视野。
在另一个实施例中,MOE装置32包含有12个液晶板36-42,且装置的尺寸为长6英寸(15.2cm)×宽6英寸(15.2cm)×深3英寸(7.7cm)。图像投影仪20包含一对德克萨斯仪器公司(TEXAS INSTRUMENTS)制造的DLP视频投影仪,该仪器被设计为在以场顺序颜色模式下工作,在180Hz的帧频上产生灰度图像。通过交错利用两个投影仪,一个帧频为360Hz的、实际上单一的投影仪就形成了,它用于以30Hz的频率来产生12平面立体图像。其可获得的横向分辨率为640×480点。当与12平面MOE装置32相结合以30Hz运作时,MVD系统10就可产生总共包含3,686,400个三维象素的灰色3D图像。如图像更新率为10Hz,就可获得8比特灰度分辨率的颜色深度。如使用实像投影仪54,就可获得1000×450的视野。
在另一个实施例中,MOE装置32包含有50个液晶板36-42,且装置的尺寸为长15英寸(38.1cm)×宽13英寸(33.0cm)×深10英寸(25.4cm)。图像投影仪20包含一个可由博尔达非线性系统公司(BOULDER,NONLINEAR SYSTEMS)提供的高速模拟铁电LCD,其速度极高,帧频约为10kHz。其可获得的横向分辨率为512×512点。当与50平面MOE装置32相结合以40Hz运作时,MVD系统10就可产生总共包含13,107,200个三维象素的3D图像。如图像更新率为10Hz,就可获得24比特RGB分辨率的颜色深度。如使用实像投影仪54,就可获得1000×450的视野。具有了这样的分辨率和40Hz非连接的空间频率,MVD系统10就具有了相当于对角线尺寸为20英寸(50.8cm)的常规显示器的显示能力。
在另一个实施例中,光学元件36-42可能具有1280×1024的横向分辩率和256平面的深度分辨率。该系统可能以深度交错的模式工作,以这种模式就可以75Hz的频率对间隔平面进行写操作,而全部空间的更新频率为37.5Hz。这种交错模式使得在不必要提高图像投影仪20帧频的条件下就可提供更高的可感知的空间频率。
在另一个改进实施例中,MOE装置32包含500个平面,这就具有了极大的深度分辨率和2048×2048个像素的横向分辨率,从而使三维象素的总数超过了20亿。具有这种结构的MOE装置32的尺寸为长33英寸(84cm)×宽25英寸(64cm)×深5英寸(64cm),这相当于一个对角尺寸为41英寸(104cm)的常规显示器。在这一实施例中的图像投影仪20包含硅光机器有限公司的(SILICON LIGHT MACHINES)光线光栅阀值(Grating Light Valve)技术,以提供20kHz的帧频。
虚拟的交互应用
将用户反馈装置58结合为力反馈接口的MVD系统10的另一实施例可以使观察者12看到并能对在3D图像34、56出现位置处的3D图像34、56进行触摸和感知。MVD系统10可产生高分辨率的3D图像34、56,因而在MVD系统10中可形成虚拟的交互行为,其中该系统10采用适当的力反馈装置以产生高分辨率表面结构和非常硬的表面,即:在观察者12看到部分表面的虚拟的现实运动时,呈现阻力和/或具有低柔顺性的表面。
相应地,用户反馈装置58包含高分辨率的位置编码器和一高频反馈环,用以将观察者12手的动作与对3D图像34、56的修正以及作用在观察者12上的力反馈感觉相匹配。用户反馈装置58最好包含重量轻、紧凑的虚拟现实元件,例如可引发力反馈的手套,这样就可将质量、体积、相关元件的重量和惯性对观察者12所进行的动作的阻碍作用减小到最低程度。
用户反馈装置如采用重量轻的碳复合材料就可大大地降低观察者12使用的任何可穿戴的元件的重量。而且,可以用非常紧凑和具有高分辨率的光纤或电容位置编码器代替本领域中公知的庞大的光位置编码器来确定例如观察者12手和头的方位位置。
可穿戴在观察者12身上的元件包括用以控制用户反馈装置58的包埋式处理器系统,以此来缓减MVD控制器18和/或接口界面14的总处理量。通过采用其唯一任务就是驱动接口14的包埋式处理器,整个MVD系统10的反馈率就可大于100kHz。当与极高分辩率的编码器结合使用时,MVD系统就包含有极高保真度的力反馈接口界面。
在能够显示立体3D图像34、56的MVD系统10上使用这种虚拟的交互技术,就可施用一3D GUI以使观察者12接触到并直接操纵3D数据。可采用例如数据手套、视频体形识别装置、和可从位于麻萨诸塞州剑桥市麻省理工学院梅迪亚实验室的(MIT MEDIA LAB,Cambridge,Massachusetts)鱼感应器(FISH SENSOR)等已知的界面装置来使使用者可在例如3D图形和计算机辅助设计(CAD)系统中直接操纵3D数据。
为了操作3D图像和数据,MVD系统10还可结合一种例如可从位于麻萨诸塞州洛维尔市的空间技术有限公司获得的(Spacetec Inc ofLowell,Massachusetts)的太空球(SPACE BALL)的3D鼠标装置,以及一种用来使一3D游标以与观察者12在真实空间中移动手相同的方式在图像34的显示空间中的任何位置移动的3D指示装置。另外,通过用户反馈装置58,MVD系统10可以将观察者12的手的动作演译成3D游标的移动。
在一个实施例中,用户反馈装置58可以包含用来感知观察者12的手的位置和方向的元件。例如,观察者12可以握着或戴着一个例如可从博理黑姆斯有限公司(POLYHEMUS,INC.)获得的磁传感器等位置传感器和/或例如结合在虚拟现实数据手套中的位置传感器等其他类型的传感器。另外,通过计算机图像处理或对例如由麻省理工学院梅迪亚实验室(MIT MEDIA LAB)开发的射频传感器的使用,就可以在3D图像34的显示空间范围内感知到手的位置。为了避免肌肉疲劳,用户反馈装置58可以在一个与所显示的3D图像34实际分离开的一个很小的感知空间内来感知观察者12手或手指的活动,其方式类似于用于控制个人计算机的2D屏幕上的2D光标位置的在一桌面表面上进行的对常规2D鼠标操作的2D活动方式。
MVD系统的优点
采用MVD系统10,所产生的3D图像34、56给观察者12提供了自然的观察状态,也就是说,3D图像34、56实质上具有与观察真实物体有关联的全部深度信号,这样就可降低眼睛的紧张程度而允许进行长时间观察也不会感到疲劳。
MVD系统10可以提供高分辨率/三维象素数,其中MOE装置32提供的三维象素数例如大于3,000,000,这比本领域中已知的许多立体显示至少大一个数量级。另外,优先使用直线几何学来显示3D图像34,例如具有适于将图像片段24-30显示成2D图像44-50的矩形横截面的MOE装置32,MVD系统10采用了与许多公知的图形计算机和图形应用程序的内部坐标系相匹配的坐标系,这有利于在不需要另外的转换软件的前提下最大限度地发挥计算机特性和显示更新率。另外,在一个优选实施例中,MOE32的图像三维象素具有相同和稳定的形状、尺寸、和方位,这样就可消除3D图像34中的图像畸变。
与本领域中公知的投影自动立体荧光显示器不同,MVD系统10可以为水平和垂直视差提供广阔的视野范围,以允许可以在多个方向而不是仅在一个方向“环视”到3D图像。另外,与投影自动立体荧光显示器不同,MVD系统10所提供的视野在所有方向都是连续的,也就是说当观察者12相对于MOE装置32移动时在3D图像34中不会出现紊乱的跳跃。
而且由于MOE装置32中的光学元件36-42的静态构造,没有什么移动部件会在MOE装置32失去平衡时引起图像变形、显示颤动、和甚至是MOE装置32的灾难性的机械故障。
MVD系统10还可以避免发生遮挡情况,也就是,前景中的物体挡住了背景中物体发出的光。为了提高图像构造和显示的速率,以通过挑选一特定视点而不绘出从这一视点无法观察到的表面的方式可制成一种被称为计算遮挡的有限形式的遮挡。但是,当观察者12试图对前景物体环视时,也无法看到那些没有被绘出的背景物体部分了。在一个实施例中,MVD系统10将一些显示图像的散射光学元素散布于处在散射状态中的光学元素并以吸收背景光而产生遮挡的方式对遮挡的不足进行补偿。客主聚合物弥散液晶可以用于光学元件36-42之中,其中,一种染剂混合于液晶分子中以使其材料颜色可以随着所施加的电压发生改变。
由于MVD系统10的周围照明使得MVD系统10也几乎没有对比度衰减,由于所采用的实像投影仪54要求外罩延伸到MOE装置32处,这反过来就减少了到达MOE装置32的周围光的数量,因此防止了对比度衰减。
另外,也可通过与周围照明成比例地增加来自图像投影仪20处的照明、以及通过在MOE装置32周围安装一吸收塑料外壳以使图像亮度降低到可见水平来减弱对比度衰减。
周围光必须两次通过吸收外壳才能到达观察者12,一次是在传输过程中另一次是在MOE装置32的光学元件36-42散射之后。相反,来自图像投影仪20以形成图像44-50的光只在传输到观察者12的过程中经过吸收外壳,因此照明的损失有所降低,其仅是周围光所遭到的损失的平方根函数。
另一个实施例中,采用了一个具有可以使红、绿和蓝光通过的三个窄的通频带而对通频带之外的光具有高吸收性的外壳来减弱周围光的作用,这一方法对减弱周围光的作用非常有效。如果图像投影仪20中采用激光源可以获得更好的性能,这是由于来自激光源的窄带光在经MOE装置32散射后仍能没有减弱地通过,而来自周围照明的大部分宽带光就会被吸收掉了。
MOE装置中的去混叠
在另一个实施例中,参见图16及以下的描述,在图像数据传输到图像投影仪20及随后而到MOE装置32的光学元件160-168之前,MVD控制器18或图形数据源16可以对图像数据进行3D去混叠处理以平滑在光学元件160-168上所显示的3D图像34。采用3D去混叠处理后,系统10就可以避免例如在沿Z方向的平行平面162-164之间成像出锯齿状线或出现深度上的不完整区域,这是由于具有平行于x-y平面、且垂直于z轴的光学元件160-168的MOE装置32的内在固有的三维象素构造而引起的显示象素化。
由于对应于图像片段的数据已被产生出来,图像元素170可能出现在平面过渡的边缘附近,也就是出现在两个例如光学元件162-164的光学元件之间。仅是为了说明的目的,图16-18中所示的光学元件160-168和三维象素170都被放大了以能更加清晰地描述和说明所公开的去混叠系统和方法,因此实际上光学元件160-168之间可以具有相对小的间隔。
为了避免某一具体的图像元素170以及在至少由三维象素和/或图像元素170组成的3D图像中出现突然的过渡,可以生成两个这里所述的来自投影仪20而投影在光学元件162-164上的片段,以便于分别出现在光学元件162-164上的各个图像172-174包含有图像元素170或其一部分或由此而得的衍生形式,因此图像元素170就由光学元件162-164所形成的两个平面间共享,以此来弱化过渡而使得图1中所示的3D图像34显得更加连续。分别在接连的两个光学元件162-164上的图像元素172-174的亮度按照图像元素172-174在图像数据中的位置而不同。
参见图16,光学元件160-168的数字N可以是平面LCD的表面,因此可以表示为P1,P2,P3…PN,横跨距离D表示MOE装置32的宽度。相应地,各个光学元件160-168设置在沿z轴与一共同参考点距离D1,D2,D3…DN处的位置上,以使得DN-D1=D。例如,共同的参考点是沿z轴最靠近投影仪20的光学元件160,则D1=0、DN=D。另外,也可以从投影仪20的透镜22处开始测量光学元件160-168的距离,则从由透镜22到光学元件160-168的绝对距离D1,D2,D3…DN中减去一个从光学元件160到透镜22的抵消距离DOFFSET就可得到从光学元件160起始的相对距离。对应地,D1=DOFFSET。光学元件160-168之间的间隔可以是一个统一的距离S,也可以具有不同的间隔距离。
如这里所述的一样,从参考点(或是以透镜22为参考点或是以光学元件160为参考点)起沿z轴测得各个三维象素170的深度值,这样的深度值存储在一深度缓冲器中,相关的颜色值存储在一颜色缓冲器中。例如,深度值DV与三维像素170相关。
为了实施去混叠以平滑位于光学元件162-164之间的像素170的外形,深度值Dv与光学元件162-164之间的距离DA、DB分别得到确定,利用这样的距离值来生成去混叠参数。然后再利用去混叠参数来分别生成光学元件162-164上的两个三维象素172-174,与三维象素170相应的颜色值也分别经去混叠参数调整后为两个三维象素172-174生成各自的颜色值。
图17显示的是未经去混叠处理的三维象素。如图17所示,在光学元件162上的三维象素176-178与在光学元件164上的三维象素180-184在由三维象素178-180所确定的边界处形成了一陡然的过渡。如果光学元件162-164间的距离较大,则由所显示的三维象素176-184相结合而形成的图像34就会具有明显的锯齿状的或断裂的外形。例如,三维象素178-180可能具有处于光学元件162-180之间的深度值,例如三维像素178可能更靠近但并不在光学元件162上,三维像素180也可能更靠近但也不在光学元件164上。那么为了显示像素178-180,这种中间深度值可能就被分别转换成了光学元件162-164的固定的深度值D2、D3。而且图17中所示的像素178-180的颜色值没有变化,因此对于这种不同光学深度,像素178-180的颜色强度就会显得相似。在另外的实施例中,也可能忽略掉处于过渡中的像素178-180,这是由于它们具有中间深度,但此时由像素176和182-184所组成的3D图像34就可能显现出孔洞或裂痕。
在采用如图18所示的去混叠处理的情况下,两过渡像素178-180可用来生成新的像素178A-178B和180A-180B,其中像素178A-180A显示在光学元件162上,像素178B-180B显示在光学元件164上。此外,如图18所示,当像素176和182-184的颜色值不改变时,通过实施去混叠处理,新像素的颜色值可能发生改变以使各个新像素178A-178B和180A-180B具有经调整的颜色以柔化在x-y平面中不同深度的图像过渡。相应地,如图19所示,在图17中所示的像素176-184如曲线176所示在明显的深度向具有一个突然的过渡时,图18中所示的像素176、178A-178B、180A-180B和182-184即按照曲线188在明显的深度上具有一个相对平滑的过渡。应注意到仅是为了说明的目的,为了清晰地显示曲线186-188在图18中就没有包含曲线186-188,因此应理解为在图18中像素176和182-184的视深度在有和没有去混叠处理的情况下是相等的。
在图19中,图18中的像素178A-178B跨越光学元件162-164形成了一具有介于像素178A-178B深度之间的深度值178C的图像,该深度值较靠近于图17中所示像素178相应的的原始深度但并不在光学元件162上。类似地,图18中的像素180A-180B跨越光学元件162-164形成了一具有介于像素180A-180B深度之间的深度值180C的图像,该深度值较靠近于图18中所示像素180相应的的原始深度但也并不在光学元件164上。
应予明确,去混叠并不限于最靠近的两个相邻的光学元件,相反可利用像素178-180来生成分别出现在多个光学元件160-168上的多个相应的像素,由此可以提供比图19中所示的曲线188更平滑的深度过渡曲线。例如,去混叠而引起的深度过渡曲线188可以近似于一S形或正切函数。
参见图16,为了对三维像素170进行去混叠,至少需要生成一个是至少从一个光学元件中三维像素170的距离的函数的深度调整值λ。在一个实施例中,生成的调整值λ、μ是起始于各个光学元件162-164的距离DA,DB的标定值的函数。调整值λ、μ然后被用来调整与像素170相关的颜色值CV以产生分别与新产生的像素172-174相关的新的颜色值CA、CB,同时像素172-174各自具有与三维像素170的x-y位置相同的、在光学元件162-164上的x-y位置。
一个三维像素的颜色值至少可以确定将予显示的该三维像素的亮度。或者,该三维像素170与包含至少一个用以确定已经颜色化的三维像素亮度的标量的一组参数相关。相应地,通过用一个调整值乘以颜色值,可以实现颜色值的改变。例如,对于一个CV=12亮度单位的颜色值和一个λ=.5的调整值而言,改变颜色值CA可确定为CVλ=(12亮度单位)×(.5)=(6亮度单位)。
在一个实施例中,距离DV被标定为一个从1到N的深度值,其中N是光学元件160-168的个数,各个1到N的整数值对应于一个具体的光学元件160-168,例如图16中所示的指数P1,P2,P3…PN。调整值λ、μ由标定深度值来确定。如果光学元件160-168沿着距离D具有统一的间隔距离S,则:
S=D/N-1 (1)
这样,三维像素170的标定距离为:
DSCALED=(DV-DOFFSET)/S+1 (2)
其中DV是从透镜22或其他参考点测得的绝对距离。例如,透镜22是z轴的起点,光学元件160的距离便是D1=DOFFESET。
DSCALED是一个实数值以使1□DSCALED□N,DSCALED的处在0和1之间的小数部分指示了从光学元件162-164的相对距离。对于沿z轴并在其两侧界定三维像素170的光学元件162-164来说,其指数分别是:
[DSCALE]和 (3)
[DSCALE]+1 (4)
其中[X]表示一个数值或变量X的最低或整数函数;也就是一令最大整数小于X的函数。
DSCALED的小数部分是:
λ=DSCALED-[DSCALED] (5)
这样:
μ=1-λ (6)
分别指示与三维像素172、174相关的亮度的颜色值CA、CB被赋值如下:
CA:=CV(1-λ) (7)
CB:=CVλ=CV(1-μ) (8)
其中符号“:=”表示对新值进行赋值。
例如,对于一个具有从透镜22起始的深度DV=9.2单位的三维像素170,抵消距离DOFFSET=3.0单位,MOE装置32包含5个间隔相等的共长20单位的光学元件,则N=5、D=20,那么由等式(1)可得间隔距离S=5单位;由等式(2)可得DSCALED=2.24。这样由等式(3)-(4)可知像素170位于指数分别为DSCALED=2和DSCALED=3的光学元件之间,因此如图16中所示,相应于像素170的要显示的新的像素172-174将分别在具有标号P2和P3的光学元件162-164上显示。
在这个例子中,由等式(5)-(6)可得标定深度的小数值为λ=.24,因此μ=.76。相应地,(1-λ)=.76和(1-μ)=.24,再由等式(7)-(8)可得三维像素172的颜色值为CA=.76 CV=76%即为原始三维像素170的亮度的76%,三维像素174的颜色值为CB=.24 CV=24%即为原始三维像素170的亮度的76%。这样,由于三维像素170离光学元件162比离光学元件164“更近”,相应的新三维像素172-174具有一种配给亮度,因此较近的光学元件162显示两个三维像素172-174间的大部分颜色,而较远的光学元件164对3D立体图像在三维像素170处的在两光学元件162-164之间的过渡处的外现的作用小些但也并不是不起作用。
如果三维像素170的深度值就正好在光学元件160-168上,那么就不需要进行去混叠了。相应地,由等式(2)-(4)简化成整数值,由等式(5)-(6)可得调整值λ、μ分别为0和1,或者分别为1和0,因此对颜色值就不需进行调整了。为了避免不必要的计算,MVD控制器18可以检测等式(2)的计算结果在一定的例如1%的容错范围之内是否为一整数,如果是整数,则三维像素170就被确定或认为正好处在其中的一个光学元件160-168上。那么就会终止对正被处理的三维像素170进行去混叠处理,而继续对3D图像34中的其他三维象素进行处理。
在这个使用了等式(1)-(8)的实施例中,由于MOE装置32中的统一的间隔和其他的特点是已知的,就不必要寻找最靠近的边界光学元件了,因为根据等式(3)-(4)由三维像素170的距离DV和MOE装置的特点就确定出了哪些光学元件形成了三维像素170的边界。
在另一个实施例中,对于具有统一间隔或变化和/或非统一间隔的MOE装置32中的光学元件160-168来说,需要利用下述的等式(9)-(13)结合上述的等式(7)-(8)来实施去混叠。例如,对于具有可变间隔和/或来自投影仪20和透镜22的MOE装置可变补偿的MOE装置来说,可以在改变光学元件160-168的间隔和构造的过程中飞击式地实施去混叠方法。在这一实施例中,由于光学元件160-168的距离/深度可能变化,去混叠方法需要确定出至少两个以界定正被处理的三维像素170的边界的光学元件,方式是通过对各个光学元件160-168的深度值进行搜索来确定具有距离/深度值和两个边界光学元件,这样:
DNEAR1≤DV≤DNEAR2 (9)
可变值NEAR1和NEAR2可以是指示光学元件160-168中的相关的光学元件的整数系数。例如,在图16中,NEAR1=2和NEAR2=3,对应于沿z轴界定三维像素170边界的光学元件162-164。
深度调整值λ、μ可由下式确定:
λ=(DV-DNEAR1)/(DNEAR1-DNEAR2) (10)
μ=(DV-DNEAR2)/(DNEAR1-DNEAR2) (11)
其中X表示的是数值或变量X的绝对值或数值大小的函数。
由等式(10)-(11)所得的深度调整值都是正实数且满足:
0≤λ、μ≤1 (12)
λ+μ=1 (13)
因此深度调整值对光学元件之间的非统一和/或可变距离进行标定,然后用于等式(7)-(8)中以相应的经调整的颜色值的来生成三维像素172-174。如等式(10)-(11)所示,深度调整值λ、μ基于分别与光学元件162-164相关的像素172-174的深度范围之内的三维像素170的深度内插。
对于上述的具有统一间隔的那个例子,将DV=9.2单位、DNEAR1=D2=8单位和DNEAR2=D3=13代入等式(9)-(13)中,也可得:
λ=(9.2-8)/(8-13)=1.2/5=.24
μ=(9.2-13)/(8-13)=3.8/5=.76
可见所得结果与利用等式(1)-(8)所得的调整值相同。另外的实施例可用于MOE装置32和光学元件160-168的维度和空间特点发生变化的情况,但是在这种情况下就需要进行搜索以确定用以产生新的三维像素172-174的合适的界定光学元件162-164。
图20表示的是一种实施这里所述的3D去混叠的方法流程图,其中,对于一个正要被显示的三维像素例如三维像素170,该方法在步骤190中分别从深度和颜色缓冲器读出相应的深度值DV和颜色值CV。然后该方法在步骤192中确定光学元件间的间隔是否为一恒定值;例如,MVD控制器18中的某一构造设置可以指示光学元件160-168是否固定、具有均匀的或非均匀的分布、和/或MVD控制器18和MOE装置32能如上所述以可变间隔模式工作。
如果间隔是恒定的,则该方法在步骤194中利用等式(1)-(2)对深度值DV进行标定以使其处在光学元件160-168的指数范围之内,接着该方法在步骤196中确定最靠近深度值DV和以深度值DV为边界的光学元件,在步骤196中利用了等式(3)-(4)。否则,如果在步骤192中确定间隔不是恒定的,则该方法不执行步骤194而执行步骤196以确定光学元件是否满足等式(9);也就是对各个光学元件160-168的距离/深度值采用一种搜索程序。在另外的方法中,可以有选择地执行步骤192或忽略掉步骤192,这取决于MVD控制器18和MOE装置32的构造和工作模式。
接着该方法在步骤198中利用等式(5)-(6)或等式(10)-(11)来确定一个深度调整值λ和/或第二个调整值μ,其中利用哪组等式取决于所选择的实施例。该方法接着在步骤200中利用等式(7)-(8)和该深度调整值对在最靠近的边界光学元件上的三维像素进行颜色值的调整,该方法在步骤202中将具有调整后的颜色值的经调整的三维像素显示在最靠近的边界光学元件上。
在另一个实施例中,可以实施一种中间程度的去混叠。例如,将调整值λ、μ固定为例如.5的一个数值,以将三维像素170的一半亮度赋值给各个三维像素172-174。这种中间去混叠会产生例如图19中曲线189所示的对应于中间过渡曲线的中间深度180D的视深度。
在其他实施例中,去混叠的程度可以在一个极端,即忽略小数的深度值λ、μ到另一个极端,即利用所有的小数深度值λ、μ之间变化,或者去混叠的程度可以变化到这两个极端值间的任意值。可以通过下述方法来完成这种可变化的去混叠:用一去混叠参数P除标定深度的小数部分λ,然后再从1中反向抵消掉所得到的结果值。也就是,利用等式(5)和(10)计算出λ后,再计算可变值λVAR以使:
λVAR=λ/P (14)
最终的颜色值可以通过将反向抵消后的值固定在一个例如0到1之间的预定范围内来确定。相应地,对于可变去混叠而言可将等式(7)-(8)进行调整以使:
CA2=CV(1-λVAR) (7)
CB2=CVλVAR (8)
图20所示的步骤198-202可分别执行等式(14)-(16)以提供可变的去混叠。
P=1的去混叠参数对应于完全地去混叠;无穷大P→∞去混叠参数,即可以是由任意高的数值计算取得的参数,对应于不进行去混叠。也可以执行小于1的去混叠参数。例如,当P=1时,执行的就是上述的利用等式(1)-(13)进行的去混叠。
在另一个例子中,当去混叠值λ=.24、去混叠参数为3时,可由等式(14)得λVAR=.08,因此由等式(15)-(16)可得:CA2=.92CV=92%即为三维像素170颜色值的92%,而CB2=.08CV=8%即为三维像素170颜色值的8%。与前面的例子相比可见:这种可变的去混叠将三维像素172在视深度中的比例由76%增加到了92%,而将三维像素174的比例由24%或四分之一降低到了小于10%。在一个改进的例子中,当P→∞时,就不进行去混叠了,由等式(14)也可得λVAR=0.00。这样由等式(15)-(16)可得:CA2=1.0CV=100%即为三维像素170颜色值的100%,而CB2=0.0CV=0%即为三维像素170颜色值的0%。相应地,位于光学元件162-164之间的任何三维像素170都显示在更靠近的光学元件162上,而不需进行去混叠,因此在图20所示的步骤202中还包含当P→∞时不产生和显示离参考点更远的第二个三维像素的步骤。例如,不产生三维像素174。
在另一个利用可变去混叠的改进的实施例中,图20中所示的方法只有当调整后的颜色值大于一预定阀值T时才显示新的三维像素。例如:
如口果CV(1-λVAR)>T 那么CA2=CV(1-λVAR) (17)
否则CA2=0
如果CVλVAR>T 那么CB2=CVλVAR (18)
否则CB2=0
例如,T可能等于.05,因此如对颜色的贡献小于5%就可忽略不计,例如,当切换成不透明/散射模式时在光学元件160-168上就显示出经这种略掉不计处理后的颜色值的三维像素。相应地,这种忽略不计的贡献对整体3D图像的作用也忽略掉了,就不显示那些没有贡献的三维像素了,这样可减少要显示的三维像素的个数从而改善对3D图像的运算处理。
在另外的实施例中,MVD系统10可以产生出具有部分半透明的外现的3D图像34。也就是在MOE装置32的光学元件36-42上显示的图像44-50具有适度的阴影和颜色,这样一个图像的一部分呈显得半透明,而通过半透明的部分就可看见第二个图像的另一部分了。不论是否经过去混叠,这种半透明的外现都可以产生出来。
在生成3D图像34的过程中,MVD系统10所采用的方法执行了利用例如象图形数据源16的帧缓冲器中的颜色和深度(或z)缓冲器一样的OpenGL帧缓冲器数据等的MPD运算。在深度缓冲器中的数值表示的是在颜色缓冲器中的相应像素的深度,这一深度值用来确定在MOE装置32之内显示的、该象素或三维象素的位置,如位于图16所示的三维象素170处。这种MPD运算方法适合于下述情况:如果一些背景物体的图像被前景物体的图像挡住时,就不需要生成来自MOE装置32的立体图像34中的被挡住的那部分背景物体的图像的情况。
为了在MOE装置32中生成由于前景物体是半透明的从而使相应的被挡住的背景物体的图像可见的图像,就需采用一种α通道技术,在这种技术中一个α参数通过结合前景和背景物体的颜色以及α的数值来确定颜色缓冲器中像素/三维象素的颜色。α=1表示完全不透明,α=0表示完全透明。采用这种α通道成像法来从彩色缓冲器生成似乎正确的彩色图像时,深度缓冲器中的深度值保持不变,因此仍对应于在前物体的图像的深度。
在已知的显示系统中,由于可能会存在有各种深度的、以一个深度值来显示的多个表面,因此这种未作改变的深度就阻碍了图像在立体显示系统中适当地显示出来,所公开的MVD系统10可生成例如使物体或其中的一部分成为半透明的立体图像34从而避免现有技术中的以一个深度值来显示多个深度处的多个表面的阻碍。所公开的MVD系统10利用了OpenGL的附加特性来产生位于MVD系统10的间隔内的夹平面,但只允许在所产生的每一夹平面的预定的一侧例如与一背侧相对的正侧上进行。
对于一个如图21-24中所示的MOE装置32,即包含N个可用1到N来计数的平面204-212、且平面间具有均匀的间隔△的装置32,一个例如一立体图像34的画面在夹平面相互相对的条件下生成N次、以间隔△相分离、再集中于示范空间中平面204-212的某一给定MOE平面的位置处。这样,就生成了N个不同的图像,从帧缓冲器取出相对应的颜色缓冲器而将其送到MVD控制器18。在将该颜色缓冲器送到MVD控制器18以便在MOE装置32中予以显示的时候,α通道即被关闭,因为MVD系统10包含一个与正在用来生成3D立体图像34的MOE装置有关的内在α值。
夹平面成像的例子可以在没有图21、22表示的去混叠的情况下来实施,其中夹平面214-216用来对应于位置较靠近观察者218的图像部分,在位于夹平面214-216之间的第一平面206上生成并显示出部分的图像34,而处在夹平面214-216之间的那部分图像显示在第一平面206上。图像34的新的部分生成于夹平面220-222之间以在离观察者218较远的的第二个平面208上予以显示并且定位于该夹平面220-222之间,而处在夹平面220-222之间的图像部分显示在了第二个平面208上。
为了在上述的利用α通道的方法中实施去混叠处理,需要利用OpenGL的其他特性,例如实施用于去混叠的雾样成像的大气效应。该雾气特性使得各个成像物体的颜色与雾气的颜色成比例结合,所述比例是由雾气的密度以及与涉及雾气所确定的远近值的深度范围相关的模型深度所确定的。
OpenGL中可获得的气雾函数包含线性、指数、和指数平方函数。所公开的MVD系统10可以采用这些函数以及这种雾气函数的结合,例如图23-24中所示的叠加的线性雾气函数224-227。在图23-24所示的实施例中,各个线性雾气函数224-227的结合都是以对应于一黑色设定的、在雾气的近深度处的零值为起点,然后以一线性方式上升到1值,并对应于一个真实颜色设定、且与近深度位置相距(FAR-NEAR)/2。接着雾气函数又在远深度处降回至零。具有了这一雾气函数以及具有间隔为2△的且其中心位于将予显示图像34的示范空间的某一MOE平面上的夹平面,图像34即可被生成N次,且每一次来自颜色缓冲器的数据都被送到了MOE装置32的相应平面上。
在一实施例中,线性雾气函数的结合以及用这些函数的结合对三维象素图象数据的处理通过为某一给定光学元件,例如图23中所示的平面206,予以合成图象的方式至少经两种处理途径进行。在第一个处理途径中,两个夹平面被分开△的距离,其第一个夹平面228位于具有在当前光学元件206之前生成的图像的光学元件204之上,其第二个夹平面位于当前光学元件206之上。然后,具有其距离不断增加、且其NEAR小于FAR的上升线性雾气函数224与上述夹平面一起为光学元件206用于生成第一组图像。
在第二个途径中,两个夹平面间被分开△的距离,其第一个夹平面位于当前光学元件206之上,其第二个夹平面230位于在当前光学元件206之后将具有生成图像的光学元件208之上,且其第二个夹平面位于该当前光学元件206之上。然后,具有其距离不断减少的、且其FAR小于NEAR的下降的线性雾气函数225与上述夹平面一起为光学元件206用于生成第二组图像。
接着MVD系统10将利用不同的线性气雾函数224-225所生成的两组图像相叠加后显示在光学元件206上。
为生成如图23所示在第一个平面206上的第一个图像,雾气函数224-225集中于第一个平面206,来自夹平面228-230的图像和它们之间的深度都由有关深度处的雾气函数224-225的相应值对其相应的颜色值作了调整。在利用函数224-225生成光学元件206上的叠加图像后,MVD系统10如图24中所示开始在第二个平面208处生成连续的图像,其雾气函数226-227转变为集中到第二个平面208之上。来自夹平面232-234的图像和它们之间的深度都由有关深度处的雾气函数226的相应值对其相应的颜色值作了调整。MVD系统10开始连续地移动雾气函数并利用α通道方法来对相应夹平面处的各个图像进行颜色调整。在另外的实施例中,为不同的平面204-212实施不同的雾气函数,以在距离观察者218更远的地方获得更高的雾气密度,从而增加所显示的3D立体图像34的深度感知效果。
例如,参见图23,对于在深度238处标有D且其各个部分具有各自的颜色值Ci的图像236,在深度D处的雾气函数224的值240为αD,因此为图像236所显示的经调整的颜色值为αDCi。颜色值可以是这里所述的按等式(7)-(8)和/或(15)-(16)经深度调整后的颜色值,这样α通道的调整可以有选择性地在图20所示的步骤200中实施以实现包含有这里所述的α通道技术的去混叠处理。
通过优选实施例的方式已公开了前述的一种新型的多平面立体显示系统10及其工作方式。但是,在不脱离本发明实质的前提下还可以进行多种变化和替换。例如,虽然优选实施例中讨论的是采用如平板液晶显示器的平面光学元件,但以前述的方式采用曲面光学元件也完全在本发明的预见之内。
MVD系统10的实施会用到下述专利文献中所描述的装置和方法:于1998年4月20日申请的申请号为60082442的审查中的美国临时专利;也会用到于1996年11月4日申请的申请号为08743483的审查中的美国专利,该专利是第5572375号美国专利的一个继续,也是第5090789号美国专利中的一个部分。也可利用1998年1月8日申请的申请号为09004722的审查中的美国专利中所述的装置和方法来实施MVD系统10。在这里可以合并参考上述的各个临时和非临时专利申请和已授权的专利。相应地,本发明是以例举而不是限定的方式来描述的。