《一种利用遮罩和时间复用方式的三维全景图像显示方法.pdf》由会员分享，可在线阅读，更多相关《一种利用遮罩和时间复用方式的三维全景图像显示方法.pdf（18页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103913845 A (43)申请公布日 2014.07.09 CN 103913845 A (21)申请号 201310150778.6 (22)申请日 2013.04.26 10-2013-0001873 2013.01.08 KR G02B 27/22(2006.01) H04N 13/00(2006.01) (71)申请人 东西大学校产学协力团 地址 韩国釜山广域市沙上区周礼路 47 (72)发明人 新东鹤 吴龙锡 李炳国 (74)专利代理机构 北京冠和权律师事务所 11399 代理人 朱健 (54) 发明名称 一种利用遮罩和时间复用方式的三维全景图 像显示。
2、方法 (57) 摘要 本发明涉及一种利用遮罩和时分多路复用方 式的三维全景图像显示方法， 更加具体地涉及从 物体中获取的图像经过遮罩后， 穿透小透镜， 从 而实现元素图像， 上述遮罩包括物体的图像不能 穿透的遮罩区域和物体的图像可穿透的非遮罩 区域， 从而可获取三维图像。如上所述， 本发明利 用元素图像的分时显示及遮罩图像， 从而可在深 度优先全景图像方式中回放分辨率提高的三维图 像。 此外， 深度优先全景图像方式提供了广泛的深 度感， 因此具有将更加带有真实感的三维图像进 行回放等的显著效果。 (30)优先权数据 (51)Int.Cl. 权利要求书 1 页 说明书 7 页 附图 9 页 (1。
3、9)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书7页 附图9页 (10)申请公布号 CN 103913845 A CN 103913845 A 1/1 页 2 1. 一种利用遮罩和时间复用方式的三维全景图像显示方法， 在利用遮罩和分时方式的 三维全景图像显示方法中， 其特征在于 ： 从三维物体 110 中所获取的元素图像 130、 230 通过小透镜 220， 经过遮罩 240 后， 将三 维图像210在空间中进行显示， 并且上述遮罩240包括元素图像230通不过的遮断区域242 以及元素图像 230 通过的穿透区域 241， 从而可显示三维图像。 2. 根据权利。
4、要求 1 所述的一种利用遮罩和时分多路复用方式的三维全景图像显示方 法， 其特征在于 ： 上述遮罩 240 中， 遮断区域 242 和穿透区域 241 随着时间按次序进行位置交换， 从而可 显示三维图像。 权 利 要 求 书 CN 103913845 A 2 1/7 页 3 一种利用遮罩和时间复用方式的三维全景图像显示方法 技术领域 0001 本发明涉及一种利用遮罩(Mask)和分时方式的三维全景(Integral)图像显示方 法， 更加具体地涉及一种利用遮罩和时间复用方式的三维全景图像显示方法， 其中， 从三维 物体所获取的元素图像通过小透镜， 经过遮罩后， 将三维图像在空间中进行显示， 上。
5、述遮罩 由元素图像通不过的遮断区域以及元素图像通过的穿透区域构成， 从而显示三维图像。 背景技术 0002 近来， 涉及三维图像和图像回放技术的研究十分活跃， 并在全世界范围内得到广 泛的关注。 0003 图像技术正实现尖端化， 以及高度的技术集聚。 0004 由此， 三维图像相比二位图像更具真实感且更加适合人类， 使得三维图像的需求 也正在增加。 0005 所谓的三维图像回放技术是用立体进行显示的技术， 以便观测者能感受到不同于 平面图像的具有立体感和真实感的三维立体图像。 0006 现有研发的用于三维立体图像回放方法包括 ： 体视学 （stereoscopy） 、 全息术 （hologra。
6、phy） 、 全景图像 （integral imaging） 技法等各种技术。 0007 在上述技术中， 全景图像方式是由李普曼 （Lippmann） 于 1908 年首次提出的。此 后， 全景图像方式被作为新一代三维图像回放技术而进行研究。 0008 作为上述三维全景图像显示方法的现有文献， 在登记专利第 0891160 号中记载有 利用区域分割技法的元素图像压缩方法， 其中， 元素图像压缩装置运用区域分割技法， 从而 将元素图像压缩， 其包括如下步骤 ：（a） 通过透镜阵列， 从三维客体中获取具有互不相同的 视觉偏差的元素图像 ；（b） 将上述获取的元素图像按照类似相关度， 划分为具有多个。
7、类似 图像的类似区域 ；（c） 将上述各个类似区域所包括的图像重新排列为一维元素图像阵列 ； 以及 （d） 将上述重新排列后生成的一维元素图像阵列进行压缩。 0009 作为另一个现有文献的实施例， 在登记专利第 0942271 号中记载有全景图像复原 方法， 其中， 利用通过透镜阵列获取的元素图像， 从而将全景图像复原， 其包括如下步骤 ： 将 上述元素图像扩大为预定的大小， 并且将位于上述被扩大的各个元素图像的相同坐标的像 素 （pixel） 合并， 从而生成复原图像 ； 将上述各个复原图像的模糊度量 （blur metric） 值进 行测定 ； 将相应于根据焦点距离的上述模糊度量值的拐点的。
8、复原图像选定为焦点 （focus） 图像 ； 通过侵蚀运算， 从而生成侵蚀图像， 上述侵蚀运算是从上述焦点图像的各个像素值中 减去相应的侵蚀遮罩 （mask） 的各个像素值 ； 以及， 在上述复原图像上将上述侵蚀图像进行 匹配 （mapping） 。 0010 图 1 是表示全景图像方式的基本原理的概要图。 0011 基本上， 将三维物体 110 生成为三维图像 210 的原理包括 ： 图像获取阶段 100， 使 得三维物体 110 穿透小透镜 120， 从而获取元素图像 130 ； 图像回放阶段 200， 将根据图像 获取阶段 100 所收集的元素图像 100 重新通过小透镜 220， 从而。
9、在空间上回放为三维图像 说 明 书 CN 103913845 A 3 2/7 页 4 210。 0012 换句话说， 如图1中所示， 全景图像技术大致可分为图像获取阶段100和图像回放 阶段 200。 0013 图像获取阶段 100 包括类似于图像传感器的二次元感知器以及小透镜 120， 并且 此时三维物体 110 位于小透镜 120 的前方。 0014 由此， 三维物体 100 的各种图像信息在通过小透镜 120 后存储于二维感知器中。 0015 此时， 所存储的图像为元素图像 130， 用于三维图像 210 的回放。 0016 此后， 全景图像技术的图像回放阶段200为图像获取阶段100的。
10、逆过程， 其中包括 类似于液晶显示装置的图像回放装置和小透镜 220。 0017 此处， 从图像获取阶段200中所获得的元素图像230显示于图像回放装置， 并且元 素图像 230 的图像信息通过小透镜 220， 从而在空间上回放为三维图像 210。 0018 实质上， 图像获取阶段 100 的元素图像 130 和图像回放阶段 200 的元素图像 230 相同， 但图像回放阶段 200 的元素图像 230 的用途在于， 将从图像获取阶段 100 中所获取的 元素图像120存储于二维感知器， 从而回放三维图像， 为了便于区分图像获取阶段100和图 像回放阶段 200， 从而以不同的图面标号进行示出。
11、。 0019 全景图像方式的优点在于， 提供类似于全息术 （holography） 方式的全视差 （full parallax） 和连续观测点。 0020 全景图像方式的主要特征在于， 观测立体图像不需要眼镜或其他工具， 并且可在 一定视野角度范围内提供连续的垂直、 水平视觉偏差， 而不是在视点上。 0021 并且， 全景图像方式可实现完全天然色实时图像回放， 与现有的平面图像装置的 兼容性卓越。 0022 图 2 是表示深度优先全景图像方式的概要图， 图 3 是表示分辨率优先全景图像方 式的概要图。 0023 上述全景图像方式根据小透镜 220 与元素图像显示装置之间的距离 g 可分为两 类。
12、。 0024 换句话说， 可分为距离 g 与小透镜 220 的基础透镜的焦点距离 f 相同的情况， 以及 不同的情况。 0025 g=f 的情况下， 如图 2 所示， 元素图像 230 的一个像素通过透镜形成为平行光束 （beam） ， 从而可制成全景光束。 0026 上述情况被称为深度优先全景图像方式， 其缺点在于， 虽然可将显示三维图像的 深度区域制成最大， 但是三维图像 210 的分辨率低。 0027 与上述情况相反， g 与 f 不同的情况被称为分辨率优先全景图像方式， 元素图像 230 的一个像素通过小透镜形成为会聚光束， 从而形成全景光束， 并且， 在此情况下， 虽然可 增加三维图。
13、像 210 的分辨率， 但是深度区域会急剧缩减。 发明内容 0028 本发明是为解决上述问题而提出的， 本发明的目的在于， 提供一种三维全景图像 方法， 其利用分时显示及遮罩图像， 从而可在深度优先全景图像方式中显示分辨率提高的 三维图像。 说 明 书 CN 103913845 A 4 3/7 页 5 0029 用于解决上述目的的本发明的解决方法为如下 ： 从三维物体所获取的元素图像通 过小透镜， 经过遮罩后， 将三维图像在空间中进行显示， 并且上述遮罩由元素图像通不过的 遮断区域以及元素图像通过的穿透区域构成， 从而可显示三维图像。 0030 如上所述， 本发明利用分时显示及遮罩图像， 从而。
14、可在深度优先全景图像方式中 回放分辨率提高的三维图像。 0031 并且， 深度优先全景图像方式提供了广泛的深度感， 因此具有将更加带有真实感 的三维图像进行回放等的显著效果。 附图说明 0032 图 1 是表示全景图像方式的基本原理的概要图。 0033 图 2 是表示深度优先全景图像方式的概要图。 0034 图 3 是表示分辨率优先全景图像方式的概要图。 0035 图 4 是表示利用本发明的分时显示及遮罩图像的三维全景图像方式的概念图。 0036 图 5 是将图 3 的概要进行试验性体现的示意图。 0037 图 6 是表示将元素图像按照现有的方式进行生成的方法的概要图。 0038 图 7 是表。
15、示将元素图像根据本发明生成的方法的概要图。 0039 图 8 是根据本发明生成的元素图像的示意图。 0040 图 9、 10、 11、 12 是将各个时间段的遮罩图像和所属元素图像在显示面板上进行显 示后， 通过光学实验从而获得的光学实验成果图像。 0041 图 13 是将图 9 至图 12 中所获取的图像运用分时方式并通过高速显示而获取的光 学实验成果图像。 0042 图 14 是根据现有方法生成的光学实验成果图像。 0043 图 15 是根据本发明生成的光学实验成果图像。 0044 图 16 是在对于根据本发明生成的三维图像的各种观测角度中所获取的光学实验 成果图像。 0045 图 17 。
16、是在图像回放阶段中构成有投影仪和扩散板的示意图。 0046 图 18 是在图像回放阶段中构成有投影仪和扩散板， 以及黑白 LC 面板的示意图。 具体实施方式 0047 本发明的一种利用遮罩和时间复用方式的三维全景图像显示方法中， 从三维物体 110 中所获取的元素图像 130、 230 通过小透镜 220， 经过遮罩 240 后， 将三维图像 210 在空 间中进行显示， 上述遮罩 240 由元素图像 230 通不过的遮断区域 242， 以及元素图像 230 通 过的穿透区域 241 构成， 从而可显示三维图像 210。 0048 上述遮罩 240 中， 穿透区域 241 和遮断区域 242 。
17、随着时间按次序进行位置交换， 从 而可显示三维图像 210。 0049 以下， 参照附图， 对本发明的三维全景图像显示方法进行详细说明。 0050 在进行说明之前， 小透镜 （lenslet） 是微透镜 （micro-lens） 排列而成的。 0051 图 4 是表示利用本发明的分时显示及遮罩图像的三维全景图像方式的概念图， 图 5 是将图 4 的概要进行试验性体现的示意图。 说 明 书 CN 103913845 A 5 4/7 页 6 0052 本发明的一种利用遮罩和时间复用方式的三维全景图像显示方法中， 从三维物体 110 中所获取的元素图像 130、 230 通过小透镜 220， 经过遮。
18、罩 240 后， 将三维图像 210 在空 间中进行显示， 上述遮罩 240 由元素图像 230 通不过的遮断区域 242 以及元素图像 230 通 过的穿透区域 241 构成， 从而可显示三维图像 210。 0053 尤其是遮罩 240 中， 穿透区域 241 和遮断区域 242 随着时间按次序进行位置交换， 从而可显示三维图像 210。 0054 优选地， 将上述遮断区域 242 和穿透区域 241 进行均等划分。 0055 上述遮断区域 242 和穿透区域 241 的交换是以非常快的速度进行的， 因此人的肉 眼无法识别。 0056 如图 4 所示， 根据本发明的一个实施例的三维全景图像系。
19、统可包括 ： 元素图像生 成装置、 元素图像显示装置、 遮罩图像显示装置、 分时显示控制装置。 0057 图 5 展示了将图 4 的概要进行试验性体现的例子。 0058 在本实施例中， 将元素图像显示装置和小透镜 220 之间的距离固定为 f， 以便实现 深度优先全景图像方法。 0059 元素图像显示装置是指显示元素图像 230 的显示面板。 0060 并且， 用作遮罩图像显示装置的显示面板与小透镜 220 进行紧密结合。 0061 并且， 使用分时显示控制计算机， 其将元素图像 230 和与其对应的遮罩图像同时 执行分时显示。 0062 在深度优先全景图像方法中， 本发明是用于提高三维图像的。
20、分辨率的方法。 0063 如图 5 所示， 在本发明中， 以观测者 P 的位置为基准， 将电子遮罩 240 放置于小透 镜 220 的前方， 从而执行分时图像显示， 进而提高三维图像 210 的分辨率。 0064 图 5 的 P 表示观测者。 0065 在图 5 中表示改善分辨率的原理。 0066 在图 5 中表示 2X2 形式的分时显示的例子。 0067 为此， 将遮罩图像的一个例子如图 5 进行表示。 0068 此时， 从元素图像 230 中所射出的光束通过小透镜 220 和遮罩 240， 从而在空间形 成三维图像 210。 0069 上述形成的三维图像 210 的形成大小与现有方法相比在。
21、 x 轴和 y 轴上缩短为约 1/2 倍， 并且上述意义在于共增加四倍的分辨率。 0070 相同的原理， 如果使用 NxN 个的分时图像显示， 可获取 N 倍的分辨率。 0071 元素图像生成装置通过计算机从三维物体 110 获取元素图像 130。 0072 图 6 是表示将元素图像按照现有的方式进行生成的方法的概要图， 图 7 是表示采 用遮罩方式来生成元素图像的方法的概要图。 0073 图 6 是作为通过现有方式生成图像的方法， 小透镜 120 中， 一个透镜上所生成的 元素图像 130， 考虑到透镜的位置和元素图像的像素位置并利用几何光学的线， 可被易于生 成。 0074 此时， 光束从。
22、透镜的中心经过。 0075 与此不同， 图 7 是对采用遮罩方式来生成元素图像的方法进行说明。 0076 在此情况下， 与现有的使用透镜中心的方法不同， 使用遮罩图像的中心。 说 明 书 CN 103913845 A 6 5/7 页 7 0077 因此， 遮罩图像不同， 则生成的图像的位置也有所不同。 0078 结论， 与现有的方法相比， 本发明使用分时遮罩图像， 从而对三维物体 110 可获取 并获取更多的信息。 0079 图 8 是根据本发明生成的元素图像的示意图。 0080 如图 8 所示， 在此情况下， 使用 2x2 的共 4 种的分时显示及遮罩图像。 0081 如图 6 所示， 当时。
23、间为 t1、 t2、 t3、 t4 时， 遮罩图像的基础图像会不同地形成， 并且 表示使用遮罩图像来获取的元素图像的集合的例子。 0082 如图 4 所示， 三维图像系统包括元素图像显示装置、 遮罩图像显示装置、 分时显示 控制装置。 0083 元素图像显示装置作为将上述元素图像生成装置中所形成的元素图像集合进行 显示的装置， 从而可使用显示面板或投影仪和屏幕等。 0084 遮罩图像显示装置作为将遮罩图像进行显示的装置， 从而可使用透明显示面板。 0085 此时， 遮罩图像的大小与基础透镜的直径相关， 并且 NxN 时间复用的情况下， 可缩 小为相当于基础透镜直径 1/N 的大小。 0086 。
24、并且， 时间复用显示控制装置使用计算机， 将元素图像显示装置和遮罩图像显示 装置进行同步并控制， 并且可按照时间复用的时间段迅速地将元素图像及遮罩图像进行显 示。 0087 图 9 至图 12 是将各个时间段的遮罩图像和所属元素图像进行显示的光学实验成 果图像。 0088 换句话说， 图9至图12是在三维图像系统中按照各个时间段将遮罩图像和所属元 素图像在显示面板上进行显示后， 通过光学实验获取的光学实验成果图像。 0089 在 t1 的时刻内， 对应于一个透镜的面板的四个区域中， 穿透第一个区域， 剩下的 会遮断。 0090 通过上述构成的遮罩图像， 从而元素图像显示为三维图像。 0091 。
25、遮罩图像由四个区域构成， 因此在进行分时的情况下， 显示为四个时间 （t1、 t2、 t3、 t4） ， 从而可获取各不相同的观测图像。 0092 图 13 是将图 9 至图 12 中所获取的图像运用分时方式并进行高速显示后获取的光 学实验成果图像。 0093 换句话说， 图 13 是对将图 9 至图 12 中所获取的观测图像运用分时技法并进行高 速显示的情况下所获取的结果进行说明。 0094 将图像进行高速显示时， 图像的各个区域可简单地重合， 并且观测者可看到如图 13 右侧图像所示的完成后的三维图像。 0095 图 14 是根据现有方法生成的光学实验成果图像， 并且图 15 是根据本发明。
26、生成的 光学实验成果图像。 0096 如图 14 所示， 从现有的方法可知， 获取相当于一个透镜大小的块状图像。 0097 反之， 在本方法中， 如图 9b 所示， 将一个透镜的大小划分为四个部分， 因此可得到 提高四倍的三维图像。 0098 图 16 是表示在对于根据本发明生成的三维图像的各种观测角度中所获取的结 果。 说 明 书 CN 103913845 A 7 6/7 页 8 0099 如图 16 所示， 展示了对本发明所获取的三维图像在多种观测角度所获取的结果。 0100 根据不同的观测角度可确认三维立体感。 0101 图 17 是由投影仪和扩散板构成的全景图像系统的另一个示意图， 并。
27、且图 18 是构 成有黑白 LC 面板的全景图像系统的示意图。 0102 如图 17 所示， 在图像回放阶段 200 中包括投影仪 300， 在小透镜 220 和投影仪 300 之间构成扩散板 400， 从而可回放三维图像。 0103 上述投影仪 300 将图像扩大， 从而使用照射于屏幕上的惯用的机器， 并且扩散板 400 是将光源发射出的光沿着面进行扩散， 从而使画面整体的颜色亮度看上去均匀的半透 明部件， 在放入多个荧光灯而制成的广告牌中起到亚克力板 （acrylic board） 发挥扩散板 的作用。 0104 可使用光扩散板或者胶片形态， 或高纯度亚克力树脂材质的扩散板等， 并且可使 。
28、用最近开发的高强度棱镜扩散板等。 0105 高密度棱镜扩散板运用两面条纹投射方式， 而不是运用只向一面投射条纹的现有 的方式， 并且运用高强度扩散板工艺， 其向两面分别投射金字塔和半球形状的条纹。 0106 但是， 现有的 LCD 面板是 LCD 的情况下， 背光颜色必须为白色， 并且是玻璃材料的 RGB 构造， 因此有时产生波纹 （moire） 效应。 0107 波纹效应是在视觉上产生拍频现象 （Beat phenomenon） ， 在具有一定间距的物体 之间产生的干涉条纹， 换句话说， 两个以上的条纹重合时则会产生预料之外的新条纹。 0108 拍频现象是指频率相似的两个波动互相影响， 从而。
29、根据两个频率的差异， 频率幅 度按照一定的周期进行变化。 0109 波纹效应可举例为， 在摄影中， 构造物的空隙间产生彩虹颜色条纹的现象， 或者阳 光照射的日子文章或者帘子等重合时， 产生水纹图案的现象等。 0110 因此， 为了解决彩色滤光片产生波纹效应的问题， 取代现有的 LCD 面板， 构成黑白 LC 面板 500， 并且如图 18 所示， 在小透镜 220 和扩散板 400 之间构成黑白 LC 面板 500。 0111 因此， 将整体画面分别由红色、 绿色、 蓝色构成的三个图像按照次序 （t=t1， t2， t3，） 通过扩散板 400， 快速地投影至黑白 LC 面板 800， 从而可。
30、生成彩色元素图像阵列。 0112 为了将红色、 绿色、 蓝色顺次投影， 使用惯用的 RGB 喷射器 600， 并且在图 18 中， 为 了表示将红色、 绿色、 蓝色按次序投影， 分别表示了示出有红色、 绿色、 蓝色的面板， 但实际 上是在一个面板上按照时间顺序喷射红色、 绿色、 蓝色的图像。 0113 换句话说， RGB 喷射器 600 所生成的 t1= 红色、 t2= 绿色、 t3= 蓝色， 并且 t4= 红色、 t3= 绿色、 t4= 蓝色的图像再次通过扩散板 400， 从而按照顺序投影至黑白 LC 面板 500。 0114 上述构成的图像显示装置一般被称为背光单元 （backlight 。
31、unit） ， 但是选择性 地使用平板式的离子显示板 （PDP） 、 液晶显示器 （LCD） 、 发光二极管 （LED） 、 有机发光二极管 （OLED） 等商业性显示装置， 从而可在有限的空间内自由使用。 0115 如上述说明， 本发明可利用元素图像的分时显示及遮罩图像， 从而在深度优先全 景图像方式中可实现分辨率提高的三维图像的回放。 0116 并且， 深度优先全景图像方式提供了广泛的深度感， 因此具有将更加带有真实感 的三维图像进行回放等的显著效果。 0117 标号说明 说 明 书 CN 103913845 A 8 7/7 页 9 0118 100. 图像获取阶段 110. 三维物体 1。
32、20. 小透镜 0119 130. 元素图像 140. 遮罩 141. 穿透区域 0120 142. 遮断区域 0121 200. 图像回放阶段 210. 三维图像 220. 小透镜 0122 230. 元素图像 240. 遮罩 241. 穿透区域 0123 242. 遮断区域 0124 300. 投影仪 400. 扩散板 500. 黑白 LCD 面板 0125 600.RGB 喷射器 说 明 书 CN 103913845 A 9 1/9 页 10 图 1 图 2 说 明 书 附 图 CN 103913845 A 10 2/9 页 11 图 3 图 4 说 明 书 附 图 CN 1039138。
33、45 A 11 3/9 页 12 图 5 图 6 说 明 书 附 图 CN 103913845 A 12 4/9 页 13 图 7 图 8 说 明 书 附 图 CN 103913845 A 13 5/9 页 14 图 9 图 10 说 明 书 附 图 CN 103913845 A 14 6/9 页 15 图 11 图 12 说 明 书 附 图 CN 103913845 A 15 7/9 页 16 图 13 图 14 说 明 书 附 图 CN 103913845 A 16 8/9 页 17 图 15 图 16 说 明 书 附 图 CN 103913845 A 17 9/9 页 18 图 17 图 18 说 明 书 附 图 CN 103913845 A 18 。