一种实体投影虚实配准装置及方法 【技术领域】
本发明具体涉及一种实体投影虚实配准装置及方法。背景技术 实体投影是指在不规则表面上均匀、 实时投影， 如用投影机将汽车的贴图照射到 汽车模型， 使汽车具有华丽的外表， 且可以使其颜色、 光泽、 装饰随时发生变化 ； 用投影机将 立体广告照射在没有内容的广告模型上， 可以使广告的内容随时变化。因此具有强大的视 觉震撼力， 且可以节约展示成本。
实体投影与展示现场人的动作结合在一起， 将展示现场的真实场景与计算机构建 的虚拟场景有机融合在一起， 通过真实场景中人的动作识别， 使虚拟场景发生变化， 展现各 种虚实结合的场面。 主要用于各种新产品发布会、 各种展览会， 全方位展示现有的或将来会 有的产品的外形、 内部结构、 动态运行状况。
实现实体投影， 关键技术是如何将投影机投出的影像与现场的实体模型完全吻 合， 也就是解决实体投影虚实配准问题。 虚实配准问题在学术界已经有较多的研究， 属于增 强现实技术领域中的一个核心问题。
在国外， 2006 年， Andel Miroslavl 等人基于带摄像头的手机， 开发了一个基于移 动电话的交互式面对面的增强现实软件。 用户可以手持手机， 走在未装修的房间里， 可以体 验手机屏幕上展现的虚拟装修效果。该软件系统通过手机摄像头对房间关键点图像识别， 渲染虚拟装修效果， 让用户体验所见即所得。 但目前该技术仅停留在研究室应用， 并没有推 向市场。
2007 年， Reifinger 等人提出了一种基于红外跟踪系统的自动区分静态和动态手 势识别方法。 红外目标安装在用户的拇指和食指上， 系统捕获到信息后， 通过距离分类器提 取静态手势， 通过统计模型提取动态手势。 采用此种手势识别方法完成任务要快于键盘、 鼠 标， 但是手部舒适性稍差。
2008 年， Xu 等人基于预先拍摄的参考图像和当前帧的三视图约束计算摄像机运 动参数， 提出了一种适用于自然场景的实时追踪六自由度摄像机姿态的方法。
2009 年， Abbate 等人提出一种耐用的实时人体动作捕捉系统的架构。将智能惯性 测量传感器单元分布于人体关键部位上， 设定一个单片机收集来自传感器的数据， 采用卡 尔曼滤波方法实现定位。
同年， Zhang 等人也采用类似 Abbate 的方法实现定位， 不同的是， 将收集到的来自 传感器的数据通过 USB 接口传输给计算机 ； 同年， Lu 等人采用基于图形处理器 (GPU) 实时 计算方法， 利用从捕获的立体影像中获取信息来确定物体在真实场景中的深度， 来设定虚 拟物体与真实物体之间的相互位置 ； 法国增强现实技术供应商 Total Immersion 已经研发 出一款增强现实软件 DFusion， 用于高端影视后期、 独立的图像处理的特效合成， 但是该软 件平台非常昂贵， 每次作品打包费 10 万以上， 制作费更高， 价位不适合当前市场需求。
关于增强现实的研究， 国内的研究起步要晚于国外。 2006 年， 北京理工大学王涌天
教授等人采用带位置追踪器的可穿戴式增强现实系统实现了圆明园增强现实展示 ； 随后， 陈靖、 王涌天等人提出了一种基于自然特征点的实时跟踪注册算法。在已知场景中的 3D 模 型以及少量已标定关键帧图像的基础上， 选择与当前图像最为匹配的关键帧， 利用基于关 键帧的图像匹配方法实时获取摄像机的运动参数估计。
2007 年， 吉林大学的邓树国等人进行了红外摄像复杂背景下人体识别方法研究。 首先进行预处理， 利用主动式红外摄像机采集红外图像 ； 采用中值滤波， 去除图像噪声 ； 用 边界对比度自适应直方图均衡化方法， 对图像进行增强 ； 开运算， 去除与人体相粘连的图像 毛刺 ； 采用 Prewitt 边缘检测的方法， 提取图像的轮廓 ； 综合法确定图像的灰度阈值， 对图 像进行二值化处理。然后， 采用链码跟踪方法进行人体模式识别。针对人体轮廓的特点， 先 搜索人头图像， 再搜索人肩膀图像， 最后搜索人的手臂和人腿的图像 ； 2008 年， 浙江大学陈 成钱等人以投影仪为显示设备， 以红外摄像机为光学传感器， 设计出基于投影仪、 红外摄像 机的多点触控系统， 采用手、 手指、 其他物体等投影在桌面的信息进行交互。
首先， 建立帧缓存和摄像机图像空间中投影区域的几何映射关系， 将拍摄到的图 像变换计算到帧缓存的几何空间下。 然后， 采用背景减除法分割变换后的图像， 标记连通成 分， 分别提取各个连通成分的轮廓及方向包围盒， 并实时跟踪。 接着， 根据肤色模型， 从连通 成分中提取掌心的几何位置， 利用轮廓点和掌心的距离关系， 根据数学知识和手指构造， 在 轮廓图中提取手指的长、 宽、 指尖的展角、 手指间的夹角等特征信息。 最后， 采用神经网络识 别手指。 2009 年， 上海大学的陈一民等提出并实现了一种基于增强现实和异型屏的多人实 时互动的系统。首次提出了在展览展示领域融合应用 AR 技术与多异型屏技术， 研究并实现 了 AR 系统多人实时互动相关技术， 设计了 AR 交互系统的渲染平台、 交互平台和网络通信平 台； 同年， 电子科技大学的杜凤仪等采用基于标示物的视觉跟踪方法， 采用了符合人手操作 的方式， 利用图形学的多种图形绘制与渲染技术来完成各种文物模型及虚拟信息交互。
2010 年， 上海交通大学的刘一然、 杨旭波等人研究了基于多投影及移动投影的增 强现实技术， 采用一台相机采样环境数据和投影仪参数， 采用多台投影仪来共同显示。
发明内容 本发明的目的在于提供一种实体投影虚实配准装置及方法， 其可简单而完美地实 现在不规则实体表面上均匀、 实时投影的效果。
本发明是这样实现的， 一种实体投影虚实配准装置， 包括实体模型、 若干光电传感 器、 计算机及投影仪 ； 所述光电传感器嵌入实体模型内， 将感应电信号输入到计算机 ； 计算 机设定实体模型三维纹理图像， 产生一组照射到实体模型上的黑白灰度格雷码图像， 采集 光电传感器对格雷码图像的感应信息并分析处理， 获取每个光电传感器对应实体模型特征 点的二维坐标， 结合对应实体模型特征点的三维坐标， 计算出投影变换矩阵， 对实体模型三 维虚拟图像进行投影变换 ； 投影仪将投影变换后的三维虚拟图像投射到实体模型上。本发 明将光电传感器嵌入实体模型上， 由计算机根据光电传感器信号动态生成投影矩阵， 对生 成的虚拟三维图像进行投影变换后， 通过投影仪精准的投射到实体模型上， 产生虚实合一 的精美三维实体。
其中， 所述的计算机包含有 ：
实体模型三维纹理图像生成单元， 用于设定实体模型三维纹理， 生成实体模型的 三维纹理图像 ；
格雷码图像生成单元， 用于按照格雷码扫描算法产生一组照射到实体模型上的黑 白灰度的格雷码图像 ；
投影变换矩阵生成单元， 用于根据实体模型上的光电传感器感应光导入产生的电 信号获得的每个光电传感器对应实体模型特征点的二维坐标， 结合对应实体模型特征点的 三维坐标， 计算出投影变换矩阵 ；
投影变换单元， 用于根据所述投影变换矩阵对所述实体模型的三维纹理图像进行 投影变换。
所述光电传感器通过电缆线连接到所述计算机。
所述实体模型的每个特征点对应一个光电传感器， 光电传感器光纤末端设在所述 实体模型的特征点位置。
所述光电传感器为 4 只或 8 只。
所述光电传感器的光纤直径为 1mm。
一种实体投影虚实配准方法， 包括以下步骤 ：
设定实体模型三维纹理， 生成实体模型的三维纹理图像 ；
按照格雷码扫描算法产生一组黑白灰度的格雷码二值图像 ；
运用投影仪将所述格雷码二值图像照射到所述实体模型表面 ；
根据光电传感器产生的电信号获得每个光电传感器对应实体模型特征点的二维 坐标， 结合对应实体模型特征点的三维坐标， 计算出投影变换矩阵 ；
根据所述投影变换矩阵对所述实体模型的三维纹理图像进行投影变换后投射到 实体模型表面。
本发明将光电技术与计算机技术结合， 快速而准确地完成实体投影中的虚实配准 工作， 其通过格雷码扫描算法和光电传感器， 获得每个光电传感器对应实体模型特征点的 二维坐标， 结合对应实体模型特征点的三维坐标， 计算投影变形矩阵， 根据投影变换矩阵对 实体模型的三维纹理图像进行投影变换后投射到实体模型表面， 从而实现在不规则实体表 面上均匀、 实时投影， 达到虚实合一的精美三维实体效果。 附图说明
图 1 是本发明实施例提供的实体投影虚实配准装置的结构示意图 ； 图 2 是本发明实施例提供的实体投影虚实配准方法的程序框图 ； 图 3 是本发明实施例提供的光电传感器接口线路板的示意图 图 4 是本发明实施例提供的格雷码图像序列图 ； 图 5 是本发明实施例提供的实体投影虚实配准的方法的流程图 ； 图 6 是本发明实施例提供的实体投影虚实配准的效果图。具体实施方式
为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图， 对本发明进 行进一步详细说明。 应当理解， 此处所描述的具体实施例仅仅用以解释本发明， 并不用于限定本发明。
参见图 1 所示， 一种实体投影虚实配准装置， 包括实体模型、 若干光电传感器、 计 算机及投影仪 ； 所述光电传感器嵌入实体模型内， 将感应电信号输入到计算机 ； 计算机设 定实体模型三维纹理图像， 产生一组照射到实体模型上的黑白灰度格雷码图像， 采集光电 传感器对格雷码图像的感应信息并分析处理， 获取每个光电传感器对应实体模型特征点的 二维坐标， 结合对应实体模型特征点的三维坐标， 计算出投影变换矩阵， 对实体模型三维虚 拟图像进行投影变换 ； 投影仪将投影变换后的三维虚拟图像投射到实体模型上。
其中， 所述光电传感器通过电缆线连接到所述计算机。
所述实体模型的每个特征点对应一个光电传感器， 光电传感器光纤末端设在所述 实体模型的特征点位置。
所述光电传感器为 4 只或 8 只。
所述光电传感器的光纤直径为 1mm。
参见图 2， 所述的计算机包含有实体模型三维纹理图像生成单元、 格雷码图像生成 单元、 投影变换矩阵生成单元以及投影变换单元。 为了便于说明， 此处仅仅示出了与本发明 有关的部分。 实体模型三维纹理图像生成单元， 用于设定实体模型三维纹理， 生成实体模型的 三维纹理图像 ； 在进行实体投影之前， 首先通过计算机内置的实体模型三维纹理图像生成 单元设定实体模型的三维纹理， 存储设定好的三维纹理图像备用 ；
格雷码图像生成单元， 按照格雷码扫描算法产生一组照射到实体模型上的黑白灰 度的格雷码图像 ； 所述格雷码图像是一系列的灰度二值图像， 每一个图像由黑白条纹组成， 这些条纹将投影区交替地分割开来 ；
投影变换矩阵生成单元， 根据实体模型上的光电传感器感应光导入产生的电信号 获得的每个光电传感器对应实体模型特征点的二维坐标， 结合实体模型特征点的三维坐 标， 计算出投影变换矩阵 ；
将所述格雷码图像照射到所述实体模型表面后， 光经光电传感器的光纤导入， 光 电传感器产生一组电信号， 经放大后输入到所述的计算机， 计算机根据输入的电信号进行 分析处理， 获取每个光电传感器对应实体模型特征点的二维坐标， 结合实体模型特征点的 三维坐标， 并据此计算出投影变换矩阵 ；
为了求出实体模型各特征点的位置， 在实体模型内嵌入 4 个或 8 个光电传感器， 每 个特征点对应一个光电传感器。参见图 3 所示， 该图示出了光电传感器接口线路板的线路 示意图， 光电传感器 1 的光信号通过光纤 3 导入， 将光纤末端 2 用一小的电子器件包装后放 在实体模型的特征点位置， 在实体模型中所暴露的面积很小， 如果不仔细观看， 很难发现， 不影响观看效果。光电传感器接口线路板固定在实体模型里面， 通过线缆口 4 连接到计算 机。
光纤 3 用来引导在实体模型表面每个特征点接收到的光信号传输到光电传感器 1， 由光电传感器 1 转换为电信号并放大后经线缆口 4 再传递给计算机。因为每根光纤的直 径仅 1mm， 允许使用一个小的电子器件将其包装并放置在一个方便的位置， 使得光纤头在实 体模型表面的物理存在达到最小。
当所述格雷码图像被作为一个序列投射时， 这些格雷码图像唯一标识出每个像素
的位置。光电传感器检测每个阶梯上投射光的存在或缺失， 然后产生位序列， 解码， 求出与 每个传感器位置匹配的像素的 x、 y 坐标。
在格雷码图像中只包含黑、 白两种颜色的条纹， 且黑、 白两种颜色分别对应于二进 制数中的 0 和 1。 为了区别每一条单像素条纹， 需要使用 log2n 幅二进制格雷码编码图像来 区分出每一条条纹。其中 n 为格雷码图像的分辨率。
例如， 为了区别出 1024 分辨率的每一条条纹， 则需要绘制 log21024 ＝ 10 幅格雷 码编码图像。
为了求取实体模型特征点的空间坐标信息， 需对格雷码条纹进行解码。对一条格 雷码条纹进行解码， 需要根据 n 幅图像的时间序列来唯一地确定一个 n 位的二进制解码序 列。
参见图 4， 对条纹格雷码解码的对应关系可由表 1 中所示的格雷码码值来对应。 根据表 1 中的码值可知， 图 4 中 Line1 的解码序列为 11111......， Line2 的解码序列为 10011......， Line3 的解码序列为 01001......。
表一
依据上述解码序列， 可以求出特征点在 Y 方向上的像素坐标。由解码序列求坐标 值的方法， 也就是将格雷码转换为二进制的方法， 称为解码方法。实现方法为 ： 从左边第二 位起， 将每位与左边一位解码后的值异或， 作为该位解码后的值 ( 最左边一位依然不变 )。
数学 ( 计算机 ) 描述 ：
坐标值 ( 二进制 ) ： p[0 ～ n] ； 解码序列 ( 格雷码 ) ： c[0 ～ n](n N) ； 书写时从左 向右标号依次减小。
解码 ：
p[n] ＝ c[n]，
P[i] ＝ c[i]XOR p[i+1](i N， n-1 i0)。
同理， 通过改变格雷码编码图像的投影方向， 可以求出 X 方向的像素坐标 ；
一旦实体模型表面的顶点位置被确定后， 就可计算出一个投影变换矩阵来变换源 图像以适应投影表面。即使投影仪被颠倒、 旋转、 甚至光路被镜子折射， 变换矩阵都会自动 旋转图像以保持和实体模型表面正确匹配。
设 (Xw， Yw， Zw) 为实体模型各特征点的在三维世界坐标系中的位置坐标， (xc， yc) 为该特征点在二维屏幕坐标系中的位置， 二者的变换关系为 ：
其中 λ 为比例因子， C 为未知摄像头内参矩阵， Tcm 为三维注册矩阵， R1、 R2、 R3 为 旋转分量， T 为平移分量 ；
可进一步表示为 ：
Hw 为投影变换矩阵。 当知道 4 个以上的特征点的世界坐标和对应的二维屏幕坐标 后， 就能求出 Hw ；
投影变换单元， 根据所述投影变换矩阵对所述实体模型的三维纹理图像进行投影 变换 ； 借助 3D 编程环境， 如 OpenGL 或 DirectX， 就可以在低成本的硬件上获取实时图像变 形效果。
图 5 示出本发明实施例提供的一种实体投影虚实配准方法， 包括以下步骤 ：
501 ： 设定实体模型三维纹理， 生成实体模型的三维纹理图像 ；
在进行实体投影之前， 首先通过计算机设定实体模型的三维纹理， 存储设定好的 三维纹理图像备用 ；
502 ： 按照格雷码扫描算法产生一组黑白灰度的格雷码图像 ；
所述格雷码光图像是一系列的灰度二值图像， 每一个图像由黑白条纹组成， 这些 条纹将投影区交替地分割开来 ；
503 ： 运用投影仪将所述格雷码图像照射到所述实体模型表面 ；
504 ： 根据光电传感器产生的电信号获得每个光电传感器对应实体模型特征点的 二维坐标， 结合对应实体模型特征点的三维坐标， 计算出投影变换矩阵 ；
将所述格雷码图像照射到所述实体模型表面后， 光经光电传感器的光纤导入， 光 电传感器产生一组电信号， 经放大后输入到所述的计算机， 计算机根据输入的电信号进行 分析处理， 获取每个光电传感器对应实体模型特征点的二维坐标， 结合对应实体模型特征 点的三维坐标， 并据此计算出投影变换矩阵 ； 其具体实现方法， 如前所述， 此不再进行描述。
505 ： 根据所述投影变换矩阵对所述实体模型的三维纹理图像进行投影变换后投 射到实体模型表面。
借助 3D 编程环境， 如 OpenGL 或 DirectX， 我们可以在低成本的硬件上获取实时图 像变形效果。图 6 示出了本发明实施例提供的实体投影虚实配准的效果图。
本发明也可以通过实时互动， 动态改变投影变换矩阵， 实现投影内容实时随受影 体运动的追踪投影效果。
在产品发布会或展览会现场， 按照现场的空间布局将表面镶嵌有光纤头的实体模 型、 投影仪、 计算机安装连接好后， 计算机按照格雷码扫描算法产生一组黑白灰度的格雷码
二值图像， 通过投影仪投射到实体模型上， 实体模型上的光纤头将光导入光电传感器产生 一组电信号， 计算机根据该组信号进行分析， 得到每个光电传感器对应光纤头的准确的二 维坐标， 结合对应实体模型特征点的三维坐标， 计算出投影变换矩阵， 对与实体模型匹配的 三维虚拟图像进行投影变换， 将变换后的图像通过投影仪投射到实体模型上， 图像的位置 与实体模型的位置完全配准。
通过使用嵌入式光电传感器， 可以采用多个投影仪对同一实体模型从不同角度进 行投影， 由于每个投影图像与实体模型实现了虚实配准， 因此投影图像间实现了无缝拼接， 为实体模型披上了一层华丽的外形， 立体感强， 真实感强， 还可以动态更换颜色、 光泽、 装 饰， 富有动感。
进行实体投影虚实校准， 如果采用人工调节投影机的位置和朝向， 需要熟练人员 15-20 分钟的细致的调整， 有时经过千辛万苦也没能得到最佳效果。 由于投影机没能有效固 定， 一旦投影机或实体模型位移， 调整工作需重新进行。
采用本发明所提供的配准方法后， 可以找一个好的位置将投影机固定好， 然后通 过计算机界面选取配准命令后， 2-3 秒时间即可完成格雷码图像投射、 投影变换矩阵计算、 虚拟三维影像精确投射到实体模型等虚实配准过程。
如果没有投影机或实体模型异常移动等情况发生， 就一直采用该投影变换矩阵计 算。 出现意外情况， 花 2-3 秒钟再校准一次即可， 不会影响展览会、 发布会等实时需要 ； 而如 果采用人工调节方式， 15-20 分钟的调整时间是观众无法接受的， 这种意外情况将直接导致 发布会的失败。
以上公开的仅为本发明的具体实施例， 但本发明并非局限于此， 对于本领域的普 通技术人员来说， 在不脱离本发明原理的前提下， 做出的变形应视为属于本发明保护范围。