《眼球的三维建模方法.pdf》由会员分享，可在线阅读，更多相关《眼球的三维建模方法.pdf（11页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 101996415 A (43)申请公布日 2011.03.30 CN 101996415 A *CN101996415A* (21)申请号 200910042228.6 (22)申请日 2009.08.28 G06T 17/00(2006.01) (71)申请人 珠海金联安警用技术研究发展中心 有限公司 地址 519085 广东省珠海市唐家南方软件园 6 号楼 A107 (72)发明人 肖斌 刘伟 赵永兵 (74)专利代理机构 广州三环专利代理有限公司 44202 代理人 温旭 (54) 发明名称 眼球的三维建模方法 (57) 摘要 本发明涉及一种眼球的三维建模方法。
2、，包括 图像获取、摄像机标定、特征提取 ( 识别 )、特 征匹配、深度信息确定及三维图像后期处理等步 骤。 1、通过单摄像机获取多组眼球眼底图像， 包括分别描述眼球旋转的各个角度状态 ；2、摄 像机标定，确定摄像机的位置和属性参数，确定 空间坐标系中物体点同它的像点之间的对应关 系 ；3、特征提取及特征识别，4、根据对所选 特征的计算，5、得到的视差图像，确定深度图 像并恢复场景3D信息 ；6、对恢复的场景进行包 括深度插值、误差校正和精度改善。本发明对眼 球图像序列进行三维重建，重建效果逼真，速度 较快，图像立体感强，具有算法简单、实现容易 等特点。 (51)Int.Cl. (19)中华人民。
3、共和国国家知识产权局 (12)发明专利申请 权利要求书 1 页 说明书 6 页 附图 3 页 CN 101996420 A1/1 页 2 1. 一种眼球的三维建模方法， 其特征是 ： 所述方法包括图像获取、 摄像机标定、 特征提 取 ( 识别 )、 特征匹配、 深度信息确定及三维图像后期处理等步骤。 第 1 步 ： 通过单摄像机获取多组眼球眼底图像， 多组眼球眼底图像包括分别描述眼球 旋转的各个角度状态 ； 第 2 步 ： 摄像机标定， 确定摄像机的位置和属性参数， 确定空间坐标系中物体点同它的 像点之间的对应关系。通过最小二乘法拟合， 确定三维空间点映射为二维图像点的变换矩 阵 ； 第3步 。
4、： 特征提取及特征识别， 由多视点的视差确定3D信息， 确定场景中同一特点在不 同图像中的对应关系， 选择图像的点状特征、 线状特征和区域特征并进行匹配 ； 第 4 步 ： 根据对所选特征的计算， 建立特征间的对应关系， 将同一个空间点在不同图像 中的映像点对应起来， 并由此得到相应的视差图像 ； 第 5 步 ： 根据第 4 步得到的视差图像， 确定深度图像并恢复场景 3D 信息 ； 第 6 步 ： 对恢复的场景进行包括深度插值、 误差校正和精度改善。 2. 根据权利要求 1 所述的眼球的三维建模方法， 其特征是 ： 所述摄像机通过在至少 3 个不同的位置获取眼球眼底的图像， 并计算出摄像机所。
5、有的内外参数。 权 利 要 求 书 CN 101996415 A CN 101996420 A1/6 页 3 眼球的三维建模方法 技术领域 0001 本发明涉及三维建模方法， 尤其是一种用于产生眼球三维图像的三维建模方法。 背景技术 0002 随着医疗科学技术的不断发展和经验的积累， X 光平片、 超声、 CT、 MRI 等影像学 检查方法被先后引入到对眼部疾病的诊断中。医学图像可视化技术算法的发展从傅立叶 变换、 卷积反投影等基本图像处理算法开始， 到 MPR(multi-planarreformation， 多层面重 组 )、 MTP(maximumintensityprojection，。
6、 最大密度投影法 )， 一直到面绘制和体绘。 0003 MPR 是将采集到的三维数据 ( 又称为体素， Voxel) 进行重新排列以显示任意方向 上的断面。而 MIP 是将三维数据向任意方向投影， 取投影线上的最大体素值加以显示。MPR 和 MIP 方法的功能实现和操作都很简单， 对硬件要求不是很高， 通常 CT、 MRI 设备自身的工 作站完全可以满足要求。面绘制 (surfacerendering) 首先从三维数据中重建出三维物体 表面， 即根据分割结果和轮廓线进行物体表面的重建， 再利用合理的光照模型以及纹理映 射方法产生具有真实感的三维实体。在医学领域又称为 SSD(shadedsur。
7、facedisplay， 表面 阴影显示法 )。由于面绘制处理的数据通常是整个体数据的一小部分， 并且利用了计算机 图形学多边形绘制技术， 还借助三维图形加速硬件， 所以面绘制的速度还是比较快的。 而体 绘制 (volumerendering) 是对体数据场中每个体素进行处理， 直接把三维灰度数据投影显 示到二维屏幕上， 同时人机交互地调节不透明度 (opacity)、 光照效果等参数， 进而合成具 有三维效果的图像， 所以计算量大， 图像生成速度慢， 更多地受到硬件技术发展的限制。还 有基于体素模型的直接体绘制算法， 该算法结合了 面绘制及直接体绘制的优点， 可以利用 OpenGL 图形标准。
8、及硬件加速对图像序列进行三维重建， 重建效果逼真， 速度快， 具有算法简 单、 实现容易等特点。 0004 近年来， 国内、 外学者分别采用 (X 片、 超声、 CT 及 MRI) 的二维及断面图像， 应用 CATR( 计算机辅助三维重建 ) 技术来完成人体结构的三维重建和立体显示。自 1984 年 Flaster 首次将 CATR 技术用于研究腮甲壳类动物水蚤的视觉系统的细胞间作用和模型以 来， 就用 CATR 技术使眼科基础研究和临床疾病诊断方面取得了很大进展， 但成形的应用方 案却一直没有。 目前检查均系一维或二维的平面成像， 图像欠缺立体感， 而人体的各部位组 织结构均为三维立体构造。。
9、 0005 现代眼科三维成像中， 许多使用了三维超声技术， 该技术有如下不足之处 ： B 超探 头的扫描时间约 5-15s， 在此期间， 探查目标对探头有相对运动， 使扫描图像变形或缺损， 称 为运动伪像。 其它伪像还包括 ： 系统校正不准所致的伪像、 阈值伪像、 回声失落伪像、 观察方 向伪像、 帧失落伪像等。 发明内容 0006 本发明的目的是提供一种用于产生眼球三维图像的方法。 0007 本发明的目的是通过采用以下技术方案来实现的 ： 说 明 书 CN 101996415 A CN 101996420 A2/6 页 4 0008 一种眼球的三维建模方法， 所述方法包括图像获取、 摄像机标。
10、定、 特征提取 ( 识 别 )、 特征匹配、 深度信息确定及三维图像后期处理等步骤。 0009 第 1 步 ： 通过单摄像机获取多组眼球眼底图像， 多组眼球眼底图像包括分别描述 眼球旋转的各个角度状态 ； 0010 第 2 步 ： 摄像机标定， 确定摄像机的位置和属性参数， 确定空间坐标系中物体点同 它的像点之间的对应关系。通过最小二乘法拟合， 确定三维空间点映射为二维图像点的变 换矩阵 ； 0011 第3步 ： 特征提取及特征识别， 由多视点的视差确定3D信息， 确定场景中同一特点 在不同图像中的对应关系， 选择图像的点状特征、 线状特征和区域特 征并进行匹配 ； 0012 第 4 步 ： 。
11、根据对所选特征的计算， 建立特征间的对应关系， 将同一个空间点在不同 图像中的映像点对应起来， 并由此得到相应的视差图像 ； 0013 第 5 步 ： 根据第 4 步得到的视差图像， 确定深度图像并恢复场景 3D 信息 ； 0014 第 6 步 ： 对恢复的场景进行包括深度插值、 误差校正和精度改善。 0015 本发明所述摄像机通过在至少 3 个不同的位置获取眼球眼底的图像， 并计算出摄 像机所有的内外参数。 0016 本发明的有益效果是 ： 相对于现有技术， 本发明对眼球图像序列进行三维重建， 重 建效果逼真， 速度较快， 图像立体感强， 具有算法简单、 实现容易等特点 ； 本发明通过实验证。
12、 明， 达到了预期效果。 附图说明 0017 下面结合附图与具体实施例对本发明作进一步说明 ： 0018 图 1 是本发明的流程图 ； 0019 图 2 是本发明摄像机采集的一组眼球图像示意图 ； 0020 图 3 是本发明眼球旋转产生的一组矢状切面图像序列图 ； 0021 图 4 是本发明立体匹配示意图 ； 0022 图 5 是本发明改进 Douglas-Peucker 示意图之一 ； 0023 图 6 是本发明改进 Douglas-Peucker 示意图之二。 具体实施方式 0024 如图 1 所示， 一种眼球的三维建模方法， 该方法包括 ： 0025 步骤 1， 通过单摄像机获取多组眼球。
13、眼底图像， 图像分别描述眼球旋转的各个角度 状态。如图 2 所示， 利用眼球旋转产生连续的眼底二维图像数据， 生成图像序列， 如图 3 所 示。 0026 步骤 2， 摄像机标定是为了建立成像模型、 确定摄像机的位置和属性参数， 以确定 空间坐标系中物体点同它的像点之间的对应关系。 摄像机的标定方法是通过最小二乘法拟 合， 确定三维空间点映射为二维图像点的变换矩阵。 一个有效的摄像机模型， 除了能够精确 地恢复出空间景物的三维信息外， 还有利于解决立体匹配问题。标定方法是介于传统定标 方法和自定标方法之间的一种方法， 这种方法不需要知道摄像机运动的具体信息， 这点比 传统定标技术更为灵活， 同。
14、时仍需要一个特定的标定物以及一组已知的特征基元的坐标。 说 明 书 CN 101996415 A CN 101996420 A3/6 页 5 它通过在至少 3 个不同的位置获取标定物的图像， 计算出摄像机所有的内外参数。在这个 模型的定标过程中将用到的三个坐标系 ： 图像坐标系， 摄像机坐标系和世界坐标系。 通过坐 标系之间的变换可以通过下面的公式把图像坐标系的点和世界坐标系 ： 0027 0028 0029 由于矩阵 A 包含了摄像机全部的 6 个内参数 (k， l， u0， v0， f， 0)， 所以称 A 为摄像 机内参数矩阵。PC为模型的外参数矩阵， 可以通过以下公式得到 ： 0030。
15、 0031 其中， R33 (rx ry rz) 为旋转矩阵， t31 (tx ty tz)T为平移向量。 0032 步骤 3， 由多视点的视差确定 3-D 信息， 关键是确定场景中同一物点在不同图像中 的对应关系， 选择合适的图像特征并进行匹配。 特征是像素或像素集合或它们的抽象表达， 匹配特征主要通过综合使用点状特征、 线状特征和区域特征等。根据生物物质的连续性和 完整性特征， 通过在连续断面上对眼球相关结构进行半自动识别， 先进行轮廓勾边、 填充、 存储都操作， 得到轮廓标记， 形成三维数据场， 经移动立方体算法， 抽取等值面。 标记并勾画 出各重建结构的区域及相关联特性。处理包含数千个。
16、点的曲线是很常见的。通常情况下没 有必要处理所有的点， 只处理其中的一部分即可。在 Douglas-Peucker 算法的基础上实现 一个快速、 平面曲线近似算法 ： 即在一个特定公差的规模上计算曲线形状， 围绕曲线选取一 定的关键点。使用 Douglas-Peucker 算法， 当只有一条线段从曲链中分离出来的时候计算 时间变成了 O(n2) 级的， 所以要进行改进来提高效率。 0033 给定一个凸曲线 C 和一条直线 L， 则曲线 C 上到直线 L 距离最大的点一定在平行 L 的曲线 C 的两条切线上。 0034 Vi到 Vj曲链的路径壳由凸点 Vm和一组对应的凸壳组成， 分别用 CH(V。
17、i， .， Vm) 和 CH(Vm， .， Vj) 来表示。对路径壳调用三个操作来完成寻找最远点的任务 ： Build(V， i， j， PH)， 通过选取中间点作为标记点计算两个分支的最远点来建立 Vi到 Vj的路径壳 PH ； 说 明 书 CN 101996415 A CN 101996420 A4/6 页 6 Split(PH， V， k)， 给定 Vi到 Vj的曲链构成的路径壳， 在 Vk处分裂曲链并返回包含标记点的 分支 ； FindFarthest(PH， L)， 找出路径壳上到给定直线 L 距离最远的点。 0035 假设曲链是以逆时针方向顺序连接的， 给定直线 L 的方向从左向右。
18、， 如图 5 所示。 凸壳 P 的一条切线只和一个凸点相接触， 如果以该点为支点逆时针绕转切线， 当切线要脱 离凸壳的时候切点就转向下一个凸点。这表明有平行于曲线 L 的切线通过的顶点把整个曲 链分成了两部分， 一部分的正角在 180内， 另一部分拥有负角， 为了方便下面把对应边分 别称作正边和负边。 0036 通过三步来找到最远凸点 ： 第一， 找一个正边和一个负边， 该边能把曲链分成两分 支且每个部分都含有一个最远点 ； 第二， 用二分法来定位每个分支中发生边角变化点 ； 第 三， 计算比较这些最远点， 并确定哪个是真正的最远点。 0037 为了完成第一步， 先任意选取曲链上一边 e 作为。
19、基边， 假设 e 是正边， 那么剩下的 任务就是找一个负边。选择边 e把曲链分成两部分， 如果 e是负边那么就完成了第一 步 ； 如果 e是正边， 从 e 的终点到 e的终点构造一条线段 s， 如果 s 仍然是正边就可以忽 略在 e之前的凸壳边， 因为它们都是正边 ； 如果 s 是负边， 就忽略 e之后的部分。然后在 选一个新的 e把余下的部分分成两部分， 如此循环下去， 在寻找到一个负边 e之前最多 要进行二分法运算 log2n 次。 0038 第二步， 有了正边 e 和负边 e就要在它们之间的部分搜寻与正边和负边都相邻 的凸出点。同前面方法类似， 先找到一条中间边 e， 如果 e是正边则用。
20、 e代替 e， 如果 e是负边则用 e代替 e。最多计算过 log2n 条边就可以找到与切线平行直线 L 的顶点 ( 即切点 )。 0039 第三步最简单， 计算并比较这两个距离， 经过 O(log2n) 次操作就可以找到距离直 线 L 最远的顶点。 0040 步骤 4， 立体匹配是根据对所选特征的计算， 建立特征间的对应关系， 将同一个空 间点在不同图像中的映像点对应起来， 并由此得到相应的视差图像。当空间三维场景被投 影为二维图像时， 同一景物在不同视点下的图像会有很大不同， 而且场景中的诸多因素， 如 光照条件、 景物几何形状和物理特性、 噪声干扰和畸变以及摄像机特性等， 都被综合成单一。
21、 的图像灰度值。立体匹配的方法主要分为两大类， 即灰度相关和特征匹配。灰度相关直接 用象素灰度进行匹配， 该方法优点是匹配结果不受特征检测精度和密度的影响， 可以得到 很高的定位精度和密集的视差表面 ； 缺点是依赖于图像灰度统计特性， 对景物表面结构以 及光照反射较为敏感， 因此在空间景物表面缺乏足够纹理细节、 成像失真较大 ( 如基线长 度过大 ) 的场合存在一定困难。基于特征的匹配方法的优点是使用从强度图像得到的特征 作为匹配基元， 所以在环境照明发生变化的情况下较为稳定 ； 缺点是特征提取需要额外计 算量， 另外由于特征是离散的， 所以不能在匹配后直接得到密集的视差场。 匹配方法需要解 。
22、决以下问题 ： 选择正确的匹配特征 ； 寻找特征间的本质属性 ； 建立能正确匹配所选特征的 稳定算法。基于特征匹配中的极线约束方法， 假设空间一点 P， 它在两个成像平面上的投影 点分别为 P1和 P2， 如图 4 所示。其中， C1和 C2分别为两个中心， 即坐标系的原点。在极线几 何中， 我们称 C1和 C2的连线为基线。基线和 C1C2成像平面的交点 e1和 e2分别为极点， 它们 分别为中心 C1和 C2在对应的成像平面上的投影坐标。P、 C1和 C2组成的三角平面称为极平 面 。 和两个成像平面的交线 l1和 l2称为极线， 一般称 l1为点 P2对应的极线， l2为点 说 明 书 。
23、CN 101996415 A CN 101996420 A5/6 页 7 P1对应的极线， l1和 l2互为对应极线。在极平面 上另取一点 P， 从图中可以看到， 它在 平面上的投影点为 P1和 P2， 其中， P2和 P2都在极线 l2上。这就是极线约束， 由此， 可以 将搜索空间压缩到一维的直线， 即极线上。使用函数求出图像的基础矩阵 ( 如在 OpenCV 中 可以使用函数 cvFindFundamentalMat()， 然后用把求得的基础矩阵代入映射函数 ( 如在 OpenCV 中可使用 cvComputeCorrespondEpilines() 求出一幅图像中的点在另一幅图像中 的对。
24、应极线。 求得极线后， 对图像上沿极线方向上的像素点进行灰度相似性的匹配， 能很方 便的找出该点在对应图像上的匹配点。 以中心差分获得体素中心点的梯度值来代替体素的 法向量， 法向量使用原始三维数据集进行 ： 0041 Gx g(i-1， j， k)-g(i-1， j， k)， 0042 Gy g(i， j-1， k)-g(i， j-1， k)， 0043 Gz g(i， j， k-1)-g(i， j， k-1)， 0044 0045 其中， g(i， j， k) 表示点 (i， j， k) 的灰度值。 0046 步骤 5， 当通过立体匹配得到视差图像后， 就可以确定深度图像并恢复场景 3-D。
25、 信 息了。利用 Cuberille 算法将三维体数据分割成物体和背景两个部分， 然后对物体数据 的每一个采样点建立立方体， 并求出表面法向量， 把立方体体素的各个面投影到屏幕， 利用 Z-Buffer 算法遮挡关系， 显示出分割结果的等值面。标准 MC(marching cubes) 算法 ( 由 Lorensen在1987年提出)通过在相邻的体数据切片之间构建体素， 根据经验获得某一种物 质的密度值， 设定为待求求出物质表面的阈值， 利用线性插值求出每一个立方体体素的三 角部分的构型， 进而将整个物体表面以三角型网格的形式表示出来。这种通过阈值分割来 提取等值面， 阈值分割对 CT 图像比。
26、较有效， 但对其它图像来讲， 由于人体内部结构的复杂 性、 生物组织蠕动等特点， 造成医学图像中目标物体不可避免的受到其它物体甚至于噪声 的干扰， 使物体局部边缘模糊， 因此必须对其算法做优化。另一方面标准 MC 中真正与等值 面相交的立方体只占总数量的很小一部分， 因此需要加速对空单元的检测和过滤。采用优 化的 MC 方法定义如下 ： 0047 CubeCase(CCase) 和 NeiborCase(NCase) 两个查询表 ； 0048 二元标志数组 L Flag， p， Flag 表示立方体 p 是否被访问过 ； 0049 队列 Q 用来存放待处理的立方体 ； 0050 数组 T A 。
27、用来存储生成的三角面片 ； 0051 执行过程 ： 第 1 步初始化 L， 将其中所有元素的 Flag 置为 0 ； 并置队列 QQ 为空 ； 第 2步检测数据集， 选取一个立方体p， 使得该立方体的构型索引不为0， 将其加入队列Q中， 并 置 Lp.Flag 1 ； While Q 非空 do ； 第 3 步从 Q 中取出立方体 C ； 第 4 步 If LC.Flag 1， continue ； 第 5 步置 LC.Flag 1 ； 第 6 步通过 C 的 8 个顶点的情况， 得到 C 的构型索 引index ； 第7步由index查找CCase表， 得到该立方体中的等值面的三角剖分形式，。
28、 同时计 算三角面片的顶点和法向量， 将其输入三角面片数组 TA ； 第 8 步通过构型索引， 查找 NCase 表， 将与 C 有公共交点的相邻立方体放入对列中 Q。 0052 步骤6， 后处理。 使用深度插值、 误差校正和精度改善等各种有效算法， 使眼球的三 维重建更符合真实结构特征， 采用新的 MC 表面跟踪算法优化三维图像。对原始数据场进行 说 明 书 CN 101996415 A CN 101996420 A6/6 页 8 分割得到另一组三维数据集， 它是二值数据 ( 背景和需要重建的物体 )， 利用它来构造三维 等值面， 取立方体棱边的中点作为等值面与立方体的交点， 减少线性插值的计算。 说 明 书 CN 101996415 A CN 101996420 A1/3 页 9 图 1 说 明 书 附 图 CN 101996415 A CN 101996420 A2/3 页 10 图 2 图 3 说 明 书 附 图 CN 101996415 A CN 101996420 A3/3 页 11 图 4 图 5 图 6 说 明 书 附 图 CN 101996415 A 。