《一种利用RGBD摄像机测量足部三维脚型信息及三维重建模型的方法.pdf》由会员分享，可在线阅读，更多相关《一种利用RGBD摄像机测量足部三维脚型信息及三维重建模型的方法.pdf（9页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103971409 A (43)申请公布日 2014.08.06 CN 103971409 A (21)申请号 201410216433.0 (22)申请日 2014.05.22 G06T 17/00(2006.01) (71)申请人 福州大学 地址 350108 福建省福州市闽侯县上街镇大 学城学园路 2 号福州大学新区 (72)发明人 何炳蔚 雷阿唐 沈恒华 赵强 (74)专利代理机构 福州元创专利商标代理有限 公司 35100 代理人 蔡学俊 (54) 发明名称 一种利用 RGB-D 摄像机测量足部三维脚型信 息及三维重建模型的方法 (57) 摘要 本发明涉及一。
2、种利用 RGB-D 摄像机快速获取 足部三维脚型信息及三维重建模型的测量方法， 该方法将 RGB-D 摄像机应用到足部表面三维信息 的快速获取与足部表面模型的精细重建中， 在不 借助任何标记点的情况下， 快速采集足部曲面的 三维坐标。 利用RGB-D摄像机扫描脚型曲面， 实时 获取深度信息， 融合不同时序的深度图数据并重 建出脚型曲面的全局模型， 并可根据实际需要， 提 取测量脚型特征参数。 该方法不仅测量效率高， 实 时性好， 而且易于实现， 测量成本低， 容易操作， 使 用效果好。 (51)Int.Cl. 权利要求书 1 页 说明书 5 页 附图 2 页 (19)中华人民共和国国家知识产权。
3、局 (12)发明专利申请 权利要求书1页 说明书5页 附图2页 (10)申请公布号 CN 103971409 A CN 103971409 A 1/1 页 2 1. 一种利用 RGB-D 摄像机测量足部三维脚型信息及三维重建模型的方法， 其特征在 于 ： （1） 利用 RGB-D 摄像机散斑测距原理对脚型三维曲面进行测量 ： RGB-D 摄像机红外发射 器发射出雷射光， 通过红外发射器镜头前的光栅， 均匀地投射到足部表面， 足部表面的粗糙 物体反射， 形成随机的散斑， 再通过红外摄影机记录空间的每个散斑， 通过计算便得到足部 深度图像的信息 ； （2） 不借助任何标记点， 手持 RGB-D 摄。
4、像机自由扫描脚型曲面， 实时获取深度数据的基 础上， 结合 X、 Y 坐标信息， 重建出脚型曲面的全局三维模型 ； 同时利用图像超分辨率技术对 深度图进行了细节优化， 提高模型的重建细节 ； （3） 将三维模型导入到三维模型处理软件中， 获取足部曲面三维信息并得到脚型特征 参数， 如足长、 足宽、 足趾高、 足弓宽、 足弓围、 内踝高、 外踝高、 足跟宽、 足后跟高等脚型参 数。 2.根据权利要求1所述的一种利用RGB-D摄像机快速获取足部三维脚型信息及三维重 建模型的测量方法， 所述步骤 （2） 其特征在于 ： （2.1） 在不粘贴任何标记点的情况下， 根据内部校准矩阵将图像坐标系下的深度图。
5、像 变换为摄相机坐标系下的三维顶点， 根据顶点坐标表示出法线贴图， 并根据刚体变换矩阵 将三维顶点和法线贴图转换为全局坐标， 获取足部表面的三维点云数据 ； （2.2） 使用迭代最近点算法匹配不同视角下的三维点云， 逐帧计算不同朝向的点集的 相关度， 获得RGB-D摄像机的六自由度姿态 （上下、 左右、 前后和俯仰、 摇动、 滚动） ， 采用体集 成方法将已配准的点云数据进行处理， 在全局坐标系中生成一个三维体素网格， 并不断更 新摄像机当前姿态， 通过 ICP（Iterative Closest Point, 迭代最近点） 算法实时融合新采 集的三维点云数据， 形成重建立方体模型 ； （2.。
6、3） 通过平滑算法进行了去噪， 优化测量的三维数据， 提高三维数据的精度， 并利用 图像超分辨率技术对深度图进行了细节优化， 随着摄像机更接近脚面， 通过使用新的更高 精度的数据， 脚型三维曲面会被持续优化， 从而提高三维曲面的精度。 3.根据权利要求1所述的一种利用RGB-D摄像机快速获取足部三维脚型信息及三维重 建模型的测量方法， 所述步骤 （3） 其特征在于 ： （3.1） 将权利要求书 1 中的步骤 （2） 获得的三维模型转换为 STL 点云格式 ； （3.2） 将 STL 格式的点云导入到三维模型处理软件中进行处理， 将无用点剔除， 保存整 个足部的不规则曲面三维信息 ； （3.3）。
7、 将处理后的足部曲面三维信息导入到三维模型处理软件中， 根据实际测量需要， 提取出相应特征点、 线、 局部曲面在三维模型中的位置 ； （3.4） 根据提取的特征测量对象， 利用软件的测量工具， 对其进行长度、 高度、 宽度等参 数的测量， 获取相应的脚型特征参数。 权 利 要 求 书 CN 103971409 A 2 1/5 页 3 一种利用 RGB-D 摄像机测量足部三维脚型信息及三维重建 模型的方法 技术领域 0001 本发明涉及三维曲面测量技术领域， 特别是一种利用 RGB-D 摄像机测量足部三维 脚型信息及三维重建模型的方法。 背景技术 0002 目前， 鞋型鞋号是依据大量统计、 分析。
8、、 归纳出的标准鞋型系列来设计的， 这使得 有相当一部分正常脚型者， 他们应穿的鞋型鞋号处于标准鞋型鞋号的中间值上， 但也只能 穿用近似的鞋型鞋号。而绝大多数畸形脚型者， 则根本就没有适合的鞋型鞋号。据调查统 计， 我国畸形脚的比例约占 15% 左右， 其中后天性畸形居多， 大多是因为鞋不适合造成的。 因此根据不同的脚型设计出更适合的鞋， 并实现这个过程的现代化、 自动化， 使穿鞋由 “大 众系列化” 变为 “个体适合化” 的转变一直是制鞋业追求的目标之一。 0003 准确和高效率的脚型测量方法不仅是鞋楦设计和方便人们选鞋、 穿鞋不可缺少 的， 而且也是大规模脚型测量、 脚型矫正等所必须的。 。
9、现有的脚型测量方法分接触式测量和 非接触式测量两种 ： 1、 接触式测量 ： 接触式测量主要是使用一些机械式的手工测量仪器或由接触式传感器 组成的电子测量仪器， 其中以手工测量为主。 手工测量的工具主要包括 ： 布带尺、 钢卷尺、 划 笔、 量高仪、 踏脚印器和量脚卡尺。手工测量从测量方法上又分为直接法和间接法。直接法 比较简单。 首先用笔在脚的特征部位上标出有关测量点， 利用布带尺、 量高仪等工具可以直 接测量出脚的各个有关数据。间接法利用脚印器踏出脚印并绘制出脚的轮廓线， 然后再进 行测量分析。 接触式脚型测量的优点是投资少、 操作步骤简单、 灵活性强、 方便携带、 便于短 时间内在不同的。
10、测量地点进行测量。缺点是接触式测量方式会对脚部产生压力， 引起脚部 形变， 造成测量误差， 测量时间长， 而且测量的脚部参数有限， 有些较复杂的参数或曲线无 法测量， 工作效率低、 劳动强度大、 重复再现性差、 测量者之间的误差大， 同时， 这种测量方 式难以获得脚部整体的数据信息。也不能对脚的截面形态进行数据采集。无法进行更深层 次的研究 ； 2、 非接触式测量 ： 在计算机、 光学等学科发展的带动下。 光学非接触式测量作为近年来 兴起的一门测量技术受到越来越多的重视。 目前， 光学非接触式测量方法主要有构光测量、 立体视觉测量、 激光测量等 ： （1） 结构光测量 ： 结构光三维视觉基于光。
11、学三角法原理， 其基本原理是由结构光投射器 向被测物体表面投射可控制的光点、 光条或光面结构， 并由图像传感器 （如摄像机） 获得图 像， 通过系统几何关系， 利用三角原理计算得到物体的三维坐标。 结构光测量方法具有计算 简单、 体积小、 价格低、 便于安装和维护的特点， 在实际三维轮廓测量中被广泛使用。 但是测 量精度受物理光学的限制， 存在遮挡问题， 测量精度与速度相互矛盾， 难以同时得到提高 ； （2） 立体视觉测量 ： 在计算机视觉系统中， 利用两台位置相对固定的摄像机或一个摄像 机在两个不同的位置， 从不同角度同时获取同一景物的两幅图像 , 通过计算空间点在两幅 说 明 书 CN 1。
12、03971409 A 3 2/5 页 4 图像中的视差来获得其三维坐标值。立体视觉方法最大的特点是拍摄速度快， 可以在不到 一秒时间内完成拍摄任务， 适合于需要快速测量场合。 但立体视觉方法数据处理量大， 处理 时间长， 而且需要进行两幅图像的匹配， 在物体表面灰度和面形变化不大时， 会影响匹配和 测量精度 ； （3） 激光测量 ： 由一个多边形镜头定位的一根直线可视激光束， 通过高频扫描来对物体 表面进行扫描测量 ； 应用三角定律， 激光束在物体表面经反射后由激光接受器接收， 然后经 计算获得物体表面的坐标。 激光扫描可以精确地提供三维环境信息， 数据处理简单， 受环境 影响小。但成本高， 。
13、精度、 测距与扫描速率存在矛盾关系。 0004 获取足部三维模型不仅能够实现消费者的鞋类定制、 智能选鞋， 而且在矫形鞋定 制、 假肢生产、 医学诊断和手术辅助等医疗领域也有重要应用 ： 1、 矫形鞋定制 ： 采集患者脚型数据并传到矫形中心， 矫形中心根据患者的脚型数据生 产加工出矫形鞋 ； 2、 假肢生产 ： 扫描患者的另一只健康的脚， 快速得到这只脚的完整三维模型， 然后利用 镜像得到另外一只脚的三维模型， 再利用得到的脚的模型数据生产出假肢， 确保两只脚外 形相同 ； 3、 医学诊断 ： 快速采集患者的脚底三维数据， 足科医生可根据采集到的三维数据准确 判断患者的足病类型， 以便于采取更。
14、科学有效的治疗方法 ； 4、 手术辅助 ： 采集患者的脚部三维数据， 通过在电脑中仔细观察患者脚型， 研究最佳手 术方案， 确保手术的成功率。 0005 利用深度相机进行场景深度信息测量是近年来兴起的技术， 这主要得益于深度图 摄像机的成本降低， 特别是微软推出的一款 RGB-D 摄像机 ： Kinect， 极大地激发了研究者将 RGB-D 摄像机应用到医学、 娱乐、 机械等各研究领域。 0006 Kinect 包含 3 个摄像机， 中间的镜头为 RGB 彩色摄像机， 左右两边镜头分别为红 外线发射器和红外线COMS摄像机， 传感器可以同时获取RGB和深度图像数据。 Kinect 深度 成像的。
15、原理是利用光编码 （Light Coding） 技术， 其中， 红外线发射器与红外线 COMS 摄像机 成一定角度对准目标场景， 而不均匀透明介质放置于激光发射器镜头前， 红外线发射器发 射一束红外线透过不均匀介质后在场景中形成激光散斑， CMOS 红外接收器获取散斑图像， 并根据 Kinect 内部参数运用数学三角关系换算成深度值。传感器以每秒 30 帧的速度生成 深度图像流， 结合深度图图像坐标和小孔成像原理， 实时获取测量视场内的物体表面的三 维信息。 0007 与人工测量和其他三维扫描测量相比， Kinect 深度相机的优势在于 ：（1） 无需借 助识别其它标记点便可一次性获取场景中所。
16、有点的三维信息 ；（2） 采集数据的实时性好 ； （3） Kinect 拍摄获取的深度图分辨率较高 ；（4） 获取深度信息时受光照和表面纹理影响小 ； （5） Kinect 价格低廉， 使用成本低 ；（6） 操作简单， 用户可手持摄像机进行扫描。 发明内容 0008 针对现有技术的缺陷， 本发明的目的在于提供一种利用 RGB-D 摄像机测量足部三 维脚型信息及三维重建模型的方法， 该方法不仅测量效率高， 实时性好， 而且易于实现， 测 量成本低， 容易操作， 使用效果好。 说 明 书 CN 103971409 A 4 3/5 页 5 0009 为实现上述目的， 本发明的技术方案的特征在于 ： 。
17、（1） 利用 RGB-D 摄像机散斑测距原理对脚型三维曲面进行测量 ： RGB-D 摄像机红外发射 器发射出雷射光， 通过红外发射器镜头前的光栅， 均匀地投射到足部表面， 足部表面的粗糙 物体反射， 形成随机的散斑， 再通过红外摄影机记录空间的每个散斑， 通过计算便得到足部 深度图像的信息 ； （2） 不借助任何标记点， 手持 RGB-D 摄像机自由扫描脚型曲面， 实时获取深度数据的基 础上， 结合 X、 Y 坐标信息， 重建出脚型曲面的全局三维模型 ； 同时利用图像超分辨率技术对 深度图进行了细节优化， 提高模型的重建细节 ； （3） 将三维模型导入到三维模型处理软件中， 获取足部曲面三维信。
18、息并得到脚型特征 参数， 如足长、 足宽、 足趾高、 足弓宽、 足弓围、 内踝高、 外踝高、 足跟宽、 足后跟高等脚型参 数。 0010 所述步骤 （2） 包括以下步骤 ： （2.1） 在不粘贴任何标记点的情况下， 根据内部校准矩阵将图像坐标系下的深度图像 变换为摄相机坐标系下的三维顶点， 根据顶点坐标表示出法线贴图， 并根据刚体变换矩阵 将三维顶点和法线贴图转换为全局坐标， 获取足部表面的三维点云数据 ； （2.2） 使用迭代最近点算法匹配不同视角下的三维点云， 逐帧计算不同朝向的点集的 相关度， 获得 RGB-D 摄像机的六自由度姿态 ( 上下、 左右、 前后和俯仰、 摇动、 滚动） ， 。
19、采用体 集成方法将已配准的点云数据进行处理， 在全局坐标系中生成一个三维体素网格， 并不断 更新摄像机当前姿态， 通过 ICP（Iterative Closest Point, 迭代最近点） 算法实时融合新 采集的三维点云数据， 形成重建立方体模型 ； （2.3） 通过平滑算法进行了去噪， 优化测量的三维数据， 提高三维数据的精度， 并利用 图像超分辨率技术对深度图进行了细节优化， 随着摄像机更接近脚面， 通过使用新的更高 精度的数据， 脚型三维曲面会被持续优化， 从而提高三维曲面的精度。 0011 所述步骤 （3） 包括如下步骤 ： （3.1） 将权利要求书 1 中的步骤 （2） 获得的三维。
20、模型转换为 STL 点云格式 ； （3.2） 将 STL 格式的点云导入到三维模型处理软件中进行处理， 将无用点剔除， 保存整 个足部的不规则曲面三维信息 ； （3.3） 将处理后的足部曲面三维信息导入到三维模型处理软件中， 根据实际测量需要， 提取出相应特征点、 线、 局部曲面在三维模型中的位置 ； （3.4） 根据提取的特征测量对象， 利用软件的测量工具， 对其进行长度、 高度、 宽度等参 数的测量， 获取相应的脚型特征参数。 0012 相较于现有技术， 本发明的有益效果是将 RGB-D 摄像机应用于获取脚型表面参数 信息及快速重建中， 其优点在于 ： 1） 容易实现 ： 只需一个 RGB。
21、 摄像机即可一次性采集到脚型三维曲面点的三维坐标 ； 2） 采集实时性好 ： RGB-D 摄像机采用光编码技术， 使用的是连续照明， 不需要特制的 感光材料， 只需普通的 CMOS 感光芯片， 因此可大大降低成本 ； 与传统的结构光技术不同的， RGB-D 摄像机的光源打出去的并不是周期性变化的二维的图像编码， 而是具有三维纵深的 激光散斑， 受光照和物体表面纹理的影响小 ； 3） 容易操作 ： 只需手持摄像机便可扫描出完整的脚型曲面 ； 测量效率高， 具有很强的 说 明 书 CN 103971409 A 5 4/5 页 6 实用性和广阔的应用前景。 附图说明 0013 图 1 是本发明实施例。
22、中 RGB-D 摄像机测量脚型曲面模型图。 0014 图 2 是本发明实施例中需要测量的脚型参数示意图。 0015 图 3 是本发明实施例中通过 RGB-D 摄像机获取的足部表面点云图 （左） 及三维重建 模型图 （右） 。 具体实施方式 0016 本发明利用 RGB-D 摄像机测量足部三维脚型信息及三维重建模型的方法， 包括以 下步骤 ： （1） 利用 RGB-D 摄像机散斑测距原理对脚型三维曲面进行测量 ： RGB-D 摄像机红外发射 器发射出雷射光， 通过红外发射器镜头前的光栅， 均匀地投射到足部表面， 足部表面的粗糙 物体反射， 形成随机的散斑， 再通过红外摄影机记录空间的每个散斑， 。
23、通过计算便得到足部 深度图像的信息 ； （2） 不借助任何标记点， 手持 RGB-D 摄像机自由扫描脚型曲面， 实时获取深度数据的基 础上， 结合 X、 Y 坐标信息， 重建出脚型曲面的全局三维模型 ； 同时利用图像超分辨率技术对 深度图进行了细节优化， 提高模型的重建细节 ； （2.1） 在不粘贴任何标记点的情况下， 根据内部校准矩阵将图像坐标系下的深度图像 变换为摄相机坐标系下的三维顶点， 根据顶点坐标表示出法线贴图， 并根据刚体变换矩阵 将三维顶点和法线贴图转换为全局坐标， 获取足部表面的三维点云数据 ； （2.2） 使用迭代最近点算法匹配不同视角下的三维点云， 逐帧计算不同朝向的点集的。
24、 相关度， 获得RGB-D摄像机的六自由度姿态 （上下、 左右、 前后和俯仰、 摇动、 滚动） ， 采用体集 成方法将已配准的点云数据进行处理， 在全局坐标系中生成一个三维体素网格， 并不断更 新摄像机当前姿态， 通过 ICP（Iterative Closest Point, 迭代最近点） 算法实时融合新采 集的三维点云数据， 形成重建立方体模型 ； （2.3） 通过平滑算法进行了去噪， 优化测量的三维数据， 提高三维数据的精度， 并利用 图像超分辨率技术对深度图进行了细节优化， 随着摄像机更接近脚面， 通过使用新的更高 精度的数据， 脚型三维曲面会被持续优化， 从而提高三维曲面的精度 ； （。
25、3） 脚型参数测量 ： 将三维模型导入到三维模型处理软件中， 获取足部曲面三维信息， 同时根据实际需要， 提取并测量脚型特征参数， 如足长、 足宽、 足趾高、 足弓宽、 足弓围、 内踝 高、 外踝高、 足跟宽、 足后跟高等， 具体包括如下步骤 ： （3.1） 将权利要求书 1 中的步骤 （2） 获得的三维模型转换为 STL 点云格式 ； （3.2） 将 STL 格式的点云导入到三维模型处理软件中进行处理， 将无用点剔除， 保存整 个足部的不规则曲面三维信息 ； （3.3） 将处理后的足部曲面三维信息导入到三维模型处理软件中， 根据实际测量需要， 提取出相应特征点、 线、 局部曲面在三维模型中的。
26、位置 ； （3.4） 根据提取的特征测量对象， 利用软件的测量工具， 对其进行长度、 高度、 宽度等参 数的测量， 获取相应的脚型特征参数。 说 明 书 CN 103971409 A 6 5/5 页 7 0017 下面结合附图及具体实施例对本发明作进一步说明。 0018 1、 如图 1 所示， RGB-D 摄像机选用微软开发的 Kinect 型号 RGB-D 摄像机， 将测量 脚放到合适的地方。 0019 2、 分别标定 Kinect 的深度摄像机和彩色摄像机， 获取它们的内部参数 ： 焦距、 主 点坐标、 畸变参数。 0020 3、 利用 RGB-D 摄像机散斑测距原理对脚型三维曲面进行测量。
27、， 红外发射器发射出 雷射光， 通过红外发射器镜头前的光栅， 均匀地投射到测量空间， 测量空间的粗糙物体反 射， 形成随机的散斑， 再通过红外摄影机记录空间的每个散斑， 通过晶片的计算便得到深度 图像。 0021 4、 手持 RGB-D 摄像机自由扫描脚型曲面， 在实时获取深度数据的基础上， 结合 X、 Y 坐标信息， 即可在不借助任何标记点的情况下， 重建出脚型曲面的全局三维模型。 同时利用 图像超分辨率技术对深度图进行了细节优化， 从而提高模型的重建细节表现 ； 4.1 三维点云获取 ： 在不粘贴任何标记点的情况下， 根据内部校准矩阵将图像坐标系 下的深度图像变换为摄相机坐标系下的三维顶点。
28、， 根据顶点坐标表示出法线贴图， 并根据 刚体变换矩阵将三维顶点和法线贴图转换为全局坐标， 获取足部表面的三维点云数据 ； 4.2 多视角点云配准 ： 使用迭代最近点算法匹配不同视角下的三维点云， 逐帧计算不 同朝向的点集的相关度， 获得 RGB-D 摄像机的六自由度姿态 （上下、 左右、 前后和俯仰、 摇 动、 滚动） ， 采用体集成方法将已配准的点云数据进行融合处理， 在全局坐标系中生成一个 三维体素网格， 并不断更新摄像机当前姿态， 通过 ICP （Iterative Closest Point, 迭代最 近点） 算法实时融合新采集的三维点云数据， 形成重建立方体模型 ； 4.3 优化模。
29、型表面质量 ： 通过平滑算法进行了去噪， 优化测量的三维数据， 提高三维数 据的精度， 并利用图像超分辨率技术对深度图进行了细节优化， 随着摄像机更接近脚面， 通 过使用新的更高精度的数据， 脚型三维曲面会被持续优化， 从而提高三维曲面的精度。 0022 5、 将三维模型导入到三维模型处理软件中， 获取足部曲面三维信息， 同时根据实 际需要， 提取并测量脚型特征参数 ； 5.1 将步骤 （4） 获得的三维模型转换为 STL 点云格式 ； 5.2 将 STL 格式的点云导入到三维模型处理软件中进行处理， 将无用点剔除， 保存整 个足部的不规则曲面三维信息 ； 5.3 将处理后的足部曲面三维信息导。
30、入到三维模型处理软件中， 根据实际测量需要， 提取出相应特征点、 线、 局部曲面在三维模型中的位置， 图 2 为一些常用的脚型特征参数定 义 ； 1足宽 ； 2足弓宽 ； 3足跟宽 ； 4足长 ； 5足趾高 ； 6足弓围 ； 7足后跟高 ； 8 内踝高 ； 5.4 根据提取的特征测量对象， 利用软件的测量工具， 对其进行长度、 高度、 宽度等参 数的测量， 获取相应的脚型特征参数。 0023 以上是本发明的较佳实施例， 凡依本发明技术方案所作的改变， 所产生的功能作 用未超出本发明技术方案的范围时， 均属于本发明的保护范围。 说 明 书 CN 103971409 A 7 1/2 页 8 图 1 说 明 书 附 图 CN 103971409 A 8 2/2 页 9 图 2 图 3 说 明 书 附 图 CN 103971409 A 9 。