一种增强现实培训系统及方法.pdf

1、(10)申请公布号 CN 103093653 A(43)申请公布日 2013.05.08CN103093653A*CN103093653A*(21)申请号 201310022567.4(22)申请日 2013.01.21G09B 5/02(2006.01)G09B 9/00(2006.01)G06F 17/50(2006.01)G06F 3/0488(2013.01)(71)申请人福建省纳金网信息技术有限公司地址 362200 福建省泉州市晋江市龙湖镇杭边工业区(72)发明人温廷羲(74)专利代理机构泉州市文华专利代理有限公司 35205代理人陈雪莹(54) 发明名称一种增强现实培训系统及方法

2、(57) 摘要本发明公开了一种增强现实培训系统和方法，其只对设备的复杂关键部件建立3D仿真动作模型，其它的部件不进行建模，当摄像头对准设备的复杂关键部件时，3D仿真动作模型会覆盖在手机或平板电脑的屏幕画面中设备相应的复杂关键部件上，这样可以突出3D仿真动作模型，可在设备现场对员工进行培训，实现以较低成本实现仿真效果较好的培训。通过本发明方法还可结合真实的设备了解设备运行情况同时降低设备运转耗能和安全风险。(51)Int.Cl.权利要求书1页 说明书3页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书1页 说明书3页(10)申请公布号 CN 103093653 ACN 1030

3、93653 A1/1页21.一种增强现实培训系统，其特征在于：包括带摄像头的平板手机或平板电脑，内置于所述手机或平板电脑里的3DMAX软件，及内置于所述手机或平板电脑里的仿真培训模拟软件；通过所述手机或平板电脑的摄像头对设备进行拍照，得到设备照片；再通过所述手机或平板电脑中的3DMAX软件对所述设备照片中设备的复杂关键部件建立3D仿真模型；根据此复杂关键部件的真实动作情况，在所述手机或平板电脑中进行3D仿真模型的仿真动作模型制作，得到3D仿真动作模型；再通过所述仿真培训软件利用所述设备照片制作出可识别的目标图片；所述仿真培训软件可对来自摄像头的图像与目标图片进行对照，当匹配时，系统可调出所述3

4、D仿真动作模型，覆盖在来自摄像头的图像上的设备的复杂关键部件上，并在所述手机或平板电脑的屏幕中显示；可通过手指操作手机或平板电脑的可触摸屏幕，实现与所述3D仿真动作模型的交互；可在通过手机或平板电脑的摄像头直接观察设备的情况下，通过手指操作手机或平板电脑的可触摸屏幕，实现与所述3D仿真动作模型的交互。2.一种增强现实培训系统，其特征在于，通过如下步骤实现：A、通过带摄像头的手机或平板电脑在设备现场对设备进行张拍照，得到设备照片；B、利用步骤A中得到的设备照片对设备的复杂关键部件通过3DMAX软件进行3D建模，得到3D仿真模型；C、根据设备的复杂关键部件的真实动作情况，进行3D仿真模型的仿真动作

5、模型制作，得到3D仿真动作模型；D、通过仿真培训软件利用设备照片制作出可识别的目标图片；E、通过仿真培训软件识别来自摄像头的图像与目标图片，当来自摄像头的图像与目标图片相匹配时，系统可调出在步骤C中做好的3D仿真动作模型，并将此3D仿真动作模型覆盖在来自摄像头的图像中的设备的复杂关键部件上并在屏幕中显示；F、可通过手指操作手机或平板电脑的可触摸屏幕，实现与所述3D仿真动作模型的交互；或可在通过手机或平板电脑的摄像头直接观察设备的情况下，通过手指操作手机或平板电脑的可触摸屏幕，实现与所述3D仿真动作模型的交互。权 利 要 求 书CN 103093653 A1/3页3一种增强现实培训系统及方法技术

6、领域0001 本发明涉及一种仿真培训系统及方法。背景技术0002 在一些复杂且危险的设备培训过程中，往往通过建立复杂的仿真3D模型放置于3D引擎中，通过鼠标、键盘或是其它外设对其进行交互操作，与现实机器的操作还是有区别。且建立与实际培训设备结构一样的3D模型需要投入很多的成本。发明内容0003 本发明的目的是提供一种成本较低、仿真效果更好的增强现实培训系统。0004 本发明的另一目的是提供一种成本较低、仿真效果更好的增强现实培训方法。0005 为了实现上述目的，本发明采用如下技术方案：0006 一种增强现实培训系统，包括带摄像头的平板手机或平板电脑，内置于所述手机或平板电脑里的3DMAX软件，

7、及内置于所述手机或平板电脑里的仿真培训模拟软件；0007 通过所述手机或平板电脑的摄像头对设备进行拍照，得到设备照片；再通过所述手机或平板电脑中的3DMAX软件对所述设备照片中设备的复杂关键部件建立3D仿真模型；根据此复杂关键部件的真实动作情况，在所述手机或平板电脑中进行3D仿真模型的仿真动作模型制作，得到3D仿真动作模型；再通过所述仿真培训软件利用所述设备照片制作出可识别的目标图片；所述仿真培训软件可对来自摄像头的图像与目标图片进行对照，当匹配时，系统可调出所述3D仿真动作模型，覆盖在来自摄像头的图像上的设备的复杂关键部件上，并在所述手机或平板电脑的屏幕中显示；可通过手指操作手机或平板电脑的

8、可触摸屏幕，实现与所述3D仿真动作模型的交互；可在通过手机或平板电脑的摄像头直接观察设备的情况下，通过手指操作手机或平板电脑的可触摸屏幕，实现与所述3D仿真动作模型的交互。0008 一种增强现实培训系统，通过如下步骤实现：0009 A、通过带摄像头的手机或平板电脑在设备现场对设备进行张拍照，得到设备照片；0010 B、利用步骤A中得到的设备照片对设备的复杂关键部件通过3DMAX软件进行3D建模，得到3D仿真模型；0011 C、根据设备的复杂关键部件的真实动作情况，进行3D仿真模型的仿真动作模型制作，得到3D仿真动作模型；0012 D、通过仿真培训软件利用设备照片制作出可识别的目标图片；0013

9、 E、通过仿真培训软件识别来自摄像头的图像与目标图片，当来自摄像头的图像与目标图片相匹配时，系统可调出在步骤C中做好的3D仿真动作模型，并将此3D仿真动作模型覆盖在来自摄像头的图像中的设备的复杂关键部件上并在屏幕中显示；0014 F、可通过手指操作手机或平板电脑的可触摸屏幕，实现与所述3D仿真动作模型说 明 书CN 103093653 A2/3页4的交互；或可在通过手机或平板电脑的摄像头直接观察设备的情况下，通过手指操作手机或平板电脑的可触摸屏幕，实现与所述3D仿真动作模型的交互。0015 采用上述方案后，本发明的增强现实培训系统和方法，只对设备的复杂关键部件建立3D仿真动作模型，其它的部件不

10、进行建模，当摄像头对准设备的复杂关键部件时，3D仿真动作模型会覆盖在手机或平板电脑的屏幕画面中设备相应的复杂关键部件上，这样可以突出3D仿真动作模型，可在设备现场对员工进行培训，实现以较低成本实现仿真效果较好的培训。通过本发明方法还可结合真实的设备了解设备运行情况同时降低设备运转耗能和安全风险。具体实施方式0016 本发明的增强现实培训系统，包括带摄像头的手机或平板电脑，内置于所述手机或平板电脑里的3DMAX软件，及内置于所述手机或平板电脑里的仿真培训模拟软件。0017 通过所述手机或平板电脑的摄像头对设备进行拍照，得到设备照片；再通过所述手机或平板电脑中的3DMAX软件对所述设备照片中设备的

11、复杂关键部件建立3D仿真模型；根据此复杂关键部件的真实动作情况，在所述手机或平板电脑中进行3D仿真模型的仿真动作模型制作，得到3D仿真动作模型；再通过所述仿真培训软件利用所述设备照片制作出可识别的目标图片；所述仿真培训软件可对来自摄像头的图像与目标图片进行对照，当匹配时，系统可调出所述3D仿真动作模型，覆盖在来自摄像头的图像上的设备的复杂关键部件上，并在所述手机或平板电脑的屏幕中显示；可通过手指操作手机或平板电脑的可触摸屏幕，实现与所述3D仿真动作模型的交互；可在通过手机或平板电脑的摄像头直接观察设备的情况下，通过手指操作手机或平板电脑的可触摸屏幕，实现与所述3D仿真动作模型的交互。0018

12、本发明的一种增强现实培训系统，通过如下步骤实现：0019 A、通过带摄像头的手机或平板电脑在设备现场对设备进行拍照，特别是对设备的复杂关键部件的各个角度进行拍照，得到设备照片；0020 B、利用步骤A中得到的设备照片对设备的复杂关键部件通过3DMAX软件进行3D建模，得到3D仿真模型；0021 C、根据设备的复杂关键部件的真实动作情况，进行3D仿真模型的仿真动作模型制作，得到3D仿真动作模型；具体的做法是：先针对设备的复杂关键部件的结构进行测量和分解，根据步骤A所得的设备照片，按照真实比例通过3D MAX软件对设备的复杂关键部件进行建模，根据设备的复杂关键部件实际运动情况，针对每个运动的过程进

13、行动作分解，在3D MAX软件中对步骤B建立好的3D仿真模型进行模拟动作制作，得到3D仿真动作模型，再把做好的3D仿真动作模型导入3D引擎中，通过编写程序控制3D仿真动作模型运动并组合各种动作；0022 D、通过仿真培训软件利用设备照片制作出针对设备的复杂关键部件的可识别的目标图片，把目标图片载入到培训系统中进行存储，与步骤A所得的设备照片通过一定的算法进行图像相似度的比较，并确定设备照片中设备的复杂关键部件的坐标及角度，做为3D仿真动作模型表现的坐标与角度；0023 E、当手机或平板电脑的摄像头对准设备时，手机或平板电脑的屏幕上会显示摄像说 明 书CN 103093653 A3/3页5头看到

14、的内容（图像），通过仿真培训软件可识别来自摄像头的图像与目标图片，当来自摄像头的图像与目标图片相匹配时，系统可调出在步骤C中做好的3D仿真动作模型，并将此3D仿真动作模型覆盖在来自摄像头的图像中的设备的复杂关键部件上并在屏幕中显示；0024 F、可通过手指操作手机或平板电脑的可触摸屏幕，实现与所述3D仿真动作模型的交互，达到观察设备各个角度及工作情况的目的。如：当手指向左划动时，3D仿真动作模型向左转动，当手指向右划动时，3D仿真动作模型向右转动，当手指向上划动时，3D仿真动作模型向上翻动等等；0025 或，可在通过手机或平板电脑的摄像头直接观察设备的情况下，通过手指操作手机或平板电脑的可触摸屏幕，实现与所述3D仿真动作模型的交互。如：双击手机或平板电脑的屏幕时，跳出菜单，再点击“动作1”，3D仿真动作模型就会进行对应于“动作1”的运动。0026 本发明的增强现实培训系统和方法，只对设备的复杂关键部件建立3D仿真动作模型，其它的部件不进行建模，当摄像头对准设备的复杂关键部件时，3D仿真动作模型会覆盖在平板手机或平板电脑的屏幕画面中设备相应的复杂关键部件上，这样可以突出3D仿真动作模型，可在设备现场对员工进行培训，实现以较低成本实现仿真效果较好的培训。通过本发明方法还可结合真实的设备了解设备运行情况同时降低设备运转耗能和安全风险。说 明 书CN 103093653 A