基于增强现实技术的自闭症儿童兴趣点信息采集系统技术领域
本发明涉及一种自闭症儿童兴趣点的信息采集系统，属于增强现实技术领域，涉
及到对自闭症儿童治疗干预的应用。
背景技术
增强现实是一种通过计算机技术将真实世界信息和虚拟世界信息进行叠加的技
术。它不仅展现了真实世界的信息，而且将虚拟信息显示出来，给人以超越现实的感官体
验。如今，增强现实技术在娱乐、工业设计、教育、建筑复原等领域得到广泛的应用。随着互
联网智能时代的到来，智能手机和平板电脑等移动终端设备成为了人们生活中广泛使用的
电子产品，这为增强现实技术的应用提供了更多的平台。一些公司还推出了专门用于增强
现实技术开发的工具包，比如说大家熟知的高通vuforia SDK，以及国内较流行的EasyAR
SDK和HiAR SDK，由此可见增强现实技术的商业应用也正在开启。目前增强现实技术在教育
和娱乐领域出现了不少的应用，这些应用大多数结构比较单一而且互动性不强，而增强现
实技术在医疗体系中的应用还比较少。
自闭症是广泛性发育障碍的一种类型，男性多见。在婴儿期就起病，主要表现为不
同程度的人际交往障碍、言语的发育障碍、行为较刻板、以及兴趣狭窄。大概有3/4的患者有
较明显的精神发育迟缓，部分患儿在一般智力落后的情况下某方面有较好的能力。一般来
讲3岁是发现自闭症较多的年龄，而7岁以前是治疗自闭症患者的最佳时间。因此，开发研究
能够有效进行自闭症治疗干预的应用，尽早对自闭症患者进行治疗，可以使得自闭症儿童
更好的融入社会，学习新的知识。
传统的自闭症儿童患者治疗方式需要制作大量的卡片，或预先提供大量的视频。
通过不断的更换卡片或者视频来观察患者的情绪变化，从而确定儿童患者的兴趣偏好，这
样的方式繁琐而低效。此外，自闭症患者可能还会对医师的干预行为产生抵触心理，不利于
信息数据的获取。
发明内容
发明要克服现有技术缺乏自闭症儿童兴趣点采集设备的缺点，提供一种在自闭症
儿童治疗上的干预系统，用以对自闭症儿童的兴趣偏好等信息进行采集，获取的信息可以
添加到自闭症儿童后期的治疗方案设计中，最终实现自闭症儿童的感知和学习能力的提
高。
本发明提出了一种基于增强现实技术的自闭症儿童治疗干预系统，主要是通过一
个应用来判断不同自闭症儿童的兴趣和关注点所在，为自闭症患者治疗医师的治疗方案的
设计提供较为有用的信息来源。
一种基于增强现实技术的自闭症儿童兴趣点的信息采集系统，其特征在于：系统
包括：用于场景布置和自闭症儿童基本资料存储的前期信息准备子系统，用于将真实信息
和虚拟信息结合的增强现实子系统，用于对自闭症儿童操控增强信息时间统计的信息评估
子系统。
其中，所述的前期信息准备子系统包括：
场景的布置模块，用于系统实施贴图的准备和空间区域的选取，具体包括：贴图信
息的准备：贴图是自闭症儿童用来扫描的图片以及叠加增强信息的基础，对贴图进行分类，
根据不同年龄段自闭症儿童的辨识能力去选取相应的图片，图片在类型上也具有典型的差
异；空间区域的选取：选取一个室内区域空间去放置贴图，而不是一个简单的平面，让自闭
症儿童在走动中随机的扫描贴图；
数据库模块，用于对系统需要的基本信息进行存储，这些信息包括：自闭症儿童的
个人基本信息，主要是姓名、年龄、性别、日常表现等信息；选取好的分类贴图；增强现实中
的增强信息，主要以三维模型和视频为主；
所述的增强现实子系统包括：
虚拟现实结合模块，用于将真实信息(经过分类的贴图)和虚拟信息(三维模型和
视频)进行搭建，移动设备的摄像头扫描到图像后，软件处理将相应的三维模型或视频叠加
到贴图之上；
移动终端显示模块，将搭建好的增强现实模型显示在移动设备上，移动设备优选
平板电脑或智能手机，显示性能优良并且屏幕尺寸较大，在交互和视觉体验上都优于其他
电子设备；
所述的信息评估子系统包括：
互动模块，主要是自闭症儿童对增强信息(三维模型和视频)的操作，实现自闭症
儿童和增强信息的互动；信息统计模块，用来记录自闭症儿童在与增强信息互动过程中的
各参数记录和统计。
作为优选的一种方案：上述的前期信息准备子系统、增强现实子系统、信息评估子
系统以及它们各自的相关模块都是相互依托关系。所述前期信息准备子系统中的场景布置
模块对贴图进行选取和分类，经过分类处理的贴图会应用到增强现实子系统的虚拟现实结
合模块，作为真实信息部分。而增强现实子系统中搭建的虚拟信息(三维模型和视频)可以
用来和自闭症儿童进行交互，最后信息评估系统对交互时间进行统计，从而判断自闭症儿
童的兴趣偏好。
进一步讲，所述增强现实子系统中的虚拟现实模块通过一个增强现实应用，将比
较真实的三维模型或视频信息叠加到图形之上，会给儿童患者很好的视觉体验，自闭症儿
童会愿意花更多的时间在这上面体验。
再进一步讲，信息统计模块会对自闭症儿童操控模型或观看增强视频信息的时间
进行记录。前期工作已经对要操控的三维模型或视频信息进行了分类，系统实施过程中，设
备的后台系统会记录自闭症儿童操控过某些模型或观看过某些类型视频的时间。操控某些
模型或者观看某些视频的时间越长，说明自闭症儿童对这方面的内容越感兴趣，这样就实
现了对自闭症儿童兴趣偏好等信息的采集，采集到的信息可以被应用到自闭症儿童的治疗
干预中。
本发明的优点是：
1)患者在该系统中可以自行的选择各项操作，自闭症儿童在贴图室可以随机的扫
描各种贴图，不存在抵触行为；
2)三维模型以及增强视频信息都可以存储在后台数据库中，移动设备扫描图片后
随时调用，解决了大量素材制作的问题，另外增强现实中的模型为三维动画模型且可互动，
感官体验较二维普通卡片较好；
3)后台系统会对患者操作增强信息的时间信息进行采集，准确高效。
附图说明
图1是本发明的框架
图2增强现实子系统中虚拟现实信息搭建
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的描述。
一种基于增强现实技术的自闭症儿童兴趣点的信息采集系统，其特征在于：系统
包括：用于场景布置和自闭症儿童基本资料存储的前期信息准备子系统，用于将真实信息
和虚拟信息结合的增强现实子系统，用于对自闭症儿童操控增强信息时间统计的信息评估
子系统。
其中，所述的前期信息准备子系统包括：
场景的布置模块，用于系统实施贴图的准备和空间区域的选取，具体包括：贴图信
息的准备：贴图是自闭症儿童用来扫描的图片以及叠加增强信息的基础，对贴图进行分类，
根据不同年龄段自闭症儿童的辨识能力去选取相应的图片，图片在类型上也具有典型的差
异；空间区域的选取：选取一个室内区域空间去放置贴图，而不是一个简单的平面，让自闭
症儿童在走动中随机的扫描贴图；
数据库模块，用于对系统需要的基本信息进行存储，这些信息包括：自闭症儿童的
个人基本信息，主要是姓名、年龄、性别、日常表现等信息；选取好的分类贴图；增强现实中
的增强信息，主要以三维模型和视频为主；
所述的增强现实子系统包括：
虚拟现实结合模块，用于将真实信息(经过分类的贴图)和虚拟信息(三维模型和
视频)进行搭建，移动设备的摄像头扫描到图像后，软件处理将相应的三维模型或视频叠加
到贴图之上；
移动终端显示模块，将搭建好的增强现实模型显示在移动设备上，移动设备优选
平板电脑或智能手机，显示性能优良并且屏幕尺寸较大，在交互和视觉体验上都优于其他
电子设备；
所述的信息评估子系统包括：
互动模块，主要是自闭症儿童对增强信息(三维模型和视频)的操作，实现自闭症
儿童和增强信息的互动；信息统计模块，用来记录自闭症儿童在与增强信息互动过程中的
各参数记录和统计。
所述的自闭症儿童的年龄段的划分是：3-4岁为一个阶段，5-7岁为另一个阶段，并
且数据库对每个自闭症儿童的基本个人信息进行了存储。
增强现实技术实施中虚拟信息的选取三维模型和视频信息；另外，为了更有效获
取自闭症儿童的兴趣偏好，三维模型和视频信息选取了不同类型的内容作为参考。
设备后台系统会记录自闭症儿童操控三维模型或观看增强视频的时间，根据自闭
症儿童停留在各类增强信息上的互动模式、互动时间来判断自闭症儿童的兴趣偏好，停留
在某类增强信息上的时间越长说明对该类信息越感兴趣，从而实现对自闭症儿童兴趣偏好
等信息的采集。
本发明针对自闭症儿童自身的特点以及医师在自闭症儿童治疗中的难点，提出了
一种基于增强现实技术的自闭症儿童兴趣点的信息采集系统，即通过监测自闭症儿童和增
强信息交互的时间长短，来评估自闭症儿童的兴趣偏好。附图1详细的表示了整个系统的实
施过程；附图2对本系统中的核心模块，即虚拟现实结合模块的搭建过程做了详细演示。
本发明具体实施分为以下四个步骤：
步骤1：贴图室的场景布置；
步骤2：自闭症儿童个人信息的存储和分类；
步骤3：增强现实技术的实施；
步骤4：自闭症儿童兴趣偏好的评估。
所述步骤1中，具体实施过程如下，需要在一个相对安全的区域内设置各类贴图，
称之为贴图室。之所以选择一个空间区域设置贴图是为了让儿童患者去走动，而不是单纯
的静止中完成各项动作，这也是针对自闭症儿童患者治疗的一种方式。
所述步骤2中，具体实施过程如下，针对不同年龄层次的自闭症儿童进行划分，3-4
岁为一个层次，5-7岁为一个层次，这样划分是考虑到不同年龄层次儿童患者的辨识能力和
娱乐选择方式的不同。本发明的实施过程中选取了四十名自闭症儿童作为测试对象(男孩
女孩各二十名)，每个自闭症儿童的基本个人信息会被存储到数据库。
所述步骤3中，具体实施过程如下，首先是增强现实中虚拟信息的制作，素材对应
的虚拟信息主要包括三维模型和视频，视频可以通过网络下载一些儿童感兴趣的内容或自
行录制。三维模型可以使用3DMAX或MAYA等软件进行制作，通过对模型添加材质、动画和音
频可以制作出较好的用于显示的三维动画模型；其次，将上述步骤1中的贴图进行打包，以
便作为增强现实(AR)的识别目标。整个增强现实技术的实现我们使用国内的EasyAR来完
成，这部分我们可以将所有贴图素材在其平台打包并下载；最后，将上述步骤1中的贴图和
步骤3中的虚拟信息进行叠加，虚实信息的叠加我们借助EasyAR SDK和Unity平台来完成，
我们把下载好的用于目标识别的素材包，制作好的三维模型以及EasyAR SDK一同导入到
Unity平台中。在Unity中通过视角和位置调整将三维模型搭建到目标图形上。此外，为了实
现自闭症儿童在终端设备上对模型的操控，例如拖拽、旋转、缩放等动作，可以用C#在Unity
平台上编写脚本并添加到ImageTarget上。
值得注意的是，上述虚拟信息素材的选取中，应该根据不同年龄层次的自闭症儿
童去设置叠加不同的增强信息，针对年龄较小的3-4岁患者贴图可以设置一些简单图画，这
些图画上以叠加三维模型为主，这些三维模型也要进行细致划分，不同色彩的添加了动画
和音频的模型，测试时我们选择了自闭症儿童的颜色偏好作为切入点来进行测试，所以选
取了蓝、黄、绿、紫四种颜色的三维动画模型作为测试内容。
针对年龄层次较大的5-7岁患者可以选取一些时下较流行的视频素材作为增强信
息。这些视频信息也进行了细致划分，测试时选取了舒缓的视频、欢快的视频、悲伤的视频
和吵杂的视频作为了测试内容。
所述步骤4中，具体实施过程如下，搭建好增强现实的虚实信息后可以将其导入到
移动设备的Android或IOS工程。不同年龄层次的自闭症儿童使用移动设备可以进入不同的
贴图室去体验增强现实世界，信息统计模块的后台系统会记录3-4岁自闭症儿童在各类模
型上停留操作的时间，或5-7岁自闭症儿童观看各类增强视频信息的时间。
这些时间的长短直接反映了自闭症儿童对各类信息的关注度，换句话说，就是各
类信息对自闭症儿童的刺激程度如何。治疗医师会在移动设备后台系统观察到每个自闭症
儿童对各类信息的关注程度，从而判断该自闭症儿童的兴趣偏好所在。利用获取的信息为
自闭症儿童后续的治疗制定针对性的方案。
本发明依照上述步骤对四十名自闭症儿童进行测试，结果如下表所示：
表一自闭症儿童对不同颜色模型操控超三分钟以上的男女比例
表二自闭症儿童观看不同种类增强视频达五分钟以上的男女比例
测试结果显示该系统对自闭症儿童信息的采集是有效的。例如，表一显示大多数
自闭症儿童偏爱蓝色和绿色，这两种颜色对男孩的吸引力大于女孩。从表二可以得出大多
数自闭症儿童更喜欢舒缓和欢快类视频，也有个别偏好悲伤类视频或吵杂类视频的自闭症
儿童，而他们的自闭症表现可能更为强烈。获取的这些信息都可以用于自闭症儿童后期治
疗中，治疗医师可以根据每个自闭症儿童的具体情况去设计针对性的治疗方案。
以上详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中
的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案或思路进行多种变化
和模仿，这些等同变换均属于本发明的保护范围。