《一种头戴式智能视障辅助系统.pdf》由会员分享，可在线阅读，更多相关《一种头戴式智能视障辅助系统.pdf（8页珍藏版）》请在专利查询网上搜索。
1、(19)中华人民共和国国家知识产权局 (12)发明专利 (10)授权公告号 (45)授权公告日 (21)申请号 201510588478.5 (22)申请日 2015.09.16 (65)同一申请的已公布的文献号 申请公布号 CN 105267013 A (43)申请公布日 2016.01.27 (73)专利权人 电子科技大学 地址 610041 四川省成都市高新区 （西区） 西源大道2006号 (72)发明人 程洪 况逸群 杨路 黄殿 (74)专利代理机构 成都金英专利代理事务所 (普通合伙) 51218 代理人 袁英 (51)Int.Cl. A61H 3/06(2006.01) 审查员 於。
2、锦 (54)发明名称 一种头戴式智能视障辅助系统 (57)摘要 本发明公开了一种头戴式智能视障辅助系 统， 它包括眼镜端组件和功能端组件， 眼镜端组 件包括摄像头、 图像驱动单元和音频处理器， 摄 像头与图像驱动单元连接； 功能端组件包括通讯 模块、 电池及充电管理模块、 中央处理模块和按 键， 图像驱动单元、 音频处理器、 通讯模块、 电池 及充电管理模块和按键分别与中央处理模块连 接； 中央处理模块包括指尖检测模块、 敏感信息 检测模块、 识别模块和语音处理模块。 该系统为 轻量化设计的穿戴式硬件系统， 功耗低， 携带方 便， 基于嵌入式平台实现各个核心服务模块， 包 括人脸识别、 物体识。
3、别、 货币识别等， 交互设计简 单、 自然、 智能、 简单易操作。 权利要求书2页 说明书3页 附图2页 CN 105267013 B 2017.11.07 CN 105267013 B 1.一种头戴式智能视障辅助系统， 其特征在于： 它包括眼镜端组件和功能端组件， 所述 的眼镜端组件包括摄像头、 图像驱动单元和音频处理器， 摄像头与图像驱动单元连接； 所述 的功能端组件包括通讯模块、 电池及充电管理模块、 中央处理模块和按键， 图像驱动单元、 音频处理器、 通讯模块、 电池及充电管理模块和按键分别与中央处理模块连接； 所述的中央 处理模块包括指尖检测模块、 敏感信息检测模块、 识别模块和语音。
4、处理模块； 所述的指尖检测模块检测用户是否使用指尖指向某个物体； 所述的敏感信息检测模块 检测指尖周围是否存在物体、 人脸、 文字、 货币的敏感信息， 并分割出敏感信息所在区域； 所 述的识别模块在敏感区域进行信息识别； 所述的语音处理模块对信息进行处理并进行语音 播报。 2.根据权利要求1所述的一种头戴式智能视障辅助系统， 其特征在于： 所述的眼镜端组 件还包括耳机扬声器和麦克风， 耳机扬声器和麦克风分别与音频处理器连接。 3.根据权利要求1所述的一种头戴式智能视障辅助系统， 其特征在于： 所述的敏感信息 检测模块包括物体检测模块、 文字检测模块、 人脸检测模块和标示、 标志检测模块， 所述。
5、的 物体检测模块检测视障人员日常家居生活常见的物体， 所述的文字检测模块检测敏感信息 区域内的文字， 人脸检测模块检测敏感区域内的人脸， 标示、 标志检测模块检测敏感区域内 的标志。 4.根据权利要求1所述的一种头戴式智能视障辅助系统， 其特征在于： 所述的识别模块 包括物体识别模块、 货币识别模块、 文字识别模块、 人脸识别模块和标示识别模块， 所述的 货币识别模块对使用的货币进行识别， 所述的标示识别模块对标示进行识别。 5.根据权利要求1所述的一种头戴式智能视障辅助系统， 其特征在于： 所述的摄像头采 用小型CMOS高分辨率摄像头， 所述的通讯模块为4G， 或/和5G通讯模块。 6.如权。
6、利要求1所述的一种头戴式智能视障辅助系统实现辅助的方法， 其特征在于： 它 包括如下子步骤： S1： 图像采集， 摄像头采集人视野中的图像； S2： 指尖检测， 检测视野图像中是否有用户使用指尖指向某个特定物体； S3： 敏感信息检测， 检测到指尖后， 在指尖周围区域进行敏感信息检测， 检测是否存在 包括物体、 人脸、 文字、 货币的敏感信息， 并分割出敏感信息所在的区域； S4： 信息识别， 识别模块在敏感区域进行识别任务， 不同的敏感信息进入相应的识别模 块， 得到具体的信息； S5： 语音处理， 将识别出来的信息通过语音播报出来； S6： 云端同步， 将识别出来的信息进行保存， 同时同步。
7、到云端。 7.根据权利要求6所述的一种头戴式智能视障辅助系统的辅助方法， 其特征在于： 所述 的步骤S2指尖检测， 首先通过肤色检测获得待选区域， 然后通过轮廓匹配的方式检测出指 尖。 8.根据权利要求6所述的一种头戴式智能视障辅助系统的辅助方法， 其特征在于： 所述 的步骤S3敏感信息检测包括物体检测、 文字检测、 人脸检测和标示、 标志检测。 9.根据权利要求1所述的一种头戴式智能视障辅助系统的辅助方法， 其特征在于： 所述 的步骤S4信息识别包括货币识别、 物体识别、 人脸识别、 文字识别、 颜色识别和标记识别， 货 币检测采用ORB特征， 物体识别结合特征提取模板匹配和深度学习方法， 。
8、人脸识别采用基于 权 利 要 求 书 1/2 页 2 CN 105267013 B 2 SVM特征分类方法。 权 利 要 求 书 2/2 页 3 CN 105267013 B 3 一种头戴式智能视障辅助系统 技术领域 0001 本发明属于计算机视觉和人机交互领域， 是一种头戴式智能视障辅助系统。 背景技术 0002 视觉障碍者简称视障者， 广义而言， 如果个人需透过辅助器具如眼镜、 放大镜等才 能看清楚东西， 就称为视障者。 视障又可分为为全盲及弱视， 其中又以弱视居多， 据世界卫 生组织估计， 全球视障人群达到1.3亿以上， 我国弱视群体人群达到700万人， 如何帮助弱视 群体更好地适应生活。
9、成为社会关注的焦点。 0003 弱视顾名思义是指视觉功能受到损伤或障碍， 那么如何通过现有的科学技术辅助 性增强视障者的视觉能力是解决这个问题的关键。 发明内容 0004 本发明的目的在于克服现有技术的不足， 提供一种头戴式智能视障辅助系统， 该 系统为轻量化设计的穿戴式硬件系统， 功耗低， 携带方便， 基于嵌入式平台实现各个核心服 务模块， 包括人脸识别、 物体识别、 货币识别等， 交互设计简单、 自然、 智能， 简单易操作。 0005 本发明的目的是通过以下技术方案来实现的： 一种头戴式智能视障辅助系统， 它 包括眼镜端组件和功能端组件， 所述的眼镜端组件包括摄像头、 图像驱动单元和音频处。
10、理 器， 摄像头与图像驱动单元连接； 所述的功能端组件包括通讯模块、 电池及充电管理模块、 中央处理模块和按键， 图像驱动单元、 音频处理器、 通讯模块、 电池及充电管理模块和按键 分别与中央处理模块连接； 所述的中央处理模块包括指尖检测模块、 敏感信息检测模块、 识 别模块和语音处理模块； 0006 所述的指尖检测模块检测用户是否使用指尖指向某个物体； 所述的敏感信息检测 模块检测指尖周围是否存在物体、 人脸、 文字、 货币等敏感信息， 并分割出敏感信息所在区 域； 所述的识别模块在敏感区域进行信息识别； 所述的语音处理模块对信息进行处理并进 行语音播报。 0007 所述的眼镜端组件还包括耳。
11、机扬声器和麦克风， 耳机扬声器和麦克风分别与音频 处理器连接。 0008 所述的敏感信息检测模块包括物体检测模块、 文字检测模块、 人脸检测模块和标 示、 标志检测模块， 所述的物体检测模块检测视障人员日常家居生活常见的物体， 所述的文 字检测模块检测敏感信息区域内的文字， 人脸检测模块检测敏感区域内的人脸， 标示、 标志 检测模块检测敏感区域内的标志。 0009 所述的识别模块包括物体识别模块、 货币识别模块、 文字识别模块、 人脸识别模块 和标示识别模块， 所述的货币识别模块对使用的货币进行识别， 所述的标示识别模块对标 示进行识别。 0010 所述的摄像头采用小型CMOS高分辨率摄像头，。
12、 所述的通讯模块为4G， 或/和5G通讯 模块。 说 明 书 1/3 页 4 CN 105267013 B 4 0011 一种头戴式智能视障辅助系统实现辅助的方法， 它包括如下子步骤： 0012 S1： 图像采集， 摄像头采集人视野中的图像； 0013 S2： 指尖检测， 检测视野图像中是否有用户使用指尖指向某个特定物体； 0014 S3： 敏感信息检测， 检测到指尖后， 在指尖周围区域进行敏感信息检测， 检测是否 存在包括物体、 人脸、 文字、 货币的敏感信息， 并分割出敏感信息所在的区域； 0015 S4： 信息识别， 识别模块在敏感区域进行识别任务， 不同的敏感信息进入相应的识 别模块，。
13、 得到具体的信息； 0016 S5： 语音处理， 将识别出来的信息通过语音播报出来； 0017 S6： 云端同步， 将识别出来的信息进行保存， 同时同步到云端。 0018 所述的步骤S2指尖检测， 首先通过肤色检测获得待选区域， 然后通过轮廓匹配的 方式检测出指尖。 0019 所述的步骤S3敏感信息检测包括物体检测、 文字检测、 人脸检测和标示、 标志检 测。 0020 所述的步骤S4信息识别包括货币识别、 物体识别、 人脸识别、 文字识别、 颜色识别 和标记识别， 货币检测采用ORB特征， 物体识别结合特征提取模板匹配和深度学习方法， 人 脸识别采用基于SVM特征分类方法。 0021 本发明。
14、的有益效果是： 本发明提供了一种头戴式智能视障辅助系统， 该系统为轻 量化设计的穿戴式硬件系统， 设备轻便， 易于携带， 基于嵌入式平台实现各个核心服务模 块， 包括人脸识别、 物体识别、 货币识别等， 通过分离检测识别模块实现资源有效利用， 多 样、 简单的交互操作， 提高用户体验， 同时充分利用云端存储处理能力。 附图说明 0022 图1为系统结构图； 0023 图2为辅助方法流程图； 0024 图3为货币识别方法。 具体实施方式 0025 下面结合附图进一步详细描述本发明的技术方案， 但本发明的保护范围不局限于 以下所述。 0026 如图1所示， 一种头戴式智能视障辅助系统， 它包括眼镜。
15、端组件和功能端组件， 所 述的眼镜端组件包括摄像头、 图像驱动单元和音频处理器， 摄像头与图像驱动单元连接； 所 述的功能端组件包括通讯模块、 电池及充电管理模块、 中央处理模块和按键， 图像驱动单 元、 音频处理器、 通讯模块、 电池及充电管理模块和按键分别与中央处理模块连接； 所述的 中央处理模块包括指尖检测模块、 敏感信息检测模块、 识别模块和语音处理模块； 0027 所述的指尖检测模块检测用户是否使用指尖指向某个物体； 所述的敏感信息检测 模块检测指尖周围是否存在物体、 人脸、 文字、 货币等敏感信息， 并分割出敏感信息所在区 域； 所述的识别模块在敏感区域进行信息识别； 所述的语音处。
16、理模块对信息进行处理并进 行语音播报。 0028 所述的眼镜端组件还包括耳机扬声器和麦克风， 耳机扬声器和麦克风分别与音频 说 明 书 2/3 页 5 CN 105267013 B 5 处理器连接。 0029 所述的敏感信息检测模块包括物体检测模块、 文字检测模块、 人脸检测模块和标 示、 标志检测模块， 所述的物体检测模块检测视障人员日常家居生活常见的物体， 所述的文 字检测模块检测敏感信息区域内的文字， 人脸检测模块检测敏感区域内的人脸， 标示、 标志 检测模块检测敏感区域内的标志。 0030 所述的识别模块包括物体识别模块、 货币识别模块、 文字识别模块、 人脸识别模块 和标示识别模块，。
17、 所述的货币识别模块对使用的货币进行识别， 所述的标示识别模块对标 示进行识别。 0031 所述的摄像头采用小型CMOS高分辨率摄像头， 所述的通讯模块为4G， 或/和5G通讯 模块。 0032 如图2所示， 一种头戴式智能视障辅助系统实现辅助的方法， 它包括如下子步骤： 0033 S1： 图像采集， 摄像头采集人视野中的图像； 0034 S2： 指尖检测， 检测视野图像中是否有用户使用指尖指向某个特定物体； 0035 S3： 敏感信息检测， 检测到指尖后， 在指尖周围区域进行敏感信息检测， 检测是否 存在包括物体、 人脸、 文字、 货币的敏感信息， 并分割出敏感信息所在的区域； 0036 S。
18、4： 信息识别， 识别模块在敏感区域进行识别任务， 不同的敏感信息进入相应的识 别模块， 得到具体的信息； 0037 S5： 语音处理， 将识别出来的信息通过语音播报出来； 0038 S6： 云端同步， 将识别出来的信息进行保存， 同时同步到云端。 0039 所述的步骤S2指尖检测， 首先通过肤色检测获得待选区域， 然后通过轮廓匹配的 方式检测出指尖。 自然场景中的环境复杂多变。 如光照、 角度、 遮挡、 抖动等不确定因素都会 增加分割难度。 针对在自然场景中剧烈光照变化导致指尖检测不稳定， 采用归一化的颜色 空间YCrCb以减少光照变化对检测的影响， 因为肤色在这些归一化的颜色空间里具有较好。
19、 的分离性。 0040 所述的步骤S3敏感信息检测包括物体检测、 文字检测、 人脸检测和标示、 标志检 测。 0041 所述的步骤S4信息识别包括货币识别、 物体识别、 人脸识别、 文字识别、 颜色识别 和标记识别， 货币检测采用ORB特征， 物体识别结合特征提取模板匹配和深度学习方法， 人 脸识别采用基于SVM特征分类方法。 0042 如图3所示， 货币识别包括如下步骤： 0043 A 获取标准纸币模板； 0044 B. 计算纸币ORB特征点， 训练特征点(获取区分度较好的点)； 0045 C. 对输入图像做相应的处理得到匹配点； 0046 D. 进行点匹配判断特征点是都来自相同的物体， 计算匹配度； 0047 E. 输出结果。 0048 语音处理包括语音输出和语音识别， 语音输出是将设备识别出来的结果通过语音 播报出来， 主要采用通过语音播报出来引擎来实现。 说 明 书 3/3 页 6 CN 105267013 B 6 图1 说 明 书 附 图 1/2 页 7 CN 105267013 B 7 图2 图3 说 明 书 附 图 2/2 页 8 CN 105267013 B 8 。