一种基于手势识别的手语会议方法及系统技术领域
本发明涉及手语会议领域，具体涉及一种基于手势识别的手语会议方法及系统。
背景技术
根据第六次全国人口普查我国总人口数，及第二次全国残疾人抽样调查推算2010
年末我国听力残疾2054万人。
手势识别技术主要是利用图像传感器、红外LED等各种传感器来采集三维图像及
手势信息，通过内部的处理器将其转化为可为电脑处理的数据，目前主要应用在家庭娱乐，
智能驾驶，智能穿戴，三维建模，辅助医疗等领域，例如在医学领域，我们可以通过三维模型
将人体的各个器官展现在屏幕中，学生通过手势即可以真实的观察，操作人体器官，解决人
体标本不足的问题。
目前我国会议系统技术较为成熟，增加了主讲人对会议的控制度，同时将会议信
息通过不同设备充分表达出来，加深了人们对会议内容的理解，提高了整体会议效率，但是
还没有任何一款会议系统是面向聋哑人群体的，会议对象为聋哑人与普通人之间进行会
议，因此基于手势识别的手语会议系统对于聋哑人这一群体很有必要。
发明内容
为解决现有技术存在的不足，本发明公开了一种基于手势识别的手语会议方法及
系统，适用场合为聋哑人群体与普通人群体进行会议交流的时候，采集手语手势，将手势转
化为数据信息，与手势词典进行对照，解析出手势对应的不同文字含义，并通过多媒体系统
显示在大屏幕上，实现无障碍交流。本发明创新性的提出了一种开放式的树状手势词典。
为实现上述目的，本发明的具体方案如下：
一种基于手势识别的手语会议系统，包括：
手势采集子系统：采用手势识别传感器以帧跟踪的方式采集手势信息，将手势打
包成帧数据发给手势处理子系统处理；
手势处理子系统：将采集的手势数据进行处理，转化成开放式树形手势词典中存
储的数据类型；
手势对照校验子系统：将手势处理子系统处理后的数据与开放式树形手势词典中
的数据进行对比，自动匹配手势数据一致的手势文字，如果在开放式树形手势词典中有相
应手势信息，则将该数据信息交由手势转换子系统来处理，如果没有，则采取模糊匹配算
法，然后再交由手势转换子系统来处理；
手势转换子系统：将手势对照校验子系统发来的数据转换成相应的文字信息，输
送给多媒体子系统；
多媒体子系统：将手势代表的文字信息显示在大屏幕上。
进一步的，所述手势处理子系统采用PC端，会议系统中央处理器与PC端相连，以便
PC端实现对整个会议系统的控制把握，此外，会议系统中央处理器还与手语会议系统音频
系统、手语会议系统电动屏幕系统、手语会议系统视频系统、手语会议系统投影系统、手语
会议系统语音系统相连。
进一步的，所述手语识别传感器采集手语手势的手势信息包括位移、旋转、深度，
进一步的，所述手语识别传感器采用Leap公司的leapmotion作为手势数据采集传
感器，leapmotion检测到手、手指或杆状物体时，给它分配一个唯一的ID标识符，并持续跟
踪，当一个手势结束时，leapmotion会将一帧数据发送给PC，一帧数据包含一个基本的跟踪
数据列表、手势以及帧运动信息。
进一步的，所述开放式树形手势词典为用户提供自主录入手势的功能，任何人都
可以通过自定义加入校准手势信息提高识别的准确率，开放式树形手势词典中每个文字或
者词汇对应的手势都会提前采集设定个人的不同手势作为区分不同手型的依据，并将采集
的手型转化为数据存储在开放式树形手势词典中。
一种基于手势识别的手语会议方法，包括：
步骤1：任意聋哑人进行手语表达；
步骤2：手势识别传感器采集聋哑人的手语手势信息；
步骤3：手势识别传感器将手势信息经芯片处理后传递给PC端电脑；
步骤4：PC端电脑中的手将该手势在手势词典中进行搜索对照；
步骤5：该手势在手势词典中是否有对应的文字含义，若是，进行步骤7，否则进行
步骤6；
步骤6：启动模糊匹配算法，将手势词典中的类似手势转换为文字；
步骤7：将手势转换为文字；
步骤8：手语会议系统中央处理器将文字信息输出到电动屏幕；
步骤9：结束。
本发明的有益效果：
本发明将手势感应识别技术与传统会议系统结合起来，解决了聋哑人与普通人之
间进行会议交流的问题，实现了会议的无障碍沟通。提高了会议效率，节省了雇佣手语翻译
官的费用，因此，本系统的实用性较高。
本发明开放式树形手势词典，不同于基于二维表的关系数据库模型，解决了后期
难以维护，非开放的弱点。从而可以快速的插入新的手势，自定义新的手势，提高手势匹配
成功率。
本申请将手势识别应用到多人会议系统，实现多个聋哑人与多个正常人之间进行
会议。
附图说明
图1基于手势识别的会议系统组成示意图；
图2语会议系统子系统结构框图；
图3基于手势识别的会议系统流程图；
图4手势词典组成示意图。
具体实施方式：
下面结合附图对本发明进行详细说明：
请参阅图1，本申请的一种基于手势识别的手语会议系统包括PC端17以及与之相
连的手势识别传感器15、手势词典16、手语会议系统软件库18，同时手语会议系统软件库18
与手势词典16相关联，以便软件库将捕捉到的手势与手势词典进行对照校验，另外，会议系
统中央处理器20与PC端17相连，以便PC端实现对整个会议系统的控制把握，此外，会议系统
中央处理器20还与手语会议系统音频系统19、手语会议系统电动屏幕系统21、手语会议系
统视频系统22、手语会议系统投影系统23、手语会议系统语音系统24相连。
本申请的一种基于手势识别的手语会议系统的PC端17主要作为软件平台来运行
手语会议系统软件库18，同时也作为手语识别传感器15的硬件接口，接收传感器发来的手
势数据，手语识别传感器15可以采集手语手势的位移、旋转、深度等手势信息，这类传感器
主要有微软的Kinect，Cognitive Systems实验室的智能手套，Leap公司的体感控制器
leapmotion等，优选的，所述传感器主要采用Leap公司的leapmotion作为手势数据采集传
感器，leapmotion检测到手、手指或杆状物体时，会给他分配一个唯一的ID标识符，并持续
跟踪，当一个手势结束时，leapmotion会将一帧数据(包含一个基本的跟踪数据列表、手势
以及帧运动信息)发送给PC。手势词典16是收集基本手势信息按某种顺序排列并加以解释
供人查阅的一种数据库。
如图4所示，本手势词典基于数据库原型，但又区别于基于二维表的关系数据库模
型，上述手势词典采用的存储方式是开放式的树状存储模型，数组的搜索比较方便，可以直
接用下标，但删除或者插入某些元素就比较麻烦。链表与之相反，删除和插入元素很快，但
查找很慢。而树状的存储结构综合了链表和数组的优点，既可以快速的插入和删除数据，也
可以高效率的搜索数据，这充分体现了本手势词典的优势所在。另外，开放式的手势词典可
以为用户提供自主录入手势的功能，任何人都可以通过自定义加入校准手势信息提高识别
的准确率。如图4(手势词典)，每个文字或者词汇对应的手势都会提前采集10个人的不同手
势作为区分不同手型的依据(类似与区别我们的方言)，并将采集的手型转化为数据存储在
手势词典中。
手语会议系统软件库18主要是软件系统，(语会议系统软件库包含的子系统如图2
所示，包含各个子系统。)以PC端17为平台，可以将传感器发来的手势信息与手势词典中的
手势信息进行对照，识别出最为准确的文字含义，若传感器发来的手势不在手势词典中，则
调用模糊匹配算法，将相近的手势转化为文字。
会议系统中央处理器20采用原有技术，与PC端17相连，受PC端17控制，同时中央处
理器还与手语会议系统音频系统19、手语会议系统电动屏幕系统21、手语会议系统视频系
统22、手语会议系统投影系统23、手语会议系统语音系统24相连，并直接控制各个系统的协
调运行。
如图2，是手语会议系统1子系统结构框图，主要由手势采集子系统2、手势处理子
系统3、手势对照校验子系统4、手势转换子系统5以及多媒体子系统6组成。其中手势采集子
系统2主要是手势识别传感器以帧跟踪的方式采集手势信息，将手势打包成帧数据发给PC
端处理；手势处理子系统3负责将采集的手势数据进行处理，转化成手势词典中存储的数
据；手势对照校验子系统4可以将该数据与手势词典中的数据进行对比，自动匹配手势数据
一致的手势文字，如果在手势词典中有相应手势，则将该数据信息交由手势转换子系统5来
处理，如果没有，则采取模糊匹配算法，然后再交由手势转换子系统5来处理；手势转换子系
统5将上一个系统发来的数据转换成相应的文字信息，输送给多媒体子系统6，由其将该手
势代表的文字信息显示在大屏幕上。各个环节紧密相连，一环扣一环。
一种基于手势识别的手语会议方法，通过用户表示的手语手势，能够从事先录入
的手势词典中识别出手势所代表的含义并且转化成文字信息展示在会议屏幕上，实现聋哑
人与普通人之间能够无障碍进行会议交流。
请参阅图3，以下结合图3给出上述系统的执行方案，包括如下步骤：
步骤1：任意聋哑人进行手语表达；
步骤2：手势识别传感器采集聋哑人的手语手势信息；
步骤3：传感器将手势信息经CYUSB3014芯片处理后传递给电脑；
步骤4：手语会议软件系统将该手势在手势词典中进行搜索对照；
步骤5：该手势在手势词典中是否有对应的文字含义？若是，进行步骤13，否则进行
步骤12；
步骤6：系统启动模糊匹配算法，将手势词典中的类似手势转换为文字；
步骤7：系统将手势转换为文字；
步骤8：手语会议系统中央处理器将文字信息输出到电动屏幕；
步骤9：结束。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范
围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不
需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。