基于双目视觉的游戏控制器.pdf

本发明涉及基于双目视觉的游戏控制器，通过电缆或无线与游戏主机相连，供使用者操纵所述的游戏主机，包括双目视觉图像采集机构、游戏控制器主机，双目视觉图像采集机构通过电缆与游戏控制器主机相连，游戏控制器主机输出指令控制游戏主机，双目视觉图像采集机构采集游戏者的行为图像。本发明中采用了人动作姿态识别算法来增强游戏的可操作性、可玩性和真实性，提供给游戏主机一种全新的操控模式，使游戏主机具有交互性更强、操作更简便、真实感更强的特点。

1、  基于双目视觉的游戏控制器，通过电缆或无线与游戏主机相连，供使用者操纵所述的游戏主机，其特征在于：基于双目视觉的游戏控制器包括双目视觉图像采集机构、游戏控制器主机，双目视觉图像采集机构通过电缆与游戏控制器主机相连，游戏控制器主机输出指令控制游戏主机，双目视觉图像采集机构采集游戏者的行为图像。

2、  根据权利要求1所述的基于双目视觉的游戏控制器，其特征在于：所述的游戏控制器主机包括运算机构、存储机构、行为姿态分析机构、指令输出机构、处理单元，运算机构将双目视觉图像采集机构采集的图像经过图像去噪、增强预处理后存储到存储机构中，行为姿态分析机构通过双目视觉法分析存储机构中的图像产生相应行为指令，行为指令通过电缆传给指令输出机构，指令输出机构将相应的行为指令传给游戏主机控制游戏主机的虚拟角色的行为，处理单元控制电缆的调用和释放。

3、  根据权利要求2所述的基于双目视觉的游戏控制器，其特征在于：所述的游戏控制器主机还选配面部表情分析机构，选配的面部表情分析机构通过分析存储机构中的图像里的游戏者的面部表情并产生相应游戏指令，与行为姿态分析机构通过双目视觉法分析存储机构中的图像产生相应行为指令，一并通过电缆传给指令输出机构，指令输出机构将相应的行为指令和游戏指令传给游戏主机控制游戏主机的虚拟角色。

4、  根据权利要求2所述的基于双目视觉的游戏控制器，其特征在于：所述的行为姿态分析机构分析图像过程按以下步骤进行：(1)、快速鲁棒特征匹配算法对双目视觉图像采集机构采集的图像产生对应图像的对应点匹配；(2)、根据匹配结果计算出距离信息；(3)、根据匹配结果与模板数据库比较识别出姿态信息，模板数据库是通过海量数据训练得出贮存在存储机构内；(4)、将姿态信息和距离信息转变成相应的行为指令。

5、  根据权利要求1-4之一所述的基于双目视觉的游戏控制器，其特征在于：指令输出机构与游戏主机的之间传输方式为有线传输或无线传输，有线传输选择通用串行电缆(USB-OTG)传输、PS/2接口传输或IEEE1394接口传输；无线传输选择蓝牙传输、射频(RF)、超宽带(UWB)或红外传输。

基于双目视觉的游戏控制器
技术领域
本发明涉及一种游戏控制器，特别是有关一种基于双目视觉的不需要任何接触式感应装置的游戏控制器。
背景技术
目前游戏市场发展迅速，各种游戏主机层出不穷，并搭配有丰富多彩的游戏软件，以满足消费者的需求。游戏的交互方式，从早期的通过键盘与手柄来进行，游戏者静态的坐在屏幕前；渐渐的进化成需要更多的肢体动作，如：跳舞机、赛车等。早期的通过键盘和手柄来操作游戏的方式，互动性不强，而且容易使游戏者上瘾，游戏者往往是长时间不断的坐在屏幕前操作游戏，对游戏者的身体健康状况有很大的伤害。伴随计算机游戏种类与内容的不断扩展丰富，其操作复杂性剧增，仍然采用传统的交互方式，越来越难于控制。
而跳舞机之类通过接触的方法将人的行为转化为计算机可以理解的指令，进而控制游戏角色的方法虽然在一定程度上增加了游戏的真实性，但仍然存在可玩性和方便性不高的缺点，而且其成本较高。这种通过接触式感应器来测量使用者的行为趋势来控制游戏的方法，对于使用者，在游戏之前，必须将测量感应器，或贴或夹在身体上的某部位，不只是不方便也不舒服。
现阶段已经出现了不需要接触式传感器来控制游戏的游戏机，这种游戏机通过配置单个的摄像机采集使用者的图像，进而分析其行为，最后产生指令达到控制游戏的目的。这种方式虽然可以通过图像分析出使用者的行为姿态，但不能够给出使用者的运动矢量，因此游戏的真实感不强。
因此需要一种互动性更好，操作起来更方便，给游戏者真实感更强的工作模式来提高游戏的可玩性。
发明内容
本发明为了克服上述现有技术存在的问题及缺点，提供一种交互性更强、操作更简便、真实感更强的基于双目视觉的游戏控制器。
本发明技术方案为：基于双目视觉的游戏控制器，通过电缆或无线与游戏主机相连，供使用者操纵所述的游戏主机，其特征在于：基于双目视觉的游戏控制器包括双目视觉图像采集机构、游戏控制器主机，双目视觉图像采集机构通过电缆与游戏控制器主机相连，游戏控制器主机输出指令控制游戏主机，双目视觉图像采集机构采集游戏者的行为图像。
所述的游戏控制器主机包括运算机构、存储机构、行为姿态分析机构、指令输出机构、处理单元，运算机构将双目视觉图像采集机构采集的图像经过图像去噪、增强预处理后存储到存储机构中，行为姿态分析机构通过双目视觉法分析存储机构中的图像产生相应行为指令，行为指令通过电缆传给指令输出机构，指令输出机构将相应的行为指令传给游戏主机控制游戏主机的虚拟角色的行为，处理单元控制电缆的调用和释放。
所述的行为姿态分析机构分析图像过程按以下步骤进行：(1)、用快速特征匹配算法对双目视觉图像采集机构采集的图像产生对应图像的对应点匹配；(2)、根据匹配结果计算出距离信息；(3)、根据匹配结果与模板数据库比较识别出姿态信息，模板数据库是通过海量数据训练得出贮存在存储机构内；(4)、将姿态信息和距离信息转变成相应的行为指令。
指令输出机构与游戏主机的之间传输方式为有线传输或无线传输，有线传输选择通用串行电缆(USB-OTG)传输、PS/2接口传输或IEEE1394接口传输；无线传输选择蓝牙传输、射频(RF)、超宽带(UWB)或红外传输。
双目视觉图像采集机构将游戏者的行为转换为游戏主机可以理解的行为指令和游戏指令。行为姿态分析机构分析使用者的动作姿态如手动、跑步等，并产生相应行为指令。
此外，本发明的游戏控制器的控制方法：1、通过双目视觉图像采集机构取得游戏者的图像；2、根据取得的图像分析使用者的动作行为并生成相应行为指令和游戏指令；3、将行为指令和游戏指令传给游戏主机来控制游戏主机。
在本发明中，不需要与游戏者进行接触就可以理解游戏者的动作行为。双目视觉图像采集机构采集到游戏者的图像数据，然后由行为姿态分析机构识别出游戏者的姿态行为，如：走路、跑步、举起双手、单手做攻击姿势等，进而生成行为指令控制游戏中的虚拟角色的行为。
此外，在本发明中，不需要与游戏者进行接触就可以判断游戏者是在向前跑还是向后跑，是慢跑还是快跑，是走路还是跑步。这些功能是通过双目视觉图像采集机构采集的两幅游戏者的图像数据，由姿态分析机构分析图像数据并计算出游戏者距离双目视觉图像采集机构的距离，再根据多次分析的结果判断出游戏者的运动矢量，进而生成行为指令控制游戏中的虚拟角色的行为。
本发明中分别采用了人动作姿态识别算法来增强游戏的可操作性、可玩性和真实性，提供给游戏主机一种全新的操控模式。使游戏主机具有交互性更强、操作更简便、真实感更强的特点。
在本发明中，游戏者的面部表情将会实时的反映到游戏中的虚拟角色上，使游戏的可玩性更强。面部表情分析机构分析使用者的面部表情如：哭、笑、难过等，并产生相应游戏指令。这些功能是通过可选配的面部表情分析机构来完成的。
附图说明
图1是本发明的游戏控制器示意图；
图2是本发明的游戏控制器主机的示意图；
图3是本发明的双目视觉系统测距的原理图。
具体实施方式
结合附图对本发明作进一步的描述。
如图1所示，本发明通过电缆3与游戏主机相连，供使用者操纵所述的游戏主机，本发明包括双目视觉图像采集机构2、游戏控制器主机1，双目视觉图像采集机构1通过电缆与游戏控制器主机1相连，游戏控制器主机1输出行为指令或行为指令和游戏指令控制游戏主机，双目视觉图像采集机构1采集游戏者的行为图像。双目视觉图像采集机构1以高帧频的速度采集游戏者的图像，并通过电缆与游戏控制器主机1相连。
本发明的游戏控制器主机如图2所示，所述的游戏控制器主机由运算机构、存储机构、行为姿态分析机构、指令输出机构、处理单元组成，运算机构将双目视觉图像采集机构采集的图像经过图像去噪、增强等预处理后存储到存储机构中，行为姿态分析机构通过动作姿态识别算法分析存储机构中图像的产生相应行为指令，行为指令通过电缆传给指令输出机构，指令输出机构将相应的行为指令传给游戏主机控制游戏主机的虚拟角色，处理单元控制电缆的调用和释放。所述的行为姿态分析机构分析图像过程按以下步骤进行：(1)、用快速特征匹配算法对双目视觉图像采集机构采集的图像产生对应图像的对应点匹配；(2)、根据匹配结果计算出距离信息；(3)、根据匹配结果与模板数据库比较识别出姿态信息，模板数据库是通过海量数据训练得出贮存在存储机构内；(4)、将姿态信息和距离信息转变成相应的行为指令。当游戏者玩游戏时，双目视觉图像采集机构1采集游戏者的行为图像经运算机构进行图像预处理并保存图像到存储机构中，行为姿态分析机构通过分析存储机构中图像的产生相应行为指令，行为指令通过电缆传给指令输出机构，指令输出机构最后将相应的指令传给游戏主机。
所述游戏控制器主机只提供相应的行为指令和游戏指令，是属于游戏主机的周边设备，行为指令和游戏指令的协议由发明方定义并提供给相关的游戏机厂商，也可以根据游戏机厂商要求定制。
在本发明的优选实施方式中，指令输出机构与游戏主机的之间传输方式分为有线传输和无线传输，有线传输可选择通用串行电缆(USB-OTG)传输、PS/2接口传输或IEEE1394接口传输。无线传输可以选择蓝牙传输、射频(RF)、超宽带(UWB)或红外传输。
本发明的游戏装置中运算机构可以是台式PC的微处理器，也可以是嵌入式微处理器DSP或DSP加FPGA。
在本发明的优选实施方式中，双目摄像机构包括两台摄像机，摄像机可采用可见光CCD、红外探测器，根据实际使用的要求还可以配置其它类型的摄像机。
图3是双目视觉成像原理图。双目视觉中两台摄像机采集到的图像点的匹配是关键，本发明中可采用的对应点匹配方法为快速鲁棒特征匹配算法(SURF)法，点匹配方法不局限与此，关键是算法可以需要具有透视或者仿射不变性的特点，即对存在透射或者仿射变形的点对仍然可以匹配上，常用相关方法分类举例如下：
(1)提取的特征点对本身具有仿射或者透射不变性，此类方法有：
比例不变特征匹配法(SIFT)，各种特征不变算子法等。
(2)用于比较点对的方法本身具有仿射或者透射不变性等。
本发明中另一关键技术为场景点的重建，重建方法很多，有：直接几何法、纯代数法等。下面以纯代数法举例说明场景点重建过程：
已知标定过的两台摄像机和两个对应点p和p′，O′和O是两台摄像机的光学中心点。在原理上，可以直接通过将两条射线R＝Op和R′＝O′p′相交来重建相应的场景点。然而，在实际中由于标定和特征定位的误差，射线R和R′可能永远也不会真正相交。本发明可采用的方法之一为用纯代数的方法重建场景点：给定投影矩阵M和M′以及对应点p和p′，可以把约束zp＝MP和z′p′＝M′P重写成如下形式
P×MP=0p′×M′P=0⇔[p×]M[p′×]M′P=0]]>
上述是一个过约束方程，有4个关于P的坐标的独立线性等式，可以采用最小二乘法解这个方程而得到P的世界坐标系的坐标，进而可以算出游戏者的速度矢量。
本发明虽以优选实施方式阐明如上，然而其并非用以限定本发明仅限于上述实施方式。因此，在不脱离本发明的范围内所作修改，均应包含在权利要求书保护范围内。
此外，本发明中可选配的机构为面部表情分析机构，这部分有已成熟应用的例子，可用来进一步增强游戏的可操作性，可玩性和真实性，提供给游戏主机一种全新的操控模式。