《一种组合式运动捕捉系统.pdf》由会员分享,可在线阅读,更多相关《一种组合式运动捕捉系统.pdf(19页珍藏版)》请在专利查询网上搜索。
1、10申请公布号CN104197987A43申请公布日20141210CN104197987A21申请号201410440797722申请日20140901G01D21/0220060171申请人北京诺亦腾科技有限公司地址100088北京市西城区新街口外大街28号主楼412室72发明人戴若犁刘昊扬陈金舟李龙威桂宝佳74专利代理机构北京三友知识产权代理有限公司11127代理人王涛54发明名称一种组合式运动捕捉系统57摘要一种组合式运动捕捉系统,包括多个惯性传感器单元,至少一个通讯单元及一终端处理器;惯性传感器单元连接通讯单元,通讯单元连接终端处理器;惯性传感器单元根据不同的组合方式安装在一个或者多。
2、个运动捕捉对象的各个部位,测量所在安装部位的运动信息并发送给通讯单元;通讯单元接收惯性传感器输出的运动信息,并发送给终端处理器;终端处理器获取运动捕捉对象的信息及惯性传感器单元的安装位置信息,根据运动捕捉对象的信息及安装位置信息生成惯性传感器单元的组合方式,接收运动信息,根据组合方式对运动信息进行处理以获得运动捕捉对象的完整姿态及运动信息。通过对同一套运动捕捉设备的自由组合达到不同运动捕捉的目的,降低了成本。51INTCL权利要求书2页说明书10页附图6页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书10页附图6页10申请公布号CN104197987ACN10419798。
3、7A1/2页21一种组合式运动捕捉系统,其特征在于,所述的组合式运动捕捉系统包括多个惯性传感器单元,至少一个通讯单元及一终端处理器;所述的惯性传感器单元分别连接所述的通讯单元,所述的通讯单元连接所述的终端处理器;所述惯性传感器单元根据不同的组合方式分别安装在一个或者多个运动捕捉对象的各个部位,测量所在安装部位的运动信息,并将所述的运动信息通过有线或者无线的方式发送给所述的通讯单元;所述的通讯单元接收所述惯性传感器输出的运动信息,并通过有线或者无线通讯的方式发送给所述终端处理器;所述的终端处理器获取所述运动捕捉对象的信息及所述惯性传感器单元的安装位置信息,根据所述运动捕捉对象的信息及所述安装位置。
4、信息生成所述惯性传感器单元的组合方式,接收所述通讯单元发送的所述运动信息,根据所述的组合方式对接收的所述运动信息进行处理以获得所述运动捕捉对象的完整姿态及运动信息。2根据权利要求1所述的组合式运动捕捉系统,其特征在于,所述的终端处理器具体用于获取所述运动捕捉对象的信息及所述惯性传感器单元的安装位置信息,根据所述运动捕捉对象的信息获取预存储的运动捕捉对象模型或者新建运动捕捉对象模型,根据所述运动捕捉对象模型及所述的安装位置信息生成所述惯性传感器单元的组合方式,接收所述通讯单元发送的所述运动信息,根据所述的组合方式对接收的所述运动信息进行处理以获得对象的完整姿态及运动信息。3根据权利要求1所述的组。
5、合式运动捕捉系统,其特征在于,所述的终端处理器具体用于根据运动捕捉对象的力学约束对所述惯性传感器单元的运动信息进行修正,对没有安装惯性传感器单元的部位的方位及运动进行估算。4根据权利要求1所述的组合式运动捕捉系统,其特征在于,所述的惯性传感器单元包括传感器模块,包括三轴MEMS加速度计、三轴MEMS陀螺仪及三轴MEMS磁力计,分别对所述惯性传感器单元的安装部位的加速度、角速度以及磁力信号进行测量;第一微处理器模块,连接所述的传感器模块,根据所述的加速度、角速度以及磁力信号计算安装部位的方位信息;第一通讯模块,连接所述的第一微处理器模块,用于传输所述的运动信息。5根据权利要求4所述的组合式运动捕。
6、捉系统,其特征在于,所述的通讯单元包括第二微处理器模块、第二通讯模块及第三通讯模块,所述的第二通讯模块及第三通讯模块分别连接所述的第二微处理器模块。6根据权利要求5所述的组合式运动捕捉系统,其特征在于,所述的通讯单元还包括电池以及直流/直流转换模块;所述的第一通讯模块与所述的第二通讯模块通过有线串行通讯的方式连接,所述的第三通讯模块以无线通信方式与所述的终端处理器连接。7根据权利要求5所述的组合式运动捕捉系统,其特征在于,所述的惯性传感器单元还包括电池以及直流/直流转换模块;所述的第一通讯模块与所述的第二通讯模块通过无线通信方式连接,所述的第三通讯模块以有线串行通讯的方式与所述的终端处理器连接。
7、。8根据权利要求5所述的组合式运动捕捉系统,其特征在于,所述的通讯单元还包括权利要求书CN104197987A2/2页3第一电池以及第一直流/直流转换模块,所述的惯性传感器单元还包括第二电池以及第二直流/直流转换模块;所述的第一通讯模块与所述的第二通讯模块通过无线通信方式连接,所述的第三通讯模块以无线通信方式与所述的终端处理器连接。9根据权利要求5所述的组合式运动捕捉系统,其特征在于,所述的第一通讯模块与所述的第二通讯模块通过有线串行通讯的方式连接,所述的第三通讯模块以有线串行通讯的方式与所述的终端处理器连接;所示的通讯单元还包括直流/直流转换模块。10根据权利要求4所述的组合式运动捕捉系统,。
8、其特征在于,所述的第一微处理器模块具体用于对所述的角速度信息进行积分,生成动态空间方位,根据所述的加速度信息及地磁向量生成静态绝对空间方位,并利用所述静态绝对空间方位对所述动态空间方位进行修正,生成所述的方位信息。11根据权利要求110中任一项所述的组合式运动捕捉系统,其特征在于,所述多个运动捕捉对象的各个部位包括人体、动物和/或机器人的各个部位。12根据权利要求110中任一项所述的组合式运动捕捉系统,其特征在于,所述的惯性传感器单元在不同的时刻安装在不同的运动捕捉对象上。13根据权利要求110中任一项所述的组合式运动捕捉系统,其特征在于,当用户在首次使用所述组合式运动捕捉系统或者变更惯性传感。
9、器单元的组合方式或安装位置时,所述终端处理器还用于指定当前运动捕捉的组合方式以及各个惯性传感器单元的安装位置。14根据权利要求2所述的组合式运动捕捉系统,其特征在于,当所述的传感器单元从一种运动捕捉对象更换安装到另一种运动捕捉对象上时,所述的终端处理器还用于更改测量运动捕捉对象模型或者新建运动捕捉对象模型。15根据权利要求2所述的组合式运动捕捉系统,其特征在于,完成所述惯性传感器单元的安装后,所述的终端处理器还用于根据组合方式以及运动捕捉对象进行校准动作,以修正所述惯性传感器单元的安装误差。权利要求书CN104197987A1/10页4一种组合式运动捕捉系统技术领域0001本发明是关于运动捕捉。
10、技术,特别是关于一种组合式运动捕捉系统。背景技术0002运动捕捉技术可以以数字的方式记录对象的动作,当前常用的运动捕捉技术主要包括光学式运动捕捉和基于惯性传感器的运动捕捉,分别介绍如下0003光学式运动捕捉系统通常包含432个相机,环绕待测物体排列,待测物体的运动范围处于相机的重叠区域。待测物体的关键部位贴上一些特质的反光点或者发光点作为视觉识别和处理的标志。系统标定后,相机连续拍摄物体的运动并把图像序列保存下来进行分析和处理,计算每一个标志点在某一瞬间的空间位置,并从而得到其准确的运动轨迹。光学式运动捕捉的优点是没有机械装置、有线电缆等的限制,允许物体的运动范围较大,并且采样频率较高,能够满。
11、足多数运动测量的需要。但是这种系统价格昂贵,系统的标定比较繁琐,只能捕捉相机重叠区域的物体运动,而且当运动比较复杂时,标志容易混淆和遮挡,从而产生错误的结果。0004传统的机械式惯性传感器长期应用于飞机、船舶的导航,随着微机电系统MEMS技术的高速发展,微型惯性传感器的技术成熟,近年来,人们开始尝试基于微型惯性传感器的运动捕捉。基本方法是把惯性测量单元IMU连接到待测物体上并跟随待测物体一起运动。惯性测量单元通常包括微加速度计测量加速度信号以及微陀螺仪测量角速度信号,通过对加速度信号的二次积分以及陀螺仪信号的积分,可以得到待测物体的位置信息以及方位信息。由于MEMS技术的应用,IMU的尺寸和重。
12、量可以做的很小,从而对待测物体的运动影响很小,并且对于场地的要求低,允许的运动范围大,同时系统的成本比较低。0005随着虚拟现实技术的发展,基于惯性的运动捕捉技术开始作为重要的交互手段出现了。但是当前的基于惯性的运动捕捉系统都是固定式的,即上半身的运动捕捉系统只能够对上半身的运动进行捕捉,而不能通过变换传感器的安装位置实现对身体其他部位如下半身的运动进行捕捉。这样,用户如果要改变运动捕捉部位,只能购买额外的运动捕捉系统或者高级的传感器数量更多的运动捕捉系统,但是这将带来费用的提升。发明内容0006本发明提供一种组合式运动捕捉系统,通过对同一套运动捕捉设备的自由组合达到不同运动捕捉的目的,并且降。
13、低成本。0007本发明提供一种组合式运动捕捉系统,所述的组合式运动捕捉系统包括多个惯性传感器单元,至少一个通讯单元及一终端处理器;所述的惯性传感器单元分别连接所述的通讯单元,所述的通讯单元连接所述的终端处理器;0008所述惯性传感器单元根据不同的组合方式分别安装在一个或者多个运动捕捉对象的各个部位,测量所在安装部位的运动信息,并将所述的运动信息通过有线或者无线的方式发送给所述的通讯单元;说明书CN104197987A2/10页50009所述的通讯单元接收所述惯性传感器输出的运动信息,并通过有线或者无线通讯的方式发送给所述终端处理器;0010所述的终端处理器获取所述运动捕捉对象的信息及所述惯性传。
14、感器单元的安装位置信息,根据所述运动捕捉对象的信息及所述的安装位置信息生成所述惯性传感器单元的组合方式,接收所述通讯单元发送的所述运动信息,根据所述的组合方式对接收的所述运动信息进行处理以获得所述运动捕捉对象的完整姿态及运动信息。0011在一实施例中,所述的运动信息包括方位信息;在另一实施例中,所述的运动信息包括方位信息以及惯性信息,如加速度信息、角速度信息等。0012在一实施例中,所述的终端处理器具体用于获取所述运动捕捉对象的信息及所述惯性传感器单元的安装位置信息,根据所述运动捕捉对象的信息获取预存储的运动捕捉对象模型或者新建运动捕捉对象模型,根据所述的运动捕捉对象模型以及所述的安装位置信息。
15、生成所述惯性传感器单元的组合方式,接收所述通讯单元发送的所述运动信息,根据所述的组合方式对接收的所述运动信息进行处理以获得对象的完整姿态及运动信息。0013在一实施例中,所述的终端处理器具体用于根据运动捕捉对象的力学约束对所述惯性传感器单元的方位进行修正,例如为了避免对象出现反关节以及地面接触穿刺而对对象的方位、位移等进行修正;对没有安装惯性传感器单元的部位的方位及运动进行估算,估算方法为根据该部位的运动特征采用相邻的惯性传感器模块进行类似于插值的估算。0014在一实施例中,所述的惯性传感器单元包括0015传感器模块,包括三轴MEMS加速度计、三轴MEMS陀螺仪及三轴MEMS磁力计,分别对所述。
16、惯性传感器单元的安装部位的加速度、角速度以及磁力信号进行测量;0016第一微处理器模块,连接所述的传感器模块,根据所述的加速度、角速度以及磁力信号计算安装部位的方位信息;0017第一通讯模块,连接所述的第一微处理器模块,用于传输所述的运动信息,如方位信息、惯性信息等。0018在一实施例中,所述的通讯单元包括第二微处理器模块、第二通讯模块及第三通讯模块,所述的第二通讯模块及第三通讯模块分别连接所述的第二微处理器模块。0019在一实施例中,所述的通讯单元还包括电池以及直流/直流转换模块;所述的第一通讯模块与所述的第二通讯模块通过有线串行通讯的方式连接,所述的第三通讯模块以无线通信方式与所述的终端处。
17、理器连接。0020在一实施例中,所述的惯性传感器单元还包括电池以及直流/直流转换模块;所述的第一通讯模块与所述的第二通讯模块通过无线通信方式连接,所述的第三通讯模块以有线串行通讯的方式与所述的终端处理器连接。0021在一实施例中,所述的通讯单元还包括第一电池以及第一直流/直流转换模块,所述的惯性传感器单元还包括第二电池以及第二直流/直流转换模块;所述的第一通讯模块与所述的第二通讯模块通过无线通信方式连接,所述的第三通讯模块以无线通信方式与所述的终端处理器连接。0022在一实施例中,所述的第一通讯模块与所述的第二通讯模块通过有线串行通讯的方式连接,所述的第三通讯模块以有线串行通讯的方式与所述的终。
18、端处理器连接;所示的通讯单元还包括直流/直流转换模块。说明书CN104197987A3/10页60023在一实施例中,所述的第一微处理器模块具体用于对所述的角速度信息进行积分,生成动态空间方位,根据所述的加速度信息及地磁向量生成静态绝对空间方位,并利用所述静态绝对空间方位对所述动态空间方位进行修正,生成所述的方位信息。0024在一实施例中,所述多个运动捕捉对象的各个部位包括人体、动物和/或机器人的各个部位。0025在一实施例中,所述的惯性传感器单元在不同的时刻安装在不同的运动捕捉对象上。0026在一实施例中,当用户在首次使用所述组合式运动捕捉系统或者变更惯性传感器单元的组合方式或安装位置时,所。
19、述终端处理器还用于指定当前运动捕捉的组合方式以及各个惯性传感器单元的安装位置。0027在一实施例中,当所述的传感器单元从一种运动捕捉对象更换安装到另一种运动捕捉对象上时,所述的终端处理器还用于更改测量运动捕捉对象模型或者新建运动捕捉对象模型。0028在一实施例中,完成所述惯性传感器单元的安装后,所述的终端处理器还用于根据组合方式以及运动捕捉对象进行校准动作,以修正所述惯性传感器单元的安装误差。0029本发明实施例的有益效果在于,本发明的多个惯性传感器单元可以在同一运动捕捉对象上进行各种组合方式的安装,也可以在不同种类的运动捕捉对象上进行组合安装,通过对同一套运动捕捉设备的自由组合,可以达到不同。
20、运动捕捉的目的,并且降低了成本。附图说明0030为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。0031图1为本发明实施例的组合式运动捕捉系统结构示意图;0032图2为本发明实施例的组合式运动捕捉系统结构示意图二;0033图3为本发明实施例的组合式运动捕捉系统结构示意图二;0034图4为本发明实施例的组合式运动捕捉系统结构示意图二;0035图5为本发明实施例的组合式运动捕捉系统结构示意图。
21、二;0036图6为本发明实施例的组合式运动捕捉系统的实施流程图。具体实施方式0037下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。0038如图1所示,本发明提供一种组合式运动捕捉系统,所述的组合式运动捕捉系统包括多个惯性传感器单元101,至少一个通讯单元102及一终端处理器103。0039多个惯性传感器单元101分别以有线或无线方式连接至通讯单元102,通讯单元说明书CN104197。
22、987A4/10页7102以有线或无线方式连接终端处理器103。0040多个惯性传感器单元101根据不同的组合方式分别安装在一个或者多个运动捕捉对象的各个部位,运动捕捉对象可以有多种,例如可以是人体、机器人及动物等。安装方法有多种,对于人体,安装方法可以是通过手套、绑带或者传感器服等方式连接到手或者身体其它部位,惯性传感器单元101测量其所在安装部位的运动信息,如方位、加速度、角速度等,并将该运动信息通过有线或者无线的方式发送给通讯单元102。0041通讯单元102以有线或者无线方式接收惯性传感器输出的运动信息,并通过有线或者无线通讯的方式发送给终端处理器103。0042终端处理器103获取运。
23、动捕捉对象的信息及所述惯性传感器单元101的安装位置信息,根据运动捕捉对象的信息及安装位置信息生成惯性传感器单元的组合方式,接收所述通讯单元发送的所述运动信息,根据所述的组合方式对接收的所述运动信息进行处理以获得所述运动捕捉对象的完整的姿态及运动信息。0043具体实施时,终端处理器102可以获取运动捕捉对象的信息及所述惯性传感器单元101的安装位置信息,根据运动捕捉对象的信息获取预存储的运动捕捉对象模型或者新建运动捕捉对象模型,根据该运动捕捉对象模型以及该安装位置信息用户指定或者系统检测到的惯性传感器单元的安装位置信息生成惯性传感器单元101的组合方式,接收通讯单元102发送的运动信息,根据组。
24、合方式对接收的运动信息进行处理以获得对象的完整姿态及运动信息。0044在一实施例中,终端处理器103根据组合方式对接收的运动信息进行处理以获得对象的完整姿态及运动信息时,可以通过如下方式实现根据运动捕捉对象的力学约束对惯性传感器单元101的运动进行修正,如基于关节约束或者地面接触约束对方位和位移等的修正;对没有安装惯性传感器单元101的部位的方位及运动进行估算,估算方法可以为根据相邻部位的运动信息进行插值计算得到,如脊椎的方位和运动可以由臀部和胸部的运动进行插值估算,估算方法也可以为根据其自身的运动特点以及父节点的运动情况进行估算,如脚趾的方位和运动在没有外界接触时跟随脚掌的方位和运动,在脚尖。
25、着地时,脚趾的朝向与脚掌一致,但是倾角与接触面平行。0045如图2至图5所示,本发明具体实施时,组合式运动捕捉系统的惯性传感器单元101包括传感器模块201、第一微处理器模块202及第一通讯模块203。0046传感器模块201包括三轴MEMS加速度计2011、三轴MEMS陀螺仪2012及三轴MEMS磁力计2013。三轴MEMS加速度计2011对惯性传感器单元101的安装部位的加速度信号进行测量。三轴MEMS陀螺仪2012对惯性传感器单元101的安装部位的角速度信号进行测量。三轴MEMS磁力计2013对惯性传感器单元101的安装部位的磁力信号进行测量。0047第一微处理器模块202连接同一惯性传。
26、感器单元101中的传感器模块201,可以根据传感器模块201的加速度、角速度以及磁力信号计算安装部位的方位信息。0048在一实施例中,第一微处理器模块202模块具体用于对角速度信息进行积分,生成动态空间方位,根据所述的加速度信息及地磁向量生成静态绝对空间方位,并利用所述静态绝对空间方位对所述动态空间方位进行修正,生成方位信息。0049第一通讯模块203连接所述的第一微处理器模块202,用于将测得的运动信息如方位信息、加速度信息、角速度信息等传输给通讯单元102。说明书CN104197987A5/10页80050如图2至图5所示,本发明具体实施时,组合式运动捕捉系统的通讯单元102包括第二微处理。
27、器模块2021、第二通讯模块2022及第三通讯模块2023。第二通讯模块2021及第三通讯模块2022分别连接第二微处理器模块2023。第二微处理器模块2021控制第二通讯模块2022接收各个惯性传感器单元101测得的运动信息,将该运动信息打包,然后通过第三通讯模块2023发送给终端处理器103。0051第一通讯模块203与第二通讯模块2022之间,以及终端处理器103第三通讯模块2023之间,可以都通过无线通信方式连接,也可以都通过有线串行通讯的方式连接,还可以第一通讯模块203与第二通讯模块2022之间通过无线通信方式连接,终端处理器103与第三通讯模块2023之间通过有线串行通讯的方式连。
28、接,或者第一通讯模块203与第二通讯模块2022之间通过有线串行通讯的方式连接,终端处理器103与第三通讯模块2023之间通过无线通信方式连接。下面分别说明上述几种连接方式。0052在一实施例中,如图2所示,第一通讯模块203与第二通讯模块1022通过有线串行通讯的方式连接,第三通讯模块2023也以有线串行通讯的方式与终端处理器103连接。第一通讯模块203、第二通讯模块1022及第三通讯模块2023均为串行通讯模块。通讯单元102还包括直流/直流转换模块2025,通过有线连接从终端处理器103获得电力,并经过直流/直流转换模块2025进行直流/直流转换后给通讯单元以及所有惯性传感器单元供电。。
29、第一通讯模块203、第二通讯模块2022及第三通讯模块2023为串行通信模块。0053该组合式运动捕捉系统包括多个惯性传感器单元101、一个通讯单元102以及一台PC作为终端处理器103。0054惯性传感器单元101包括传感器模块201、第一微处理器模块202和第一通讯模块203。传感器模块201包括三轴MEMS加速度计、2011三轴MEMS陀螺仪2012和三轴MEMS磁力计2013,分别对加速度、角速度以及磁力信号进行测量。0055第一微处理器模块202从传感器模块201接收加速度、磁力和角速度信息,并根据这些信息计算传感器模块201的空间方位信息。第一通讯模块203将运动信息以有线的方式发。
30、送给通讯单元102。通讯单元102包括第二微处理器模块2021、第二通讯模块2022、第三通讯模块2023。通讯单元102通过第二通讯模块2022接收惯性传感器单元101的运动信息,并将接收到的运动信息经第二微处理器模块2021打包后通过第三通讯模块2023发送给接收终端处理器103。0056通过有线连接,通讯单元102从终端处理器103获得电力,经过DC/DC转换后给通讯单元102以及所有与之连接的惯性传感器单元101供电。终端处理器103接收到惯性传感器单元101的运动信息后,根据软件界面指定的对象模型以及惯性传感器单元101的安装位置信息,执行相应的处理和计算,包括根据对象的力学约束对惯。
31、性传感器单元101的运动信息进行修正、对于没有安装惯性传感器单元101部位的运动进行估算等。终端处理器103可以将计算结果实时进行计算机动画播放,也可以以一定的数据格式进行保存或者通过网络发送。0057在一实施例中,如图3所示,第一通讯模块203与第二通讯模块2022通过有线串行通讯的方式连接,第三通讯模块2023以无线通信方式与终端处理器103连接。第二微处理器模块2021通过第二通讯模块2022接收各个惯性传感器单元101测得的运动信息,打包后通过第三通讯模块2023RF通讯模块发送给终端处理器单元103。与图2相比,图3说明书CN104197987A6/10页9的通讯单元102还包括电池。
32、2024以及直流/直流转换模块2025,电池2024通过直流/直流转换模块2025进行直流/直流转换,然后向通讯单元102以及所有惯性传感器单元101供电。第三通讯模块2023可以是RF通讯模块,也可以是其他可以与终端处理器103进行无线通信的模块。第一通讯模块203及第二通讯模块2022为串行通信模块。通过通讯单元102与惯性传感器单元101的有线连接方式,电池2024还可以给惯性传感单元101的各个部分供电。0058在一实施例中,如图4所示,第一通讯模块203与第二通讯模块2022通过无线通信方式连接,第三通讯模块2023以有线串行通讯的方式与终端处理器103连接。本实施例中,惯性传感器单。
33、元101还包括电池2024以及第一直流/直流转换模块2026,第一直流/直流转换模块2026对电池2024的电力进行直流/直流转换。通讯单元102还包括第二直流/直流转换模块2027,通过通讯单元102与终端处理器103的有线连接方式,终端处理器103可以为通讯单元102提供电力,第二直流/直流转换模块2027可以将终端处理器103中的电力进行直流/直流转换后供给通讯单元102。第一通讯模块203及第二通讯模块2022可以是RF通讯模块,也可以是其他可以与终端处理器103进行无线通信的模块。第三通讯模块2023为串行通信模块。0059在一实施例中,如图5所示,通讯单元102还包括第一电池202。
34、8以及第一直流/直流转换模块2026。惯性传感器单元101还包括第二电池2029以及第二直流/直流转换模块2027。第一通讯模块203与第二通讯模块2022通过无线通信方式连接,第三通讯模块2023以无线通信方式与终端处理器103连接。第一通讯模块203、第二通讯模块2022及第三通讯模块2023可以是RF通讯模块,也可以是其他可以与终端处理器103进行无线通信的模块。0060图6为本发明的组合式运动捕捉系统的实施流程图。如图6所示,首先,将惯性传感器单元101通过传感器服、帮带、手套、胶带等方式连接到运动捕捉对象身上,并建立各部分的物理连接。然后,开启组合式运动捕捉系统,打开终端处理器103。
35、上相应的软件,建立各部分的软件连接。接下来,根据运动捕捉对象信息及运动捕捉对象上的惯性传感器单元101的安装位置在终端软件界面上选择运动捕捉对象的模型,若软件中不包含相应对象的模型,则可以手动创建或者输入对象的模型,对象的模型包括对象各个部分的连接关系、各个部分的尺寸以及初始方位等。对于对象模型,还可以设置或者修改各个部分之间的约束和限制,比如允许的关节活动角度等。确定对象模型后,按照实际的传感器单元安装位置,在终端处理器的软件界面上指定各个传感器的安装位置,指定的位置需要与实际位置一致。确定了传感器单元的安装位置后,需要对各个传感器的安装误差进行校准。校准可以按照软件上现有的人体校准动作进行。
36、校准,也可以由用户指定和设计校准姿态。校准时,测量对象需要按照软件界面的姿势做出相应的校准动作。接收处理器根据已知的姿态以及传感器单元测量到的运动信息,确定传感器单元的安装误差。完成传感器单元的校准后,即可开始对运动捕捉对象待测对象的运动进行捕捉。进行运动捕捉时,惯性传感器单元101将安装部位的方位等运动信息以有线或者无线的方式发送给通讯单元102,再由通讯单元102打包后以有线或者无线的方式发送给终端处理器103。终端处理器103根据预先设定的对象以及惯性传感器单元101的安装位置,以及设定的约束,对测量的方位等运动信息进行修正,如对方位、位移等进行修正以满足关节约束或者外界接触约束;并对未。
37、安装说明书CN104197987A7/10页10惯性传感器单元101的部位的运动进行估算,如根据相邻的部位的运动信息进行插值以得到未安装模块部位的运动信息;然后将完整的对象的各部分的方位等运动信息映射到模型上,使得对象模型能够跟随对象的运动而运动。终端处理器103可以将运动对象的运动数据进行实时播放、通过网络进行分享或者本地存储等。0061在一实施例中,惯性传感器单元101在不同的时刻可以安装在不同的运动捕捉对象上。当用户在首次使用组合式运动捕捉系统或者变更惯性传感器单元101的组合方式或安装位置时,终端处理器101还用于指定当前运动捕捉的组合方式以及各个惯性传感器单元101的安装位置。确定对。
38、象模型后,按照实际的惯性传感器单元101安装位置,在终端处理器103的软件界面上指定各个传感器的安装位置,指定的位置需要与实际位置一致。0062在一实施例中,当惯性传感器单元101从一种运动捕捉对象更换安装到另一种运动捕捉对象上时,终端处理器101还用于更改测量运动捕捉对象模型或者新建运动捕捉对象模型,在终端软件界面上选择运动捕捉对象的模型,若软件中不包含相应对象的模型,则可以手动创建或者输入对象的模型,对象的模型包括对象各个部分的连接关系、各个部分的尺寸以及初始方位等。0063本发明实施例的有益效果在于,本发明的多个惯性传感器单元可以在同一运动捕捉对象上进行各种组合方式的安装,也可以在不同种。
39、类的运动捕捉对象上进行组合安装,通过对同一套运动捕捉设备的自由组合,可以达到不同运动捕捉的目的,并且降低了成本。0064为了更好的说明本发明,下面结合具体的实施例进行描述。0065一基于惯性传感器单元的组合式虚拟现实游戏交互系统0066在本实施例中,组合式运动捕捉系统包括10个惯性传感器单元,一个通讯单元,一个平板电脑作为终端处理器,也可以为PC以及一个头戴式虚拟现实显示器。10个惯性传感器单元根据具体的虚拟现实游戏需求进行组合,从而达到可以以同一套系统玩不同种类虚拟现实游戏的目的。0067在本实施例中,假设用户首先玩一个跟朋友在虚拟环境中投掷飞镖的游戏。用户首先需要将10个传感器单元分别安装。
40、到各个手指大拇指2个,其余4个手指各一个、手背、上臂、下臂以及胸部,其中安装到手部的惯性传感器单元可以通过柔性手套安装,其余部位的传感器单元可以通过绑带进行安装。各个惯性传感器单元通过有线连接的方式与安装在胸部的通讯单元连接。通讯单元通过有线连接的方式与平板电脑相连。各个惯性传感器单元分别对所安装部位的方位进行测量,并将测量结果通过有线串行通讯的方式发送给通讯单元。通讯单元将接收的各个部位的方位信息通过USB接口发送给平板电脑,并通过USB接口从平板电脑获得电力。平板电脑通过USB接口与通讯单元连接,通过HDMI接口与头戴式虚拟现实显示器相连。平板电脑与网络服务器上的一个虚拟现实场景相连。网络。
41、服务器通过网络将实时场景及场景变化信息发送给平板电脑,电脑将虚拟场景的信息通过HDMI接口发送给虚拟现实头戴式显示器。平板电脑接收到通讯单元的手臂、手及胸部各部分的方位信息,进行处理进而得到整个手记胸部的姿态信息。平板电脑将手及胸部的运动信息代入虚拟场景中与穿戴者对应的角色,则虚拟场景中角色的手部及上半身运动会跟随穿戴者的运动。下面对本实施例的实施过程进行详细描述。0068使用本系统时,首先将各个惯性传感器单元通过手套及绑带安装到手、手臂及胸部,并将各部分连接起来,然后开启系统并启动平板电脑的运动捕捉软件,对运动捕捉系统说明书CN104197987A108/10页11的各个惯性传感器安装误差进。
42、行校准。校准方法为穿戴者摆出一个或者两个已知的姿态,如5指并拢的T姿态等,根据在已知姿态时测得的各个惯性传感器的方位,可以确定各个惯性传感器单元的安装误差。0069接下来就是在平板电脑上连接网络上的投掷飞镖的虚拟现实服务器,连接成功后,平板电脑的客户端软件会生成一个虚拟的角色用户也可以对自己的角色进行定制。虚拟角色的旁边有虚拟的飞镖,对面有虚拟的靶子。穿戴者可以用手抓起虚拟飞镖向靶子投掷。通过HDMI接口,头戴式显示器可以将头部的方位发送给平板电脑。平板电脑在接收到虚拟场景信息以及头戴式虚拟现实显示器的头部方位信息后,根据头部方位生成相应的视角对应的图像信息并发送给头戴式虚拟现实显示器。除了穿。
43、戴者旁边的镖靶,同一场景中可以有多个镖靶,因而可以使得穿戴者跟多个朋友进入同一场景进行玩,并可以通过平板电脑的耳机和麦克风进行语音交流。0070各个惯性传感器单元通过三轴MEMS微加速度计测得本地重力向量三轴MEMS磁力计测得本地地磁向量,惯性传感器单元的第一微处理器根据重力向量以及磁力向量可以计算单元的静态绝对三维姿态角度;通过三轴MEMS微陀螺仪测量角速度,惯性传感器单元的第一微处理器可以计算模块的动态三维姿态角度。根据惯性传感器单元的实际运动情况,综合静态绝对三维姿态角度和动态三维姿态角度,可以得到惯性传感器单元最终的方位信息。0071惯性传感器单元的通讯模块通过串行通讯的方式与上述10。
44、个惯性传感器单元相连,并通过轮询的方式从各个惯性传感器单元获得其测得的方位信息,打包后发送给平板电脑。0072平板电脑收到通讯单元发送的各个部位的方位信息后,对这些方位信息进行处理以得到整个手及胸部的方位及运动情况。对这些方位信息的处理包括根据手部的生物力学约束对方位进行修正,如避免手指出现反关节等情况;以及对于没有安装惯性传感器的部位的方位的估算,如没有安装模块的指尖的方位计算,可以认为其相对于指中节的姿态角度等于指中节相对于指根节的姿态角度。0073平板电脑得到整个手及胸部的运动信息后,将这些信息映射到虚拟角色的相应部位,使得虚拟场景中虚拟角色的运动能够跟随穿戴者的运动。通过头戴式虚拟现实。
45、显示器以及穿戴者的手部运动,穿戴者可以“抓起”虚拟场景中的飞镖进行投掷。0074在飞镖玩得尽兴后,穿戴者可以玩另外一种虚拟现实游戏,如虚拟现实射击游戏。这时,穿戴者退出飞镖游戏的场景,并把安装到手指的惯性传感器单元取下来通过绑带或者传感器服安装到身体其他部位。此时用户的10个惯性传感器单元可以分别安装到头部、胸部、臀部、双手上臂、下臂以及手背、玩具枪上。然后用户需要在平板电脑的运动捕捉软件界面上指定相应的传感器单元的安装位置。接下来用户右手或者左手拿玩具枪摆出指定的姿态如T姿态进行校准动作,完成校准动作后即可连接虚拟现实设计游戏场景中,进行实时的虚拟现实射击游戏。0075在进行虚拟现实射击游戏。
46、时,惯性传感器单元实时的对穿戴者上半身以及玩具枪的方位等信息进行测量,并将测量信息通过通讯单元发送给平板电脑。平板电脑对方位信息进行处理和计算,得到身体相应的运动信息,并把运动信息映射到虚拟现实游戏场景中的虚拟角色上,使得虚拟角色跟随穿戴者的运动而运动。穿戴者扣动玩具枪的信号通过玩说明书CN104197987A119/10页12具枪的射频信息传递到电脑,使得虚拟现实游戏场景中的虚拟枪会在扣动扳机的时候开火,从而给游戏者带来身临其境的射击游戏体验。0076本实施例为同一种运动捕捉对象如人体的组合,为一种低成本的组合式虚拟现实游戏实现方案。采用较少的惯性传感器通过不同的组合方式,能够使得用户在投入。
47、较低的情况下能够体验多种不同的虚拟现实游戏。0077二组合式多对象运动捕捉应用举例0078本实施的组合式运动捕捉系统包括30个惯性传感器单元,三个RF通讯单元以及一个终端处理器。其中,惯性传感器单元通过有线串行通讯的方式与RF通讯单元进行通讯,RF通讯单元通过WIFI通讯的方式与终端处理器进行通讯,本实施例的组合式多对象运动捕捉有多种应用情形,它可以组成3套独立的10传感器单元的上半身运动捕捉系统,其中每套系统包含一个RF通讯单元以及10个惯性传感器单元,三套半身运动捕捉系统可以接入同一个终端处理器,实现多人运动捕捉。本发明的组合方式也可以组成一套全身包括双手手指以及一个道具的单人全身运动捕捉。
48、系统,实现对单人动作的全面捕捉。还可以对非人对象,如猫等的动作进行捕捉。下面描述本实施例的具体实施过程0079本实施例的一种组合方式为三人虚拟现实游戏。实施过程如下将30个惯性传感器单元以及三个通讯单元分别安装到三个人的上半身上,每个人上半身以及道具总共安装10个惯性传感器,背上安装WIFI通讯单元,每个人身上的惯性传感器单元分别与各自的WIFI通讯单元进行有线连接,WIFI通讯单元接收到各个传感器的运动测量信息后打包以WIFI的方式发送给终端处理器电脑。在完成惯性传感器单元以及通讯单元的安装后,开启系统,在电脑上的运动捕捉界面创建3个人体模型对象,与三个穿戴者分别对应,并指定所有传感器单元的。
49、安装位置,然后开始校准,三个穿戴者同时做出指示的校准动作如T姿态,对安装误差进行校准,之后即可对各个穿戴者的运动进行捕捉。三个穿戴者可以通过头戴式虚拟现实显示器以及游戏道具,接入同一电脑中一起进行虚拟现实的游戏。0080本实施例的另一种组合方式为30个惯性传感器单元都安装到同一个人的身上,包括双手和全身,惯性传感器单元采集的运动测量信号通过有线串行的方式发送到一个WIFI通讯单元,再由WIFI通讯单元发送给电脑。在完成惯性传感器单元以及WIFI通讯单元的安装和连接后,开启电脑的运动捕捉软件,在软件界面上只采用1个人的模型对象,并指定各个惯性传感器单元的安装位置,然后就可以对传感器的安装位置进行校准,如摆出双手并拢,掌心朝下的T姿态,自然站立的姿态等。完成校准后,即可对人体的全身运动进行采集。0081本实施例的另外一种组合方式为将本系统中的16惯性传感器单元安装到猫身上,用于对猫的运动进行捕捉。具体传感器的安装位置包括猫的头、颈、肩、腰、臀、尾巴3个、四腿的上腿和下腿。惯性传感器单元通过有线串行通讯的方式将采集的信号发送给安装在腰部的WIFI通讯单元。在进行传感器安装之前,需要预先在电脑的运动捕捉软件界面上创建猫的模型,并输入猫模型的身体各部分尺寸以及初始姿态。在完成传感器安装后,需要在软件界面指定各个传感器单元的具体安装位置。然后根据猫的特点设置一个校准姿态该校准姿态为猫比较常见。