《检测运动物体的方法和系统.pdf》由会员分享,可在线阅读,更多相关《检测运动物体的方法和系统.pdf(28页珍藏版)》请在专利查询网上搜索。
1、(10)申请公布号 (43)申请公布日 (21)申请号 201310365452.5(22)申请日 2013.08.21G06T 7/20(2006.01)G06K 9/00(2006.01)G06F 3/01(2006.01)(71)申请人株式会社理光地址日本东京都(72)发明人赵颖 刘丽艳 梁玲燕(74)专利代理机构北京市柳沈律师事务所 11105代理人万里晴(54) 发明名称检测运动物体的方法和系统(57) 摘要公开了一种检测运动物体的方法和系统。该方法包括:获得通过连续拍摄运动物体而得到的具有深度信息的至少两个深度图像帧,包括当前深度图像帧和至少一个历史深度图像帧,其中,所述至少两个深。
2、度图像帧的每个被划分为多个块;计算当前深度图像帧的每个块中的落入不同深度区间的像素的个数与各个历史深度图像帧的对应块中的落入不同深度区间的像素的个数的差异情况;根据所述差异情况,检测当前深度图像帧中的运动块,以构成所检测的运动物体。(51)Int.Cl.(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书2页 说明书18页 附图7页(10)申请公布号 CN 104424649 A(43)申请公布日 2015.03.18CN 104424649 A1/2页21.一种检测运动物体的方法,包括:获得通过连续拍摄运动物体而得到的具有深度信息的至少两个深度图像帧,包括当前深度图像帧和至少一。
3、个历史深度图像帧,其中,所述至少两个深度图像帧的每个被划分为多个块;计算当前深度图像帧的每个块中的落入不同深度区间的像素的个数与各个历史深度图像帧的对应块中的落入不同深度区间的像素的个数的差异情况;根据所述差异情况,检测当前深度图像帧中的运动块,以构成所检测的运动物体。2.根据权利要求1的方法,其中,根据所述差异情况,检测当前深度图像帧中的运动块,以构成所检测的运动物体的步骤包括:量化所述每个块的所述差异情况的大小来计算当前深度图像帧中的该块的运动程度;如果一个块的运动程度大于或等于第一预定阈值,则检测该块作为运动块。3.根据权利要求2的方法,其中,如果当前深度图像帧中一个块的运动程度大于或等。
4、于第二预定阈值,则确认该块属于人手的一部分。4.根据权利要求2的方法,还包括:根据所检测的当前深度图像帧中的各个运动块的位置和运动程度、以及先前检测的先前深度图像帧中的各个运动块的位置和运动程度中的至少一个,来确定当前深度图像帧中哪些部分属于人手。5.根据权利要求4的方法,其中,所述根据所检测的当前深度图像帧中的各个运动块的位置和运动程度、以及先前检测的先前深度图像帧中的各个运动块的位置和运动程度中的至少一个,来确定当前深度图像帧中哪些部分属于人手的步骤包括:根据先前检测的先前深度图像帧中的各个运动块构成的第一运动区域的位置,将所述第一运动区域映射到当前深度图像帧中,以与当前深度图像帧中的各个。
5、运动块构成的第二运动区域全部或部分重合;将投影后的第一运动区域的各个像素点的运动程度与所述第二运动区域中的各个像素点的运动程度叠加,以得到基于先前运动的累加运动程度图;根据基于先前运动的累加运动程度图,将满足预定条件的区域确定为人手。6.根据权利要求5的方法,其中,根据先前检测的先前深度图像帧中的各个运动块构成的第一运动区域的位置,将所述第一运动区域映射到当前深度图像帧中,以与当前深度图像帧中的各个运动块构成的第二运动区域全部或部分重合的步骤包括:根据先前检测的先前深度图像帧中的各个运动块的位置,计算所述第一运动区域的第一主方向、第一中轴线、第一重心;根据当前深度图像帧中的各个运动块的位置,计。
6、算所述第二运动区域的第二主方向、第二中轴线、第二重心;移动所述第一运动区域,使得所述第一重心与所述第二重心全部或部分重合,所述第一中轴线与所述第二中轴线全部或部分重合,所述第一主方向与所述第二主方向全部或部分重合。7.根据权利要求6的方法,其中,所述第一运动区域和所述第二运动区域是满足如下条件之一的区域:权 利 要 求 书CN 104424649 A2/2页3各个运动块构成的运动区域的形状最狭长;各个运动块构成的运动区域与手臂的形状的相似程度最大;各个运动块构成的运动区域经过外接椭圆或矩形之后,长轴与短轴之比或长宽比与手臂的相似程度最大。8.根据权利要求5的方法,其中,根据基于先前运动的累加运。
7、动程度图,将满足预定条件的区域确定为人手包括如下中的一种或多种:将运动程度大于第三预定阈值的区域确定为人手的区域,其中,根据所述基于先前运动的累加运动程度图中的叠加后的运动程度从大到小排列,取第预定数量个的运动程度值作为第三预定阈值;利用先前检测的人手的区域相对于第一运动区域的位置来估算当前检测的人手的区域相对于第二运动区域的位置,并根据该当前检测的人手的区域相对于第二运动区域的位置来确定人手的区域;根据人手的颜色、灰度和深度中的至少一种的信息来找到与所述信息的相似程度大于预定值的区域。9.根据权利要求2-8中任一的方法,其中,通过如下公式,来计算所述块的运动程度:其中,Cj表示第j个块的运动。
8、程度,j=1,2,M,M表示划分的块的个数,N表示历史深度图像帧的个数,K表示深度区间的个数,i=1,2,K,Sji表示当前深度图像帧中的第j个块中的落入第i个深度区间的像素的个数,Tji表示通过将每个历史深度图像帧中的第j个块中的落入第i个深度区间的像素的个数求总和而得到的值。10.一种检测运动物体的系统,包括:获得装置,被配置为获得通过连续拍摄运动物体而得到的具有深度信息的至少两个深度图像帧,包括当前深度图像帧和至少一个历史深度图像帧,其中,所述至少两个深度图像帧的每个被划分为多个块;计算装置,被配置为计算当前深度图像帧的每个块中的落入不同深度区间的像素的个数与各个历史深度图像帧的对应块中。
9、的落入不同深度区间的像素的个数的差异情况;检测装置,被配置为根据所述差异情况,检测当前深度图像帧中的运动块,以构成所检测的运动物体。权 利 要 求 书CN 104424649 A1/18页4检测运动物体的方法和系统技术领域0001 本公开涉及一种检测运动物体的方法和系统,且更具体地,涉及一种基于立体视觉的深度信息来检测人手的技术。背景技术0002 运动物体的检测是平面图像处理和立体视觉处理的一个研究方向。通过检测到不同的运动物体,可以基于这种不同的运动物体的检测来进行一系列的后续控制和操作。具体地,例如,目前,基于立体视觉的手势控制广泛应用于各种智能设备、例如电视、游戏机等等,而手势控制的基础。
10、是人手检测。在人机交互过程中,人手通常处于不断运动的状态,有时也会发生手停留在某处一段时间的情况,比如交互系统利用手的停留时间来触发一个事件。因此,需要准确地进行诸如人手的运动物体的检测,从而实现后续的准确的操作和交互。0003 在发明人为李春林和王进的2009年5月20日公开的题为“面向电视控制的动态手势识别信号处理方法”的中国专利申请CN101437124A中,介绍了一种面向电视控制的动态手势识别信号处理方法。该方法利用电视机内置的摄像头采集电视前的用户动作图像,通过对采集到的图像进行分析得到运动物体,从运动物体中提取手目标的信息并生成轨迹,继而判断轨迹所对应的指令产生电视控制命令。更具体。
11、地,该方法利用连续多帧的灰度图像的平均值构建背景图像,通过计算当前帧与背景图像之间的差别获得多个物体并分析它们的轨迹以确定它们所属的身体部分。如果某区域的轨迹符合预定义的特征,则该区域被判定为手所在的区域。上述预定义的特征的构建是基于手的运动强于头部运动并且手与头之间的距离在一定范围内的假设。0004 在Lee等人的2013年2月12日授权公告的题为“Motion Detection UsingDepth Images”的美国专利US8374423B2中,介绍了一种基于深度图像检测运动的方法,该方法将连续多帧的深度图像的平均值作为一幅参考图像,并将当前的深度深度图像帧与该参考图像逐像素做差得到。
12、运动图像,然后判断运动图像中的像素所属的物体。该方法用运动物体的位置信息控制应用程序。0005 在Perski等人在2011年4月21日公开的题为“Computer Vision GestureBased Control of a Device”的PCT申请WO2011045789中,介绍了一种手势控制方法。该方法将两帧2D或3D图像做差后获得一幅差值图像,并在该图像上进行边缘检测得到轮廓,将检测到的轮廓与手部轮廓模型进行比较。该方法要求用户的手正对摄像机并处于手掌打开、手指伸展的状态。0006 常规的运动估计方法并不能得到准确的诸如人手的运动物体的结果。此外,人体其他部分(如胳膊)发生运动时。
13、也可能使得诸如人手的运动物体的计算不够准确。因此,需要进一步地准确地检测诸如人手的运动物体的技术。发明内容说 明 书CN 104424649 A2/18页50007 根据本发明的一个方面,提供一种检测运动物体的方法,包括:获得通过连续拍摄运动物体而得到的具有深度信息的至少两个深度图像帧,包括当前深度图像帧和至少一个历史深度图像帧,其中,所述至少两个深度图像帧的每个被划分为多个块;计算当前深度图像帧的每个块中的落入不同深度区间的像素的个数与各个历史深度图像帧的对应块中的落入不同深度区间的像素的个数的差异情况;根据所述差异情况,检测当前深度图像帧中的运动块,以构成所检测的运动物体。0008 根据本。
14、发明的另一个方面,提供一种检测运动物体的系统,包括:获得装置,被配置为获得通过连续拍摄运动物体而得到的具有深度信息的至少两个深度图像帧,包括当前深度图像帧和至少一个历史深度图像帧,其中,所述至少两个深度图像帧的每个被划分为多个块;计算装置,被配置为计算当前深度图像帧的每个块中的落入不同深度区间的像素的个数与各个历史深度图像帧的对应块中的落入不同深度区间的像素的个数的差异情况;检测装置,被配置为根据所述差异情况,检测当前深度图像帧中的运动块,以构成所检测的运动物体。附图说明0009 图1是示出应用本发明的各个实施例的应用场景的示例图。0010 图2是示出根据本发明的一个实施例的检测运动物体的方法。
15、的一个示例的流程图。0011 图3A是示出根据本发明的另一个实施例的检测运动物体的方法的另一个示例的流程图。图3B是示出在图3A的检测运动物体的方法中的计算当前运动图的步骤S302的一个具体的示例流程图。图3C示意性地示出例如某个块的空间直方图的示例,而图3D示意性地示出对应的某个块的时间直方图的示例。0012 图4A是示出人手的运动规律的示意图。图4B是示出根据本发明的另一个实施例的利用图4A所示意示出的人手的运动规律来检测诸如人手的运动物体的方法的另一个示例的流程图。0013 图5A是示出在图4的检测诸如人手的运动物体的方法中的投影先前运动图以与当前运动图重合的步骤S403的示例具体流程图。
16、。图5B是示意性地示出先前运动图中的运动块构成的第一运动区域和当前运动图的运动块构成的第二运动区域的示意图。图5C是示出在检测诸如人手的运动物体的方法中的第一运动区域和第二运动区域以及如何移动先前运动图以与当前运动图重合的示例示意图。图5D是示出检测诸如人手的运动物体的方法中的选取最像人手的运动区域的示例方法的示意图。图5E是示出在利用主成分分析(PCA)算法分析的区域的示意图。图5F是示出在利用主成分分析(PCA)算法来计算得到的区域的主方向的示意图。0014 图6是示出根据本发明的另一实施例的检测运动物体的系统的方框图。具体实施方式0015 现在将详细参照本发明的具体实施例,在附图中例示了。
17、本发明的例子。尽管将结合具体实施例描述本发明,但将理解,不是想要将本发明限于所述的实施例。相反,想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意,这说 明 书CN 104424649 A3/18页6里描述的方法步骤都可以由任何功能块或功能布置来实现,且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。0016 为了使本领域技术人员更好地理解本发明,下面结合附图和具体实施方式对本发明作进一步详细说明。0017 图1是示出应用本发明的各个实施例的应用场景的示例图。场景100包括深度摄像机101,用于拍摄例如包含人的场景来获得具有深度信息的深度图;计。
18、算机102,用于处理所拍摄的深度图来进行诸如检测运动物体、识别人机交互指令、进行人机交互反馈等等的后续处理。上述深度摄像机101可以是任意一种能够提供场景深度信息的摄像机,比如PrimeSensor、Kinect等。在图1所示的应用场景中,用户可以使用运动的人手的手势来控制计算机102中的人机交互程序或应用。本发明的各个实施例可以检测到该应用场景中的诸如人手的运动物体的位置和运动,而检测到的诸如人手的运动物体的运动又可以作为人机交互程序或应用的输入命令,以得到人机交互程序或应用的输出结果(例如,控制是否确认、控制玩游戏的操作等等,就像Kinect和Wii一样)。集成了本发明的各个实施例的应用程。
19、序可以用于初始化基于轨迹控制的系统。更具体地说,安装了集成了本发明的各个实施例的应用程序的计算机102可以分析深度摄像机101拍摄到的例如每帧深度图像和彩色图像,然后输出诸如用户的人手的运动物体的位置信息和运动状态。当然,图1所示的应用场景仅为本发明的各个实施例的一个应用示例,而非限制本发明,在实际应用中可能会出现不同于图1所示的应用场景的其他应用场景。0018 图2是示出根据本发明的一个实施例的检测运动物体的方法200的一个示例的流程图。0019 图2所示的检测运动物体的方法200包括:S201,获得通过连续拍摄运动物体而得到的具有深度信息的至少两个深度图像帧,包括当前深度图像帧和至少一个历。
20、史深度图像帧,其中,所述至少两个深度图像帧的每个被划分为多个块;S202,计算当前深度图像帧的每个块中的落入不同深度区间的像素的个数与各个历史深度图像帧的对应块中的落入不同深度区间的像素的个数的差异情况;S203,根据所述差异情况,检测当前深度图像帧中的运动块,以构成所检测的运动物体。0020 在一个实施例中,所述至少两个深度图像帧的每个被划分为多个块的大小可以是1010个像素。当然,该1010个像素仅是示例,在其他实施例中,可以设置块为其他大小的块,也可以不一定是正方形的块,可以是长方形、圆形、椭圆形等其他各种形状的块。0021 此处,“深度区间”是指将该块中所涉及的各个深度从小到大排列、并。
21、划分为多个(等分或不等分)区间而形成的多个深度区间。“落入不同深度区间的像素的个数”指的是根据深度图像,具有在该深度区间内的深度的像素有几个。例如,在深度图像中的一个块中,其各个深度区间可能包括0-0.1、0.1-0.2、0.2-0.3、0.8-0.9(单位是米或其他,或者将深度区间归一化,因此深度区间的标度与具体单位无关,仅表示比例)一共9个深度区间。例如,落入深度区间0-0.1的像素有2个,假设其中一个像素的深度是0.02,一个像素的深度是0.08,而落入深度区间0.1-0.2的像素也有2个,假设其中一个像素的深度是0.15,一个像素的深度是0.16,等等,落入深度区间0.8-0.9的像素。
22、有4个,假设其中一个像素的深度是0.85,一个像素的深度是0.83,一个像素的深度是0.84,一个像素的深度是0.89(如稍后的图3C和3D所示)。诸如此类,当然这些具体的深度区间和像素的个数仅是为了示例,而说 明 书CN 104424649 A4/18页7非限制。该区间的划分可以是如该例子中一样等分的,也可以是不等分的,对此不做限制。如此,可以得到当前深度图像帧的每个块中的落入不同深度区间的像素的个数。而对于各个历史深度图像帧的对应块中的落入不同深度区间的像素的个数,在此,假设历史深度图像帧为N个(N是正整数),即,在当前深度图像帧之前的N个深度图像帧。同样,可以得到N个历史深度图像帧的每个。
23、中的对应的每个块的落入不同深度区间的像素的个数。当然,在检测当前深度图像帧中的运动块时,需要至少一个历史深度图像帧,因此,一般在第二帧时开始进行这种运动物体的检测。0022 通常,如果物体在运动的话,则在每个块中的落入不同深度区间的像素的个数在相邻的两帧或更多帧(在当前深度图像帧和N个历史深度图像帧)之间通常也会发生变化,因为物体在运动的话,其微小的部位的深度一般会发生变化,因此,落入相同深度区间内的像素的个数一般会发生变化。因此,可以通过观察当前深度图像帧的每个块中的落入不同深度区间的像素的个数与各个历史深度图像帧的对应块中的落入不同深度区间的像素的个数的差异情况,来检测当前深度图像帧中的各。
24、个运动块,以构成所检测的运动物体。0023 如此,通过观察当前深度图像帧的每个块中的落入不同深度区间的像素的个数与各个历史深度图像帧的对应块中的落入不同深度区间的像素的个数的差异情况,可以检测到各个小的运动块,将这些运动块合成几个运动区域,可以推测出运动物体所在的位置。0024 一般来说,只要当前深度图像帧的每个块中的落入不同深度区间的像素的个数与各个历史深度图像帧的对应块中的落入不同深度区间的像素的个数存在差异、或者看上去该差异比较大,都可以认为该块是运动的,但是也可以采用量化这种差异并阈值化的方式来规避测量或计算误差并统一检测和判断标准。因此,在一个实施例中,根据所述差异情况,检测当前深度。
25、图像帧中的运动块,以构成所检测的运动物体的S203步骤可以包括:步骤S2031(图中未示出),量化所述每个块的所述差异情况的大小来计算当前深度图像帧中的该块的运动程度;步骤S2032(图中未示出),如果一个块的运动程度大于或等于第一预定阈值,则检测该块作为运动块。0025 进一步地,在例如游戏机的人机交互过程中,发现人手的运动相对于身体其他部分(例如相对于手臂)的运动更为显著,因此,可以考虑这种人手的运动的特殊性,来从所检测到的运动区域中估计出诸如人手的运动物体可能所在的区域。0026 如此,在一个实施例中,在检测时,如果当前深度图像帧中一个块的运动程度大于或等于第二预定阈值,可以确认该块属于。
26、人手的一部分。在此,该用来确认人手的第二预定阈值可以大于上述用来检测运动块的第一预定阈值。0027 上述第二预定阈值可以是通过经验来确定为固定值,也可以根据各个运动块的运动程度的大小来确定为动态值,例如按各个运动块的运动程度从大到小排列的前40%的运动程度作为第二预定阈值(因为人手的运动程度相对于身体的其他部分来说是比较大的),在该情况下,具有运动程度从大到小排列的前40%的运动程度的各个运动块所构成的区域可以被确认作为人手,在这种情况下,该第二预定阈值也是随着各个运动块的运动程度的分布而变化的。0028 在一个实施例中,可以通过下述公式来量化当前深度图像帧的每个块中的落入不同深度区间的像素的。
27、个数与各个历史深度图像帧的对应块中的落入不同深度区间的像素的个数的差异情况,来得到每个块的运动程度:说 明 书CN 104424649 A5/18页80029 0030 其中,Cj表示第j个块的运动程度,j=1,2,M,M表示划分的块的个数,N表示历史深度图像帧的个数,K表示深度区间的个数,i=1,2,K,Sji表示当前深度图像帧中的第j个块中的落入第i个深度区间的像素的个数,Tji表示通过将每个历史深度图像帧中的第j个块中的落入第i个深度区间的像素的个数求总和而得到的值。当然,可以理解,量化各个块的运动程度的公式显然不限于此,只要能反映当前深度图像帧的每个块中的落入不同深度区间的像素的个数与。
28、各个历史深度图像帧的对应块中的落入不同深度区间的像素的个数的差异情况的大小的公式都可以应用于本公开中。0031 以上提到的是根据当前深度图像帧中的每个块的运动程度来检测运动物体,甚至是人手的各个实施例。进一步地,通过观察,在某些情况下人手可能会运动一段时间之后在某一时间保持静止不动或运动程度很小,比如游戏机利用人手的停留时间来触发一个点击按钮的事件,而传统的运动检测(例如基于帧差的方法)并不能得到这种情况下的处于静止状态或运动程度很小的人手的位置。因此,本发明人进一步考虑先前深度图像帧(如果有的话)中的各个运动块的分布、例如位置和/或运动程度的大小等,如此,可以考虑到先前运动(当前可能静止或运。
29、动程度很小)的人手,来进一步进行更准确地人手检测。0032 如此,在一个实施例中,可以根据所检测的当前深度图像帧中的各个运动块的位置和运动程度、以及先前检测的先前深度图像帧中的各个运动块的位置和运动程度中的至少一个,来确定当前深度图像帧中哪些部分属于人手。0033 在一个实施例中,所述根据所检测的当前深度图像帧中的各个运动块的位置和运动程度、以及先前检测的先前深度图像帧中的各个运动块的位置和运动程度中的至少一个,来确定当前深度图像帧中哪些部分属于人手的步骤包括:根据先前检测的先前深度图像帧中的各个运动块构成的第一运动区域的位置,将所述第一运动区域映射到当前深度图像帧中,以与当前深度图像帧中的各。
30、个运动块构成的第二运动区域全部或部分重合;将投影后的第一运动区域的各个像素点的运动程度与所述第二运动区域中的各个像素点的运动程度叠加,以得到基于先前运动的累加运动程度图;根据基于先前运动的累加运动程度图,将满足预定条件的区域确定为人手。在此的运动程度的叠加可以是简单的相加。0034 在该实施例中,因为观察到在例如人机交互过程中,人体的其他部分也可能有运动,比如胳膊的运动,但是根据实验观测,发现人手的运动具有特殊的形式,并有别于身体其他部分的运动:例如,在人手运动的同时,胳膊也在运动,并且它们的运动类似于一条直线绕固定的一个点旋转,即人手及手臂构成的直线绕肘部或肩部旋转,而且,人手的运动比手臂或。
31、肘部或者肩部的运动更强烈。因此,在该实施例中,通过将先前检测到的(一个或多个)先前深度图像帧中的各个运动块构成的第一运动区域移动到与当前深度帧中检测到的各个运动块构成的第二运动区域部分或全部重合(尽可能重合,例如使得第一运动区域和第二运动区域的重合部分的面积最大),然后将投影后的第一运动区域的各个像素点的运动程度与所述第二运动区域中的各个像素点的运动程度叠加,可以得到基于先前运动的累加运动程度图,也就是说,即使当前深度图像帧中的人手处于静止状态,即在当前深度图像帧中该人手部位的块被检测到静止而非运动的,那么在叠加了先前深度图像帧中检测的人手部位(例如,先前人手还是运动的)的运动块的运动程度,则。
32、可以得到其中体现了人手部说 明 书CN 104424649 A6/18页9位仍然具有较大的运动程度的该累加运动程度图,从而,根据该累加运动程度图,通过阈值化处理等多种方式来找到满足预定条件的区域确定为人手。当然,在此,如果当前深度图像帧是第一帧,则可能不存在先前深度图像帧中检测的运动块,在这种情况下,则不进行这种累加,而仅通过例如上述的利用第二预定阈值来检测人手。0035 注意,在此,“先前检测的先前深度图像帧中的各个运动块”中与在检测当前深度图像帧中的各个运动块时使用的历史深度图像帧是不同的概念。在检测当前深度图像帧中的各个运动块时使用的历史深度图像帧是在当前深度图像帧之前存在的至少一个历史。
33、深度图像帧,而针对该至少一个历史深度图像帧,可能并没有进行运动块的检测;而对于先前检测的先前深度图像帧中的各个运动块,指的是在例如当前深度图像帧之前紧挨着的先前的一个深度图像帧中,进行了这种运动块的检测,从而得知了先前检测的先前深度图像帧中的各个运动块。0036 正如之前提到的,观察到在人手运动的同时,胳膊也在运动,并且它们的运动类似于一条直线绕固定的一个点旋转,即人手及手臂构成的直线绕肘部或肩部旋转。因此,在一个实施例中,根据先前检测的先前深度图像帧中的各个运动块构成的第一运动区域的位置,将所述第一运动区域映射到当前深度图像帧中,以与当前深度图像帧中的各个运动块构成的第二运动区域全部或部分重。
34、合的步骤包括:根据先前检测的先前深度图像帧中的各个运动块的位置,计算所述第一运动区域的第一主方向、第一中轴线、第一重心;根据当前深度图像帧中的各个运动块的位置,计算所述第二运动区域的第二主方向、第二中轴线、第二重心;移动所述第一运动区域,使得所述第一重心与所述第二重心全部或部分重合,所述第一中轴线与所述第二中轴线全部或部分重合,所述第一主方向与所述第二主方向全部或部分重合。0037 在这里,计算一个区域的主方向可以采用公知的主成分分析(Princ ipalComponent Analysis,PCA)的方式(见,维基百科http:/zh.wikipedia.org/wiki/%E4%B8%BB。
35、%E6%88%90%E5%88%86%E5%88%86%E6%9E%90)。PCA算法就是去寻找那些在该维度上方差比较大的维,同时忽略比较平均的维度。打个比方,平面区域一个斜75度的椭圆,且长轴远大于短轴,那么椭圆上的点在短轴上的分布明显弱于长轴,当短轴远小于长轴时,近似为一条直线,便失去了短轴这个维度。对于一组数(以2维空间的数为例)比如X=(X1,X2,X3,Xn),每一个Xi是有一个2维的向量构成,它们在坐标系中的图如图5E所示。PCA的主要任务就是找一个方向让这组数在这个方向上的投影的方差最大(即投影到这个方向上之后最左边的点和最右边的点的距离最大)。在图5F中,在离点状区域最接近的那。
36、条线上的投影的方差最大,那条线就是主方向。PCA的具体过程不在此赘述,本领域技术人员可以公知该PCA方法的具体算法。而中轴线可以用主方向所在的线来表示,也可以采用其他公知的方法求得中轴线。另外,求区域的重心也可以采用本领域公知的各种算法,在此不赘述。0038 因为手臂和人手的运动通常是围绕肘部或肩部的旋转,因此可以通过数学方式将先前深度图像帧中检测的第一运动区域映射到当前深度图像帧中检测的第二运动区域。在一个例子中,可以如上所述地移动所述第一运动区域,使得所述第一重心与所述第二重心全部或部分重合,所述第一中轴线与所述第二中轴线全部或部分重合,所述第一主方向与所述第二主方向全部或部分重合。在此,。
37、由于第一运动区域和第二运动区域的形状可能不说 明 书CN 104424649 A7/18页10同或者由于检测运动块的误差,可能导致无论如何移动第一运动区域都无法使得所述第一重心与所述第二重心完全重合,所述第一中轴线与所述第二中轴线完全重合,所述第一主方向与所述第二主方向完全重合,因此,一般只要求它们尽可能地部分重合使得例如重合的面积最大即可。在一个实施例中,例如,可以移动第一运动区域先使得第一重心与所述第二重心完全重合以及第一中轴线与所述第二中轴线完全重合,而第一主方向与所述第二主方向可以部分重合,或者先使得第一重心与所述第二重心完全重合以及第一主方向与所述第二主方向可以完全重合,而第一中轴线。
38、与所述第二中轴线可以部分重合等等。在此,该重合的标准、诸如重心、主方向、中轴线仅是示例,在其他实施例中,还可以使得运动区域的边缘尽可能重合等等。0039 通过观察,人手以及连着的手臂一般是狭长形的,因此在检测人手的运动区域之前,可以对所有运动块构成的运动区域进行预过滤,以找到最像人手和/或手臂的运动区域。例如,所述第一运动区域和所述第二运动区域可以是满足如下条件之一的区域:各个运动块构成的运动区域的形状最狭长;各个运动块构成的运动区域与手臂的形状的相似程度最大;各个运动块构成的运动区域经过外接椭圆或矩形之后,长轴与短轴之比或长宽比与手臂的相似程度最大。将运动区域进行外接椭圆或外接矩形是公知的几。
39、何运算方式,在此不赘述其具体步骤。0040 在一个实施例中,根据基于先前运动的累加运动程度图、将满足预定条件的区域确定为人手的步骤可以包括如下中的一种或多种:将运动程度大于第三预定阈值的区域确定为人手的区域,其中,根据所述基于先前运动的累加运动程度图中的叠加后的运动程度从大到小排列,取第预定数量个的运动程度值作为第三预定阈值;利用先前检测的人手的区域(如果有的话)相对于第一运动区域的位置来估算当前检测的人手的区域相对于第二运动区域的位置,并根据该当前检测的人手的区域相对于第二运动区域的位置来确定人手的区域;根据人手的颜色、灰度和深度中的至少一种的信息来找到与所述信息的相似程度大于预定值的区域。。
40、0041 当然,在先前运动的累加运动程度图的基础上,还可以有根据人手的特征来确定人手的区域的其他方式,例如将运动程度比较大,且形状比其他部位粗的区域确定为人手(因为人手一般比手臂更粗)等等。因此,本公开中举例的例子仅是示例而非限制。0042 如此,根据本发明的各个实施例,可以根据当前深度图像帧的每个块中的落入不同深度区间的像素的个数与各个历史深度图像帧的对应块中的落入不同深度区间的像素的个数的差异情况,来检测运动的块来找到包括人手的运动物体的区域,而进一步地,可以结合先前的运动块的检测情况和/或人手的形状、颜色、灰度、深度等特征,来更准确地检测人手的区域。0043 为了使得根据本发明的各个实施例的检测运动物体、甚至人手的方案更形象化,以下用各个图来示意性地示出根据本发明的各个和其他实施例的方案。0044 图3A是示出根据本发明的另一个实施例的检测运动物体的方法的另一个示例的流程图。0045 在图3A示出的根据本发明的另一个实施例的检测运动物体的方法300中,包括步骤:S301,获得当前深度图像帧和一个或多个历史深度图像帧,其中,所述当前深度图像帧和一个或多个历史深度图像帧的每个被划分为例如M个块(其中,M是正整数);S302,根据说 明 书CN 104424649 A10。