姿势估计装置、姿势估计方法以及姿势估计程序.pdf

能够对具有成对的部位的多关节物体的姿势高精度地进行估计的姿势估计装置。在该装置中，候选区域提取单元(110)使用共同特征量，从图像中提取多个候选区域。部位区域提取单元(120)划分部位的似然较高的部位区域和除此以外的第二部位的候选区域。特征量计算单元(130)对部位区域以及第二部位的候选区域的每一个计算固有特征量。特征量校正单元(140)将部位区域以及第二部位的候选区域中的、任意一方的候选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进行校正。判定单元(150)基于校正后的固有特征量和另一方的候选区域的固有特征量之间的相似度，判定部位区域和第二部位的候选区域是否为成对的部位。

权利要求书
1.  姿势估计装置，基于包含具有成对的部位的多关节物体的全部或一部 分的图像，估计所述成对的部位，包括：
候选区域提取单元，从所述图像中，使用对于所述成对的部位表示未指 定多个多关节物体共同的形状特征的共同特征量，提取多个所述成对的部位 的候选区域；
部位区域提取单元，从所述多个候选区域中，提取作为所述成对的部位 的似然为最大的第一候选区域，并将所述第一候选区域以外的区域作为第二 候选区域；
特征量计算单元，分别对于所述第一候选区域以及所述第二候选区域， 计算对于所述成对的部位表示估计对象的多关节物体上固有的特征的固有特 征量；
特征量校正单元，将所述第一候选区域以及所述第二候选区域中的、一 方的候选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角 度中的至少一个进行校正；以及
判定单元，基于所述校正后的固有特征量和所述另一方的候选区域的固 有特征量之间的相似度，判定所述第一候选区域和所述第二候选区域是否为 所述成对的部位。

2.  如权利要求1所述的姿势估计装置，
所述特征量校正单元
计算所述第一候选区域的固有特征量和所述第二候选区域的固有特征量 之间的相似度，
基于所述算出的相似度，判断是否存在能够估计为与所述第一候选区域 成对的所述第二候选区域，
在所述判断的结果不存在能够估计为与所述第一候选区域成对的所述第 二候选区域的情况下，进行所述一方的候选区域的固有特征量的校正。

3.  如权利要求1所述的姿势估计装置，
所述特征量校正单元将所述第一候选区域的固有特征量，基于所述第二 候选区域的长度、宽度、以及角度中的至少一个进行校正。

4.  如权利要求1所述的姿势估计装置，
所述特征量校正单元
提取距基准点的距离短的第一交点和距所述基准点的距离长的第二交 点，作为所述第二候选区域的长轴和椭圆周之间的交点，
基于在有可能存在其他部位的区域中是否包含所述第一交点以及所述第 二交点，判断所述第二候选区域被所述其他部位遮挡的可能性，
在有被遮挡的可能性的情况下，提取所述第一候选区域的一部分，
对于提取出的所述第一候选区域的一部分，进行固有特征量的计算。

5.  如权利要求1所述的姿势估计装置，
所述特征量校正单元
判断所述第一候选区域和所述第二候选区域形成的角度是否为0度，
在所述角度不是0度的情况下，使用所述角度，使所述第一候选区域的 一部分或全部转动。

6.  如权利要求1所述的姿势估计装置，
所述特征量校正单元
比较所述第一候选区域的长轴的长度和所述第二候选区域的长轴的长 度，
在所述长轴的长度之差小于规定的值的情况下，或者，在所述长轴的长 度相等的情况下，与所述第二候选区域的长轴的长度相对所述第一候选区域 的长轴的长度的比率相匹配来缩小所述第一候选区域，
对于缩小后的所述第一候选区域，进行固有特征量的计算。

7.  如权利要求1所述的姿势估计装置，
所述候选区域提取单元基于对所述成对的部位的特性预先确定的限制信 息，提取所述多个候选区域。

8.  如权利要求1所述的姿势估计装置，
所述共同特征量只是边缘，或者是边缘以及轮廓。

9.  如权利要求1所述的姿势估计装置，
所述固有特征量是颜色以及纹理中的至少一个。

10.  姿势估计方法，基于包含具有成对的部位的多关节物体的全部或一 部分的图像，估计所述成对的部位，该方法包括以下步骤：
从所述图像中，使用对于所述成对的部位表示未指定多个多关节物体共 同的形状特征的共同特征量，提取多个所述成对的部位的候选区域的步骤；
从所述多个候选区域中，提取作为所述成对的部位的似然为最大的第一 候选区域，并将所述第一候选区域以外的区域作为第二候选区域的步骤；
分别对于所述第一候选区域以及所述第二候选区域，计算对于所述成对 的部位表示估计对象的多关节物体上固有的特征的固有特征量的步骤；
将所述第一候选区域以及所述第二候选区域中的、一方的候选区域的固 有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进 行校正的步骤；以及
基于所述校正后的固有特征量和所述另一方的候选区域的固有特征量之 间的相似度，判定所述第一候选区域和所述第二候选区域是否为所述成对的 部位的步骤。

11.  姿势估计程序，使基于包含具有成对的部位的多关节物体的全部或 一部分的图像，估计所述成对的部位的装置的计算机执行以下处理：
从所述图像中，使用对于所述成对的部位表示未指定多个多关节物体共 同的形状特征的共同特征量，提取多个所述成对的部位的候选区域的处理；
从所述多个候选区域中，提取作为所述成对的部位的似然为最大的第一 候选区域，并将所述第一候选区域以外的区域作为第二候选区域的处理；
分别对于所述第一候选区域以及所述第二候选区域，计算对于所述成对 的部位表示估计对象的多关节物体上固有的特征的固有特征量的处理；
将所述第一候选区域以及所述第二候选区域中的、一方的候选区域的固 有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进 行校正的处理；以及
基于所述校正后的固有特征量和所述另一方的候选区域的固有特征量之 间的相似度，判定所述第一候选区域和所述第二候选区域是否为所述成对的 部位的处理。

说明书姿势估计装置、姿势估计方法以及姿势估计程序
技术领域
本发明涉及对具有成对的部位的多关节物体的姿势进行估计的姿势估计 装置、姿势估计方法、以及姿势估计程序。
背景技术
近年来，一直在积极地开展与基于拍摄到的运动图像的图像数据的人的 姿势估计相关的研究。姿势估计装置能够利用计算机分析从运动图像来判定 人的行为，能够不依赖于人工进行行为分析。作为行为分析的适用应用，例 如，有街头中的异常行为检测、商店中的购买行为分析、工厂中的作业效率 辅助、以及运动中的姿势(form)指导。
在估计人的姿势的情况下，例如，期望可进行部位的姿势的估计。这里， 部位表示多关节物体的结构要素(例如，头部、躯干、胳膊、腿等)。此外， 部位的姿势表示人的姿势中的部位的位置或角度。人因动作而改变部位的姿 势，所以如果能够估计部位的位置，则可进行该人在干什么、今后要干什么 这样的动作的估计等。
这样的人的姿势估计，最好在人上不安装方位传感器等装置。因为在人 上安装装置的估计方法，难以将未指定的人作为估计对象，在估计对象为多 个的情况下，花费成本。
因此，例如在专利文献1中记载了基于拍摄到的人的视频，估计该人的 姿势的技术。
专利文献1中记载的技术(以下，称为“现有技术1”)，从拍摄视频求 人物轮廓(silhouette)的重心，计算从重心到人物轮廓的轮廓线上的各点为 止的距离，并检测从重心延伸到上方的垂直轴，将与人物轮廓的轮廓线的交 点作为头顶点。而且，现有技术1中，搜索以头顶点为始点并逆时针转动地 算出的距离为极大的点，将第一极大的点判定为右手的前端，将第二极大点 判定为右腿、左腿、左手的前端。根据这种现有技术1，能够在人上不安装 方位传感器等装置而估计人的姿势。
此外，例如在专利文献2中记载了基于拍摄到人的图像，估计该人的姿 势的技术。
专利文献2中记载的技术(以下，称为‘现有技术2’)，在蓝色的背景 中，拍摄穿着蓝色以外的颜色、并且每个部位颜色不同的衣服的人。由此， 现有技术2从背景图像和人物图像之间的颜色信息的差异获取人物轮廓，从 衣服的颜色信息检测人的部位。如果采用这种现有技术2，能够在人上不安 装方位传感器等装置而估计人的姿势。
现有技术文献
专利文献
专利文献1：(日本)专利第3400961号公报
专利文献2：(日本)特开2005-339100号公报
发明内容
发明要解决的问题
但是，现有技术1以及现有技术2，因拍摄条件而存在无法高精度地估 计人的姿势的课题。因为现有技术1在双臂、双脚彼此交差，并且胳膊或腿 与躯干体重合的情况下，在人物轮廓内胳膊或腿重合，所以无法估计胳膊或 腿的姿势。此外，现有技术2如果不以特定的背景以及特定的衣服来拍摄人， 就无法检测人的部位。
本发明的目的在于，高精度地估计具有成对的部位的多关节物体的姿势。
解决问题的方式
本发明的一方式的姿势估计装置，基于包含具有成对的部位的多关节物 体的全部或一部分的图像，估计所述成对的部位，包括：候选区域提取单元， 从所述图像中，使用对于所述成对的部位表示未指定多个多关节物体共同的 形状特征的共同特征量，提取多个所述成对的部位的候选区域；部位区域提 取单元，从所述多个候选区域中，提取作为所述成对的部位的似然为最大的 第一候选区域，并将所述第一候选区域以外的区域作为第二候选区域；特征 量计算单元，分别对于所述第一候选区域以及所述第二候选区域，计算对于 所述成对的部位表示估计对象的多关节物体上固有的特征的固有特征量；特 征量校正单元，将所述第一候选区域以及所述第二候选区域中的、一方的候 选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的 至少一个进行校正；以及判定单元，基于所述校正后的固有特征量和所述另 一方的候选区域的固有特征量之间的相似度，判定所述第一候选区域和所述 第二候选区域是否为所述成对的部位。
本发明的一方式的姿势估计方法，基于包含具有成对的部位的多关节物 体的全部或一部分的图像，估计所述成对的部位，该方法包括以下步骤：从 所述图像中，使用对于所述成对的部位表示未指定多个多关节物体共同的形 状特征的共同特征量，提取多个所述成对的部位的候选区域的步骤；从所述 多个候选区域中，提取作为所述成对的部位的似然为最大的第一候选区域， 并将所述第一候选区域以外的区域作为第二候选区域的步骤；分别对于所述 第一候选区域以及所述第二候选区域，计算对于所述成对的部位表示估计对 象的多关节物体上固有的特征的固有特征量的步骤；将所述第一候选区域以 及所述第二候选区域中的、一方的候选区域的固有特征量，基于另一方的候 选区域的长度、宽度、以及角度中的至少一个进行校正的步骤；以及基于所 述校正后的固有特征量和所述另一方的候选区域的固有特征量之间的相似 度，判定所述第一候选区域和所述第二候选区域是否为所述成对的部位的步 骤。
本发明的一方式的姿势估计程序，使基于包含具有成对的部位的多关节 物体的全部或一部分的图像，估计所述成对的部位的装置的计算机执行以下 处理：从所述图像中，使用对于所述成对的部位表示未指定多个多关节物体 共同的形状特征的共同特征量，提取多个所述成对的部位的候选区域的处理； 从所述多个候选区域中，提取作为所述成对的部位的似然为最大的第一候选 区域，并将所述第一候选区域以外的区域作为第二候选区域的处理；分别对 于所述第一候选区域以及所述第二候选区域，计算对于所述成对的部位表示 估计对象的多关节物体上固有的特征的固有特征量的处理；将所述第一候选 区域以及所述第二候选区域中的、一方的候选区域的固有特征量，基于另一 方的候选区域的长度、宽度、以及角度中的至少一个进行校正的处理；以及 基于所述校正后的固有特征量和所述另一方的候选区域的固有特征量之间的 相似度，判定所述第一候选区域和所述第二候选区域是否为所述成对的部位 的处理。
发明的效果
根据本发明，能够高精度地估计具有成对的部位的多关节物体的姿势。
附图说明
图1是表示本发明的实施方式1的一例姿势估计装置的结构的框图。
图2是表示本发明的实施方式2的一例姿势估计系统的结构的系统结构 图。
图3是表示本发明的实施方式2中的一例身体模型的图。
图4是表示本发明的实施方式2的姿势估计装置的一例动作的流程图。
图5是表示本发明的实施方式2中的一例候选区域提取处理的流程图。
图6是表示本发明的实施方式2中的一例边缘对似然映射图生成处理的 流程图。
图7是用于说明本发明的实施方式2中的边缘对似然映射图生成处理的 图。
图8是用于说明本发明的实施方式2中的极大值的图。
图9表示本发明的实施方式2中的一例特征量校正处理的流程图。
图10表示本发明的实施方式2中的一例人的姿势的图。
图11表示本发明的实施方式2中的一例特征量算出区域提取处理的流程 图。
图12表示本发明的实施方式2中的一例人的姿势的图。
图13表示本发明的实施方式2中的一例无法正确计算固有特征量的情况 下的图像和其直方图的图。
图14表示本发明的实施方式2中的一例无法正确计算固有特征量的情况 下的直方图的图。
图15表示本发明的实施方式2中的一例无法正确计算固有特征量的情况 下的直方图的图。
具体实施方式
以下，关于本发明的各实施方式，参照附图详细地说明。
(实施方式1)
本发明的实施方式1是一例本发明的基本方式。
图1是表示一例本实施方式的姿势估计装置的结构的框图。
在图1中，姿势估计装置100包括候选区域提取单元110、部位区域提 取单元120、特征量计算单元130、特征量校正单元140、以及判定单元150。
再有，本实施方式的姿势估计装置100对构成多关节物体的“成对的部 位”的姿势进行估计。这里，“部位”是多关节物体的结构要素。此外，“部 位的姿势”意味着部位的位置或角度。
候选区域提取单元110从包含作为估计对象的多关节物体的一部分或全 部的图像中，使用共同特征量，提取多个估计对象部位的候选区域。“共同特 征量”表示对于成对的部位在未指定多个多关节物体中共同的形状的特征(例 如，仅边缘、或者边缘以及轮廓)。此外，这里提取出的候选区域有包含存在 噪声的候选区域的情况。再有，“估计对象部位”是部位的姿势的估计对象， 是成对的部位。此外，将成对的部位中的、一方的部位称为“第一部位”，将 另一方的部位称为“第二部位”。例如，成对的部位是小臂的情况下，将右小 臂称为第一部位，将左小臂称为第二部位。
再有，上述“对于成对的部位在未指定多个多关节物体中共同的形状”， 例如由多关节物体中的部位的可能存在范围、或者部位的大小、长度、粗细、 或截面的形状、拍摄多关节物体的角度确定。有关这样的部位的、可能存在 范围、大小、长度、粗细、截面的形状、或拍摄多关节物体的角度，作为多 关节物体的限制信息而被预先确定。因而，候选区域提取单元110也可以基 于上述限制信息提取候选区域。由此，候选区域提取单元110能够将估计对 象部位即可能性(似然)为最高的区域作为候选区域提取。
部位区域提取单元120将在候选区域提取单元110提取出的多个候选区 域之中的、估计对象部位即似然为最高的区域，作为第一部位的候选区域(第 一候选区域的一例子)提取。这里，将第一部位的候选区域称为“部位区域”。 另一方面，将部位区域以外的候选区域称为“第二部位的候选区域”(第二候 选区域的一例子)。第二部位的候选区域也有存在多个的情况。
特征量计算单元130对于部位区域提取单元120中提取出的、部位区域 以及第二部位的候选区域的各个区域，计算固有特征量。这里算出的“固有 特征量”表示对于成对的部位在估计对象的多关节物体的个体中固有的特征 (例如，颜色以及纹理中的至少一个)。
特征量校正单元140对于特征量计算单元130中算出的、部位区域以及 第二部位的候选区域之中的任意一方的候选区域的固有特征量，基于另一方 的候选区域的长度、宽度、以及角度中的至少一个进行校正(再计算)。即， 特征量校正单元140对部位区域的固有特征量，基于第二部位的候选区域的 长度、宽度、以及角度中的至少一个进行校正。或者，特征量校正单元140 对第二部位的候选区域的固有特征量，基于部位区域的长度、宽度、以及角 度中的至少一个进行校正。前者的校正方法对似然较高的候选区域进行校正， 以使其与似然较低的候选区域相匹配，所以与从似然较低的候选区域对似然 较高的候选区域的特征量进行估计的后者的校正方法相比，估计的精度提高。
再有，在第二部位的候选区域有多个的情况下，特征量校正单元140对 部位区域和第二部位的候选区域的每个对进行固有特征量校正。
此外，特征量校正单元140在进行上述固有特征量的校正前，也可以进 行以下的处理。首先，特征量校正单元140计算在特征量计算单元130中算 出的、部位区域的固有特征量和第二部位的候选区域的固有特征量之间的相 似度。接着，特征量校正单元140基于算出的相似度，判断是否存在能够估 计为与部位区域成对的第二部位的候选区域。该判断的结果，在不存在能够 估计为与部位区域成对的第二部位的候选区域的情况下，特征量校正单元140 进行上述固有特征量的校正。
判定单元150基于特征量校正单元140中校正后的固有特征量和另一方 的候选区域的固有特征量之间的相似度(例如，余弦相似度)，判定部位区域 和第二部位的候选区域是否为成对的部位。根据该判定，估计部位的姿势。
姿势估计装置100例如具有CPU(Central Processing Unit；中央处理器)、 存储了控制程序的ROM(Read Only Memory；只读存储器)等的存储介质、 以及RAM(Random Access Memory；随机存取存储器)等的工作用存储器。 这种情况下，上述各构成单元的功能通过CPU执行控制程序来实现。
具备这样的结构的姿势估计装置100具有以下的效果。
在估计未指定多个多关节物体的姿势的情况下，由于事先难以掌握各多 关节物体为什么样的衣服或颜色，所以一般是使用共同特征量(例如，边缘、 轮廓、轮廓等)进行部位的估计。在这样的部位的估计中，在某个部位的周 围没有其他部位的情况下，由于仅该部位的边缘信息被提取，所以部位的估 计比较容易。但是，在进行部位的估计时，假定在某个部位的周围有其他部 位的情况。即，例如，在某个部位的背后有其他部位的情况下，由于不仅某 个部位，而且位于其背后的其他部位的边缘信息也一并获取，所以难以进行 部位的估计。而且，在某个部位被其他部位遮挡的情况下，图像上可看见的 面积变少，仅用上述共同特征量，难以进行部位的估计。
在另一方面，一般地，在具有成对的部位的多关节物体中，大多被认为 成对的部位的衣服、颜色、质感是相同的。例如，在人的情况下，右腿和左 腿穿着单一的衣服，所以能够假定为成为相同的颜色，右臂和左臂也大多被 认为是相同花纹的衣服。
因此，姿势估计装置100首先使用共同特征量，从图像中提取多个候选 区域，并分成部位区域和第二部位的候选区域。接着，姿势估计装置100分 别对于部位区域以及第二部位的候选区域计算固有特征量。接着，姿势估计 装置100对部位区域以及第二部位的候选区域之中的、任意一方的候选区域 的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至少一 个进行校正。接着，姿势估计装置100基于校正后的固有特征量和另一方的 候选区域的固有特征量之间的相似度，判定部位区域和第二部位的候选区域 是否为成对的部位。通过这样的动作，即使在第二部位的候选区域的周围有 其他部位的候选区域的情况下，姿势估计装置100也可缩窄第二部位的候选 区域。因此，即使在难以估计成对的部位的一方的姿势的情况下，甚至即使 在事前该部位的颜色以及纹理的至少一方不明的情况下，姿势估计装置100 也可高精度地估计具有成对的部位的多关节物体的姿势。
(实施方式2)
本发明的实施方式2是将本发明适用于输入拍摄图像、估计在该拍摄图 像中包含的人的姿势的装置的情况下的本发明的具体方式的一例子。
首先，说明包含本实施方式的姿势估计装置的姿势估计系统的概要。
图2是表示一例本实施方式中的姿势估计系统的结构的系统结构图。在 图2中，姿势估计系统200具有对拍摄区域310进行拍摄的摄像机320、以 及与摄像机320可通信地连接的姿势估计装置100。摄像机320例如是数码 摄像机，对拍摄区域310从斜上方拍摄。即，摄像机320拍摄的图像是拍摄 包含人340以及水平的地面330的实际空间所得的图像。而且，摄像机320 将拍摄视频的视频数据发送到姿势估计装置100。这里，将拍摄区域310的 地面330假设为作为姿势估计的对象的人340在步行的地面。
姿势估计装置100例如是个人计算机，基于从摄像机320接收到的视频 数据，估计人340的姿势。
通过以上，结束有关姿势估计系统200的概要的说明。
接着，说明有关在本实施方式中作为估计的对象的人340的姿势。
图3是表示一例人340的身体的结构模型(以下称为‘身体模型’)410 的图。身体模型410是示意地表示用于姿势估计的身体的各部位的位置关系 的模型。身体模型410至少包含躯干411、左大腿412、左小腿413、左脚414、 右大腿415、右小腿416、右脚417、以及头418、右大臂419、右小臂420、 左大臂422、左小臂423。
这些各部位通过关节连接着。因此，各部位的可动区域受到其他部位的 限制。例如，左小臂423只能够在以与左大臂422之间的连接点为中心的规 定的角度范围内移动。此外，例如在将头418和躯干411之间的连接点作为 基准点时，以基准点为中心的左小臂423的可存在区域(也称为‘可能存在 范围’)受到左小臂423的连接源的部位即左大臂422和躯干411的部位的物 理的长度和可动区域的限制。将这样的多关节物体的构造上的连接关系、连 接点的可动区域、部位的长度、粗细、形状造成的限制称为限制信息。
在本实施方式中，除了使用各部位的限制信息表示对人共同的特征的信 息以外，假设姿势估计装置100还使用表示个人的部位的特征的信息，从图 像信息中提取身体模型410中的各部位的区域的信息。再有，姿势估计装置 100使用的身体模型不限定于图3所示的例子。
在身体模型410中，成对的部位是左大腿412和右大腿415、左小腿413 和右小腿416、左脚414和右脚417、左大臂422和右大臂419、左小臂423 和右小臂420。再有，在本实施方式中，将成对的部位设为上述组合中的左 小臂423和右小臂420的小臂来说明，但不限定于此。
通过以上，结束有关作为估计的对象的人340的姿势的说明。
接着，说明有关姿势估计装置100的结构。
图1是表示一例姿势估计装置100的结构的框图。本实施方式的姿势估 计装置100的结构与实施方式1相同。但是，在本实施方式中，将估计对象 的多关节物体设为人340来说明，将成对的部位设为小臂(左小臂423和右 小臂420)来说明。
候选区域提取单元110从包含作为估计对象的人的一部分或全部的图像 中，使用共同特征量，提取被估计为小臂的多个候选区域。这里所谓的共同 特征量表示有关小臂在未指定人数的人中共同的形状的特征(例如，仅边缘、 或者边缘以及轮廓)。再有，这里所提取的候选区域包含有干扰的候选区域的 情况，即，有包含衣服的图案等被误估计是小臂的候选区域的情况。
再有，上述“有关小臂在未指定人数的人中共同的形状”，例如根据人 340中的小臂的可能存在范围、或者小臂的大小、长度或粗细来确定。有关 这样的小臂的可能存在范围、大小、长度以及粗细，作为人的限制信息被预 先确定。再有，人340中的小臂的可能存在范围，例如也可以用距人340上 的某个基准点(例如，头418和躯干411的连接点)的距离来确定。而且， 候选区域提取单元110也可以基于上述限制信息，提取候选区域。由此，候 选区域提取单元110能够将是小臂的可能性(似然)为最高的区域作为候选 区域提取。
部位区域提取单元120将在候选区域提取单元110中提取出的多个候选 区域之中的、是小臂的似然为最高的区域，作为小臂之中的第一部位的候选 区域(第一候选区域的一例子)提取。这里，将第一部位的候选区域称为‘部 位区域’。另一方面，部位区域以外的候选区域称为‘第二部位的候选区域’ (第二候选区域的一例子)。还有存在多个第二部位的候选区域的情况。
特征量计算单元130对于由部位区域提取单元120提取出的、各个部位 区域和第二部位的候选区域，计算固有特征量。这里所谓的固有特征量表示 对于小臂在估计对象的人340中固有的特征(例如，颜色以及纹理中的至少 一个)。
特征量校正单元140将特征量计算单元130算出的、部位区域以及第二 部位的候选区域之中任一方的候选区域的固有特征量，基于另一方的候选区 域的长度、宽度、以及角度中的至少一个进行校正(再计算)。即，特征量校 正单元140将部位区域的固有特征量，基于第二部位的候选区域的长度、宽 度、以及角度中的至少一个进行校正。再有，特征量校正单元140也可以将 第二部位的候选区域的固有特征量，基于部位区域的长度、宽度、以及角度 中的至少一个进行校正。前者的校正方法将似然较高的候选区域进行校正， 以与似然较低的候选区域相匹配，与后者的校正方法相比，估计的精度提高， 因而被优选。
再有，在第二部位的候选区域有多个的情况下，特征量校正单元140对 每个部位区域和第二部位的候选区域的对，校正部位区域或第二部位的候选 区域的固有特征量。
此外，特征量校正单元140在进行上述固有特征量的校正前，也可以进 行以下的处理。首先，特征量校正单元140计算由特征量计算单元130算出 的、部位区域的固有特征量和第二部位的候选区域的固有特征量之间的相似 度。接着，特征量校正单元140基于算出的相似度，判断是否存在能够估计 为与部位区域成对的小臂的第二部位的候选区域。该判断的结果，在不存在 能够估计为与部位区域成对的小臂的第二部位的候选区域的情况下，特征量 校正单元140进行上述固有特征量的校正。
判定单元150基于由特征量校正单元140校正后的固有特征量和另一方 的候选区域的固有特征量之间的相似度(例如，余弦相似度)，判定部位区域 和第二部位的候选区域是否为成对的小臂。根据该判定，估计小臂的姿势。
姿势估计装置100例如具有CPU(Central Processing Unit)、存储了控制 程序的ROM(Read Only Memory；只读存储器)等存储介质、以及RAM (Random Access Memory；随机存取存储器)等作业用的存储器。这种情况 下，上述各结构单元的功能，通过CPU执行控制程序来实现。
具备这样的结构的姿势估计装置100具有以下的效果。
在估计未指定许多人的姿势的情况下，由于难以事先掌握各个人为什么 样的衣服或皮肤的颜色，所以一般采用共同特征量(例如，边缘、轮廓、轮 廓等)，进行部位的估计。在这样的部位的估计中，在某个部位的周围没有其 他部位的情况下，仅提取该部位的边缘信息，所以部位的估计比较容易。但 是，在进行部位的估计时，假定在某个部位的周围有其他部位的情况。即， 例如，在左小臂423的背后有躯干411的情况下，不仅左小臂423，而且躯 干411的边缘信息也被一并获取，所以难以进行左小臂423的估计。而且， 还假定某个部位被其他部位遮挡的情况。即，例如，在左小臂423的一部分 隐藏在躯干411中的情况下，左小臂423在图像上可看见的面积较少，仅用 表示小臂的形状的特征的图像特征量，难以进行左小臂423的估计。
在另一方面，一般地，人的衣服是左右对称的，在成对的部位的图像上 的颜色、纹理大多相同。例如，在人的情况下，右腿和左腿穿着单一的裤子， 所以能够假定为相同的长度、相同颜色，并认为右臂和左臂也为相同的花纹、 相同的袖子长度的衣服居多。
因此，姿势估计装置100首先使用共同特征量从图像中提取多个候选区 域，并分为部位区域和第二部位的候选区域。接着，姿势估计装置100对于 部位区域以及第二部位的候选区域的各个区域，计算固有特征量。接着，姿 势估计装置100将部位区域以及第二部位的候选区域中的、任意一方的候选 区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的至 少一个进行校正。接着，姿势估计装置100基于校正后的固有特征量和另一 方的候选区域的固有特征量之间的相似度，判定部位区域和第二部位的候选 区域是否为成对的部位。通过这样的动作，即使在第二部位的候选区域的周 围有其他部位(例如躯干411)的候选区域的情况下，姿势估计装置100也 可缩窄第二部位的候选区域。因此，即使是难以估计小臂一方的姿势的情况 下，并且，即使是在事先该部位的颜色以及纹理的至少一方不明的情况下， 姿势估计装置100也可高精度地估计具有成对的部位的多关节物体的姿势。
接着，说明有关姿势估计装置100的动作。图4是表示一例姿势估计装 置的动作的流程图。
首先，在步骤S1100中，候选区域提取单元110进行候选区域提取处理。 候选区域提取处理是提取多个估计对象部位即小臂的候选区域的处理。
这里，说明有关步骤S1100的候选区域提取处理的细节。图5是表示一 例候选区域提取处理的动作的流程图。
首先，在步骤S1101的‘图像输入’中，候选区域提取单元110从摄像 机320输入图像。该图像是拍摄了人340的一部分或全部的图像。
接着，在步骤S1102的‘近景提取’中，候选区域提取单元110从输入 的图像中，提取近景区域。具体地说，候选区域提取单元110生成背景差分 图像，提取近景作为被估计为人340的区域(以下称为‘人的候选区域’)。 这里，例如，背景差分图像是表示在不存在人340的状态下拍摄到的背景图 像和输入的图像之间的差分的图像。
例如，背景差分图像将输入的图像和背景图像的像素值不同的像素以白 色表现，将输入图像和背景图像的像素值相同的像素以黑色表现。即，背景 差分图像将人340存在的区域以白色的区域表现，将人340不存在的区域以 黑色的区域表现。
接着，步骤S1103的‘头提取’中，候选区域提取单元110提取被估计 为头418的区域(以下称为‘头的候选区域’)，并计算人340的基准点。在 本实施方式中，基准点设为头418和躯干411之间的连接点，但不限于此。
候选区域提取单元110提取白色的区域作为人的候选区域，其中，提取 上部的区域作为头的候选区域。例如，上部的区域作为人的候选区域(白色 的区域)中从上端向下方包含规定的比率(例如，30％)的部分的区域被预 先确定。
然后，候选区域提取单元110从提取出的头的候选区域中，使用霍夫变 换等提取头区域。霍夫变换是公知的技术，能够从边缘信息求表示椭圆的中 心(X坐标、Y坐标)、长轴、短轴、斜度的五个参数。候选区域提取单元110 将该椭圆的长轴和椭圆的交点中的、位于下面的点，作为头418和躯干411 的连接点即基准点来计算。
接着，在步骤S1104的‘候选区域提取’中，提取小臂的候选区域。这 里，说明两个提取小臂的候选区域的例子。
首先，说明第一例子。第一例子与头的候选区域的提取同样地进行。
候选区域提取单元110提取白色的区域作为人的候选区域，其中，提取 距基准点规定的距离的区域作为小臂可能存在区域。这里，基于人340的限 制信息，通过预先学习，规定的距离作为头区域的大小的规定的倍率(例如， 短轴的7.5倍等)被预先确定。
然后，候选区域提取单元110从提取出的小臂可能存在区域中，采用霍 夫变换等提取小臂的候选区域。霍夫变换是公知的技术，能够从边缘信息求 表示椭圆的中心(X坐标、Y坐标)、长轴、短轴、斜度的五个参数。候选区 域提取单元110提取这样求得的椭圆之中的、长轴、短轴的长度满足规定的 条件的区域作为小臂的候选区域。这里，基于人340的限制信息，预先通过 学习，预先确定，作为头区域的大小的规定的比率的范围(例如，长轴小于 头区域的长轴的长度的1.2倍，短轴小于头区域的短轴的长度的1.2倍等)被 规定的条件。
这样一来，候选区域提取单元110提取的小臂的候选区域分别由椭圆的 中心(X坐标、Y坐标)、长轴、短轴、斜度定义并被输出。
接着，说明第二例子。第二例子从基于小臂可能存在区域生成的边缘对 似然映射图中提取小臂的候选区域。
边缘对似然映射图是将基于在各像素附近存在的、与规定的梯度方向平 行的边缘对算出的边缘对似然作为各像素的值的映射图。在本实施方式中， 基于小臂的粗细的限制信息确定平行线的宽度，所以每个像素的边缘对似然 表示在该像素附近存在的像素是小臂的边缘的似然性(似然)。
图6是表示一例边缘对似然映射图生成处理的动作的流程图。图7是用 于说明梯度方向为水平方向的边缘对似然映射图的生成处理的图。这里，使 水平方向为0度，说明生成水平方向的边缘对似然映射图的例子。
在步骤S2001中，候选区域提取单元110选择要生成的边缘对似然映射 图的梯度方向的步长宽度。这里，作为例子，假设增量宽度预先设定为30度。 这样，在将梯度方向设为30度增量的情况下，生成0度、30度、60度、90 度、120度、150度的六个边缘对似然映射图。因此，在该情况下，候选区域 提取单元110反复六次步骤S2002到S2006的处理。
在步骤S2002中，候选区域提取单元110从小臂可能存在区域中选择关 注像素。例如，在图7中，候选区域提取单元110通过反复以下的处理，将 胳膊第二部位的候选区域的全部像素作为关注像素选择。这里所谓的处理是， 从左上角的像素(用※表示的像素)起，将X坐标在X轴方向每次增加1而 移动至X轴方向的端部后，将X坐标返回到初始位置(用※表示的像素的X 坐标的位置)，并将Y坐标在Y坐标方向上增加1，然后将X坐标在X轴方 向上每次增加1的处理。但是，关注像素的选择方法不限于此。在图7中， 以从小臂可能存在区域710中选择出关注像素702的情况为例进行说明。
在步骤S2003中，候选区域提取单元110选择梯度方向对像素。在图7 中，选择704和705作为梯度方向对像素。
如上述那样，这里，作为生成水平方向的边缘对似然映射图的例子。因 此，作为满足两个条件的像素，候选区域提取单元110选择704以及705两 个作为梯度方向对像素。两个条件是，位于通过关注像素702、与水平直线 垂直的直线上，以及距关注像素702的距离为对象部位的粗细701的一半长 度703。即，在生成角度θ的边缘对似然映射图的情况下，候选区域提取单 元110假设在通过关注像素、与角度θ垂直(θ+90度)的直线上，选择两 个距离为对象部位的粗细701的一半长度703的像素作为梯度方向对像素。 再有，在本实施方式中，预先通过学习，对象部位的粗细701作为头区域的 大小的规定的比率(例如，头区域的短轴的长度的1.2倍等)被预先确定。
在步骤S2004中，候选区域提取单元110从梯度方向对像素的各个梯度 方向对像素中分别选择位于预先设定的距离以内的像素群作为梯度方向对附 近区域。在图7中，从梯度方向对像素704以及705各个梯度方向对像素中， 分别选择位于附近的长度708的距离以内的像素群作为梯度方向对附近区域 706以及707。附近的长度708表示部位的粗细误差的长度，是预先确定的值。 例如，附近的长度708作为头区域的大小的规定的比率(例如，头区域的短 轴的长度的20％等)被预先确定。
在步骤S2005中，候选区域提取单元110计算关注像素702的边缘对似 然。具体地说，候选区域提取单元110计算梯度方向对附近区域706内的像 素的亮度的总和与梯度方向对附近区域707内的像素的亮度的总和之积，作 为边缘对似然。
再有，候选区域提取单元110也可以计算在梯度方向对附近区域706内 具有规定值以上的亮度Y的像素的数与在梯度方向对附近区域707内具有规 定值以上的亮度Y的像素的数之积，作为边缘对似然。由此，候选区域提取 单元110能够将边缘对似然以各梯度方向对附近区域706、707的大小进行归 一化。
在步骤S2006中，候选区域提取单元110判断对于小臂可能存在区域的 全部像素是否结束了边缘对似然的计算。如果对于全部像素结束了计算(S 2006：“是”)，则候选区域提取单元110判断为结束了在步骤S2001中选择出 的增量宽度的边缘对似然映射图的生成，进至步骤S2007。另一方面，如果 没有结束有关全部像素的计算(S2006：“否”)，则候选区域提取单元110判 断为没有结束在步骤S2001中选择出的增量宽度的边缘对似然映射图的生 成，进至步骤S2002。
在步骤S2007中，候选区域提取单元110判断对于所有的梯度方向是否 结束了边缘对似然的计算。如果对于所有的梯度方向结束了计算(S2006： “是”)，则候选区域提取单元110判断为结束了预先确定的所有的梯度方向 的边缘对似然映射图的生成，并结束一系列的处理。另一方面，如果对于所 有的梯度方向没有结束(S2006：“否”)，则候选区域提取单元110判断为没 有结束预先确定的所有的梯度方向的边缘对似然映射图的生成。因此，候选 区域提取单元110为了生成处于未生成的梯度方向的边缘对似然映射图，进 至步骤S2001。
候选区域提取单元110提取这样生成的边缘对似然映射图的似然为规定 的阈值以上的像素，作为根据边缘对似然映射图算出的小臂可能存在区域。 这里，规定的阈值作为相对边缘对似然映射图内的最大边缘对似然的比率(例 如，10％等)被预先确定。
候选区域提取单元110，与从小臂可能存在区域中提取小臂的候选区域 时相同地，从根据边缘对似然映射图算出的小臂可能存在区域中，采用霍夫 变换提取小臂的候选区域。
这样，在本实施方式中，通过采用对象部位即小臂的限制信息，缩窄小 臂可能存在区域，能够更高精度地提取对象部位即小臂的候选区域。
通过以上，结束步骤S1100的候选区域提取处理的具体例子的说明。
接着，在步骤S1200中，部位区域提取单元120进行部位区域提取处理。 部位区域提取处理中，提取候选区域提取单元110提取出的多个候选区域中 的、为小臂的似然较高的区域，作为小臂之中的第一部位的候选区域即‘部 位区域’。
这里，说明三个提取小臂的部位区域的例子。
首先，说明第一例子。第一例子中，部位区域提取单元120采用人340 的轮廓上的距基准点的极大值，提取部位区域。
图8是表示一例采用轮廓上的距基准点的极大值，提取部位区域的图。
图8A表示人340的背景差分图像的一部分的例子。在图8A中，白色的 区域表示输入图像和背景图像的像素值为不同的像素(人340存在的区域)。 此外，在图8A中，801表示人340的基准点的例子。
部位区域提取单元120选择位于距基准点正上方的白色的区域和黑色的 区域(阴影线区域)的边界的像素802，沿边界向左转地记录像素位置。图 8A的像素上的数字表述所记录的序号。像素802被第一个记录，所以表述为 “1”。所记录的序号，例如，假设为左上、水平、左下、下、右下的像素的 顺序。
图8B是表示所记录的序号和以该序号记录像素与基准点之间的距离的 曲线图。从该曲线图可知，所记录的序号为20的像素取极大值。
部位区域提取单元120将候选区域提取单元110提取出的候选区域中的、 与极大值之间距离最小的区域，作为部位区域提取。具体地说，部位区域提 取单元120可以将候选区域的长轴和椭圆周的交点之中的、距基准点的距离 较大一方的交点与极大点的距离较小的候选区域作为部位区域，也可以将第 二部位的候选区域的重心和距基准点的距离较小的候选区域作为部位区域。
这样，由于小臂从其他部位(例如躯干)分离，所以部位区域提取单元 120可提取包含其他部位的信息的可能性最低的候选区域作为部位区域。
接着，说明第二例子。
部位区域提取单元120采用边缘对似然，提取部位区域。具体地说，部 位区域提取单元120在边缘对似然映射图上的各候选区域中，计算边缘对似 然的总和，提取该总和最高的候选区域作为部位区域。
于是，部位区域提取单元120可最多地保持对象部位的边缘对似然，提 取为对象部位的可能性最高的候选区域作为部位区域。
接着，说明第三例子。
部位区域提取单元120组合第一例子和第二例子的手法来提取部位区 域。具体地说，部位区域提取单元120提取第二部位的候选区域的长轴和椭 圆周的交点中距基准点的距离较大一方的交点和极大点之间的距离较小的、 并且候选区域的边缘对似然的总和较高的候选区域，作为部位区域。具体地 说，部位区域提取单元120也可以提取采用以下的式(1)算出的值为最高的 候选区域，作为部位区域。
S i = m Max [ L ] L i + n P i Max [ P ] . . . ( 1 ) ]]>
再有，在式(1)中，各值如以下那样。Si是第i候选区域的得分。Max[L] 是候选区域和基准点之间的距离的最大值。Li是第i候选区域和极大点之间 的距离的最大值。Pi是第i候选区域的边缘对似然的总和。Max[P]是候选区 域的边缘对似然的总和的最大值。m和n是预定的权重常数，被设定为n+m＝1。 在候选区域和基准点之间的距离与边缘对似然能够为相同可靠程度的环境 中，权重常数被设定为相同的比率。另一方面，在边缘对似然能够比候选区 域和基准点之间的距离可靠的环境中，事先通过学习来设定权重常数，以使 m比n大。
于是，通过使用两种值，部位区域提取单元120可从多个候选区域中， 更高精度地提取最能满足距基准点的距离和像部位的边缘对似然双方的条件 的候选区域，即，高精度地提取最象估计对象部位的候选区域。
通过以上，结束步骤S1200的部位区域提取处理的具体例子的说明。
接着，在步骤S1300中，特征量计算单元130对部位区域提取单元120 中提取出的、部位区域以及第二部位的候选区域的每一个，计算固有特征量。
这里，说明两个固有特征量的例子。
第一例子是颜色信息的公知技术即亮度的直方图。具体地说，固有特征 量的一例子即亮度直方图是将各第二部位的候选区域中所包含的像素的亮度 的值，作为取从0到255的值的二进制(bin)256的信息。
第二例子是纹理信息的边缘对似然的直方图。具体地说，固有特征量的 一例即边缘对似然的直方图是，将各第二部位的候选区域中所包含的边缘对 似然的值进行归一化，设为从0到1的值的、与平行线方向的增量数对应的 二进制数的信息(例如，8方向的边缘对似然的情况为二进制8)。
通过以上，结束步骤S1300的特征量算出处理的具体例子的说明。
接着，在S 1400中，特征量校正单元140将由特征量计算单元130算出 的、部位区域以及第二部位的候选区域中的任意一方的候选区域的固有特征 量，基于另一方的候选区域的长度、宽度、以及角度中的至少一个进行校正。 例如，特征量校正单元140将部位区域的固有特征量，基于第二部位的候选 区域的长度、宽度、以及角度中的至少一个进行校正。再有，在本实施方式 中，说明有关重新计算部位区域和第二部位的候选区域中的、部位区域的固 有特征量的例子，但不限于该例子。此外，在第二部位的候选区域有多个的 情况下，特征量校正单元140对每个部位区域和第二部位的候选区域的对， 进行上述固有特征量的校正。
特征量校正单元140进行特征量校正处理的理由是因为有以下情况：因 部位区域以及第二部位的候选区域的位置或形状，特征量计算单元130无法 正确地获取(计算)固有特征量。这里，说明三个有关无法正确地获取固有 特征量的情况的例子。
首先，说明第一例子。图10表示一例作为估计对象的人340的姿势。
图10A是以从右侧观察到的身体模型来表示人将右臂向前伸出、将左臂 轻微弯曲的姿势的例子。例如，在人从货架获取商品的购买行为中，左手拿 着篮子或包，右手获取商品时，可看见图10A所示的姿势。在图10A中，可 全部看见右小臂420。在另一方面，在图10A中，左小臂423的其一半左右 被其他部位即躯干411遮挡，仅可看见前端部分。
图10B是表示从拍摄到图10A的人340的图像中所提取的、小臂的部位 区域901以及第二部位的候选区域902的例子。在图10B中，右小臂420从 其他部位分离后，与摄像机320的方向垂直地延伸，长轴的长度也长。因此， 右小臂420中所提取的候选区域，通过部位区域提取单元120作为部位区域 901被提取。
图13表示一例第一例子中的图像和其直方图。
在图13的例子中，直至小臂的前端都没有被衣服覆盖，所以在从小臂的 部位区域901所提取的特征量中，包含衣服和胳膊的皮肤的颜色或纹理的特 征。但是，在从第二部位的候选区域902所提取的特征量中仅包含胳膊的皮 肤的特征量。
图13A表示一例图10B所示的右臂的图像，表示部位区域901。图13B 表示图13A的RGB直方图的例子。图13C表示图13A的亮度直方图的例子。 此外，图13D表示一例图10B所示的左臂的图像，表示第二部位的候选区域 902。图13E表示图13D的RGB直方图的例子。图13F表示图13D的亮度直 方图的例子。直方图表示某个区域中的每个像素的值的分布。在图13的例子 中，省略了图示，但在曲线的左侧显示图像的较暗的值(最暗的值为等级0 (level))，在右侧显示较亮的值(最亮的值为等级255)。曲线的纵轴表示各 等级的像素的总数。
RGB直方图是单独地输出了红、绿以及蓝的各颜色通道(color channel) 的直方图后，对每个等级取和显示的直方图。在本实施方式中，RGB直方图 对每个等级取和，但也可以不重合，而从0到255等级排列三个(红、绿以 及蓝)作为768等级的直方图。
亮度的直方图是将像素的亮度的值作成直方图。
在图13中，相对包含衣服和皮肤的信息的部位区域901，第二部位的候 选区域902主要仅包含皮肤的信息，所以无论看到RGB直方图和亮度直方图 的哪一个都有所不同。
因此，余弦相似度的值不高，未提取第二部位的候选区域902作为部位 区域901的成对的部位。为了成为能够正确提取的特征量，特征量校正单元 140需要从部位区域901和第二部位的候选区域902的前端的一半区域获取 特征量。
接着，说明第二例子。图10C表示一例部位区域901和第二部位的候选 区域902的纹理。具体地说，假设人340穿着条纹的衬衫。
图10D表述图10B中的、基准点900、部位区域901、以及第二部位的 候选区域902。在图10D中，角度θ904是表示部位区域901和第二部位的 候选区域902的斜度之差的角度。
图14表示一例第二例子中的直方图。
图14表示图10B所示的人穿着图10C所示的条纹图案的衣服的情况下 的纹理的直方图。图14A表示部位区域901的纹理的直方图。图14B表示候 选区域902的纹理的直方图。
图14的纹理的直方图将边缘对角度的分布归一化并以8个等级(level) 表示。从图的最左边起表示水平方向(等级1)的边缘对的分布，在顺时针 转动的方向上以22.5度增量的顺序，在图的右侧表示157.5度方向(等级8) 的边缘对的分布。图14A的部位区域901的纹理的直方图中，如图10C所示 那样，垂直方向的边缘对增多，所以表示垂直方向的边缘对的分布的等级4 的值增高。图14B的纹理的直方图中，从等级1(水平方向)起顺时针转动 135度的方向(等级7)增多最大。
因此，部位区域901和第二部位的候选区域的特征量的余弦相似度的值 不高，不提取第二部位的候选区域902作为部位区域901的成对的部位。为 了成为能够正确提取的特征量，特征量校正单元140需要使部位区域901和 第二部位的候选区域902之中任意一方的区域转动角度θ904后获取特征量。
接着，示出第三例子。图12表示一例人340的姿势。
图12A表示从正面观察右大臂419向下方垂下，肘部弯曲而右小臂420 的前端处于肩的位置的姿势的身体模型。图12B表示从右侧观察图12A所示 的姿势的身体模型。这种情况下，在来自正面的图像中，看不见右大臂419， 仅可看见右小臂420。
图15表示一例第三例子中的直方图。
图15的纹理的直方图表示不将边缘对角度和间隔的分布归一化并用24 等级表示。图15的各直方图中，图的最左边表示水平方向的边缘对的分布， 顺时针转动的方向上以22.5度增量的顺序，在图的右侧表示157.5度方向 的边缘对的分布。这与图14的直方图是同样的。除此以外，图15的各直方 图，表示对每个方向、边缘对的间隔为三等级(表示胳膊的粗细的长度、表 示胳膊的粗细的长度的二分之一、表示胳膊的粗细的长度的四分之一)的分 布。于是，合并成为具有8(方向)×3(粗细)的等级的直方图。例如，在 图15的各直方图中，图的最左边的等级表示边缘对的方向为水平、间隔具有 胳膊的粗细的边缘对的分布。此外，第二等级表示边缘对的方向为水平，间 隔具有胳膊的粗细的二分之一的粗细的边缘对的分布。此外，第三等级表示 边缘对的方向为水平，间隔具有胳膊的粗细的四分之一的粗细的边缘对的分 布。
图12C表示图12A所示的人340在小臂穿着有条纹的衬衫的情况下的示 意图。
这种情况下，部位区域提取单元120将左小臂423作为部位区域提取， 将右小臂420作为第二部位的候选区域提取。
然后，特征量计算单元130所算出的、部位区域(图12C所示的左小臂 423)和第二部位的候选区域(图12C所示的右小臂420)的固有特征量都用 图15A所示的直方图表现，相似度较高。
图12D表示从正面观察人将右臂笔直向前下方伸出，将左臂向下方垂下 的姿势的身体模型。图12E表示从右侧观察图12D所示的姿势的身体模型。 这种情况下，与图12A同样，提取左小臂423作为部位区域，另外提取两个 第二部位的候选区域。具体地说，候选区域提取单元110被预测要提取将右 大臂419和右小臂420合在一起的区域(以下称为‘合并区域’)和右小臂 420的两个区域，作为第二部位的候选区域。这里，将提取出的合并区域称 为‘第二部位的候选区域A’，将提取出的右小臂420称为‘第二部位的候选 区域B’。
图12F表示图12D所示的人340穿着与图12C相同条纹的衬衫的情况下 的示意图。
这种情况下，特征量计算单元130所算出的部位区域(图12F所示的左 小臂423)的固有特征量为粗条纹的边缘对的分布较多的图15A所示的直方 图。此外，第二部位的候选区域A(图12F所示的右大臂419以及右小臂420) 以及第二部位的候选区域B(图12F所示的右小臂420)的固有特征量还被 提取细条纹的边缘对。因此，第二部位的候选区域A的固有特征量为图15B 所示的直方图，第二部位的候选区域B的固有特征量为图15C所示的直方图。 因此，特征量计算单元130所算出的、部位区域的纹理的特征量和第二部位 的候选区域A的纹理的特征量不同。此外，由特征量计算单元130所算出的、 部位区域的纹理的特征量和第二部位的候选区域B的纹理的特征量不同。
但是，按照部位区域和第二部位的候选区域的长轴的比率，通过使区域 变形后提取再计算区域，有特征量的相似度升高，能够正确地估计第二部位 的候选区域的情况。
例如，在部位区域是图12F所示的左小臂423，第二部位的候选区域是 图12F所示的右小臂420(第二部位的候选区域B)的情况下，如以下那样。 即，将部位区域与第二部位的候选区域B的长轴的长度相匹配地缩小时，与 第二部位的候选区域B相同，图15C所示的细条纹的特征量被提取。另一方 面，在部位区域是图12F所示的左小臂423，第二部位的候选区域是图12F 所示的右大臂419以及右小臂420(第二部位的候选区域A)的情况下，如 以下那样。即，由于部位区域和第二部位的候选区域A的长轴的长度相等， 所以再计算区域不变化，而特征量也不同。因此，与部位区域成对的第二部 位的候选区域被正确地估计为第二部位的候选区域B，而不是第二部位的候 选区域A。
从上述三个例子产生的理由，特征量校正单元140进行步骤S1400的特 征量校正处理。
图9表示一例步骤S1400的特征量校正处理的流程。
在步骤S1401中，特征量校正单元140对于余弦相似度不满足规定的条 件的部位区域和第二部位的候选区域的对，进行特征量算出区域提取处理。 这里，规定的条件也可以是按多个算出的余弦相似度的相对的值设定(例如， 余弦相似度最高等)的条件。或者，规定的条件也可以是按绝对值设定余弦 相似度的阈值(例如，余弦相似度大于0.8)的条件。或者，规定的条件也可 以是按上述相对的值和绝对值两者设定的条件。然后，步骤S1401的特征量 算出区域提取处理的结果，提取要后述的再计算区域。再有，该步骤S1401 的细节将后述。
在步骤S1402中，特征量校正单元140进行根据再计算区域再计算(校 正)固有特征量的处理。这里的固有特征量的再计算，与特征量计算单元130 的固有特征量的计算同样地进行。
再有，特征量校正单元140可以采用与用于特征量计算单元130中的固 有特征量的计算相同的固有特征量，也可以计算颜色和纹理两方的固有特征 量。通过计算多个固有特征量，可进行更鲁棒性的判定。
接着，说明特征量算出区域提取处理的细节。图11表示一例步骤S1401 的特征量算出区域提取处理流程。
在步骤S14011中，特征量校正单元140提取距基准点900的距离较短的 交点A(第一交点的一例子)和距基准点900的距离较长的交点B(第二交 点的一例子)，作为第二部位的候选区域902的长轴和椭圆周之间的交点。
在步骤S14012中，特征量校正单元140判断第二部位的候选区域902 是否有因其他部位(例如躯干411)而被遮挡的可能性(以下称为“遮挡可 能性”)。基于从基准点900到交点A的距离以及角度、以及从基准点900到 交点B的距离以及角度进行该判断。具体地说，特征量校正单元140判断在 有其他部位存在的可能性的某个区域(以下称为“其他部位区域”)中是否包 含交点A和交点B。其他部位区域是基于基准点900以及人340的限制信息， 计算、设定的区域。例如，其他部位区域可列举将基准点900作为基准，宽 度为头的短轴的4倍、长度为头的短轴的8倍即矩形区域。
步骤S14012中的判断的结果，在其他部位区域中包含交点A、并且不包 含交点B的情况下，特征量校正单元140判断为有遮挡可能性(S14013： “是”)，进至步骤14024的处理。
另一方面，步骤S14012中的判断的结果，在其他部位区域中不包含交点 A、或者包含有交点B的情况下，特征量校正单元140判断为无遮挡可能性 (S14013：“否”)，进至步骤S14015的处理。
在步骤S14014中，特征量校正单元140从部位区域901中，提取再计算 固有特征量的区域、即再计算区域。首先，特征量校正单元140基于限制信 息即对象部位的长度(例如，头区域的短轴的4倍)和第二部位的候选区域 902的长轴的长度之比，求未被遮挡的面积之比R(例如，20％等)。接着， 特征量校正单元140提取部位区域901之中的、从其前端起相当于面积之比 R的区域，作为再计算区域。
再有，在特征量的再计算中仅采用颜色信息的情况下，也可以在该步骤 S14014中结束处理。
在图10中，说明了在第二部位的候选区域902中仅包含胳膊的皮肤的例 子，但也有在第二部位的候选区域902中包含衣服的情况。这种情况下，仅 通过步骤S14014的处理，无法高精度地判断相似度。因为衣服的纹理是因胳 膊的角度而为不同的特征量。
因此，为了高精度地判断相似度，优选特征量校正单元140进行步骤 S14015以后的处理。
在步骤S14015中，在计算纹理的特征量的情况下，特征量校正单元140 判断部位区域901和第二部位的候选区域902形成的角度是否小于规定的值 (图10D所示的角度θ904是否小于规定的值的角度)。这里，规定的值表示 候选区域的角度的估计误差，是预先学习所获取的值(例如15度)。
步骤S14015中的判断的结果，在角度小于规定的值的情况下(S14015： “是”)，特征量校正单元140进至步骤S14017的处理。
另一方面，步骤S14015中的判断的结果，在角度不小于规定的值的情况 下(S14015：“否”)，特征量校正单元140进至步骤S14016的处理。
在步骤S14016中，特征量校正单元140采用部位区域901和第二部位的 候选区域902的角度的差异即θ904，使步骤S14014中提取出的再计算区域 转动。再有，在不进行步骤S14014的情况下(S14013：“否”)，特征量校正 单元140采用θ904，使部位区域901转动。
在步骤S14017中，特征量校正单元140比较部位区域901的长轴的长度 和第二部位的候选区域902的长轴的长度，判断长轴的长度之差是否小于规 定的值。这里，规定的值表示长轴的估计误差，是以头区域的长轴的比率(头 区域的10％)设定的值。
步骤S14017中的判断的结果，在长轴的长度之差小于规定的值的情况下 (S14017：“是”)，特征量校正单元140进至步骤S14018的处理。
另一方面，步骤S14017中的判断的结果，在长轴的长度之差不小于规定 的值的情况下(S14017：“否”)，特征量校正单元140将步骤S14016中提取 出的再计算区域输出，结束一系列的处理。再有，在长轴的长度之差不小于 规定的值的情况中，在事先不进行步骤S14016的处理的情况下，特征量校正 单元140将步骤S14014中提取出的再计算区域输出，结束一系列的处理。此 外，在长轴的长度之差不小于规定的值的情况中，在事先不进行步骤S14014 的处理以及步骤S14016的处理的情况下，特征量校正单元140将部位区域 901作为再计算区域输出，结束一系列的处理。
在步骤S14018中，特征量校正单元140将部位区域901缩小后作为再计 算区域。具体地说，特征量校正单元140与第二部位的候选区域902的长轴 的长度对部位区域901的长轴的长度的比率相匹配，将部位区域901缩小， 并将其作为再计算区域，结束一系列的处理。例如，在部位区域901的长轴 的长度为6像素，第二部位的候选区域902的长轴的长度为3像素的情况下， 特征量校正单元140使比率为50％等。然后，特征量校正单元140与50％比 率相匹配，将部位区域901的面积缩小到50％。然后，特征量校正单元140 将缩小后的部位区域901作为再计算区域。
根据以上说明的图11的流程，由于部位区域901和第二部位的候选区域 902的部位的角度不同，所以在可看见的长度不同的情况下，也能够正确地 估计与部位区域901成对的第二部位的候选区域902。
再有，在图11的流程中，也可以先进行步骤S14017，然后进行步骤 S14015。
此外，在步骤S14018中，说明了特征量校正单元140缩小再计算区域的 例子，但也可以扩大再计算区域。
通过以上，结束步骤S1400的特征量校正处理的具体例子的说明。
接着，在步骤S1500中，判定单元150判断部位区域901和第二部位的 候选区域902是否为成对的部位。具体地说，与特征量校正单元140的手法 同样，判定单元150使用由特征量校正单元140算出的特征量的相似度进行 判断。
再有，在特征量校正单元140中，在计算多个特征量的情况下，使用以 下的式(2)，也可以计算相似度。
C S i ′ = m C i Max [ C ] + n T i Max [ T ] . . . ( 2 ) ]]>
再有，在式(2)中，各值如以下那样。CSi’表示第i第二部位的候选区 域902的相似度得分。Max[C]表示部位区域901和第二部位的候选区域902 的颜色的特征量产生的相似度的最大值。Ci表示第i第二部位的候选区域902 和部位区域901的颜色的特征量产生的相似度。Ti表示第i第二部位的候选 区域902和部位区域901的纹理的特征量产生的相似度。Max[T]表示部位区 域901和第二部位的候选区域902的纹理的特征量产生的相似度的最大值。 m和n被设定为预先确定的权重常数，以使n+m＝1。权重常数在颜色的特征 量和纹理的特征量在能够为相同程度可靠的环境中成为相同的比率。在另一 方面，在颜色的特征量相比纹理的特征量能够信用的环境中，通过事先的学 习来设定权重常数，以使m大于n。
判定单元150提取CSi’的值为最大的第二部位的候选区域902作为与部 位区域901成对的部位。此外，在第二部位的候选区域902为一个的情况下， 如果CSi’为规定的值以上，则判定单元150提取该候选区域作为与部位区域 成对的部位。规定的值，通过学习而被预先设定。
于是，判定单元150通过将两个特征量根据环境加权后使用，可更高精 度地提取与部位区域成对的部位。
通过以上，结束步骤S1500的判定处理的具体例子的说明。
(实施方式1、2的变形例)
以上，分别说明了本实施方式1、2，但上述说明是一例，可进行各种变 形。以下，说明有关本实施方式1、2的变形例。
例如，在实施方式1以及2中说明的姿势估计装置100的动作，在与硬 件的联系中，即使用软件也能够实现。
此外，例如，在实施方式2中，将多关节物体作为人进行了说明，但本 发明不限于人。
此外，例如，在实施方式2中，特征量校正单元140在进行固有特征量 的校正前，也可以进行以下的特征量判定处理。
特征量判定处理的概要如下那样。首先，特征量校正单元140计算由特 征量计算单元130算出的、部位区域的固有特征量和第二部位的候选区域的 固有特征量之间的相似度。接着，特征量校正单元140基于算出的相似度， 判断是否存在能够估计为与部位区域成对的小臂即第二部位的候选区域。该 判断的结果，在不存在能够估计为与部位区域成对的小臂即第二部位的候选 区域的情况下，特征量校正单元140进行上述固有特征量的校正。
以下，说明有关特征量判定处理的具体例子。
特征量校正单元140在进行相似度的计算时，例如，作为采用公知的技 术即余弦相似度来说明，但不限于余弦相似度。余弦相似度将多维变量看作 矢量，在矢量的方向一致时取最大值的“1”，如果正交则取“0”，如果方向 相反则取最小值的“-1”。特征量校正单元140使用的余弦相似度的式(3) 如以下所示。
CS = Σ i = 1 k x i y i Σ i = 1 k x i 2 Σ i = 1 k y i 2 . . . ( 3 ) ]]>
再有，在式(3)中，各值如以下那样。k表示特征量的二进制数。xi表示部位区域的特征量的第i二进制的值。yi表示第二部位的候选区域的特征 量的第i二进制的值。
特征量校正单元140对部位区域901和第二部位的候选区域902的每一 对，计算余弦相似度。然后，特征量校正单元140对每一对，基于算出的余 弦相似度，判定第二部位的候选区域902是否具有与部位区域901相似的特 征量。这里，特征量校正单元140也可以提取余弦相似度的值为最大的第二 部位的候选区域902，作为与部位区域901成对的候选区域。
于是，姿势估计装置100确定在基于表示人340中共同的形状的信息所 提取出第二部位的候选区域902中的、部位的可能性较高的第二部位的候选 区域902。然后，姿势估计装置100采用表示在个别的人体部位中特有的信 息的特征量，比较部位区域901和确定出的第二部位的候选区域902之间的 相似度、部位区域901和其他的第二部位的候选区域902之间的相似度。由 此，在第二部位的候选区域902有多个的情况下，姿势估计装置100也可以 高精度地估计成对的部位。
以上，本发明的姿势估计装置，基于包含具有成对的部位的多关节物体 的全部或一部分的图像，估计所述成对的部位，包括：候选区域提取单元， 从所述图像中，使用对于所述成对的部位表示未指定多个多关节物体共同的 形状特征的共同特征量，提取多个所述成对的部位的候选区域；部位区域提 取单元，从所述多个候选区域中，提取作为所述成对的部位的似然为最大的 第一候选区域，并将所述第一候选区域以外的区域作为第二候选区域；特征 量计算单元，分别对于所述第一候选区域以及所述第二候选区域，计算对于 所述成对的部位表示估计对象的多关节物体上固有的特征的固有特征量；特 征量校正单元，将所述第一候选区域以及所述第二候选区域中的、一方的候 选区域的固有特征量，基于另一方的候选区域的长度、宽度、以及角度中的 至少一个进行校正；以及判定单元，基于所述校正后的固有特征量和所述另 一方的候选区域的固有特征量之间的相似度，判定所述第一候选区域和所述 第二候选区域是否为所述成对的部位。
此外，在本发明的姿势估计装置中，所述特征量校正单元计算所述第一 候选区域的固有特征量和所述第二候选区域的固有特征量之间的相似度，基 于所述算出的相似度，判断是否存在能够估计为与所述第一候选区域成对的 所述第二候选区域，在所述判断的结果不存在能够估计为与所述第一候选区 域成对的所述第二候选区域的情况下，进行所述一方的候选区域的固有特征 量的校正。
此外，在本发明的姿势估计装置中，所述特征量校正单元将所述第一候 选区域的固有特征量，基于所述第二候选区域的长度、宽度、以及角度中的 至少一个进行校正。
此外，在本发明的姿势估计装置中，所述特征量校正单元提取距基准点 的距离短的第一交点和距所述基准点的距离长的第二交点，作为所述第二候 选区域的长轴和椭圆周之间的交点，基于在有可能存在其他部位的某个区域 中是否包含所述第一交点以及所述第二交点，判断所述第二候选区域被所述 其他部位遮挡的可能性，在有被遮挡的可能性的情况下，提取所述第一候选 区域的一部分，对于提取出的所述第一候选区域的一部分，进行固有特征量 的计算。
此外，在本发明的姿势估计装置中，所述特征量校正单元判断所述第一 候选区域和所述第二候选区域形成的角度是否为0度，在所述角度不是0度 的情况下，使用所述角度，使所述第一候选区域的一部分或全部转动。
此外，在本发明的姿势估计装置中，所述特征量校正单元比较所述第一 候选区域的长轴的长度和所述第二候选区域的长轴的长度，在所述长轴的长 度之差小于规定的值的情况下，或者，在所述长轴的长度相等的情况下，与 所述第二候选区域的长轴的长度对所述第一候选区域的长轴的长度的比率相 匹配来缩小所述第一候选区域，对于缩小后的所述第一候选区域，进行固有 特征量的计算。
此外，在本发明的姿势估计装置中，所述候选区域提取单元基于对所述 成对的部位的特性预先确定的限制信息，提取所述多个候选区域。
此外，在本发明的姿势估计装置中，所述共同特征量只是边缘，或者是 边缘以及轮廓。
此外，在本发明的姿势估计装置中，所述固有特征量是颜色以及纹理中 的至少一个。
本发明的姿势估计方法，基于包含具有成对的部位的多关节物体的全部 或一部分的图像，估计所述成对的部位，该方法包括以下步骤：从所述图像 中，使用对于所述成对的部位表示未指定多个多关节物体共同的形状特征的 共同特征量，提取多个所述成对的部位的候选区域的步骤；从所述多个候选 区域中，提取作为所述成对的部位的似然为最大的第一候选区域，并将所述 第一候选区域以外的区域作为第二候选区域的步骤；分别对于所述第一候选 区域以及所述第二候选区域，计算对于所述成对的部位表示估计对象的多关 节物体上固有的特征的固有特征量的步骤；将所述第一候选区域以及所述第 二候选区域中的、一方的候选区域的固有特征量，基于另一方的候选区域的 长度、宽度、以及角度中的至少一个进行校正的步骤；以及基于所述校正后 的固有特征量和所述另一方的候选区域的固有特征量之间的相似度，判定所 述第一候选区域和所述第二候选区域是否为所述成对的部位的步骤。
本发明的姿势估计程序，使基于包含具有成对的部位的多关节物体的全 部或一部分的图像来估计所述成对的部位的装置的计算机执行以下处理：从 所述图像中，使用对于所述成对的部位表示未指定多个多关节物体共同的形 状特征的共同特征量，提取多个所述成对的部位的候选区域的处理；从所述 多个候选区域中，提取作为所述成对的部位的似然为最大的第一候选区域， 并将所述第一候选区域以外的区域作为第二候选区域的处理；分别对于所述 第一候选区域以及所述第二候选区域，计算对于所述成对的部位表示估计对 象的多关节物体上固有的特征的固有特征量的处理；将所述第一候选区域以 及所述第二候选区域中的、一方的候选区域的固有特征量，基于另一方的候 选区域的长度、宽度、以及角度中的至少一个进行校正的处理；以及基于所 述校正后的固有特征量和所述另一方的候选区域的固有特征量之间的相似 度，判定所述第一候选区域和所述第二候选区域是否为所述成对的部位的处 理。
2012年7月26日提交的日本特愿2012-165671的申请中所包含的说明 书、附图以及摘要的公开内容都引用在本申请中。
工业实用性
本发明的姿势估计装置、姿势估计方法以及姿势估计程序，对能够高精 度地估计具有成对的部位的多关节物体的姿势的装置、方法以及程序是有用 的。
标号说明
100  姿势估计装置
110  候选区域提取单元
120  部位区域提取单元
130  特征量计算单元
140  特征量校正单元
150  判定单元
200  姿势估计系统
310  拍摄区域
320  摄像机
330  地面
340  人