动作解析装置及动作解析方法 技术领域 本发明涉及通过与标准动作进行比较来解析比较对象动作的动作解析装置及动 作解析方法。
背景技术 以往， 有如下装置， 通过对表示动作特征的多维动作特征量进行主分量分析， 求标 准动作的部分空间， 且基于求出的标准动作的部分空间和比较对象动作的动作特征量的距 离， 解析比较对象动作 ( 例如参照专利文献 1)。
专利文献 1 中记载的装置 ( 以下称作 “现有装置” ) 使用从活动图像中提取特征的 立体高次局部自相关 (CHLAC) 特征， 从比较对象动作中检测异常动作。
具体而言， 现有装置从存储的多个标准动作分别提取动作特征量的特征数据， 根 据提取出的多个特征数据， 通过主分量分析方法生成基于主分量向量的部分空间 ( 以下简 称为 “部分空间” )。
而且， 现有装置从比较对象动作中也同样提取动作特征量的特征数据， 在提取出 的特征数据和部分空间的距离大于规定值的情况下， 将该比较对象动作判定为异常。
这样的现有装置由于统计性学习标准动作， 所以在设计阶段不特别定义标准动 作， 就能够进行依据监视对象的异常动作检测。
然而， 为了尽量防止异常动作的漏判， 只要将生成部分空间时使用的特征数据的 累计贡献率 ( 以下称为 “贡献度” ) 设定得高即可。
贡献度是表示所生成的部分空间 ( 主分量向量 ) 在何种程度上说明了原特征数据 的指标值。
另一方面， 为了尽量防止标准动作的误判， 只要将用于主分量分析的特征数据的 贡献度设定得低即可。
这是因为， 原特征数据中未能网罗的标准动作的偏差在贡献度低的情况下被吸 收。
即， 贡献度的最佳值取决于监视对象或所要求的检测精度 ( 以下称为 “解析条 件” )。
因此， 贡献度优选被设定为适合解析条件的值。
另外， 例如在工厂进行动作解析的情况下， 可以设想按要解析的作业频繁地改变 摄像机的设置场所。
因此， 通过主分量分析来解析比较对象动作的装置 ( 以下称作 “动作解析装置” ) 优选能够尽量简单地设定适合解析条件的贡献度。
现有技术文献
专利文献 1 ： ( 日本 ) 特开 2006-79272 号公报
发明内容发明要解决的问题
但是， 现有装置中， 为了设定适合解析条件的贡献度， 需要通过实验等对每种贡献 度存储有关标准动作的解析结果和有关异常动作的解析结果， 验证各贡献度是否合适。
另外， 在异常动作可能包含非稳态动作 ( 以下将可能包含非稳态动作的异常动作 称为 “非稳态动作” ) 的情况下， 需要使用庞大的异常动作的特征数据进行解析及验证。
即， 现有装置在设定适合解析条件的贡献度时非常耗时耗力。
本发明的目的在于， 提供能够简单地设定适合解析条件的贡献度的动作解析装置 及动作解析方法。
用于解决问题的技术方案
本发明的动作解析装置使用活动图像提取非稳态动作， 该动作解析装置包括 ： 动 作数据输入单元， 其输入学习数据 ； 动作特征提取单元， 其从所述动作数据输入单元输入的 所述学习数据中提取动作特征量 ； 主分量分析单元， 其对于所述学习数据的一部分， 使用所 述动作特征提取单元提取出的动作特征量进行主分量分析， 并且学习部分空间 ； 学习数据 距离计算单元， 其计算所述动作特征提取单元提取出的学习数据的动作特征量和所述主分 量分析单元学习的部分空间的距离 ； 以及贡献度判定单元， 其根据所述学习数据距离计算 单元计算出的距离中的、 从所述主分量分析单元用于所述部分空间的学习的学习数据计算 出的距离和从所述主分量分析单元未用于所述部分空间的学习的学习数据计算出的距离， 判定所述主分量分析单元用于所述主分量分析的贡献度的适合性。 本发明的动作解析方法使用活动图像提取非稳态动作， 该动作解析方法包括以下 步骤 ： 输入学习数据 ； 从所述学习数据中提取动作特征量 ； 使用从所述学习数据的一部分 中提取出的动作特征量进行主分量分析且学习部分空间 ； 计算所述学习数据的动作特征量 和所述部分空间的距离 ； 根据所述学习数据的动作特征量和所述部分空间的距离中的、 从 用于所述部分空间的学习的学习数据计算出的距离、 和从未用于所述部分空间的学习的学 习数据计算出的距离， 判定用于所述主分量分析的贡献度的适合性。
发明效果
根据本发明， 能够简单地设定适合解析条件的贡献度。
附图说明 图 1 是表示本发明实施方式 1 的包含动作解析装置的动作解析系统的结构的系统 结构图。
图 2 是表示本实施方式 1 的动作解析装置的结构的方框图。
图 3 是用于说明本实施方式 1 的贡献度和距离的关系的图。
图 4 是表示本实施方式 1 的动作解析装置的整体动作的流程图。
图 5 是表示本实施方式 1 的贡献度判定处理的流程图。
图 6 是表示本实施方式 1 中使用平均值之比的情况下的评价值的计算例的图。
图 7 是表示本实施方式 1 中使用标准偏差之比的情况下的评价值的计算例的图。
图 8 是表示本发明实施方式 2 的动作解析装置的结构的方框图。
图 9 是表示本实施方式 2 的动作解析装置的整体动作的流程图。
图 10 是表示一例本实施方式 2 的结果显示画面的图。
图 11 是表示另一例本实施方式 2 的结果显示画面的图。 标号说明 100 动作解析系统 200 传感器装置 300、 300a 动作解析装置 310 动作数据输入单元 320 动作特征提取单元 330 主分量分析单元 340 学习数据距离计算单元 350 贡献度判定单元 360a 解析对象数据距离计算单元 370a 显示信息生成单元 400 输出装置 500 输入装置具体实施方式
下面， 参照附图详细地说明本发明的各实施方式。
( 实施方式 1)
图 1 是表示本发明实施方式 1 的包含动作解析装置的动作解析系统的结构的系统 结构图。
本实施方式是将本发明应用于在熟练作业员和一般作业员工作的工厂中解析各 一般作业员的动作的动作解析系统的例子。
作业员的动作例如是由下述多个单位动作组成的一连串的动作， 即， 将产品置于 工作台， 多次重复拿起零件将其嵌入产品主体的动作， 并将产品送到旁边。
具体而言， 本实施方式的动作解析系统对从事某个作业工序的熟练作业员的姿势 进行拍摄， 以相同的拍摄角度对从事同一作业工序时的各一般作业员的姿势进行拍摄， 并 对各一般作业员的动作进行解析。
下面， 将上述一般的单位动作和由动作解析系统 100 作为一个偏离动作提取的单 位统称为 “动作” 。
图 1 中， 动作解析系统 100 具有 ： 传感器装置 200、 本实施方式的动作解析装置 300、 输出装置 400、 及输入装置 500。
传感器装置 200 为检测人的动作的装置， 将测量作业员的动作得到的数据输出到 动作解析装置 300。
这里， 传感器装置 200 是实时输出所拍摄的图像的图像帧数据 ( 活动图像数据 ) 的摄像机， 且是可对在工厂的组装生产线上并排作业的各作业员分别进行拍摄的摄像机。
下面， 从拍摄一连串的标准动作的影像得到的特征数据称作 “学习数据” 。
另外， 从拍摄有可能包含非稳态动作的一连串的动作的影像得到的特征数据称为 “解析对象数据” 。
学习数据及解析对象数据适当地总称为 “动作数据” 。动作解析装置 300 基于从学习数据通过主分量分析而学习的部分空间和解析对 象数据的各动作特征量的距离进行解析对象数据的解析。
另外， 动作解析装置 300 在进行解析对象数据的解析之前， 先进行学习数据的解 析， 判定用于主分量分析的贡献度的适合性， 将判定结果提示给用户。
而且， 动作解析装置 300 从用户接收用于评价解析对象数据的贡献度 ( 以下称作 “设定贡献度” ) 的设定。
这里， 贡献度的适合性是表示在应用该贡献度时异常动作和标准动作在何种程度 上被正确地区分、 即用户所希望的差异在何种程度上被正确地区分的指标。
具体而言， 动作解析装置 300 使用从一部分学习数据中提取出的动作特征量进行 主分量分析， 学习部分空间。
下面， 用于学习部分空间的学习数据组称为 “部分空间生成用数据” 。
另外， 未用于部分空间的学习的学习数据组称作 “贡献度评价用数据” 。
“部分空间生成用数据” 从学习数据任意选择。
例如， 在学习数据由多个数据文件组成的情况下， 动作解析装置 300 将任意一个 文件设为 “贡献度评价用数据” ， 将除该 “贡献度评价用数据” 之外的所有的学习数据设为 “部分空间生成用数据” 。 在此， 动作解析装置 300 也可以使用留一法 (leave-one-out 法 )。
留一法中， 在给予了 n 个学习数据的情况下， 首先， n 个学习数据被分割成 (n-1) 个 训练数据 (“部分空间生成用数据” ) 和 1 个评价用数据 (“贡献度评价用数据” )。
其次， 留一法中， 通过使用 (n-1) 个训练数据所得的学习结果， 评价 1 个评价用数 据。
此时， 分割的方法有 n 种， 所以计算相对于该全部 n 种方法的评价结果的平均， 将 平均值用作评价值。
然后， 动作解析装置 300 计算部分空间和部分空间生成用数据的距离、 以及部分 空间和贡献度评价用数据的距离。
下面， 将部分空间和部分空间生成用数据的距离称为 “基准距离” ， 将部分空间和 贡献度评价用数据的距离称为 “评价距离” 。然后， 动作解析装置 300 求取使与基准距离和 评价距离之差相关的评价值为适当范围的贡献度。接着， 动作解析装置 300 将求出的贡献 度作为设定贡献度的候补提示给用户。
这里， 评价值的适当范围是指能够以所要求的精度区分异常动作和标准动作的 数值范围。动作解析装置 300 为包含 CPU(central processing unit， 中央处理单元 )、 RAM(random access memory， 随机存取存储器 ) 等存储介质、 及获取活动图像数据的视频采 集电路等的计算机。
即， 动作解析装置 300 通过由 CPU 执行所存储的控制程序而进行工作。
输出装置 400 为具有例如液晶显示器的监视器， 输出从动作解析装置 300 输入的 结果显示画面的数据。
另外， 输出装置 400 也可以是远程配置的装置 ( 远程监视装置、 移动电话等 )。此 时， 输出装置 400 例如经由因特网等网络与动作解析装置 300 连接。输入装置 500 为用户 用于操作动作解析装置 300 的接口， 例如由作为定点设备的鼠标和键盘构成。
这样的动作解析系统 100 能够仅基于学习数据判定贡献度的适合性， 并对用户提 示判定结果。
由此， 用户能够仅确认所提示的判定结果， 高效率地解析用于主分量分析的贡献 度的适合性。
因此， 用户可以简单地设定适合解析条件的贡献度。
另外， 本实施方式的动作解析装置 300 的特征主要在于能够仅基于学习数据简单 地判定用于动作解析的贡献度的适合性。
因此， 在本实施方式中， 以判定贡献度的适合性以前的动作和实现该动作的装置 单元为中心进行说明。
图 2 是表示动作解析装置 300 的结构的方框图。
图 2 中， 动作解析装置 300 具有动作数据输入单元 310、 动作特征提取单元 320、 主 分量分析单元 330、 学习数据距离计算单元 340、 及贡献度判定单元 350。
动作数据输入单元 310 根据来自动作特征提取单元 320 的请求， 从传感器装置 200 获取学习数据， 并将其转送到动作特征提取单元 320。
动作数据的转送可以实时进行， 也可以在存储动作数据后进行。 另外， 动作数据输入单元 310 也可以接受输入装置 500 的用户操作而开始工作。
动作特征提取单元 320 从动作数据输入单元 310 输入的学习数据中提取动作特征 量。然后， 动作特征提取单元 320 将提取出的动作特征量输出给主分量分析单元 330。
这里， 动作特征量为专利文献 1 中公开的 CHLAC 特征。
CHLAC 特征是通过增加时间轴而将从二维图像数据中提取特征的高次局部自相关 (HLAC) 特征扩展到三维而得到的。即， CHLAC 特征为在图像的平面空间增加了时间轴的三 维坐标系中的、 表示运动特征的特征向量。动作特征提取单元 320 例如使用下式 (1) 所示 的 N 次自相关函数计算 CHLAC 特征 x。
( 式 1)
f 为时间序列图像， 变量 r 及 N 个变量 ai(i ＝ 1， …， N) 为具有图像内的二维坐标 和时间作为分量的三维向量。
时间方向的积分范围由取何种程度的时间方向的相关来确定。
即， 积分范围为由 N 个静止图像 ( 局部特征图像 ) 构成的三维像素集合， 变量 r 为 图像中的一个像素 ( 位置像素 )， 变量 a 为相对于 r 的位移向量。
而且， f(r) 为位置 r 的函数值， 表示局部特征图像的位置 r 的亮度值。在 CHLAC 特 征的情况下， 位移为三维， 位移向量的组合 ( 位移图案 ) 的数量在 0 维为 1 个， 在 1 维为 13 个， 在 2 维为 237 个。
因此， CHLAC 特征在二值化图像的情况下表示为合计 251 维的特征向量。
主分量分析单元 330 从部分空间生成用数据学习部分空间， 将定义学习了的部分 空间的主分量向量和学习数据输出到学习数据距离计算单元 340。
主分量分析单元 330 例如如下计算主分量向量。
M 维的 CHLAC 特征向量 x、 将主分量向量 ( 固有向量 ) 排列成列的矩阵 U、 协方差矩 阵∑分别可由下式 (2) ～式 (4) 表示。
其中， M ＝ 251， μ 为特征向量 x 的平均向量， E 为求取期待值的运算符号 (E ＝ (1/ N) ∑ )。
( 式 2)
xi ∈ VM(i ＝ 1，…， N)
( 式 3)
U ＝ [u1，… uM]， uj ∈ VM(j ＝ 1，…， M)
( 式 4)
此时， 主分量分析单元 330 通过下式 (5) 的固有值问题求取矩阵 U。 ( 式 5) ∑ XU ＝ UΛ固有值的对角矩阵 Λ 和至第 K 固有值为止的累计贡献率 ( 贡献度 )ηK 分别由下 式 (6) 及式 (7) 表示。
( 式 6)
Λ ＝ diag(λ1，…， λM)
( 式 7)
主分量分析单元 330 将由直至累计贡献率 ηK 成为规定值 ( 例如 ηK ＝ 0.99) 的 维为止的固有向量 u1，…， uK 形成的空间作为部分空间应用。
这里， 主分量分析单元 330 对预先确定的第一～第三累计贡献率 ηK1 ～ ηK3 分别 求部分空间。
这里， 设第一累计贡献率 ηK1 ＝ 0.99、 第二累计贡献率 ηK2 ＝ 0.9999、 第三累计贡 献率 ηK3 ＝ 0.999999。
下面， 将应用第一～第三累计贡献率 ηK1 ～ ηK3 计算出的部分空间依次称为第 一～第三部分空间。
第一～第三累计贡献率 ηK1 ～ ηK3 中哪一个的适合性高， 取决于监视对象或要求 的检测精度。
学习数据距离计算单元 340 对第一～第三部分空间分别计算与部分空间生成用 数据的距离 ( 基准距离 )、 以及部分空间与贡献度评价用数据的距离 ( 评价距离 )。
下面， 将对于第一～第三部分空间的基准距离依次称为第一～第三基准距离。
另外， 将对于第一～第三部分空间的评价距离依次称为第一～第三评价距离。
学习数据距离计算单元 340 将第一～第三基准距离及第一～第三评价距离输出
到贡献度判定单元 350。学习数据距离计算单元 340 例如如下计算基准距离及评价距离。
向由主分量正交基底 UK ＝ [u1，…， uK] 形成的部分空间的射影算子 P 及向与其相 对的正交补空间的射影算子 P ⊥由下式 (8) 表示。
其中， U’ 为矩阵 U 的转置矩阵， IM 为 M 次的单位矩阵。
( 式 8)
P ＝ UKU′ K
P ⊥＝ IM-P
此时， 学习数据距离计算单元 340 使用下式 (9) 计算向部分空间 U 的垂线的平方 2 距离 d ⊥ ( 即在正交补空间的平方距离 )。
另外， 学习数据距离计算单元 340 根据计算出的平方距离 d2 ⊥， 计算垂直距离 d ⊥作 为部分空间和设为对象的特征数据的距离 ( 以下简称为 “距离” )。
( 式 9)
贡献度判定单元 350 根据第一～第三基准距离及第一～第三评价距离判定用于 生成第一～第三部分空间的第一～第三贡献度的适合性。
具体而言， 贡献度判定单元 350 对每种贡献度基于表示基准距离的平均值和评价 距离的平均值的差异的大小的评价值判定适合性。
下面， 将与第一～第三贡献度相对应的评价值依次称为第一～第三评价值。图 3 是用于说明贡献度和距离的关系的图。
具体而言， 图 3 是使贡献度变化时的、 学习数据的距离及解析对象数据的距离的 曲线图。这里， 主分量分析单元 330 将不含有非稳态状态的某个学习数据分为部分空间生 成用数据 A、 部分空间生成用数据 B、 以及贡献度评价用数据。
而且， 主分量分析单元 330 根据部分空间生成用数据 A 及部分空间生成用数据 B 的整体， 计算部分空间。
下面， 将部分空间生成用数据 A 和部分空间的距离称为基准距离 A。
将部分空间生成用数据 B 和部分空间的距离称作基准距离 B。
将贡献度评价用数据和部分空间的距离称为评价距离。
图 3A ～图 3C 中， 横轴表示时间， 纵轴表示距离。
另外， 图中， 三角 ( ▲ ) 的曲线 511 表示基准距离 A， 圆圈 ( ● ) 的曲线 512 表示基 准距离 B， 菱形 ( ◆ ) 的曲线 513 表示评价距离。
图 3A ～图 3C 依次为第一累计贡献率 ηK1 ＝ 0.99 时的距离、 第二累计贡献率 ηK2 ＝ 0.9999 时的距离、 第三累计贡献率 ηK3 ＝ 0.999999 时的距离。
如图 3 所示， 整体上无论哪一贡献度， 相比基准距离 A 和基准距离 B 之间的差异，
基准距离 A 及基准距离 B 和评价距离之间的差异均较大。
但是， 在第一累计贡献率和第二累计贡献率之间进行比较时， 第一累计贡献率的 基准距离 A 及基准距离 B 和评价距离之间的差异更小。
即， 在成为学习对象者的距离和未成为学习对象者的距离之间仅存在微小的差。
这表明， 设定贡献度越低， 则仅检测出与标准动作的差异更大的异常动作的可能 性越高。
另外， 在第三累计贡献率和第二累计贡献率之间进行比较时， 第三累计贡献率的 基准距离 A 及基准距离 B 和评价距离之间的差异更大。
即， 在成为学习对象者和未成为学习对象者之间产生距离大的差。
这表明， 设定贡献度越高， 则基于微细的动作的差异， 将标准动作检测为异常动作 的可能性越高。
这样， 贡献度越高， 则对部分空间生成用数据的学习越深入， 基准距离和评价距离 之差越大。
即使贡献度低也被提取的动作的差异可以说是不受各学习数据的个别差左右的 大的差异。 另外， 贡献度非常高的情况下提取的动作的差异可以说是连学习数据的个别的差 都反映出的微小的差异。
根据动作解析的目的， 应提取的动作的差异的大小不同。
因此， 不提示在同样的基准下判定为差异大的动作， 而提示提取出的动作的差异 的大小本身， 有利于理解解析结果。
贡献度判定单元 350 使用基准距离的平均值和评价距离的平均值的差分作为评 价值， 判定贡献度的适合性。
这样构成的动作解析装置 300 可仅根据学习数据来判定贡献度的适合性。下面， 对动作解析装置的动作进行说明。
图 4 是表示动作解析装置 300 的整体动作的流程图。
首先， 在步骤 S1000 中， 动作数据输入单元 310 输入动作数据 ( 这里仅为学习数 据 )， 在动作特征提取单元 320 提取学习数据的特征量。
然后， 在步骤 S2000 中， 主分量分析单元 330 根据将学习数据分成部分空间生成用 数据和贡献度评价用数据时的部分空间生成用数据， 计算部分空间。
这里， 主分量分析单元 330 如上所述生成第一～第三部分空间。然后， 在步骤 S3000 中， 学习数据距离计算单元 340 计算对部分空间的学习数据的距离、 即基准距离及评 价距离。
这里， 学习数据距离计算单元 340 如上所述生成第一～第三基准距离及第一～第 三部分空间。
然后， 在步骤 S4000 中， 贡献度判定单元 350 进行贡献度判定处理。
贡献度判定处理为基于基准距离和评价距离判定贡献度的适合性的处理。图 5 是 表示贡献度判定处理的流程图。首先， 在步骤 S4100 中， 贡献度判定单元 350 求取部分空间 生成用数据的距离 ( 基准距离 ) 的平均值 a。然后， 在步骤 S4200 中， 贡献度判定单元 350 求取贡献度评价用数据的距离 ( 评价距离 ) 的平均值 b。
另外， 步骤 S4100、 S4200 的处理顺序也可以相反。然后， 在步骤 S4300 中， 贡献度 判定单元 350 求取平均值 a 和平均值 b 之比 c ＝ b/a 作为评价值 c。
这里， 动作解析装置 300 求取第一～第三评价值 c1 ～ c3。图 6 是表示作为评价值 c 使用平均值之比的情况下的第一～第三评价值的计算例的图。如图 6 所示， 例如与贡献 度 0.99、 0.9999、 0.999999 对应的第一～第三评价值 c1 ～ c3 依次为 1.2、 2.03、 16.37。然 后， 在图 5 的步骤 S4400 中， 贡献度判定单元 350 取得预先设定的适当范围 d， 比较评价值 c 和适当范围 d， 判定贡献度的适合性的等级且输出判定结果。例如， 适当范围 d 设定在 1.5 ＜ c ＜ 2.5 的范围。
另外， 例如作为贡献度的适合性的等级， 设定与适当范围 d 以下、 适当范围 d、 及适 当范围 d 以上这三个范围对应的三个等级。
此时， 贡献度判定单元 350 在评价值 c 为 1.5 以下的情况下， 判定为 “学习少” 。
另外， 贡献度判定单元 350 在评价值 c 大于 1.5 而小于 2.5 的情况下， 判定为 “适 当” 。
另外， 贡献度判定单元 350 在评价值 c 的值大于 2.5 的情况下， 判定为 “过量学 习” 。 因此， 在图 6 的例子中， 贡献度判定单元 350 将贡献度 0.99 判定为 “学习少” ， 将贡 献度 0.9999 判定为 “适当” ， 将贡献度 0.999999 判定为 “过量学习” 。
通过这样的动作， 动作解析装置 300 能够计算基准距离及评价距离， 且根据它们 的平均值的差分判定贡献度的适合性。
另外， 动作解析装置 300 也可以使用距离的最大值、 最小值、 或标准偏差等、 与距 离有关的其它统计量的比作为评价值 c。
例如， 动作解析装置 300 使用基准距离的平均值 a、 评价距离的平均值 b、 基准距离 的标准偏差 e、 评价距离的标准偏差 f， 作为评价值 c， 计算 c ＝ e/f、 或 c ＝ a/e。
另外， 动作解析装置 300 也可以使用多个统计量的运算结果判定等级。
例如， 动作解析装置 300 使用 c ＝ a+e 作为评价值 c， 将适当范围 d 设定为 a+e ＜ b ＜ a+2e+b。
即， 动作解析装置 300 在 b ＜ a+e 的情况下判定为 “学习少” ， 在 a+e ＜ b ＜ a+2e+b 的情况下判定为 “适当” ， 在 a+2e+b ＜ b 的情况下判定为 “过量学习” 。图 7 是表示使用标 准偏差之比作为评价值的情况下的各贡献度的评价值的计算例的图。
如图 7 所示， 例如与贡献度 0.99、 0.9999、 0.999999 对应的第一～第三评价值 c1 ～ c3 依次为 1.08、 2.13、 16.18。
按与适当范围 d 的关系， 与使用平均值的情况同样， 判定等级。如上， 本实施方式 的动作解析装置 300 能够仅基于学习数据判定贡献度的适合性， 将判定结果提示给用户。
由此， 对于用户而言， 动作解析装置 300 可以仅确认判定结果而高效率地解析用 于主分量分析的贡献度的适合性， 或者可以自动设定适当等级的贡献度。 即， 动作解析装置 300 可以简单地设定适合解析条件的贡献度。
此外， 动作解析装置 300 也可以变更学习数据中作为部分空间生成用数据使用的 部分， 对各贡献度计算多次评价值， 取得多个判定结果。
即， 动作解析装置 300 也可以变更部分空间生成用数据而取得多次评价值及判定
结果。 另外， 动作解析装置 300 也可以取得代表该多个判定结果的结果作为最终的判定 结果。由此， 动作解析装置 300 能够得到统计上更稳定的结果。
另外， 动作解析装置 300 也可以不是对预先确定的多个贡献度进行判定， 而是变 更贡献度的值， 同时重复进行处理， 直至贡献度的判定结果显示适当。
由此， 动作解析装置 300 可以通过仅输入学习数据， 自动地求取适当的贡献度。
另外， 动作解析装置 300 也可以具有从用户接收评价值 c 的适当范围 d、 或对作为 计算的对象的贡献度的变更的用户接口。
由此， 用户可以确认贡献度的判定结果， 同时更可靠地得到适当的贡献度。
( 实施方式 2)
本发明的实施方式 2 中， 通过将贡献度的适合性与解析对象数据的解析结果一起 提示给用户， 帮助用户理解解析结果。
图 8 是表示本实施方式的动作解析装置的结构的方框图， 与实施方式 1 的图 2 对 应。
对与图 2 相同的部分标注同一标号， 并省略与其相关的说明。如图 8 所示， 本实施 方式的动作解析装置 300a 除了图 1 所示的结构以外， 还具有解析对象数据距离计算单元 360a 及显示信息生成单元 370a。本实施方式中， 动作数据输入单元 310 根据来自动作特征 提取单元 320 的请求， 从传感器装置 200 获取学习数据及解析对象数据， 并将其转送给动作 特征提取单元 320。
另外， 动作特征提取单元 320 从动作数据输入单元 310 输入的学习数据及解析 对象数据中提取动作特征量， 将提取出的动作特征量输出到解析对象数据距离计算单元 360a。
另外， 贡献度判定单元 350 将有关贡献度的适合性的判定结果输出到显示信息生 成单元 370a。解析对象数据距离计算单元 360a 根据从动作特征提取单元 320 输入的所有 的学习数据对第一～第三累计贡献率 ηK1 ～ ηK 分别求取部分空间。
下面， 将应用第一～第三累计贡献率 ηK1 ～ ηK3 计算出的部分空间依次称为第 一～第三部分空间。
另外， 作为解析对象数据距离计算单元 360a 计算的第一～第三部分空间的基础 的学习数据和作为主分量分析单元 330 计算出的第一～第三部分空间的基础的学习数据 不相同。
因此， 这些部分空间不必一致。而且， 解析对象数据距离计算单元 360a 对学习了 的第一～第三部分空间分别计算与解析对象数据的距离 ( 以下称为 “解析对象距离” )。
下面， 将对于第一～第三部分空间的解析对象距离依次称为第一～第三解析对象 距离。
而且， 解析对象数据距离计算单元 360a 将第一～第三解析对象距离输出到显示 信息生成单元 370a。 显示信息生成单元 370 根据贡献度判定单元 350 的判定结果和解析对 象数据距离计算单元 360a 的计算结果， 生成显示解析对象数据的解析结果的结果显示画 面。
而且， 显示信息生成单元 370 将生成了的结果显示画面通过输出装置 400 提示给
用户。具有这样的结构的动作解析装置 300a 可以将解析对象数据的解析结果 ( 即有无异 常动作 ) 与贡献度的适合性一起提示给用户。
即， 用户通过使用动作解析装置 300a， 可以确认贡献度的适合性， 同时进行动作的 解析。下面， 对动作解析装置 300a 的动作进行说明。图 9 是表示动作解析装置 300a 的整 体动作的流程图， 与实施方式 1 的图 4 对应。
与图 4 相同的部分标注同一步骤号， 并省略对其的说明。动作解析装置 300a 在进 行了贡献度判定处理后 (S4000， 图 5)， 进入步骤 S5000a。在步骤 S5000a， 动作特征提取单 元 320 提取全部学习数据的动作的动作特征量。然后， 学习数据距离计算单元 340 使用全 部学习数据， 进行基于第一～第三贡献度的各个贡献度的主分量分析， 生成第一～第三部 分空间。
另外， 动作解析装置 300a 也可以不执行步骤 S5000a 的处理而直接使用在步骤 S2000 生成的第一～第三部分空间。
而且， 在步骤 S6000a， 动作特征提取单元 320 提取解析对象数据的动作的动作特 征量。
另外， 动作解析装置 300a 可以在步骤 S5000a 的处理之前进行步骤 S6000a 的处 理， 也可以例如在步骤 S1000 之前或之后进行。 然后， 在步骤 S7000a， 动作特征提取单元 320 计算第一～第三部分空间和解析对象数据的动作特征量的距离 ( 解析对象距离 )。 然后， 在 步骤 S8000 中， 显示信息生成单元 370a 使用在步骤 S4000 判定出的贡献度的适合性和在步 骤 S7000a 计算出的每种贡献度的解析对象距离， 生成结果显示画面的显示数据。
然后， 显示信息生成单元 370a 将生成的显示数据输出到输出装置 400， 同时， 经由 输入装置 500 接受用户对结果显示画面的操作。通过这样的动作， 动作解析装置 300a 可以 将解析对象数据的解析结果 ( 即有无异常动作 ) 与贡献度的适合性一起提示给用户。 此外， 动作解析装置 300a 也可以变更贡献度， 同时重复步骤 S2000 ～ S7000a 的处理。
另外， 动作解析装置 300a 也可以变更贡献度， 同时重复步骤 S2000 ～ S4000 的处 理， 直至贡献度的判定结果成为所希望的结果， 其后执行步骤 S5000 ～ S7000 的处理。
由此， 动作解析装置 300a 可以使用与目的相一致的贡献度的主分量分析， 自动地 提取对应解析对象数据的非稳态动作的部分。另外， 动作解析装置 300a 也可以变更贡献 度， 同时重复进行步骤 S2000 ～ S7000 的处理， 直至贡献度的判定结果成为所希望的结果。
由此， 动作解析装置 300a 例如可以使用贡献度的适合性低的 ( 学习少的 ) 主分量 分析， 自动地提取解析对象数据的非稳态部分。另外， 动作解析装置 300a 能够使用贡献度 的适合性高的 ( 学习少， 且提取的非稳态部分被估计为个人差等级的 ) 主分量分析， 自动地 提取所提取的解析对象数据的非稳态部分。 结果显示画面可以仅显示基于判定为 “适当” 的 贡献度的解析结果， 也可以将基于第一～第三贡献度的解析结果与该贡献度的适合性一起 显示。图 10 是表示一例仅显示基于判定为 “适当” 的贡献度的解析结果的结果显示画面的 图。 如图 10 所示， 结果显示画面 610 具有解析结果显示区域 611、 播放按钮 612、 图像显示区 域 613、 暂停按钮 614、 结束按钮 615、 及标准动作显示区域 616。显示信息生成单元 370a 在 结果显示画面 610 中， 在解析结果显示区域 611， 显示解析对象距离的时间序列数据 617、 表 示规定的阈值的阈值显示线 618、 表示解析对象距离超过阈值的位置的标记 619。另外， 显 示信息生成单元 370a 在结果显示画面 610 中显示可左右移动操作的播放位置显示线 620。另外， 显示信息生成单元 370a 将表示显示中的解析对象距离的时间序列数据 617 是通过适 当的贡献度计算出的时间序列数据的消息 621 在结果显示画面 610 进行显示。在播放按钮 612 被点击时， 显示信息生成单元 370a 在图像显示区域 613 播放比较对象动作的摄影图像， 同时使播放位置显示线 620 与播放配合地移动。
另外， 在图像的播放中暂停按钮 614 被点击时， 显示信息生成单元 370a 暂停图像 的播放。
另外， 显示信息生成单元 370a 在标准动作显示区域 616 中， 与图像显示区域 613 中的比较对象动作的摄影图像的播放同步地播放标准动作的摄影图像。 通过提示这样的结 果显示画面 610， 用户能够通过使播放位置显示线 620 移动到标记 619 部分并点击播放按钮 612， 迅速地拾取异常动作的影像并加以确认。
另外， 用户可以将比较对象动作和标准动作进行视觉性比较。另外， 由于用户可 以确认是基于适当的贡献度的解析结果， 所以可以正确地理解解析对象数据的动作解析结 果。图 11 是表示一例将基于第一～第三贡献度的解析结果和该贡献度的适合性一起显示 的结果显示画面的图， 与图 10 相对应。对与图 10 相同的部分标注同一标号， 并省略对其的 说明。如图 11 所示， 结果显示画面 710 具有与第一～第三贡献度对应的第一～第三解析结 果显示区域 6111 ～ 6113 和显示各贡献度的适合性的贡献度适合性显示区域 711。显示信 息生成单元 370a 将表示第一～第三贡献度的解析对象距离超过阈值的位置的第一～第三 标记 6191 ～ 6193 在贡献度适合性显示区域 711 进行显示。
显示信息生成单元 370a 在该位置重叠的情况下， 例如优先显示与更低的贡献度 对应的标记 619。
而且， 显示信息生成单元 370a 将与各标记 619 对应的贡献度的适合性以该标记 619 的颜色或图案等进行显示。通过提示这样的结果显示画面 710， 用户可以同时确认贡 献度不同的多个动作解析结果和该贡献度的适合性， 因此， 能够正确地理解解析对象数据 的动作解析结果。 另外， 由于提示全部等级的解析结果， 所以用户可以更可靠地提取异常动 作。对于贡献度不同的解析对象距离而言， 由于其值可取的范围、 即其值表示的意思不同， 所以如果仅提示第一～第三解析结果显示区域 6111 ～ 6113， 用户难以综合把握这些解析结 果。
但是， 由于在结果显示画面 710 也提示表示各贡献度的适合性的贡献度适合性显 示区域 711， 所以用户能够容易地综合把握贡献度不同的解析结果。这样， 根据本实施方 式， 由于将贡献度的适合性和解析对象数据的解析结果一起提示给用户， 所以能够帮助用 户理解解析结果。 此外， 在以上说明的各实施方式中， 作为适合性判定的对象的贡献度设为 0.99、 0.9999、 0.999999， 但值及个数均不限于此。 另外， 贡献度的适合性的等级的个数及与 各等级对应的评价值不限于上述的例子。
另外， 成为解析的对象的动作数据不限于摄像机影像。
成为解析的对象的动作数据例如也可以是仅将由动态捕捉装置获取的标记的位 置进行图像化所得的数据、 或从标记的位置生成的动画数据。 另外， 用于解析的动作特征量 不限于 CHLAC 特征量。
用于解析的动作特征量例如也可以是使用了加权方向直方图的高次的局部特征 量。该情况下， 动作解析装置根据浓度梯度图像求取图像的局部的方向直方图且将求 出的方向直方图作为动作特征量即可。进而言之， 用于解析的动作特征量不限于从活动图 像数据中提取的动作特征量。
用于解析的动作特征量例如也可以是从动作得到的距离数据、 温度数据、 加速度 数据、 磁数据、 声音数据等可提取来表示动作的特征的多维的动作特征量的各种数据。
该情况下， 传感器装置需要采用距离传感器、 温度传感器、 加速度传感器、 及磁性 传感器、 集音传感器等适宜的装置。
这些传感器可以装配于动作的主体， 也可以装配于动作的主体所使用的道具。
例如， 传感器装置也可以将包含使用动态捕捉器获取的标记的识别号和位置信息 的时间序列的数据作为多维的动作特征量使用。另外， 动作解析装置也可以通过声音输出 与画面显示一起进行解析结果的提示、 或者取代画面表示而通过语音输出进行提示解析结 果的提示。
该情况下， 输出装置需要具备扬声器等。另外， 在以上说明的各实施方式中， 将本 发明应用于在工厂解析作业动作的装置， 但不限于此。
本发明可以应用于解析例如车辆驾驶、 运动、 烹调、 乐器演奏等各种动作的装置等 其它各种装置。 2010 年 5 月 27 日申请的特愿 2010-121658 的日本申请中包含的说明书、 附图及摘 要的公开内容全部在本申请被引用。 工业实用性本发明的动作解析装置及动作解析方法作 为可以简单地设定适合解析条件的贡献度的动作解析装置及动作解析方法是有用的。