技术领域
本发明涉及一种用于推定牛的健康状态的健康状态推定装置。
背景技术
以往，针对以牛为对象的健康管理，一直使用由身体状况分数、瘤胃填充分数和运动分数构成的牛信号分数。虽然这些牛信号分数是通过兽医和奶农的目视确认而进行数值化的，但是诊断频率问题和奶农在日常繁忙工作中的看漏等成为了问题，所以人们期待健康管理的自动化。作为这种研究，正在进行研究以通过将三轴加速度传感器安装到牛身上并分析其信号来确定蹄病(参见非专利文献1)。但是，这种安装型传感器因为奶农的人工安装成本高，并且对牛也带来压力，因而是不符合希望的。
因此，近年来，开发了一种用于使用摄像机等的非安装型传感器来推定对于蹄病诊断有效的运动分数的方法(参见非专利文献2)。例如，已经提出了一种使用了RGB摄像机的图像解析方法(参见非专利文献3、专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2015-173732号公报
非专利文献
非专利文献1：冈田，小林，花田，平沼，林，岚，千田，出口，佐藤，采用3轴加速度传感器的牛的蹄病诊断，工业动物临床医学杂志，Vol.2，No.4，pp.183-188，2011.
非专利文献2：A.Schlageter-Tello，E.Bokkers，P.Koerkamp，et al，“Manual and automatic locomotion scoring systems in dairy cows：A review”，Preventive veterinary medicine，Vol.116，No.1，pp.12-25，2014.
非专利文献3：A.Poursaberi，C.Bahr，A.Pluk，et al，“Real-time automatic lameness detection based on back posture extraction in dairy cattle：Shape analysis of cow with image processing techniques”，Computers and Electronics in Agriculture，Vol.74，No.1，pp.110-119，2010.
发明内容
本发明要解决的问题
然而，在非专利文献3记载的方法中手工操作地给出了分数推定所需的特征，还没有实现完全自动化。并且，在非专利文献3和专利文献1记载的方法中，是通过处理由RGB摄像机拍摄到的图像来进行分数推定的，因此，为了准确地推定分数，需要从特定方向观察牛。然而，难以使牛按照人们指示静止在特定位置，也对牛带来压力。并且，为了使牛相对于摄像机静止在特定位置，需要特殊设备等，在成本方面存在问题。
并且，在无法进行牛的准确定位时，分数推定精度方面也存在问题。
本发明的目的是针对这种情况而提供一种健康状态推定装置，其无需进行牛的准确定位就能够高精度地推定牛的健康状态。
用于解决课题的方案
为了实现上述目的，本发明的一个方面的健康状态推定装置是一种用于推定牛的健康状态的健康状态推定装置，具备：三维坐标取得部，取得从所述牛的距离图像中提取出的表示该牛的三维形状的三维坐标组；特征量提取部，根据所述三维坐标取得部取得的所述三维坐标组，提取所述牛的特征量；及分数计算部，根据所述特征量提取部提取出的所述特征量，计算出表示所述牛的健康状态的分数。
根据本发明另一方面的健康状态推定装置是一种用于推定牛的健康状态的健康状态推定装置，具备：三维坐标取得部，取得从所述牛的距离图像中提取出的表示该牛的三维形状的三维坐标组；及分数计算部，通过将每个表示牛的健康状态的分数进行分类后的该牛的三维坐标组的标准模型与所述三维坐标取得部取得的所述三维坐标组建立对应，计算出所述三维坐标取得部取得的所述三维坐标组所对应的所述牛的分数。
需要说明的是，本发明不仅可以实现为一种具有这样的特征性的处理部的健康状态推定装置，并且可以实现为一种健康状态推定方法，其步骤由健康状态推定装置中包含的特征性的处理部执行处理。并且，还可以实现为一种作为健康状态推定装置中包含的特征性处理部使计算机发挥作用的程序。而且，毋庸置疑的是，这种程序可以由CD-ROM(Compact Disc-Read Only Memory)等的计算机可读非暂时性记录介质或由因特网等的通信网络来分发。并且，本发明可以实现为用于实现健康状态推定装置的一部分或全部的半导体集成电路，或者可以实现为包括健康状态推定装置的健康状态推定系统。
发明效果
根据本发明，可以无需进行牛的准确定位就高精度地推定牛的健康状态。
附图说明
[图1]图1是本发明的实施方式1的健康状态推定装置的功能性构成的框图。
[图2]图2是特定牛的躯干位置和腿根部位置的方法的说明图。
[图3]图3是瘤胃区域的提取方法的说明图。
[图4]图4是表示瘤胃的凹陷程度的特征量的提取处理的说明图。
[图5]图5是牛的背线的提取方法的说明图。
[图6]图6是牛的行走状态的特征量的提取处理的说明图。
[图7]图7是体宽的特征量和脊柱位置的特征量的提取处理的说明图。
[图8]图8是线性回归模型的示例图。
[图9]图9的(a)是通过三维坐标取得部11取得的牛三维坐标组的示例图，(b)是平均深度特征的示例图，(c)是轮廓特征的示例图。
[图10]图10是使用SVM(Support Vector Machine：支持向量机)，对运动分数的等级进行分类的结果的示例图。
[图11]图11是通过与标准模型进行对比来特定瘤胃区域的方法的说明图。
[图12]图12是本发明的实施方式2的健康状态推定装置的功能构成的框图。
[图13]图13是使用了标准模型数据库的瘤胃填充分数和运动分数的计算方法的说明图。
具体实施方式
首先，列举本发明的实施方式进行说明。
(1)为了实现上述目的，本发明的实施方式的健康状态推定装置是一种推定牛的健康状态的健康状态推定装置，包括：三维坐标取得部，取得从所述牛的距离图像中提取出的表示该牛的三维形状的三维坐标组；特征量提取部，根据所述三维坐标取得部取得的所述三维坐标组，提取所述牛的特征量；及分数计算部，根据所述特征量提取部提取出的所述特征量，计算出表示所述牛的健康状态的分数。
根据该构成，从表示牛的三维形状的三维坐标组中提取特征量，根据该特征量来计算出表示牛的健康状态的分数。三维坐标组可以从距离图像中获得。因此，即使牛的姿势相对于摄像机稍微倾斜，也可以从距离图像中计算出牛的正确的三维坐标。由此，无需进行牛的准确定位，可以高精度地推定牛的健康状态。
(2)优选地，所述特征量提取部根据瘤胃区域的三维坐标组，提取表示该瘤胃的凹陷程度的特征量，该瘤胃区域是所述三维坐标取得部取得的所述三维坐标组中所述牛的瘤胃附近的所述牛的体表区域，所述分数计算部根据所述特征量提取部提取出的、表示所述瘤胃的凹陷程度的特征量来计算所述牛的瘤胃填充分数。
通过使用三维坐标组，可以将瘤胃(牛的第1胃)的凹陷程度作为特征量进行数值化。因此，可以正确地计算出瘤胃填充分数。
(3)更优选地，所述特征量提取部根据所述瘤胃区域的所述三维坐标组，提取该瘤胃区域中的曲率的直方图，作为表示所述瘤胃的凹陷程度的特征量。
在瘤胃区域没有凹陷的情况下，该区域的曲率相对变小，但是在瘤胃区域凹陷的情况下，该曲率相对变大。因此，通过使用曲率的直方图作为表示瘤胃的凹陷程度的特征量，可以正确地计算出瘤胃填充分数。
(4)此外，所述特征量提取部也可以根据所述瘤胃区域的所述三维坐标组，提取所述瘤胃区域与分配给该瘤胃区域的预定平面之间的距离，作为表示所述瘤胃的凹陷程度的特征量。
在瘤胃区域没有凹陷的情况下，该区域与上述预定平面之间的距离相对变小，但是在瘤胃区域凹陷的情况下，该距离相对变大。因此，通过将上述距离用作表示瘤胃的凹陷程度的特征量，可以正确地计算出瘤胃填充分数。
(5)此外，所述特征量提取部也可以根据所述瘤胃区域的所述三维坐标组，提取包围所述瘤胃区域的凸包与所述瘤胃区域之间形成的空间的体积，作为表示所述瘤胃的凹陷程度的特征量。
在瘤胃区域没有凹陷的情况下，包围瘤胃区域的凸包与瘤胃区域之间形成的空间的体积相对变小，在瘤胃区域凹陷的情况下，该体积相对变大。因此，通过使用该体积作为表示瘤胃的凹陷程度的特征量，可以正确地计算出瘤胃填充分数。
(6)更优选地，所述三维坐标取得部从时间序列的所述牛的距离图像中，取得时间序列的所述三维坐标组，所述特征量提取部根据时间序列的所述瘤胃区域的三维坐标组，提取所述瘤胃的凹陷程度最大时的表示所述瘤胃的凹陷程度的特征量。
根据该构成，由于使用时间序列的三维坐标组，所以可以提取出瘤胃的凹陷程度最大时的特征量。可以认为的是，兽医和奶农根据瘤胃的凹陷程度最大时瘤胃区域的形状确定瘤胃填充分数。因此，可以在与兽医和奶农相同的条件下计算出瘤胃填充分数，从而可以更加正确地计算出瘤胃填充分数。
(7)优选地，所述特征量提取部根据所述三维坐标取得部取得的所述三维坐标组，检测所述牛的背线，提取通过将预定曲线应用于检测到的所述背线而获得的该曲线的参数，作为所述背线的特征量，所述分数计算部根据所述特征量提取部提取出的所述背线的特征量，计算所述牛的运动分数。
牛的背线具有曲线形状。因此，可以通过将曲线应用于背线而获得的曲线的参数作为背线的特征量。因此，根据背线的特征量，可以正确地计算出运动分数。
(8)此外，所述特征量提取部也可以根据所述三维坐标取得部取得的所述三维坐标组，检测所述牛的背线，提取检测到的所述背线的从预定线的位移量作为所述背线的特征量，所述分数计算部根据所述特征量提取部提取出的所述背线的特征量，计算所述牛的运动分数。
例如，设预定线是直线时，在脊柱弯曲的牛的情况下，由于背线也弯曲，所以从预定线起的位移量相对变大。另一方面，在脊柱没有弯曲的牛的情况下，由于背线也几乎不弯曲，所以该位移量相对变小。因此，通过使用该位移量作为背线的特征量，可以正确地计算出运动分数。
(9)优选地，所述三维坐标取得部从时间序列的所述牛的距离图像中取得时间序列的所述三维坐标组，所述特征量提取部基于时间序列的所述三维坐标组提取所述牛的特征量。
根据该构成，时间序列的三维坐标组示出了牛的三维运动。因此，基于时间序列的三维坐标组的牛的特征量是表征牛的运动的值。由此，基于牛的运动可以计算出牛的分数。因此，可以高精度地推定与牛的运动相关的健康状态。
(10)更优选地，所述特征量提取部基于时间序列的所述三维坐标组，提取所述牛的行走状态的特征量，所述分数计算部基于所述特征量提取部提取出的所述牛的行走状态的特征量，计算所述牛的运动分数。
根据该构成，可以通过使用时间序列的三维坐标组来提取出表示牛的行走状态的特征量。因此，基于该特征量，可以正确地计算出牛的运动分数。
(11)此外，所述特征量提取部也可以基于时间序列的所述三维坐标组，提取出表示在所述牛的行走期间的向左右方向的倾斜度的变化的值，来作为所述牛的行走状态的特征量。
根据该构成，例如，可以将左肩低于右肩、且向左倾斜行走的情况表示为特征量。因此，基于该特征量，可以正确地计算出牛的运动分数。
(12)此外，所述特征量提取部也可以基于时间序列的所述三维坐标组，提取出表示在所述牛的行走期间腿的行走情况的值作为所述牛的行走状态的特征量。
根据该构成，例如，可以将牛的步幅、腿从躯干宽度的突出量等进行数值化，并表示为特征量。因此，基于该特征量，可以正确地计算出牛的运动分数。
(13)并且，所述特征量提取部也可以基于时间序列的所述三维坐标组，提取所述牛的步态特征量作为所述牛的行走状态的特征量。
根据该构成，可以将牛的行走习惯等表示为步态特征量。因此，基于这种步态特征量，可以正确地计算出牛的运动分数。
(14)优选地，也可以是，所述特征量提取部根据所述三维坐标取得部取得的所述三维坐标组，提取表示所述牛的体宽或者脊柱的位置的特征量，所述分数计算部基于所述特征量提取部提取出的表示所述牛的体宽或者脊柱的位置的特征量，计算出所述牛的身体状况分数。
根据该构成，例如，可以将牛的最大身躯宽度和脊柱沿身躯的高度等进行数值化，并表示为特征量。因此，基于该特征量，可以正确地计算出牛的身体状况分数。
(15)本发明的其他的实施方式的健康状态推定装置是一种用于推定牛的健康状态的健康状态推定装置，包括：三维坐标取得部，取得从所述牛的距离图像中提取出的表示该牛的三维形状的三维坐标组；针对每个表示牛的健康状态的分数进行分类后的该牛的三维坐标组的标准模型；分数计算部，通过与所述三维坐标取得部取得的所述三维坐标组建立对应，计算出所述三维坐标取得部取得的所述三维坐标组所对应的所述牛的分数。
最接近三维坐标取得部取得的三维坐标组的三维坐标组可以从针对每个分数预先分类的牛的三维坐标组的标准模型中选择。此外，可以将对应于所选择标准模型的分数作为牛的分数。三维坐标组可以从距离图像中获得。因此，即使牛的姿势相对于摄像机稍微倾斜，也可以从距离图像中计算出牛的正确的三维坐标。由此，无需进行牛的准确定位，就可以高精度地推定牛的健康状态。
[实施方式的详细描述]
以下，参考附图对本发明的实施方式进行详细描述。需要说明的是，以下所描述的实施方式都是本发明的一个优选的具体实施例。在以下实施方式中示出的数值、形状、材料、构成要素、构成要素的设置位置和连接方式、步骤、步骤顺序等是一例，并不意图限定本发明。本发明由权利要求书特定。由此，在以下实施方式中的构成要素中，未在显示本发明最上位概念的独立权利要求中描述的构成要素并非用于实现本发明所必须的，而是作为构成更优选方式的要素被描述。
(实施方式1)
以下，针对用于推定奶牛等的牛的健康状态的健康状态推定装置进行描述。也就是说，针对用于计算牛信号分数的健康状态推定装置进行描述，作为牛的健康状态的牛信号分数由身体状况分数、瘤胃填充分数和运动分数构成。
身体状况分数是指，表示牛的体脂肪积累程度的分数。瘤胃填充分数是指，表示干物质向瘤胃(牛的第1胃)的充满度的分数。运动分数是指，表示牛的跛行程度的分数。
[健康状态推定装置的构成]
图1是本发明的实施方式1的健康状态推定装置的功能构成的框图
健康状态推定装置10是一种用于推定牛的健康状态的装置，包括三维坐标取得部11、特征量提取部12、及分数计算部13。
三维坐标取得部11取得从牛的距离图像中提取出的、表示该牛的三维形状的三维坐标组。例如，在机器人挤奶机和挤奶厅等牛棚内的挤奶机的附近位置、且在能够拍摄到牛的左上方的位置，安装有距离图像传感器。距离图像传感器是一种向对象物照射红外光并从其反射时间测量与对象物之间的距离的传感器。三维坐标取得部11取得从该距离图像传感器拍摄到的距离图像中提取出的三维坐标组。从距离图像到三维坐标的转换可以由距离图像传感器执行，也可以由健康状态推定装置10执行。需要说明的是，三维坐标取得部11可以通过执行三维坐标组的背景差异，来取得牛的三维坐标组。
特征量提取部12基于三维坐标取得部11取得的三维坐标组，提取牛的特征量。也就是说，特征量提取部12提取以下示出的第1～第10特征量中的任一个特征量。其中，第1～第3特征量是表示牛的瘤胃的凹陷程度的特征量，用于计算瘤胃填充分数。第4和第5特征量是牛的背线的特征量，用于计算运动分数。第6～第8特征量是表示牛的行走状态的特征量，用于计算运动分数。第9和第10特征量是表示牛的体形的特征量，用于计算身体状况分数。
(第1特征量)瘤胃区域的局部曲率直方图
特征量提取部12基于瘤胃区域的三维坐标组提取表示该瘤胃的凹陷程度的特征量，该瘤胃区域是三维坐标取得部11取得的三维坐标组中牛的瘤胃附近的牛的体表区域。
首先，特征量提取部12从三维坐标取得部11取得的三维坐标组中特定牛的躯干位置和腿根部位置。图2是特定牛的躯干位置和腿根部位置的方法的说明图。在图2中，牛的各三维坐标由白色的点表示。需要说明的是，形成为预先进行坐标变换，以使得牛的前后方向为X轴、垂直方向为Y轴、与X轴和Y轴正交的方向为Z轴。例如，也可以将三维坐标组的主轴方向设为X轴。该坐标变换也可以由特征量提取部12执行。
(1)特征量提取部12将三维坐标组投影到地面和垂直方向上的二维投影面(YZ平面)上，并进一步投影到Y轴上。特征量提取部12针对距离地面的投影面上的每个高度(沿Y轴)，计数投影点的数量(曲线21)。在躯干部位，由于投影点的数量增多，在将构成牛的形状的点的总数设为N、将该高度的投影点的数量设为p时，使躯干存在于如下高度：
p/N>θ…(式1)。
此时，θ是阈值，θ取决于躯干相对于牛的表面积所占的比例和投影面的高度的分辨率。特征量提取部12将躯干所在高度中包含的点组的集合设为躯干的点组，将包括躯干的点组的长方体设为躯干区域22。
(2)然后，特征量提取部12将位于比被判定为躯干区域22的高度低的位置处的三维点组投影到与地面相等的平面(XZ平面)上(曲线23)。特征量提取部12以与(1)中相同的方式进行阈值处理，特定腿的存在区域24A～24C。特征量提取部12分别将处于躯干的前半部分的区域24A和24B设定为前腿区域，将处于后半部分的区域24C设定为后腿区域。
(3)在将躯干区域22的下端高度设为Ybottom、将前腿区域中包含的三维点组的XZ投影面上的重心坐标设为(Xg，0，Zg)时，特征量提取部12如下这样计算前腿根部25A的三维坐标。
(Xg，Ybottom，Zg)
特征量提取部12也类似地求出后腿根部25B的坐标。
(4)特征量提取部12从检测到的躯干区域22与腿根部25A和25B之间的相对位置关系中，提取瘤胃周围的三维点组(瘤胃区域)。图3是提取瘤胃区域的方法的说明图。
特征量提取部12提取躯干区域22中的前后腿根部25A与25B之间所包括的区域26。
当将腿根部的中点的X坐标设为Wh、将躯干高度的中心的Y坐标设为Hh、将躯干进深的中心的Z坐标设为Dh时，特征量提取部12提取点p作为瘤胃区域27中包含的点，其中点p为区域26中包含的三维点p＝(xp，yp，zp)中满足条件xp>Wh∩yp>Hh∩zp<Dh的点。
(5)对于瘤胃区域27中包含的各点，特征量提取部12根据与邻近点组的位置关系，计算曲率。例如，如图4(a)所示，计算各点32的曲率。特征量提取部12生成计算出的曲率的直方图。例如，如图4(b)所示，生成横轴表示曲率、纵轴表示频率的直方图。
特征量提取部12提取以这种方式计算出的瘤胃区域27中包含的各点32的曲率的直方图，作为表示该瘤胃的凹陷程度的特征量。
(第2特征量)瘤胃区域与平面之间的距离
此外，特征量提取部12也可以提取出以下特征量作为表示瘤胃的凹陷程度的特征量。
也就是说，特征量提取部12通过平面应用法将一个平面分配给瘤胃区域27。例如，也可以使用最小二乘法，将距离瘤胃区域27中包含的各点的距离的平方和最小的平面应用于瘤胃区域27。
参考图4(c)，特征量提取部12计算二进制特征或者各点距离平面31的带符号距离，该二进制特征表示瘤胃区域27中包含的各点32位于应用于瘤胃区域27的平面31的表面和背面的哪一侧。例如，特征量提取部12也可以针对每个点32提取出二进制特征，该二进制特征在点32位于平面31的表面上时表示1，在点32位于背面上时表示0。需要说明的是，二进制特征所表示的值并非限于1和0。此外，特征量提取部12也可以是，当点32位于平面31的表面上时，将距离平面31的距离设为正，当点32位于平面31的背面上时，将距离平面的距离设为负，计算出带符号的距离。需要说明的是，带符号的距离的正负也可以颠倒。
特征量提取部12提取所提取到的二进制特征或者带符号的距离的直方图、或二进制特征或者平面31上带符号的距离的二维分布，作为表示瘤胃的凹陷程度的特征量。
(第3特征量)瘤胃区域的体积特征量
此外，特征量提取部12也可以提取出以下特征量作为表示瘤胃的凹陷程度的特征量。
也就是说，如图4(d)所示，特征量提取部12生成包围瘤胃区域27的凸包33。该凸包33由平面或者椭圆体的一部分所形成。凸包33可以使用已知的三维凸包计算方法来计算出。
特征量提取部12提取瘤胃区域27中包含的三维坐标组与凸包33之间形成的空间34的体积，作为表示瘤胃的凹陷程度的特征量。
需要说明的是，期望在瘤胃最凹陷的状态下提取第1～第3特征量。因此，特征量提取部12基于时间序列的瘤胃区域的三维坐标组，提取瘤胃的凹陷程度最大时的表示瘤胃的凹陷程度的特征量。
例如，也可以将图4(c)所示的瘤胃区域27中包含的各点32与平面31之间的绝对值距离的总和最大时定义成瘤胃的凹陷程度最大时。此外，也可以将图4(d)所示的空间34的体积最大时定义成瘤胃的凹陷程度最大时。可以认为的是，兽医和奶农根据瘤胃凹陷程度最大时的瘤胃区域的形状确定瘤胃填充分数。因此，可以在与兽医和奶农相同的条件下计算出瘤胃填充分数，从而可以更加正确地计算出瘤胃填充分数。
(第4特征量)背线的曲线参数
特征量提取部12基于三维坐标取得部11取得的三维坐标组提取牛的背线的特征量。
图5是牛的背线的提取方法的说明图。
(1)特征量提取部12将牛的三维坐标组全部投影到XY平面上。
(2)特征量提取部12将如下点作为背线的起点42A和终点42B，该点是穿过将前后腿的根部25A和25B的三维坐标投影到XY平面上的点并且平行于Y轴的直线41A和41B上的最高点(Y坐标最大的点)。
(3)特征量提取部12通过以下任一种方法确定连接起点42A和终点42B的背线43。
也就是说，特征量提取部12将沿着X轴的最高点(Y坐标是最大的点)的轨迹设为背线43。其中，当检测到最高点时，也可以一并使用除去点组观测噪声的方法。
或者，特征量提取部12也可以设定位于比最高点充分高的位置并且平行于连接起点42A和终点42B而得到的直线的直线，将所设定的直线作为初始值，使用主动轮廓(active contour)方法将背线43与三维坐标组匹配。
(4)特征量提取部12提取通过将预定曲线应用于检测到的背线43而获得的该曲线的参数作为背线43的特征量。
例如，特征量提取部12将二次曲线、圆、椭圆或者四次曲线应用于背线43，并提取出表示这些曲线的参数作为背线43的特征量。
此外，特征量提取部12也可以将局部二次曲线应用于背线43，计算出局部曲率的直方图，并提取该直方图作为背线43的特征量。
(第5特征量)背线的从直线的位移
特征量提取部12也可以提取检测到的背线43的从预定线的位移量作为背线的特征量。例如，也可以提取如下值作为背线43的特征量，该值是将连接背线43的起点42A和终点42B而成的直线与背线43上的各点之间的距离的总计利用该直线的长度进行归一化而获得的值。对于背线43上的各点，例如，也可以相等间隔地选择。此外，也可以代替背线43上的各点，使用应用于背线43的曲线上的点。
此外，特征量提取部12也可以提取背线43的长度与连接背线43的起点42A和终点42B的直线的长度之比，作为背线43的特征量。
(第6特征量)双肩高度的时间变化
特征量提取部12也可以从时间序列的牛的距离图像中取得时间序列的三维坐标组，基于时间序列的三维坐标组提取牛的特征量。在第6～第8特征量中，以提取牛的行走状态的特征量作为牛的特征量为例进行描述。
提取特征量之前，特征量提取部12进行三维坐标组的对位，以使牛全身或者躯干位置在时间序列的三维坐标组之间建立对应。该三维坐标组通过例如ICP(Iterative Closest Point：迭代最近点)法或一致性点漂移(Coherent Point Drift)法进行对位。
然后，特征量提取部12基于时间序列的三维坐标组提取出表示牛行走时向左右方向的倾斜度的变化的值，作为牛的行走状态的特征量。也就是说，提取以下的方法1和方法2中的任一种或者两种作为牛的行走状态的特征量。
(方法1)使用双肩的高度变化的不均匀性的方法
参考图6(a)，特征量提取部12以穿过前腿根部25A并平行于YZ平面的平面51来切割三维坐标组，从而提取该平面51中所包含的三维坐标组。对于后腿根部25B，也同样地提取平面51中所包含的三维坐标组。
参考图6(b)，关于各平面51，特征量提取部12将直线53分配给在属于该平面51的三维坐标组中属于脊背的三维坐标组，计算其倾斜度。这是在预定数量的行走周期或预定时间内计算的。由此，获得如图6(c)所示的横轴是时间而纵轴是倾斜度的曲线图。需要说明的是，例如，属于脊背的三维坐标组也可以是，在属于平面51的三维坐标组中从Y坐标最大时的坐标起在Y轴方向上的预定距离之内的坐标组。此外，例如，直线53也可以是与属于脊背的三维坐标组的距离的平方和为最小的直线。
特征量提取部12通过以下的公式2计算出步行的变化尺度，并将计算出的变化尺度作为牛的行走状态的特征量。
步行的变化尺度＝|倾斜度为正的时间-行走时间的一半时间|
…(式2)
(方法2)基于傅立叶变换的方法
与方法1同样，对于穿过前腿根部25A的平面51和穿过后腿根部25B的平面51中的每一个，特征量提取部12通过对属于该平面51的三维坐标组中的属于脊背的时间序列(1个周期以上)的三维坐标组进行频率变换(例如，傅立叶变换)，求出三维坐标组的上下运动的频率。
当将基于频率转换求出的i倍频率设为fi时，特征量提取部12提取由以下的公式3或公式4表示的特征量。公式3示出了上下运动的变化的大小，并且被认为公式3中的值越大，蹄就越存在问题。公式4示出了上下运动的变化是否接近sin波，并且行走方式越不均匀，公式4中的值就越大。
[数学式1]
(第7特征量)腿的行走情况
特征量提取部1基于时间序列的三维坐标组，提取表示在牛的行走期间的腿的行走情况的值，作为牛的行走状态的特征量。
也就是说，在地面(XZ平面)与躯干区域22下端之间的中点的高度位置，特征量提取部12制成平行于地面(XZ平面)的薄片截面，从在该截面中包含的三维坐标组中求出各腿的位置。例如，也可以在该截面内进行三维坐标组的聚类，并且将预定尺寸以上的区域位置作为各腿的位置。
特征量提取部12取得各腿在几个步行周期上的位置，并从其轨迹开始计算以下的步幅或腿的迈开程度的特征量。
也就是说，特征量提取部12计算如下的值作为步幅的特征量，该值是将行走期间的前腿与后腿之间的最短距离利用前腿和后腿根部25A与25B之间的距离将最短距离归一化而得到的值。需要说明的是，在能够计算出各四肢的步幅的情况下，也可以计算出将它们平均后的步幅。
此外，对于躯干区域22的Z轴方向上的最大宽度，特征量提取部12计算行走中的各腿迈出的距离。也就是说，特征量提取部12计算四肢中迈出最远的腿距离躯干区域22的侧面的距离和各腿的距离躯干区域22的侧面的距离的方差，将计算出的值作为腿迈开程度的特征量。
(第8特征量)步态特征
对于奶牛，特征量提取部12计算用于人物步态认证的步态特征量，作为牛的行走状态的特征量。本方法不仅可适用于特定的部位，而且可适用于全身或者各部位。虽然步态特征的典型示例如以下a～d所示，但是也可以使用其他的各种步态特征。
a：基于二维轮廓特征和其频率变换的步态特征(例如Gait Energy Image(非专利文献4))
b：基于三维轮廓特征和其频率变换的步态特征(例如Depth-based Gait Feature(非专利文献5))
c：不采用轮廓的步态特征(例如，采用局部特征量直方图的Spatio-Temporal HOG特征(非专利文献6))
d：不是针对全身而是针对每个部位，计算上述步态特征的方法(例如非专利文献7)
非专利文献4：“Individual recognition using gait energy image.”，J.Han，B.Bhanu，IEEE Transactions on Pattern Analysis and Machine Intelligence，28(2)，pp.316-322，2006.
非专利文献5：“Depth-based gait feature representation.”，H.Nakajima，I.Mitsugami，Y.Yagi，IPSJ Trans.on Computer Vision and Applications，vol.5，pp.94-98，2013.
非专利文献6：“Person re-identification using view-dependent score-level fusion of gait and color features.”，R.Kawai，Y.Makihara，C.Hua，H.Iwama，Y.Yagi，Proc.21st International Conference on Pattern Recognition(ICPR)，pp.2694-2697，2012.
非专利文献7：“Clothing-invariant gait identification using part-based clothing categorization and adaptive weight control.”，M.Hossain，Y.Makihara，J.Wang，Y.Yagi，Pattern Recognition，43(6)pp.2281-2291，2010.
需要说明的是，特征量提取部12也可以使用步态(行走方式)的摇动特征作为步态特征。可以认为的是，在具有步态干扰的奶牛的情况下，在周期内腿的拖行方式和行走姿势的进展情况上会出现变化。根据这一事实，如以下e和f所示，特征量提取部12计算出在周期内的步态的摇动特征。本方法不限于特定的部位，可适用于全身或者每个部位。
e：使用在周期内步态姿势(相位)的进展速度的变化作为步态中的时间性摇动。
f：使用在周期内轮廓差异的平均值，作为步态中的空间性摇动。
(第9特征量)体宽的特征量
特征量提取部12基于三维坐标取得部11取得的三维坐标组，提取出表示牛的体宽的特征量。
和图6(b)一样，图7(a)是属于平面51的三维坐标组的示例图。如图7(a)所示，提取以下距离作为体宽，该距离是Y坐标最大的三维坐标与Z坐标最小的三维坐标之间的在Z轴方向上的距离。
此外，特征量提取部12也可以提取以下距离作为体宽，该距离是从后方看牛时的、Y坐标最大的三维坐标与Z坐标最小的三维坐标之间的在Z轴方向上的距离。此时，除脖子和头部之外的三维坐标，还进行处理。
由此，与利用现有的RGB摄像机需要从正上方或者正后方进行拍摄的情况相比较，利用距离图像传感器进行的形状测量，从斜上方进行的拍摄等也可以计算相同的特征。
(第10特征量)脊柱位置的特征量
特征量提取部12基于三维坐标取得部11取得的三维坐标组，提取出表示牛的脊柱位置的特征量。
也就是说，特征量提取部12沿着如图5所示的连接背线的起点42A和终点42B的直线，以预定间隔设定多个平行于YZ平面的平面。将各平面称为薄片。例如，如图7(a)所示，在各薄片中，提取出三维坐标组。参考图7(b)，针对每片薄片，特征量提取部12计算高度差Hx，该高度差是包含在该薄片中的三维坐标组的最高点(Y坐标是最大的点)与从该最高点向左或右离开距离L的点之间的高度差。特征量提取部12通过以下a～c中的任一种方法，来取得表示牛的脊柱位置的特征量。
a：基于平均化的方法
特征量提取部12对整个背线上的高度差进行平均化。也就是说，当薄片数量为Ns时，特征量提取部12按照以下公式5，计算尺度Hb，将尺度Hb作为表示牛的脊柱位置的特征量。
[数学式2]
b：基于直方图的方法
特征量提取部12制成横轴为Hx、纵轴为频率的直方图，并将该直方图作为表示牛的脊柱位置的特征量。
c：将变化作为特征量的方法
特征量提取部12将因薄片沿X轴的移动而产生的Hx的变化轨迹作为特征量。
再次参考图1，分数计算部13基于特征量提取部12计算出的第1～第10特征量中的任一个特征量，计算瘤胃填充分数、运动分数或者身体状况分数。
分数计算部13根据通过将各特征量60作为说明变量、将分数作为目的变量的回归分析而获得的回归模型，计算针对各特征量的分数。
需要说明的是，如果特征量以固定长度次元被表现的话，在与以特征量作为说明变量的分数之间进行回归分析。特别是，由于在做非常态动作的牛的特征提取中包含了偏离值和误差，所以通过利用也考虑了偏离值的存在的支持向量回归、在分数的推定值的基础上也求出推定误差的高斯过程回归，可以牢固地进行分数推定。
此外，在特征量不作为固定长度次元的时间序列信号的情况下，使用自我动态时间伸缩等方法，对固定长度次元的特征量进行取样后，进行与上述相同的回归分析。或者，将基于对分数和时间序列信号的学习集的动态时间伸缩的匹配度视为核函数值，利用基于核函数进行了非线性扩展的支持向量回归和高斯过程回归等，进行分数推定。
例如，分数计算部13基于通过预先学习获得的线性回归模型，来计算各特征量的分数。
图8是线性回归模型的示例图。线性回归模型61是通过进行以各特征量60为说明变量、以分数为目的变量的回归分析，而预先被计算出来的。需要说明的是，分数是兽医或奶农预先给出的分数。由此，例如，对于特征量62的分数，可以基于线性回归模型61计算为3.5。如果分数用5个阶段表示的话，则也可以将计算出的分数进行四舍五入。
通过这种方法，分数计算部13基于第1～第3特征量中的至少一个来计算瘤胃填充分数。此外，分数计算部13基于第4～第8特征量中的至少一个来计算运动分数。此外，分数计算部13基于第9和第10特征量中的至少一个来计算身体状况分数。
需要说明的是，分数计算部13也可以基于上述任一个特征量，将牛分类到上述任一个分数所对应的等级中。例如，特征量提取部12也可以基于上述任一个分数，将牛分类到运动分数为1的等级1和运动分数为2以上的等级2中的任一个等级中。
也就是说，在本公开中，所谓的分数计算包括向分数所对应等级进行的分类。
[实验结果]
然后，对使用健康状态推定装置10进行的运动分数计算的实验结果进行说明。
在这里，特征量提取部12从三维坐标取得部11取得的成为对象的牛的三维坐标组中，计算出上述第8特征量(步态特征)。具体来说，特征量提取部12计算上述步态特征中作为二维轮廓特征之一的平均轮廓特征和作为三维轮廓特征之一的平均深度特征。
此外，分数计算部13使用SVM(Support Vector Machine)，利用特征量提取部12提取出的特征量，将成为对象的牛的运动分数分类到1或2以上中的任一种中。
图9(a)是三维坐标取得部11取得的牛的三维坐标组的示例图。在图9(a)中，牛的三维坐标用带白色的点表示。图9(a)是牛的侧面图。在这里，三维坐标取得部11针对每头牛，从预定数据库中取得一个行走周期的三维坐标组。
假定采用在牛的上方虚拟设置的摄像机21进行牛的拍摄的情况下，特征量提取部12通过对图9(a)所示的三维坐标组进行坐标变换，取得从摄像机21到牛的背面的深度数据。特征量提取部12从一个行走周期的深度数据中，计算牛的背面各点的平均深度。图9(b)是平均深度特征的示例图，在图9(b)的中央附近处配置的各像素示出了牛的背面各点的平均深度。除了牛以外的背景部分，示出了点越白，距离摄像机21的距离就越大。公式6是用于计算平均深度的公式。其中，μ(x，z)表示坐标(x，z)的平均深度，dm(x，z)表示第m张图像的坐标(x，z)中的深度数据，M(x，z)表示在一个行走周期量的三维坐标组中的坐标(x，z)中观测到深度数据的三维坐标组的个数。
[数学式3]
基于平均深度特征，可以表现出脊背的圆度
另外，假定采用在牛的上方虚拟设置的摄像机21进行牛的拍摄的情况下，特征量提取部12通过对图9(a)中所示的三维坐标组进行坐标变换，制成牛的轮廓图像。特征量提取部12从一个行走周期的轮廓图像中，针对每个像素计算轮廓的出现概率。图9(c)是轮廓特征的示例图，在图9(c)的中央附近处配置的各像素示出了牛的轮廓的出现概率。除了牛以外的背景部分，示出了点越白，轮廓图像的出现概率就越高。公式7是用于计算轮廓的出现概率的公式。其中，P(x，z)表示轮廓在坐标(x，z)中的出现概率，N表示一个行走周期的三维坐标组的个数，M(x，z)如上所述。
[数学式4]
分数计算部13使用已学习的SVM，将特征量提取部12提取的平均深度特征或轮廓特征分类到两种等级中的任一种中。也就是说，分数计算部13将其分类为运动分数为1的等级1和运动分数为2以上的等级2中的任一种等级中。
需要说明的是，SVM的学习是基于由奶农所赋予的运动分数、从用于学习的三维坐标组中提取的平均深度特征或平均轮廓特征而进行的。此时，各特征量是高维数据。因此，在学习之前进行了使用了主成分分析的维数压缩。维数压缩后的数据作为平均深度特征或平均轮廓特征进行学习，作为2等级分类器得到SVM。
图10是使用SVM对运动分数的等级进行分类的结果的示例图。在这里，关于16头牛进行了总计523组的三维坐标组的序列的分类实验。在图10所示的表中，第一列示出了用于等级分类的特征量和SVM的内核。第二列的「正解率(％)」示出了整个等级分类的正解率(％)。第三列的「对于等级1的正解率(％)」示出了正确分类到等级1中的牛与应分类到等级1中的牛的比例。第四列的「对于等级2的正解率(％)」示出了正确分类到等级2中的牛与应分类到等级2中的牛的比例。此外，在图10所示的表中，粗框示出了各列中最高的正解率。
根据该表可知，作为SVM的内核，与线形(Linear)内核相比，采用RBF(Radial Basis Function)内核的正解率更高。此外，可知采用线形内核的SVM不适用于分类，但是采用RBF内核的SVM显示出90％以上的正解率。特别是，可知在通过采用RBF内核的SVM进行平均轮廓特征分类的情况下，能够以接近100％的正解率进行分类。
需要说明的是，作为以往的方法，有非专利文献8记载的方法。在以往的方法中，将牛的脊背的弯曲程度作为特征。具体来说，在牛的脊柱位置拟合成椭圆形，利用角度和长度来表现脊柱的位置关系，并作为特征量使用。在非专利文献8记载的以往的方法中，针对运动分数为2以下的等级和为3以上的等级中的2个等级进行分类，得到约9成的精度。
非专利文献8：Viazzi et al.，“Comparison of a three-dimensional and two-dimensional camera system for automated measurement of back posture in dairy cows”，Computers and Electronics in Agriculture，139-147，2014.
参考以往的方法所使用的特征量和类似的平均深度，从图10所示的结果来看，在以往的方法中，认为分类到运动分数为2以上的等级2中的正解率是70％左右。与此相对，如上所述，在本实施方式中，通过使用考虑了运动的轮廓特征作为特征量，分类到运动分数为2以上的等级2中的正解率约为97％。因此，可知根据本实施方式中公开的健康状态推定装置10，能够高精度地进行运动分数的等级分类。
[实施方式1的效果]
如上所述，根据实施方式1的健康状态推定装置10，从表示牛的三维形状的三维坐标组中提取特征量，根据该特征量来计算出表示牛的健康状态的分数。三维坐标组可以从距离图像中获得。因此，即使牛的姿势相对于摄像机稍微倾斜，也可以从距离图像中计算出牛的正确的三维坐标。由此，无需进行牛的准确定位，就可以高精度地推定牛的健康状态。
在瘤胃区域没有凹陷的情况下，该区域的曲率相对变小，然而在瘤胃区域凹陷的情况下，该曲率相对变大。因此，通过将第1特征量所示的曲率的直方图用作表示瘤胃的凹陷程度的特征量，可以正确地计算出瘤胃填充分数。
此外，在瘤胃区域没有凹陷的情况下，瘤胃区域与应用于瘤胃区域的平面之间的距离相对变小，在瘤胃区域凹陷的情况下，该距离相对变大。因此，通过将第2特征量所示的上述距离用作表示瘤胃的凹陷程度的特征量，可以正确地计算出瘤胃填充分数。
此外，在瘤胃区域没有凹陷的情况下，第3特征量所示的包围瘤胃区域的凸包与瘤胃区域之间形成的空间的体积相对变小，在瘤胃区域凹陷的情况下，该体积相对变大。因此，通过将该体积用作表示瘤胃的凹陷程度的特征量，可以正确地计算出瘤胃填充分数。
此外，牛的背线具有曲线形状。因此，如第4特征量所示，可以以通过将曲线应用于背线而获得的曲线的参数作为背线的特征量。由此，可以正确地计算出运动分数。
此外，在脊柱弯曲的牛的情况下，由于背线也弯曲，因此第5特征量所示的自直线的位移量相对变大。另一方面，在脊柱没有弯曲的牛的情况下，由于背线也几乎没有弯曲，所以该位移量相对变小。因此，通过将第5特征量用作背线的特征量，可以正确地计算出运动分数。
此外，例如，通过使用第6特征量，可以将左肩低于右肩且向左倾斜行走表示为特征量。因此，基于第6特征量，可以正确地计算出牛的运动分数。
此外，例如，通过使用第7特征量，可以将牛的步幅、腿自躯干宽度的突出量等进行数值化而表示作为特征量。因此，基于第7特征量，可以正确地计算出牛的运动分数。
此外，通过使用第8特征量，可以将牛的行走习惯表示作为步态特征量。因此，基于这种步态特征量，可以正确地计算出牛的运动分数。
此外，通过使用第9或第10特征量，可以将牛的最大身躯宽度和脊柱的沿着身躯的高度等进行数值化而表示作为特征量。因此，基于该特征量，可以正确地计算出牛的身体状况分数。
(实施方式1的变形例)
接下来，对实施方式1的变形例进行说明。
在本变形例中，瘤胃区域和背线等位置的特定方法与实施方式1不同。也就是说，在本变形例中，通过进行着眼的牛的三维坐标组与预先规定的牛的三维坐标组的模型之间的对位，特定瘤胃区域和背线等的位置。
也就是说，关于多头牛，取得了三维坐标组，这些多头牛的三维坐标组是通过ICP法和Coherent Point Drift法等进行对位的。此外，从对位结果中求出的牛的躯干部分的平均形状是作为牛的标准模型被预先准备的。另外，对于标准模型，在瘤胃区域等标记有部位信息。图11(a)是标准模型和被标记的瘤胃区域的示例图。
特征量提取部12通过将图11(b)所示的、作为特征提取对象的牛的三维坐标组与图11(a)所示的标准模型进行对位，特定被标准模型所标记的瘤胃区域和与背线相对应的位置，特定作为对象的牛的瘤胃区域和背线等的位置。
(实施方式2)
在实施方式1中，通过使用回归分析，计算出牛的分数。在实施方式2中，通过将针对每个分数准备的标准模型与作为分数计算的对象的牛的三维坐标组进行对比，计算出牛的分数。
图12是本发明的实施方式2的健康状态推定装置的功能构成的框图。
健康状态推定装置15是一种用于推定牛的健康状态的装置，包括三维坐标取得部11、标准模型存储部16、及分数计算部17。
三维坐标取得部11与实施方式1一样，取得从牛的距离图像中提取出的、表示该牛的三维形状的三维坐标组。
标准模型存储部16是一种存储装置，用于存储表示每个分数的牛的标准模型的标准模型数据库，由HDD(Hard Disk Drive)和RAM(Random Access Memory)等存储装置所构成。
图13(a)是标准模型数据库的示例图。针对以运动分数为横轴、以瘤胃填充分数为纵轴时的每个分数的组合，存储标准模型。也就是说，关于多头牛的各头牛，由兽医或奶农赋予运动分数和瘤胃填充分数。针对运动分数和瘤胃填充分数的每一个组合，具有该组合分数的牛的三维坐标组是通过ICP法、Coherent Point Drift法等进行对位的、从对位结果中求出的牛躯干部分的平均形状是作为牛的标准模型被预先准备的。
分数计算部17通过将图13(b)所示的作为分数计算的对象的牛的三维坐标组与图13(a)所示的标准模型数据库中包含的各标准模型进行对位，来建立对应。分数计算部17选择对位结果是建立对应后的距离残差最小的标准模型，计算该标准模型所对应的运动分数和瘤胃填充分数的组合，并作为成为对象的牛的运动分数和瘤胃填充分数。
需要说明的是，在图13(a)所示的标准模型数据库中，针对运动分数和瘤胃填充分数的每一个组合，准备了标准模型，另外，也可以加上身体状况分数，针对运动分数、瘤胃填充分数和身体状况分数的每一个组合，准备标准模型。此外，也可以针对身体状况分数和运动分数或者瘤胃填充分数的每一个组合，准备标准模型。
此外，牛的标准模型也可以是三维坐标组的时间序列的数据。由此，可以更详细地表现牛的行走状态。
如上所述，根据实施方式2，可以从标准模型数据库中选择距离三维坐标取得部11取得的三维坐标组最接近的标准模型。此外，可以将对应于所选择的标准模型的分数作为牛的分数。三维坐标组可以从距离图像中获得。因此，即使牛的姿势相对于摄像机稍微倾斜，也可以从距离图像中计算出牛的正确的三维坐标。由此，无需进行牛的准确定位就可以高精度地推定牛的健康状态。
具体来说，上述的健康状态推定装置10和15也可以被配置为由微处理器、ROM、RAM、硬盘驱动器、显示单元、键盘、鼠标等构成的计算机系统。在RAM或者硬盘驱动器中，存储有计算机程序。通过微处理器根据计算机程序进行动作，从而各装置实现其功能。其中，为了实现预定功能，计算机程序构成为对多个表示计算机指令的指令代码进行组合而成。
另外，构成上述的各装置的一些或所有构成要素也可以由1个系统LSI(Large Scale Integration：大规模集成电路)构成。
此外，本发明可以是上述所示的方法。此外，本发明也可以是通过计算机实现这些方法的计算机程序。
此外，上述程序中包含的各步骤也可以由多个计算机执行。
另外，也可以分别对上述实施方式和上述变形例进行组合。
应该认为的是，本次公开的实施方式仅是在所有方面的一个示例，而并非是限制性的。本发明的范围不是上述含义，而是由权利要求书限定，并且旨在包含与权利要求书等同的含义和范围内的所有修改。
工业实用性
本发明可以适用于一种用于推定牛的健康状态的健康状态推定装置等。
符号说明
10，15 健康状态推定装置
11 三维坐标取得部
12 特征量提取部
13，17 分数计算部
16 标准模型存储部。