不定形体位置推定方法、不定形体位置推定装置以及程序技术领域
本发明涉及不定形体位置推定方法、不定形体位置推定装置以及程序，
特别是涉及对多个不定形体的重叠的上下进行推定的不定形体位置推定方
法等。
背景技术
近年，进行了使用了机械手的箱柜拾取(binpicking)系统的开发。
箱柜拾取是指从随意层叠的多个物体之中依次把持物体，并将其搬运至特
定的场所。在箱柜拾取中，希望把持对象物的重心位置的附近，因此对象
物的重心位置信息是重要的。
在箱体内存在、散装有多个对象物的状态下进行重心位置推定。这些
对象物因搬运中的振动、冲击等而在箱体内偏斜、重叠。在如此产生偏斜、
重叠的情况下，需要分别进行对应的处理。特别是在对象物彼此重叠而产
生遮蔽的情况下，难以进行拾起对象的检测。
以往，利用几何形状的特征等来推定作为刚体的检测对象物的重心位
置。另外，在非专利文献1中记载有如下内容：针对不定形工件，利用三
维图像识别来取得位置信息。
非专利文献1：AplliedVisionSystemsCorporation，“实时三维图像
处理散装不定形工件拾取系统”，[在线]，互联网
<URL＝"http://avsc.jp/images/pdf/Picking-system.pdf">
然而，例如在将像收纳食品、小物件的局部透明的柔软袋状工件那样
整体形状容易产生变化、表面为不定形的曲面的不定形体作为对象的情况
下，由于与刚体不同，其形状会产生变化，所以无法利用几何形状等。因
此，以刚体为对象的方法无法应用于不定形体。
另外，非专利文献1所记载的方法利用三维图像识别处理。因此，例
如将米袋那样的具有大的平面的不定形工件作为对象，通过进行平面的检
测从而求出把持位置。不定形体的整体形状容易产生变形，并且表面通常
为不定形的曲面。因此，非专利文献1所记载的方法是将局部具有平面的
不定形工件作为对象的方法，难以应用于整体容易变形的通常的不定形体。
发明内容
由此，本发明的目的在于提供一种能够高精度地对整体形状容易变形
的不定形体的重叠的上下关系进行推定的不定形体位置推定方法等。
本申请发明的第一方面是对多个不定形体的重叠的上下进行推定的不
定形体位置推定方法，包括：测定步骤，距离测定单元对存在所述多个不
定形体的区域测定距离；阈值设定步骤，阈值设定单元设定用于对所述距
离测定单元所测定的区域中产生了所述多个不定形体的重叠的区域与没有
产生重叠的区域进行区别的阈值；以及上下推定步骤，上下推定单元使用
所述距离测定单元测定出的与所述多个不定形体的距离，根据对比所述阈
值高的部分和/或比所述阈值低的部分进行评价的评价指标来进行所述多
个不定形体的重叠的上下推定。
本申请发明的第二方面是第一方面的不定形体位置推定方法，包括重
叠模式推定步骤，重叠模式推定单元对所述距离测定单元所测定的区域，
根据对象物区域的外形来得到对象物候补，在所述上下推定步骤中，若存
在多个对象物候补，则所述上下推定单元对所述各对象物候补，使用在位
于上方的情况下成为高评价的评价指标，选择成为最高评价的所述对象物
候补作为位于重叠的上方的对象物。
本申请发明的第三方面是第二方面的不定形体位置推定方法，所述上
下推定单元使用的评价指标包括所述对象物候补的比所述阈值低的区域的
面积、所述对象物候补的体积、所述对象物候补的区域内的梯度、所述对
象物候补的边吻合度以及所述对象物候补的角吻合度中的至少一个。
本申请发明的第四方面是一种对多个不定形体的重叠的上下进行推定
的不定形体位置推定装置，具备：距离测定单元，其对存在所述多个不定
形体的区域测定距离；阈值设定单元，其设定用于对所述距离测定单元所
测定的区域中产生了所述多个不定形体的重叠的区域与没有产生重叠的区
域进行区别的阈值；以及上下推定单元，其使用所述距离测定单元测定出
的与所述多个不定形体的距离，根据对比所述阈值高的部分和/或比所述阈
值低的部分进行评价的评价指标来进行所述多个不定形体的重叠的上下推
定。
本申请发明的第五方面是一种程序，用于使计算机作为阈值设定单元
与上下推定单元发挥功能，所述阈值设定单元设定用于对由距离测定单元
测定了距离的存在多个不定形体的区域中的、产生了所述多个不定形体的
重叠的区域与没有产生重叠的区域进行区别的阈值，所述上下推定单元使
用所述距离测定单元测定出的与所述多个不定形体的距离，根据对比所述
阈值高的部分和/或比所述阈值低的部分进行评价的评价指标来进行所述
多个不定形体的重叠的上下推定。
此外，也可以将本申请发明理解为稳定记录第五方面的可供计算机读
取的记录介质。
另外，距离测定单元可以是测定该距离测定单元与多个不定形体的距
离的单元，也可以构成为，不定形体存在于地面上，距离测定单元测定不
定形体距地面的距离。
根据本申请发明的各方面，通过主要利用距离信息，即使是透明的部
分也能够高精度地进行推定，并且，通过设定阈值来区别产生了重叠部分
的地方与没有产生重叠部分的地方，并利用高地方与低地方的关系来推定
上下关系，从而能够对重叠的部分与不重叠的部分进行评价来高精度地推
定上下关系。
进而，根据本申请发明的第二方面，通过使用模板匹配(template
matching)来得到对象物候补，使用它并使用多个评价指标来推定上下关
系，从而能够高精度地对上侧对象物进行位置检测。进而，根据本申请发
明的第三方面，通过将多个评价指数具体地组合在一起，能够实现高精度
的位置检测率。根据发明人的实验，在模板匹配成功了的情况下，上侧对
象物的位置检测率为100％。
附图说明
图1是表示本申请发明的实施例所涉及的箱柜拾取系统的结构的一例
的框图。
图2是表示图1的信息处理装置5的动作的一例的流程图。
图3是用于说明图2的步骤ST7的阈值ho的设定处理的具体例的图。
图4是表示图2的步骤ST8的重叠模式的推定处理的一例的流程图。
图5是用于说明图4的重叠模式的推定处理的具体例的图。
图6是说明图6(a)刚体与图6(b)柔软体的投影下的面积的不同的
图。
图7表示柔软体中的具体的一例，图7(a)示出体积，图7(b)示出
梯度，图7(c)示出边吻合度。
图8针对实际得到的图8(a)颜色图像与图8(b)距离图像，示出图
8(c)面积、图8(d)体积、图8(e)梯度、图8(f)边吻合度、图8(g)
角吻合度。
图9是表示作为评价指标1的低区域的面积计算处理的一例的流程图。
图10是表示作为评价指标2的体积计算处理的一例的流程图。
图11是表示作为评价指标3的梯度值计算处理的一例的流程图。
图12是表示作为评价指标4的边吻合度计算处理的一例的流程图。
图13是表示从对象物抽出的角的图。
图14是表示角抽出处理的一例的流程图。
图15是表示作为评价指标5的角吻合度计算处理的一例的流程图。
图16是表示重叠的上下推定实验的处理经过的图。
图17是表示在上下推定实验中准备的30个数据中的、向上侧对象物
的中心附近输出了目标卡爪位置的27个数据的图。
附图标记的说明
1...箱柜拾取系统；3...测定部；4...把持部；5...信息处理装置；7...箱体；
9...不定形体；11...颜色传感器部；13...距离传感器部；15...臂控制部；17...
臂部；21...控制部；23...阈值设定部；25...重叠模式推定部；27...上下推定
部；29...重心位置推定部。
具体实施方式
以下，参照附图，对本申请发明的实施例进行叙述。此外，本申请发
明的实施方式并不限定于以下的实施例。
实施例
图1是表示本申请发明的实施例所涉及的箱柜拾取系统的结构的一例
的框图。箱柜拾取系统1具备测定部3、把持部4以及信息处理装置5。在
箱柜拾取系统1中，测定部3对箱体7内进行测定，在信息处理装置5判
断为存在不定形体9的情况下，把持部4进行取出不定形体9的处理。反
复进行处理直至不定形体9变为不存在为止。在图1中，示出了在箱体7
内存在有两个不定形体91以及92的情况。以下，有时也省略下标。多个不
定形体9散装于箱体7，因搬运中的振动、冲击等而偏斜、重叠。另外，
也存在在拾取中途落下而导致重叠的情况。
不定形体9是整体形状容易产生变化，表面为不定形的曲面的物体。
例如是收纳食品、小物件的柔软袋状工件。但是，在本实施例中，假设相
同的箱体内的不定形体9为同种物体，并且不定形体9的尺寸与预先给定
的大概尺寸的误差在10％以下。柔软袋状工件之中，由于也存在局部透明
的工件，所以不适于利用简单的图像处理来进行的处理。另外，由于整体
形状容易产生变化，所以难以使用例如非专利文献1所述的假定为一定形
状的方法。因此，本申请发明主要使用由距离传感器得到的距离信息来进
行不定形体9的上下推定，推定上方的不定形体的重心位置。
测定部3对箱体7内进行拍摄。测定部3具备颜色传感器部11和距离
传感器部13。颜色传感器部11如通常的照相机那样对箱体7内的图像进
行拍摄。距离传感器部13对箱体内的距离进行测定。作为测定距离的传感
器，例如，存在距离照相机、激光测距仪(LRF)、RGB-D传感器等。在
后面说明的实验中，使用作为RGB-D传感器的Kinect。该Kinect是廉价
的传感器，与其他传感器相比精度较低。如后面说明那样，即使利用这种
精度低的传感器也呈现出高检测率，利用其他的距离传感器也同样能够得
到高精度的结果。
把持部4把持箱体7内的不定形体9。把持部4具备臂控制部15和臂
部17。臂控制部15控制把持部4的动作。臂部17通过臂控制部15的控
制来把持不定形体9。臂控制部15通过信息处理装置5取得位于上方的不
定形体9的重心位置并使臂部17进行把持。
信息处理装置5使用测定部3的测定结果来推定位于上方的不定形体
9，推定该不定形体9的重心位置。信息处理装置5具备控制部21、阈值
设定部23、重叠模式推定部25、上下推定部27以及重心位置推定部29。
控制部21控制信息处理装置5的动作。阈值设定部23设定用于对产生了
多个不定形体的重叠的区域与没有产生重叠的区域进行区别的阈值。重叠
模式推定部25针对测定部3所测定的区域进行模板匹配从而得到对象物候
补。上下推定部27对对象物候补中位于上方的对象物进行推定。重心位置
推定部29对推定为上方的对象物候补的重心位置进行推定。
图2是表示图1的信息处理装置5的动作的一例的流程图。首先，对
图2所使用的两个阈值hl与ho进行说明。阈值hl是区别存在不定形体9
的区域与不存在不定形体9的区域的阈值。不存在不定形体9的区域是成
为求出高度信息时的基准面的箱体7的底面。考虑到传感器的噪声(noise)，
与不定形体9无关地将阈值hl设为恒定的值。以下，hl＝15mm。阈值ho
是区别因多个不定形体9重叠而变高的区域与其他的区域的阈值。在后面
对设定进行具体的说明。
参照图2，对图1的信息处理装置5的动作的一例进行说明。控制部
21设定阈值hl(步骤ST1)。接着，控制部21取得测定部3的颜色传感
器部11以及距离传感器部13测定出的测定数据(传感器信息)(步骤ST2)。
从距离传感器部13得到以传感器为基准的距离信息。控制部21将其转换
为以距箱体的地面的高度为基准的高度信息D(x)(y)。这里，将底面
设为xy平面，将箱体上方设为z轴。控制部21对是否存在不定形体9进
行判断(步骤ST3)。例如，当存在比阈值hl高的值时，判定为存在不定
形体9。若不定形体9因全部取出等而变为不存在，则结束处理。
当存在不定形体9的情况下，对是否有重叠进行判断(步骤ST4)。
例如以以下方式判断有无重叠。首先，检测高度信息的最大值dMAX。然后，
将从底面到高度dMAX之间等间隔地分成5份，并在各个高度区域中计算数
据的点数。将该数据点数最多的区域内的下限的值设为对象物的基准高度
d。将该基准高度d的1.5倍的高度以上的点群所表示的区域设为产生了重
叠的区域。接下来，例如以以下方式对重叠区域进行检测。将基准高度d
设为阈值，对比它高的区域进行集群处理，将1.5d设为阈值，将比它高的
区域设为重叠区域而进行集群处理，进行比d高的集群与比1.5d高的集群
的位置的关联。检查比1.5d高的集群的长轴方向、短轴方向。假定在比1.5d
高的集群的短轴方向上存在产生了重叠的对象物，将存在于比1.5d高的集
群的短轴方向上且与该集群接触的比d高的集群设为重叠区域。
在没有重叠的情况下，重心位置推定部29使用例如模板匹配等方法来
推定对象物的位置与姿势，推定重心位置(步骤ST5)。模板匹配是指：
使检索区域移动至该检索区域内的图像信息与预先准备好的欲检索的对象
物的模板最为一致(匹配)的位置，来推定欲检索的对象物的位置与姿势。
然后，回到步骤ST2。
在存在重叠的情况下，对产生了重叠的区域(重叠区域)进行检测(步
骤ST6)。以下，重叠区域设为xox≤x≤xof，yox≤y≤yof。接着，阈值设
定部23设定阈值ho(步骤ST7)。重叠模式推定部25推定重叠模式(步
骤ST8)。上下推定部27根据多个评价指标的综合判断，进行重叠的上下
推定(步骤ST9)。然后，重心位置推定部29推定上侧的对象物的重心位
置xg、yg(步骤ST10)。然后，回到步骤ST2。
接着，参照图3，对图2的步骤ST7的阈值ho的设定的一例进行说明。
将S(h)设为高度信息h以下的像素的数量。将ro(0＜ro＜1)设为表示
通过匹配而推定出的对象物的模板所重叠的比例。此时，利用式(1)来定
义阈值ho。这里，roS(hl)表示重叠区域的面积。将高度信息在ho以上的
区域定义为因物体彼此的重叠而变高了的区域。这里，如下设定ro。将模
板的尺寸设为St。使用高斯符号[]而将ro设为式(2)。以图3的重叠为
例来进行说明。图3(a)为重叠的例子。图3(a)的俯视图是从上方观察
的图，图3(a)的侧视图是从侧面观察的图。图3(b)表示存在重叠的对
象物的区域整体的面积，是式(2)的分母即S(hl)。图3(c)的右下斜
线部与左下斜线部分别表示没有重叠的情况下的区域的面积，式(2)的右
边的分子的第一项是将右下斜线与左下斜线的面积合在一起而得到的项。
图3(d)的着色部表示因重叠而变高的区域的面积，表示式(2)的分子
整体。式(2)的ro是重叠的比例。
ho＝{min(h)|S(h)≥roS(hl)}(1)
r o = S ( h o ) S ( h l ) = [ S ( h l ) S t + 1 ] S t - S ( h l ) S ( h l ) - - - ( 2 ) ]]>
接着，参照图4以及图5，对图2的步骤ST8的重叠模式的推定的一
例进行说明。图4是表示模式的推定处理的一例的流程图。使用阈值hl对
高度信息D(x)(y)进行二值化处理，从而将重叠区域区别为存在对象
物的区域和不存在对象物的区域。通过掌握产生了重叠的区域的大致位置，
在其周围存在对象物的区域成为产生了对象物的重叠的区域。因此，求出
存在对象物的区域即可。这里，存在对象物的区域是指因对象物而使得高
度信息变大了的区域。使用用于区别该区域的高度信息大还是不大的阈值
hl。存在对象物的区域是重叠有多个对象物的区域。接下来，针对重叠有
对象物的区域应用模板匹配，来推定对象物位于二维图像上的哪个位置。
将通过匹配得到的结果作为对象物候补来进行处理。
使用图5的具体的例子进行说明。图5(a)表示距离图像。这里，单
一颜色的正方形表示像素。像素的颜色表示将高度信息等间隔分割而成的
区域。区域由红色、黄色、绿色、浅蓝色、蓝色这5个等级来表示，红色
表示最高的区域，蓝色表示最低的区域。使用阈值hl求出存在对象物的区
域。在图5(a)中，红色、黄色、绿色是高度在hl以上的像素，浅蓝色、
蓝色是高度不足hl的像素。因此，如图5(b)所示，将红色、黄色、绿色
划分为作为存在对象物的区域的黑色，将浅蓝色、蓝色划分为作为不存在
对象物的区域的白色。接下来，对存在对象物区域的黑色的区域进行模板
匹配，从而如图5(c)所示，得到红色虚线的矩形与浅蓝色虚线的矩形这
两个对象物候补的区域。
接着，参照图6～图15，对基于图2的步骤ST9的多个评价指标的综
合判断进行的重叠的上下推定进行说明。在对象物为刚体的情况下，由于
不变形，所以能够用一种方法来进行判断，无需刻意进行组合。在本实施
例中，首先，推定重叠模式，推定存在什么样的重叠方式。然后，使用多
个评价指标来推定哪个是位于最上侧的对象物。作为上下推定的评价指标，
对五个指标进行说明。它们是对象物候补的低区域的面积、对象物候补的
体积、对象物候补区域内的梯度、对象物候补的边吻合度以及对象物候补
的角吻合度。图6(a)与图6(b)是用于对刚体和柔软体的投影下的面积
的不同进行说明的图。图7表示柔软体中的具体的一例，图7(a)表示体
积，图7(b)表示梯度，图7(c)表示边吻合度。图8针对实际得到的图
8(a)颜色图像与图8(b)距离图像，示出图8(c)面积、图8(d)体
积、图8(e)梯度、图8(d)边吻合度、图8(e)角吻合度。
首先，作为评价指标1，对低区域的面积进行说明。因对象物彼此的
重叠，上侧的对象物倾斜、其投影面积变小。因此，不直接使用高度信息，
而是基于高度信息来定义投影面积，将该面积作为评价指标之一。在图6
(a)中，粗线表示比阈值ho低的区域。上述区域以隔着比阈值高的区域
的方式存在有两个。因此，从左侧开始将从正上方观察的该区域的长度设
为LL与LR。若将从正上方观察的对象物区域的长度设为Lt，则从正上方
观察的重叠的区域的长度Lo成为式(3)。由此，若将从正上方观察的比
高度h高的区域的长度设为L(h)，则可根据式(4)求出阈值ho。与阈
值ho、重叠角度Φ(0＜Φ＜π/2)无关，LR＞LL始终成立。也就是说，位
于上侧的对象物的低区域的面积比位于下侧的对象物的低区域的面积小。
L o = 2 L - L t = L - d ( sin Φ + 1 t a n Φ ) - - - ( 3 ) ]]>
ho＝[h|L(h)＝Lo](4)
根据图6(b)，即使是柔软体，该关系也成立。Lt在柔软体与刚体中
相等，因此以Lt为参数的Lo成为Lo*＝Lo。因此，LR*＞LR，LL*＜LL，
并且LR*＞LL*。根据以上内容，低区域的面积越小，则是上侧的对象物的
可能性就越高，面积评价值设为越大。图9是表示低区域的面积计算处理
的一例的流程图。
作为例子，考虑图8(a)的重叠。图8(b)中示出了其距离图像。图
8(c)是用淡紫色表示高区域、用蓝色表示低区域的图像。红色虚线与绿
色虚线是对象物候补，红色的对象物候补表示位于上侧的对象物。图8(c)
中，将低区域的面积进行比较，红色的对象物候补比绿色的对象物候补小。
接着，作为评价指标2，对体积进行说明。因对象物彼此的重叠，导
致上侧的对象物倾斜。由此，在上侧的对象物与底面之间、以及上侧的对
象物与下侧的对象物之间产生缝隙。由此，上侧的对象物的表观上的体积
变大。因此，不单单关注某一点的高度信息，而是使用对象物候补的区域
整体的高度信息。区域内的高度信息加在一起所得到的V作为式(5)求
出，表示对象物候补的区域的体积。存在越是位于上侧的对象物则高度信
息越大的区域。由此，对候选区域内的高度信息的积分即体积进行比较，
位于最上侧的对象物的区域表现出高的值。例如，如图7(a)所示，对通
过重叠模式的推定得到的两个对象物候补进行比较。这里，Lt是模板的宽
度(因此，在假定的刚体与柔软体中相等)。由图7(a)可知，因重叠而
变高了的红色虚线的候补一方的体积大。因此，体积越大，则该对象物区
域是位于重叠的上侧的对象物的可能性越高。根据以上内容，以体积为评
价指标，体积越大，则是上侧的对象物的可能性越高，体积评价值设为越
大。图10是表示体积计算处理的一例的流程图。
V = Σ ( x , y ) D ( x ) ( y ) - - - ( 5 ) ]]>
作为例子，考虑图8(a)的重叠。图8(d)是用淡紫色表示高区域、
用蓝色表示低区域的图像。红色虚线与绿色虚线是对象物候补，红色的候
补表示位于上侧的对象物。红色的候补与绿色的候补相比，高区域的比例
多，因此，红色的候补的体积也大。
接着，作为评价指标3，对梯度进行说明。由于对象物存在厚度，所
以在产生了重叠的情况下，在对象物的边界产生例如图7(b)的由淡紫色
包围的阶梯差。以该阶梯差为界，高度信息大幅变化。因此，在缩小了宽
度的下侧的对象物区域存在梯度变大的部位。这里，梯度是指邻近像素间
的高度之差。也就是说，梯度越小，则该对象物区域是位于重叠的上侧的
对象物的可能性越高。根据以上内容，将梯度作为评价指标之一。梯度越
小，则是上侧的对象物的可能性越高，梯度评价值设为越大。图11是表示
梯度值计算处理的一例的流程图。
作为例子，考虑图8(a)的重叠。图8(e)是按照从高区域到低区域
的顺序用紫色、橙色、黄色、浅蓝色、蓝色表示的图像。红色虚线与绿色
虚线是缩小了宽度的对象物候补，红色的候补表示位于上侧的对象物。在
绿色的候补的区域内，存在梯度大的边界即阶梯差。
接着，作为评价指标4，对对象物候补的边吻合度进行说明。在重叠
模式的推定中，进行不花费计算时间的简单的平面模板匹配。此时使用的
吻合度是候补的内部区域的吻合度。这里，为了更加详细地比较吻合度，
将候补的边与角的吻合度包含在评价指标中。在后面对候补的角的吻合度
进行说明。
在重叠模式的推定中，例如像图7(c)的绿色虚线的候补那样，存在
重叠的候补收敛于局部最小值的可能性。即使是收敛于局部最小值的候补，
也存在因收敛的位置而面积、体积、梯度的评价值变大的可能性。因此，
需要使用上述以外的评价指标来使该候补的评价值相对降低。若候补收敛
于对象物所存在的位置，则对象物区域的外形与候补的边一致。另外，对
于位于上侧的对象物的外形而言，高区域与低区域的边界也一致。图12
是表示边吻合度的计算处理的一例的流程图。
作为例子，考虑图8(a)的重叠。图8(f)是用淡紫色表示高区域、
用蓝色表示低区域的图像。红色虚线与绿色虚线是对象物候补，红色的候
补表示位于上侧的对象物。橙色与黄绿色的矩形部表示与对象物区域的外
形及高区域的外形一致的候补的边。红色的候补一方的一致的边的长度长。
接着，作为评价指标5，对对象物候补的角吻合度进行说明。若候补
收敛于对象物所存在的位置，则对象物区域的外形的角与候补的角一致。
另外，位于上侧的对象物的外形的角也与高区域的角一致。角吻合度的最
低值是角一个都未匹配的0，最高值是所有角都一致的4。角的匹配吻合度
越大，则角吻合评价值越大。
首先，从对象物所存在的区域抽出角。图13表示从对象物抽出的角。
这里，由单一颜色构成的正方形表示像素。像素的颜色中，红色表示角，
浅蓝色表示对象物所存在的区域的边框，黑色表示除去了边框、角后的对
象物所存在的区域。浅蓝色的像素上的数字表示与该像素相邻的红色、黑
色、浅蓝色的像素数。根据图13，角的像素(红色)和与角相邻的像素数
(浅蓝色、黑色)N以及相邻于与角相邻的像素(浅蓝色)的像素数(红
色、黑色、浅蓝色)M1、M2存在如下的关系(在红色像素有两个的情况
下分别设为M1、M2)。根据该关系，抽出对象物所存在的区域的角。图
14是表示角抽出处理的一例的流程图。图15是表示角的吻合度计算处理
的一例的流程图。
1.N≤3且M1≤5且M2≤6
2.N＝4且M1≤4且M2≤5
3.N＝5且M1≤4且M2≤4
作为例子，考虑图8(a)的重叠。图8(g)是用紫色表示高区域、用
蓝色表示低区域的图像。红色虚线与绿色虚线是对象物候补，红色的候补
表示位于上侧的对象物。橙色与黄绿色的直角三角形表示与对象物区域的
外形的角以及高区域的外形的角一致的候补的角。红色的候补一方的一致
的角的数量多。
接着，对基于多个指标的综合评价进行的重叠的上下推定进行说明。
在对象物为柔软袋状工件的情况下，位于最上侧的对象物候补的评价指标
未必都一直良好。原因在于，对象物产生了变形或透射了光，以及所取得
的距离图像粗糙。因此，若对各个指标进行比较，则有可能将位于下侧的
对象物弄错而误判断为位于最上侧的对象物。因此，使用上述指标的全部
来进行综合判断。
首先，为了统一各个评价指标的值的范围(scale)而进行归一化处理。
但是，角吻合度由于进行加权所以不做归一化处理。若将Nc个对象物候补
i(1≤i≤Nc)的面积值设为Si，体积值设为Vi，梯度值设为Gi，边吻合度
设为Fi，角吻合度设为CFi，则面积评价值ES、体积评价值EV、梯度评价
值EG、边吻合评价值EF以及角吻合评价值ECF分别成为式(6)～式(10)。
E S = S i max { S i } - - - ( 6 ) ]]>
E V = V i max { V i } - - - ( 7 ) ]]>
E G = G i max { G i } - - - ( 8 ) ]]>
E F = F i max { F i } - - - ( 9 ) ]]>
ECF＝CFi(10)
接下来，考虑到每个评价指标的评价值的变动程度，进行各评价值的
差量的归一化。而且，同时决定权重，作为综合评价值而叠加在一起。若
将面积、体积、梯度、边吻合度、角吻合度的权重分别设为wV、wS、wG、
wF、wCF，则综合评价值E成为式(11)。
E = w S E S max ( E S ) - min ( E S ) + w V E V max ( E V ) - min ( E V ) + w G E G max ( E G ) - min ( E G ) + w F E F max ( E F ) - min ( E F ) + w C F E C F - - - ( 11 ) ]]>
接着，对重叠的上下推定实验进行说明。本实验中的对象物为图16(a)
所示那样的袋装通心粉。事先构制30个能够想到的重叠方式，取得其数据。
对这些数据，验证所提出的方法的有效性。这里，本方法具有上下推定的
结果多少受到重叠模式的推定结果的影响的特征，因此增大边、角吻合度
评价值的权重。由此，实验中使用的综合评价的权重为wS＝1、wV＝1、
wG＝1、wF＝2、wCF＝2。
以图16的数据为例来表示本实施例的处理的经过。图16(b)表示距
离图像。距离图像中，用颜色表示该像素的高度信息，按照由高到低的顺
序连续地变化为红色、黄色、绿色、浅蓝色、蓝色。通过重叠模式的推定，
取得(d)、(e)、(f)以及(g)这4个候补。对于各个候补，使用了5
个评价指标的综合评价的值Ei(i＝1～4)为E1＝22.03、E2＝21.61、E3＝
26.47、E4＝22.75，候补3(图16(f))的综合评价值最大。由此，如图
16(h)中的点所示，将候补3的面心位置输出作为目标卡爪位置。该输出
结果在上侧对象物的中心附近，因此拾起成功。
图17表示所准备的30个数据中的向上侧对象物的中心附近输出了目
标卡爪位置的27个数据。在重叠模式的推定中，这27个数据是候补与上
侧对象物相匹配的数据。另一方面，在重叠模式的推定中，对于候补与上
侧对象物不匹配的3个数据而言，候补未与上侧对象物匹配。由此，在重
叠模式的推定中，若候补与上侧对象物匹配，则能够全部确定出上侧对象
物。由此，只要基于多个指标进行的综合评价的结果良好，并且通过图案
匹配而候补收敛于上侧对象物，就能够确认到目标卡爪位置可靠地输出至
上侧对象物的中心位置。