使用汽车方向盘的手势识别装置、手的识别方法及其程序.pdf

上传人:zhu****_FC 文档编号:4345596 上传时间:2018-09-18 格式:PDF 页数:12 大小:3.67MB
返回 下载 相关 举报
摘要
申请专利号:

CN201380004646.0

申请日:

2013.01.29

公开号:

CN104025154A

公开日:

2014.09.03

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):G06T 7/20申请日:20130129|||公开

IPC分类号:

G06T7/20; B60R16/02; B60R16/027; G06F3/01

主分类号:

G06T7/20

申请人:

日本系统工具株式会社; 株式会社本田阿克塞斯

发明人:

近藤健; 内村辉雄; 堀崎真一; 柿沼笃树; 细贝俊明

地址:

日本东京都

优先权:

2012.02.07 JP 2012-023802

专利代理机构:

北京三友知识产权代理有限公司 11127

代理人:

李辉;黄纶伟

PDF下载: PDF下载
内容摘要

提供一种手势识别装置,无论光从哪个方向照射手,都能够从二值图像中识别出手。二值化处理部(12)利用规定的方法对从摄像机(1)到手识别部(10)的输入图像进行二值化处理,生成第1二值图像,再次二值化处理部(13)仅对输入图像的规定的区域进行再次二值化,生成第2二值图像,收缩处理部(14)对第2二值图像进行收缩处理。通过进行再次二值化,能够将在第1二值图像中被分类为黑的手的部分分类为白,能够提高识别出手的可能性。在能够在第1二值图像与第2二值图像的任意一方或者双方中识别出手的情况下,判定为能够识别出手。

权利要求书

权利要求书
1.  一种使用汽车方向盘的手势识别装置,其具有摄像单元和识别单元,该摄像单元设置在能够对方向盘进行摄像的位置,该识别单元根据从所述摄像单元输出的摄像数据,识别人的手在所述方向盘上的位置,其特征在于,
所述识别单元具有:
二值化处理单元,其利用规定的方法对从所述摄像单元输出的摄像数据进行二值化处理,生成第1二值图像;
再次二值化处理单元,其在所述摄像数据中,确定做手势时可能拍摄到手的第1区域和做手势时也可能拍摄到背景的第2区域,将第1区域和第2区域作为1个图像,利用规定的方法确定新的阈值,对所述摄像数据的规定的区域进行再次二值化,生成第2二值图像;以及
判定单元,其在能够在所述第1二值图像与所述第2二值图像的任意一方或者双方中识别出手的情况下,判定为能够识别出手。

2.  根据权利要求1所述的使用汽车方向盘的手势识别装置,其特征在于,
所述手势识别装置还具有对所述第2二值图像进行收缩处理的收缩处理单元。

3.  根据权利要求1或2所述的使用汽车方向盘的手势识别装置,其特征在于,
所述二值化处理单元中的规定的方法是判别分析法或者自适应二值化处理。

4.  根据权利要求1~3所述的使用汽车方向盘的手势识别装置,其特征在于,
所述再次二值化处理单元中的规定的方法是利用判别分析法确定的。

5.  一种手识别方法,在做出使用汽车方向盘的手势时,根据从设置在能够对所述方向盘进行摄像的位置的摄像单元输出的摄像数据,识别人的手在所述方向盘上的位置,其特征在于,所述手识别方法包括如下步骤:
利用规定的方法对从所述摄像单元输出的摄像数据进行二值化处理,生成第1二值图像;
在所述摄像数据中,确定做手势时可能拍摄到手的第1区域和做手势时也可能拍摄到背景的第2区域,将第1区域和第2区域作为1个图像,利用规定的方法确定新的阈值,对所述摄像数据的规定的区域进行再次二值化,生成第2二值图像;以及
在能够在所述第1二值图像与所述第2二值图像中的任意一方或者双方中识别出 手的情况下,判定为能够识别出手。

6.  根据权利要求5所述的汽车中的手识别方法,其特征在于,
所述手识别方法还包括对所述第2二值图像进行收缩处理的步骤。

7.  根据权利要求5或6所述的手识别方法,其特征在于,
生成所述第1二值图像的步骤中的规定的方法是利用判别分析法或者自适应二值化处理确定的。

8.  根据权利要求5~7中的任意一项所述的手识别方法,其特征在于,
生成所述第2二值图像的步骤中的规定的方法是判别分析法。

9.  一种程序,其使计算机执行权利要求5~8所述的手识别方法。

说明书

说明书使用汽车方向盘的手势识别装置、手的识别方法及其程序
技术领域
本发明涉及这样的手势识别装置:对于使用汽车方向盘的手势(操作),利用设置在车内的摄像设备对方向盘进行摄像,根据图像数据,识别人的手在方向盘中位置。
背景技术
以往,已知有这样的手势遥控式操作装置:利用摄像机读取使用汽车方向盘的手势、即驾驶员的手在方向盘上的位置,进行基于读取到的手的位置和运动的操作处理。在手势遥控式装置中使用的手势识别装置利用摄像机对驾驶员的手在方向盘上的位置进行摄像,对该图像数据进行处理,来识别手。
例如,在专利文献1中,记载了如下技术:根据操作者的手势、即手的位置和手的运动,输出对车载设备的操作命令。
此外,在专利文献2中,记载了如下技术:对背景存在浓淡不均的图像进行二值化,从二值图像中提取出更鲜明的检测对象物。
现有技术文献
专利文献
专利文献1:日本特许第3941786号公报
专利文献2:日本特开2007-122274号公报
发明内容
发明要解决的问题
但是,专利文献1所述的技术难以正确地读取操作者的手的位置和运动,例如,不能明确地识别出由操作者的差异引起的手势的微妙差异。
此外,专利文献2所述的技术从背景存在浓淡不均的图像中检测对象物,因此在应用于汽车的情况下,在作为背景的方向盘中没有浓淡不均,很难从在太阳光照射的环境下拍摄的图像数据中检测作为对象物的手的位置。
在对利用摄像机拍摄方向盘上的手而得到的图像数据进行二值化、并从二值图像中识别手的情况下,当太阳光从手的前方照射时,以光照射的部分为白、光未照射的部分为黑的方式进行二值化,在二值图像上,手是分离的。此外,当光从手的右侧后方照射时,在手上出现光照射的部分以及光未照射而成为阴影的部分,在二值图像上,手是分离的。这样,在手是分离的情况下,有时不能识别为手。
因此,本发明的目的在于提供一种手势识别装置,无论光从哪个方向照射,都能够从二值图像中识别出手。
用于解决问题的技术方案
为了解决所述问题而提出的本发明的手势识别装置具有摄像单元和识别单元,所述摄像单元设置在能够对方向盘进行摄像的位置,所述识别单元根据从摄像单元输出的摄像数据,识别人的手在方向盘的位置,在使用汽车方向盘的手势识别装置中,识别单元具有:二值化处理单元,其利用规定的方法对从摄像单元输出的摄像数据进行二值化处理,生成第1二值图像;再次二值化处理单元,其在摄像数据中确定手势时可能拍摄到手的第1区域和做手势时也可能拍摄到背景的第2区域,将第1区域和第2区域作为1个图像,利用规定的方法确定新的阈值,对摄像数据的规定的区域进行再次二值化,生成第2二值图像;以及判定单元,其在能够在第1二值图像与第2二值图像中的任意一方或者双方中识别出手的情况下,判定为能够识别出手。
此外,本发明的使用汽车方向盘的手势识别装置还具有能够对第2二值图像进行收缩处理的收缩处理单元。
此处,二值化处理单元中的规定的方法优选为判别分析法或者自适应二值化处理。此外,再次二值化处理单元中的规定的方法优选为判别分析法。
在本发明的手识别方法中,在做出使用汽车方向盘的手势时,根据从设置在能够对方向盘进行摄像的位置的摄像单元输出的摄像数据,识别人的手在方向盘上的位置,所述手识别方法包括如下步骤:利用规定的方法对从摄像单元输出的摄像数据进行二值化处理,生成第1二值图像的步骤;在摄像数据中确定做手势时可能拍摄到手的第1区域和做手势时也可能拍摄到背景的第2区域,将第1区域和第2区域作为1个图像,利用规定的方法确定新的阈值,对摄像数据的规定的区域进行再次二值化,生成第2二值图像;以及在能够在第1二值图像与第2二值图像中的任意一方或者双方中识别出手的情况下,判定为能够识别出手。
此外,还可以包括对第2二值图像进行收缩处理的步骤。
此处,生成第1二值图像的步骤中的规定的方法优选为判别分析法或者自适应二值化处理。此外,生成第2二值图像的步骤中的规定的方法优选为判别分析法。
本发明的程序是使计算机执行上述手识别方法的程序。
发明效果
根据本发明的使用汽车方向盘的手势识别装置,仅在规定的区域利用不同的阈值进一步对进行摄像数据的二值化而得到的二值图像进行再次二值化,因此,将在最初的二值图像中因光的照射情况而使得手背和手指的一部分分类为黑的部分分类为白,从而能够在二值图像中使手背与手指结合。由此,能够在二值图像中识别出手。
此外,在本发明中,对再次二值化后的二值图像进行收缩处理。在再次二值化时,背景的一部分有时被分类为白,背景与手背以及手指可能结合,不过,通过进行收缩处理,能够降低结合的可能性。
此外,在本发明中,不是将图像整体作为进行再次二值化的区域,而仅将规定的区域作为进行再次二值化的区域,因此,能够降低装置的处理负担。
根据本发明的识别人的手在方向盘上的位置的手识别方法,仅在规定的区域利用不同的阈值进一步对进行摄像数据的二值化而得到的二值图像进行再次二值化,因此,将在最初的二值图像中因光的照射情况而使得手背和手指的一部分分类为黑的部分分类为白,从而能够在二值图像中使手背与手指结合。由此,能够在二值图像中识别出手。
附图说明
图1是示出本发明的使用汽车方向盘的手势识别装置的一个实施方式的汽车的车室内部的概略图。
图2是从驾驶者侧观察仪表板附近的主视图。
图3是示出手势识别装置的手识别部的结构的框图。
图4是示出手的识别处理方法的流程图。
图5是示出手的识别处理中的图像处理的一例的图。
图6是示出手的识别处理中的图像处理的一例的图。
图7是示出手的识别处理中的图像处理的一例的图。
具体实施方式
本发明的使用汽车方向盘的手势识别装置是如下装置:利用摄像机等摄像单元对车的方向盘进行摄像,对摄像数据进行二值化,从二值图像中识别方向盘上的驾驶员的手。以下,参照附图,对本发明的使用汽车方向盘的手势识别装置的操作装置的实施方式进行详细说明。
图1及图2示出了安装有本发明的使用汽车方向盘的手势识别装置的汽车的车室内部。如图1、图2所示,作为摄像设备的摄像机1以能够对方向盘S进行摄像的方式设置在驾驶者的斜后方的顶部。此外,在摄像机1的附近设置有红外线照射单元UR,该红外线照射单元UR在车内较暗的情况下对方向盘S周边进行照射。
被用作摄像单元的摄像机是能够拍摄可见光的图像和红外线的图像的摄像机,摄像机的设置位置不限于图1的例子,只要是能够对车室内的方向盘S进行摄像的位置即可。
作为摄像对象的方向盘S具有与转向轴(未图示)连结的中央轮毂部Sa、圆环状地包围该中央轮毂部Sa的轮缘Sm、以及连结在该轮缘Sm和中央轮毂部Sa之间的3根辐条部Sb1~Sb3。在中央轮毂部Sa的外表面,以可拆装的方式覆盖了喇叭罩(horn cover)2,在该喇叭罩2的中央外表面,安装有经过设计处理的H字状的标志M1。此外,在辐条部Sb1~Sb3上以可拆装的方式安装有辐条罩3,该辐条罩3外观良好地覆盖这些辐条部的外表面。
在方向盘S处于竖直的位置时,在辐条部Sb1和Sb3上左右对称地设置有L字状标志的基准标志Ms,在辐条部Sb1设置有标志M2~M4,在辐条部Sb3设置有标志M5~M7。在本实施方式中,根据基准标志Ms的位置,确定用于求出对来自摄像机的输入图像进行二值化处理的阈值的图像区域。
此外,本发明的申请人已经对这样的车载设备操作装置进行了专利申请(未公开):设置基准标志和标志,根据摄像装置的摄像数据,识别基准标志的位置,根据基准标志的位置,确定标志的位置。
确定用于求出阈值的图像区域的方法不限于利用基准标志的方法,也可以基于其它能够进行识别的方式,或者可以预先确定用于求出阈值的图像区域。
接下来,对手识别部进行说明,该手识别部对由摄像机1拍摄到的图像数据进行 二值化,从二值图像中识别手。图3示出手势识别装置的手识别部10。如图3所示,具有:图像接收部11,其接收由摄像机1拍摄到的图像数据;二值化处理部12,其利用规定的方法对从图像接收部11接收到的输入图像进行二值化处理,生成第1二值图像;再次二值化处理部13,其利用其它阈值对输入图像的规定区域进行再次二值化,生成第2二值图像;收缩处理部14,其对由再次二值化处理部13生成的第2二值图像进行收缩处理;以及判定部15,其判定在第1二值图像和收缩处理后的第2二值图像中是否能够识别出手。
图像接收部11具有从摄像机1接收图像数据的功能。具体而言,接收摄像机所生成的规定形式的图像数据,将接收到的输入图像发送到二值化处理部12。
二值化处理部12具有将从图像接收部11发送的输入图像转换为二值图像的功能。在本实施方式中,使用判别分析法作为确定用于对图像进行二值化的阈值的方法。关于判别分析法,由于是公知的技术,因而省略详细说明,作为判别分析法的文献,有「大津展之:“判別および最小2乗基準に基づく自動しきい値選定法,”電子通信学会論文誌D,J-63,4,p.349,1980」。
二值化处理部12根据基准标志Ms,从输入图像中确定用于求出阈值的区域,将进行判别分析后的结果作为阈值,进行输入图像的二值化处理,生成第1二值图像。通过该输入图像的二值化处理,在第1二值图像中,能够将方向盘与手分离。针对所生成的第1二值图像,判定部15判定是否能够识别出手。
接下来,再次二值化处理部13确定仅对从图像接收部11发送的输入图像的规定的区域进行二值化的其它阈值,对由二值化处理部12生成的二值图像的规定区域进行再次二值化,生成第2二值图像。此处,进行再次二值化的目的是,虽然在二值化处理部12的二值图像中分离了方向盘与手,但是根据光照射的方式的不同,有时手的各手指也会与手背分离,出于使手背与手的各手指结合的目的,进行再次二值化处理。
在再次二值化处理部13中的其它阈值的确定方法中,根据基准标志Ms,从输入图像中确定在做手势(操作)时手可能进入的区域和做手势(操作)时也可能拍摄到背景的区域。并且,将这些区域作为1个图像,利用判别分析法确定阈值。
此外,进行再次二值化的规定区域优选是进行再次二值化的所需最低限度的区域,其确定方法可以根据基准标志Ms从输入图像中确定。例如,用于确定其它阈值 的上述区域可推测为拍摄到手与背景的分界的区域,因此,仅对这些区域进行再次二值化,则将手背与手的各手指结合起来的可能性较高。通过仅对所需最低限度的区域进行再次二值化,能够降低处理负担。
收缩处理部14对由再次二值化处理部13生成的第2二值图像进行收缩处理。之所以对再次二值化后的二值图像进行收缩处理是因为,在再次二值化时,容易与作为背景的方向盘结合,因此,需要缓解结合。此外,作为收缩处理的一例,在日本特许第3025365号公报的0014段中有记载。
判定处理部15判定在第1二值图像和由收缩处理部14收缩后的第2二值图像中是否能够识别出手,在任何一方或者其双方中识别出手的情况下,判定为能够识别出手。
接下来,说明手势识别装置的手的识别处理方法。图4示出手的识别处理方法的流程图。手的识别处理方法是如下方法:利用判别分析法对输入图像进行二值化处理,生成第1二值图像,接下来,仅对规定区域进行再次二值化,生成第2二值图像。
首先,生成第1二值图像。确定利用判别分析法对由摄像机拍摄到的输入图像进行二值化处理的阈值(S100)。
图5示出了生成第1二值图像的图像处理的一例。在图5中,(a)是摄像机输入图像,(b)是进行二值化的阈值确定的块,(c)是二值化处理后的二值图像。如图5(b)所示,将摄像机输入图像分割为任意尺寸的块,按照每一块,利用判别分析法进行分析,确定阈值。
接下来,利用确定出的阈值对输入图像进行二值化,生成二值图像(S101)。在图5的例子中,对(a)的输入图像进行二值化的结果是(c)的二值图像。在图5(c)所示的二值图像中,手背为黑,被分类为背景。
接下来,生成第2二值图像。针对生成第1二值图像时的输入图像,确定一处在做手势(操作)时手可能进入的区域以及两处在做手势(操作)时也可能拍摄到背景的区域(S102)。这3处区域可以以图2的基准标志Ms为基准来确定。在本实施方式中,确定了一处手可能进入的区域和两处可能拍摄到背景的区域,不过,这些区域使用几处均可,可以适当确定。
图6示出进行再次二值化处理而形成第2二值图像的图像处理的一例。在图6中,图6(a)是摄像机输入图像,图6(b)是进行再次二值化的阈值确定的块,图 6(c)是将阈值确定的块的图像设为1个图像的情况,图6(d)是二值化处理后的二值图像。如图6(b)所示,在确定出的3处区域中,将手可能进入(拍摄到)的区域设为中央轮毂部Sa的中心的块,在进行操作时也可能拍摄到背景的区域设为中央轮毂部Sa的基准标志Ms的附近的块。
如图6(c)所示,将3处的块的图像作为1个图像,进行判别分析法,确定新的阈值(S103)。然后,利用新的阈值,对输入图像的规定区域进行再次二值化处理,生成第2二值图像(S104)。如图6(d)所示,在再次二值化后的第2二值图像中,手背被分类为白。接下来,对第2二值图像进行收缩处理(S105)。再接下来,判定在第1二值图像和收缩处理后的第2二值图像中是否能够识别出手(S106)。在能够在第1二值图像和第2二值图像的任意一个图像中识别出手的情况下,判定为能够识别出手(S107)。
在图5(c)的第1二值图像中,手背为黑而判定为不能识别出手,而在图6(d)的再次二值化后的图像的例子中,由于手被分类为白,因而被识别为手。因此,由于能够在一方中识别出手,因此判定为能够识别出手。
图7示出手的识别处理中的图像处理的另一例。图7(a)是来自摄像机的输入图像,且光从手的右侧后方照射。图7(b)是基于判别分析法的第1二值图像,图7(c)是对所需最低限的区域进行再次二值化并进行收缩处理后的第2二值图像。
如图7(b)所示,手被分类为白,方向盘S的部分被分类为黑。即,判断为在图7(b)的第1二值图像中能够识别出手。另一方面,在图7(c)的第2二值图像中,通过再次二值化处理,喇叭部2被分类为白,手指与气囊面结合,通过进行收缩处理,食指变细,能够消除人的食指与喇叭部2的结合。
在上述的实施方式中,二值化的阈值确定方法使用了判别分析法,不过,也可以使用其它确定二值化的阈值的方法,按照相同的处理顺序,生成二值图像,进行手的识别。此外,进行最初的二值化的阈值和进行再次二值化的阈值均是利用判别分析法来确定的,不过也可以分别利用不同的方法来确定阈值。例如,利用自适应二值化处理(adaptive threshold:自适应阈值)确定最初的阈值,利用判别分析法确定进行再次二值化的阈值,按照与上述的实施方式相同的处理顺序,也能够得到相同的效果。此外,作为自适应二值化处理的一例,在日本特许第4405942号公报的0037段中有记载。
以上,使用附图所示的实施方式对本发明进行了说明,但这些仅为示例,本技术领域的技术人员应当理解,在不脱离本发明的范围及主旨的范围内,能够进行各种变更及变形。因此,本发明的范围不限定于所说明的实施方式,而必须由权利要求所记载的技术主旨来限定。
标号说明
1 摄像机
10 手识别部
11 图像接收部
12 二值化处理部
13 再次二值化处理部
14 收缩处理部
15 判定部

使用汽车方向盘的手势识别装置、手的识别方法及其程序.pdf_第1页
第1页 / 共12页
使用汽车方向盘的手势识别装置、手的识别方法及其程序.pdf_第2页
第2页 / 共12页
使用汽车方向盘的手势识别装置、手的识别方法及其程序.pdf_第3页
第3页 / 共12页
点击查看更多>>
资源描述

《使用汽车方向盘的手势识别装置、手的识别方法及其程序.pdf》由会员分享,可在线阅读,更多相关《使用汽车方向盘的手势识别装置、手的识别方法及其程序.pdf(12页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 104025154 A (43)申请公布日 2014.09.03 C N 1 0 4 0 2 5 1 5 4 A (21)申请号 201380004646.0 (22)申请日 2013.01.29 2012-023802 2012.02.07 JP G06T 7/20(2006.01) B60R 16/02(2006.01) B60R 16/027(2006.01) G06F 3/01(2006.01) (71)申请人日本系统工具株式会社 地址日本东京都 申请人株式会社本田阿克塞斯 (72)发明人近藤健 内村辉雄 堀崎真一 柿沼笃树 细贝俊明 (74)专利代理机构北京。

2、三友知识产权代理有限 公司 11127 代理人李辉 黄纶伟 (54) 发明名称 使用汽车方向盘的手势识别装置、手的识别 方法及其程序 (57) 摘要 提供一种手势识别装置,无论光从哪个方向 照射手,都能够从二值图像中识别出手。二值化处 理部(12)利用规定的方法对从摄像机(1)到手识 别部(10)的输入图像进行二值化处理,生成第1 二值图像,再次二值化处理部(13)仅对输入图像 的规定的区域进行再次二值化,生成第2二值图 像,收缩处理部(14)对第2二值图像进行收缩处 理。通过进行再次二值化,能够将在第1二值图像 中被分类为黑的手的部分分类为白,能够提高识 别出手的可能性。在能够在第1二值图像。

3、与第2 二值图像的任意一方或者双方中识别出手的情况 下,判定为能够识别出手。 (30)优先权数据 (85)PCT国际申请进入国家阶段日 2014.06.30 (86)PCT国际申请的申请数据 PCT/JP2013/051839 2013.01.29 (87)PCT国际申请的公布数据 WO2013/118608 JA 2013.08.15 (51)Int.Cl. 权利要求书1页 说明书6页 附图4页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书6页 附图4页 (10)申请公布号 CN 104025154 A CN 104025154 A 1/1页 2 1.一。

4、种使用汽车方向盘的手势识别装置,其具有摄像单元和识别单元,该摄像单元设 置在能够对方向盘进行摄像的位置,该识别单元根据从所述摄像单元输出的摄像数据,识 别人的手在所述方向盘上的位置,其特征在于, 所述识别单元具有: 二值化处理单元,其利用规定的方法对从所述摄像单元输出的摄像数据进行二值化处 理,生成第1二值图像; 再次二值化处理单元,其在所述摄像数据中,确定做手势时可能拍摄到手的第1区域 和做手势时也可能拍摄到背景的第2区域,将第1区域和第2区域作为1个图像,利用规定 的方法确定新的阈值,对所述摄像数据的规定的区域进行再次二值化,生成第2二值图像; 以及 判定单元,其在能够在所述第1二值图像与。

5、所述第2二值图像的任意一方或者双方中 识别出手的情况下,判定为能够识别出手。 2.根据权利要求1所述的使用汽车方向盘的手势识别装置,其特征在于, 所述手势识别装置还具有对所述第2二值图像进行收缩处理的收缩处理单元。 3.根据权利要求1或2所述的使用汽车方向盘的手势识别装置,其特征在于, 所述二值化处理单元中的规定的方法是判别分析法或者自适应二值化处理。 4.根据权利要求13所述的使用汽车方向盘的手势识别装置,其特征在于, 所述再次二值化处理单元中的规定的方法是利用判别分析法确定的。 5.一种手识别方法,在做出使用汽车方向盘的手势时,根据从设置在能够对所述方向 盘进行摄像的位置的摄像单元输出的摄。

6、像数据,识别人的手在所述方向盘上的位置,其特 征在于,所述手识别方法包括如下步骤: 利用规定的方法对从所述摄像单元输出的摄像数据进行二值化处理,生成第1二值图 像; 在所述摄像数据中,确定做手势时可能拍摄到手的第1区域和做手势时也可能拍摄到 背景的第2区域,将第1区域和第2区域作为1个图像,利用规定的方法确定新的阈值,对 所述摄像数据的规定的区域进行再次二值化,生成第2二值图像;以及 在能够在所述第1二值图像与所述第2二值图像中的任意一方或者双方中识别出手的 情况下,判定为能够识别出手。 6.根据权利要求5所述的汽车中的手识别方法,其特征在于, 所述手识别方法还包括对所述第2二值图像进行收缩处。

7、理的步骤。 7.根据权利要求5或6所述的手识别方法,其特征在于, 生成所述第1二值图像的步骤中的规定的方法是利用判别分析法或者自适应二值化 处理确定的。 8.根据权利要求57中的任意一项所述的手识别方法,其特征在于, 生成所述第2二值图像的步骤中的规定的方法是判别分析法。 9.一种程序,其使计算机执行权利要求58所述的手识别方法。 权 利 要 求 书CN 104025154 A 1/6页 3 使用汽车方向盘的手势识别装置、 手的识别方法及其程序 技术领域 0001 本发明涉及这样的手势识别装置:对于使用汽车方向盘的手势(操作),利用设置 在车内的摄像设备对方向盘进行摄像,根据图像数据,识别人的。

8、手在方向盘中位置。 背景技术 0002 以往,已知有这样的手势遥控式操作装置:利用摄像机读取使用汽车方向盘的手 势、即驾驶员的手在方向盘上的位置,进行基于读取到的手的位置和运动的操作处理。在手 势遥控式装置中使用的手势识别装置利用摄像机对驾驶员的手在方向盘上的位置进行摄 像,对该图像数据进行处理,来识别手。 0003 例如,在专利文献1中,记载了如下技术:根据操作者的手势、即手的位置和手的 运动,输出对车载设备的操作命令。 0004 此外,在专利文献2中,记载了如下技术:对背景存在浓淡不均的图像进行二值 化,从二值图像中提取出更鲜明的检测对象物。 0005 现有技术文献 0006 专利文献 0。

9、007 专利文献1:日本特许第3941786号公报 0008 专利文献2:日本特开2007-122274号公报 发明内容 0009 发明要解决的问题 0010 但是,专利文献1所述的技术难以正确地读取操作者的手的位置和运动,例如,不 能明确地识别出由操作者的差异引起的手势的微妙差异。 0011 此外,专利文献2所述的技术从背景存在浓淡不均的图像中检测对象物,因此在 应用于汽车的情况下,在作为背景的方向盘中没有浓淡不均,很难从在太阳光照射的环境 下拍摄的图像数据中检测作为对象物的手的位置。 0012 在对利用摄像机拍摄方向盘上的手而得到的图像数据进行二值化、并从二值图像 中识别手的情况下,当太阳。

10、光从手的前方照射时,以光照射的部分为白、光未照射的部分为 黑的方式进行二值化,在二值图像上,手是分离的。此外,当光从手的右侧后方照射时,在手 上出现光照射的部分以及光未照射而成为阴影的部分,在二值图像上,手是分离的。这样, 在手是分离的情况下,有时不能识别为手。 0013 因此,本发明的目的在于提供一种手势识别装置,无论光从哪个方向照射,都能够 从二值图像中识别出手。 0014 用于解决问题的技术方案 0015 为了解决所述问题而提出的本发明的手势识别装置具有摄像单元和识别单元,所 述摄像单元设置在能够对方向盘进行摄像的位置,所述识别单元根据从摄像单元输出的摄 像数据,识别人的手在方向盘的位置。

11、,在使用汽车方向盘的手势识别装置中,识别单元具 说 明 书CN 104025154 A 2/6页 4 有:二值化处理单元,其利用规定的方法对从摄像单元输出的摄像数据进行二值化处理,生 成第1二值图像;再次二值化处理单元,其在摄像数据中确定手势时可能拍摄到手的第1区 域和做手势时也可能拍摄到背景的第2区域,将第1区域和第2区域作为1个图像,利用规 定的方法确定新的阈值,对摄像数据的规定的区域进行再次二值化,生成第2二值图像;以 及判定单元,其在能够在第1二值图像与第2二值图像中的任意一方或者双方中识别出手 的情况下,判定为能够识别出手。 0016 此外,本发明的使用汽车方向盘的手势识别装置还具有。

12、能够对第2二值图像进行 收缩处理的收缩处理单元。 0017 此处,二值化处理单元中的规定的方法优选为判别分析法或者自适应二值化处 理。此外,再次二值化处理单元中的规定的方法优选为判别分析法。 0018 在本发明的手识别方法中,在做出使用汽车方向盘的手势时,根据从设置在能够 对方向盘进行摄像的位置的摄像单元输出的摄像数据,识别人的手在方向盘上的位置,所 述手识别方法包括如下步骤:利用规定的方法对从摄像单元输出的摄像数据进行二值化处 理,生成第1二值图像的步骤;在摄像数据中确定做手势时可能拍摄到手的第1区域和做手 势时也可能拍摄到背景的第2区域,将第1区域和第2区域作为1个图像,利用规定的方法 确。

13、定新的阈值,对摄像数据的规定的区域进行再次二值化,生成第2二值图像;以及在能够 在第1二值图像与第2二值图像中的任意一方或者双方中识别出手的情况下,判定为能够 识别出手。 0019 此外,还可以包括对第2二值图像进行收缩处理的步骤。 0020 此处,生成第1二值图像的步骤中的规定的方法优选为判别分析法或者自适应二 值化处理。此外,生成第2二值图像的步骤中的规定的方法优选为判别分析法。 0021 本发明的程序是使计算机执行上述手识别方法的程序。 0022 发明效果 0023 根据本发明的使用汽车方向盘的手势识别装置,仅在规定的区域利用不同的阈值 进一步对进行摄像数据的二值化而得到的二值图像进行再。

14、次二值化,因此,将在最初的二 值图像中因光的照射情况而使得手背和手指的一部分分类为黑的部分分类为白,从而能够 在二值图像中使手背与手指结合。由此,能够在二值图像中识别出手。 0024 此外,在本发明中,对再次二值化后的二值图像进行收缩处理。在再次二值化时, 背景的一部分有时被分类为白,背景与手背以及手指可能结合,不过,通过进行收缩处理, 能够降低结合的可能性。 0025 此外,在本发明中,不是将图像整体作为进行再次二值化的区域,而仅将规定的区 域作为进行再次二值化的区域,因此,能够降低装置的处理负担。 0026 根据本发明的识别人的手在方向盘上的位置的手识别方法,仅在规定的区域利用 不同的阈值。

15、进一步对进行摄像数据的二值化而得到的二值图像进行再次二值化,因此,将 在最初的二值图像中因光的照射情况而使得手背和手指的一部分分类为黑的部分分类为 白,从而能够在二值图像中使手背与手指结合。由此,能够在二值图像中识别出手。 附图说明 0027 图1是示出本发明的使用汽车方向盘的手势识别装置的一个实施方式的汽车的 说 明 书CN 104025154 A 3/6页 5 车室内部的概略图。 0028 图2是从驾驶者侧观察仪表板附近的主视图。 0029 图3是示出手势识别装置的手识别部的结构的框图。 0030 图4是示出手的识别处理方法的流程图。 0031 图5是示出手的识别处理中的图像处理的一例的图。

16、。 0032 图6是示出手的识别处理中的图像处理的一例的图。 0033 图7是示出手的识别处理中的图像处理的一例的图。 具体实施方式 0034 本发明的使用汽车方向盘的手势识别装置是如下装置:利用摄像机等摄像单元对 车的方向盘进行摄像,对摄像数据进行二值化,从二值图像中识别方向盘上的驾驶员的手。 以下,参照附图,对本发明的使用汽车方向盘的手势识别装置的操作装置的实施方式进行 详细说明。 0035 图1及图2示出了安装有本发明的使用汽车方向盘的手势识别装置的汽车的车室 内部。如图1、图2所示,作为摄像设备的摄像机1以能够对方向盘S进行摄像的方式设置 在驾驶者的斜后方的顶部。此外,在摄像机1的附近。

17、设置有红外线照射单元UR,该红外线照 射单元UR在车内较暗的情况下对方向盘S周边进行照射。 0036 被用作摄像单元的摄像机是能够拍摄可见光的图像和红外线的图像的摄像机,摄 像机的设置位置不限于图1的例子,只要是能够对车室内的方向盘S进行摄像的位置即可。 0037 作为摄像对象的方向盘S具有与转向轴(未图示)连结的中央轮毂部Sa、圆环状 地包围该中央轮毂部Sa的轮缘Sm、以及连结在该轮缘Sm和中央轮毂部Sa之间的3根辐条 部Sb1Sb3。在中央轮毂部Sa的外表面,以可拆装的方式覆盖了喇叭罩(horn cover)2,在 该喇叭罩2的中央外表面,安装有经过设计处理的H字状的标志M1。此外,在辐条。

18、部Sb1 Sb3上以可拆装的方式安装有辐条罩3,该辐条罩3外观良好地覆盖这些辐条部的外表面。 0038 在方向盘S处于竖直的位置时,在辐条部Sb1和Sb3上左右对称地设置有L字状 标志的基准标志Ms,在辐条部Sb1设置有标志M2M4,在辐条部Sb3设置有标志M5M7。 在本实施方式中,根据基准标志Ms的位置,确定用于求出对来自摄像机的输入图像进行二 值化处理的阈值的图像区域。 0039 此外,本发明的申请人已经对这样的车载设备操作装置进行了专利申请(未公 开):设置基准标志和标志,根据摄像装置的摄像数据,识别基准标志的位置,根据基准标 志的位置,确定标志的位置。 0040 确定用于求出阈值的图。

19、像区域的方法不限于利用基准标志的方法,也可以基于其 它能够进行识别的方式,或者可以预先确定用于求出阈值的图像区域。 0041 接下来,对手识别部进行说明,该手识别部对由摄像机1拍摄到的图像数据进行 二值化,从二值图像中识别手。图3示出手势识别装置的手识别部10。如图3所示,具有: 图像接收部11,其接收由摄像机1拍摄到的图像数据;二值化处理部12,其利用规定的方 法对从图像接收部11接收到的输入图像进行二值化处理,生成第1二值图像;再次二值化 处理部13,其利用其它阈值对输入图像的规定区域进行再次二值化,生成第2二值图像;收 缩处理部14,其对由再次二值化处理部13生成的第2二值图像进行收缩处。

20、理;以及判定部 说 明 书CN 104025154 A 4/6页 6 15,其判定在第1二值图像和收缩处理后的第2二值图像中是否能够识别出手。 0042 图像接收部11具有从摄像机1接收图像数据的功能。具体而言,接收摄像机所生 成的规定形式的图像数据,将接收到的输入图像发送到二值化处理部12。 0043 二值化处理部12具有将从图像接收部11发送的输入图像转换为二值图像的功 能。在本实施方式中,使用判别分析法作为确定用于对图像进行二值化的阈值的方法。关 于判别分析法,由于是公知的技术,因而省略详细说明,作为判别分析法的文献,有大津 展之:“判別最小2乗基準基自動値選定法,”電子通信学会論文誌D。

21、, J-63,4,p.349,1980。 0044 二值化处理部12根据基准标志Ms,从输入图像中确定用于求出阈值的区域,将进 行判别分析后的结果作为阈值,进行输入图像的二值化处理,生成第1二值图像。通过该输 入图像的二值化处理,在第1二值图像中,能够将方向盘与手分离。针对所生成的第1二值 图像,判定部15判定是否能够识别出手。 0045 接下来,再次二值化处理部13确定仅对从图像接收部11发送的输入图像的规定 的区域进行二值化的其它阈值,对由二值化处理部12生成的二值图像的规定区域进行再 次二值化,生成第2二值图像。此处,进行再次二值化的目的是,虽然在二值化处理部12的 二值图像中分离了方向。

22、盘与手,但是根据光照射的方式的不同,有时手的各手指也会与手 背分离,出于使手背与手的各手指结合的目的,进行再次二值化处理。 0046 在再次二值化处理部13中的其它阈值的确定方法中,根据基准标志Ms,从输入图 像中确定在做手势(操作)时手可能进入的区域和做手势(操作)时也可能拍摄到背景的 区域。并且,将这些区域作为1个图像,利用判别分析法确定阈值。 0047 此外,进行再次二值化的规定区域优选是进行再次二值化的所需最低限度的区 域,其确定方法可以根据基准标志Ms从输入图像中确定。例如,用于确定其它阈值的上述 区域可推测为拍摄到手与背景的分界的区域,因此,仅对这些区域进行再次二值化,则将手 背与。

23、手的各手指结合起来的可能性较高。通过仅对所需最低限度的区域进行再次二值化, 能够降低处理负担。 0048 收缩处理部14对由再次二值化处理部13生成的第2二值图像进行收缩处理。之 所以对再次二值化后的二值图像进行收缩处理是因为,在再次二值化时,容易与作为背景 的方向盘结合,因此,需要缓解结合。此外,作为收缩处理的一例,在日本特许第3025365号 公报的0014段中有记载。 0049 判定处理部15判定在第1二值图像和由收缩处理部14收缩后的第2二值图像中 是否能够识别出手,在任何一方或者其双方中识别出手的情况下,判定为能够识别出手。 0050 接下来,说明手势识别装置的手的识别处理方法。图4。

24、示出手的识别处理方法的 流程图。手的识别处理方法是如下方法:利用判别分析法对输入图像进行二值化处理,生成 第1二值图像,接下来,仅对规定区域进行再次二值化,生成第2二值图像。 0051 首先,生成第1二值图像。确定利用判别分析法对由摄像机拍摄到的输入图像进 行二值化处理的阈值(S100)。 0052 图5示出了生成第1二值图像的图像处理的一例。在图5中,(a)是摄像机输入 图像,(b)是进行二值化的阈值确定的块,(c)是二值化处理后的二值图像。如图5(b)所 示,将摄像机输入图像分割为任意尺寸的块,按照每一块,利用判别分析法进行分析,确定 说 明 书CN 104025154 A 5/6页 7 。

25、阈值。 0053 接下来,利用确定出的阈值对输入图像进行二值化,生成二值图像(S101)。在图5 的例子中,对(a)的输入图像进行二值化的结果是(c)的二值图像。在图5(c)所示的二值 图像中,手背为黑,被分类为背景。 0054 接下来,生成第2二值图像。针对生成第1二值图像时的输入图像,确定一处在做 手势(操作)时手可能进入的区域以及两处在做手势(操作)时也可能拍摄到背景的区域 (S102)。这3处区域可以以图2的基准标志Ms为基准来确定。在本实施方式中,确定了一 处手可能进入的区域和两处可能拍摄到背景的区域,不过,这些区域使用几处均可,可以适 当确定。 0055 图6示出进行再次二值化处理。

26、而形成第2二值图像的图像处理的一例。在图6中, 图6(a)是摄像机输入图像,图6(b)是进行再次二值化的阈值确定的块,图6(c)是将阈值 确定的块的图像设为1个图像的情况,图6(d)是二值化处理后的二值图像。如图6(b)所 示,在确定出的3处区域中,将手可能进入(拍摄到)的区域设为中央轮毂部Sa的中心的 块,在进行操作时也可能拍摄到背景的区域设为中央轮毂部Sa的基准标志Ms的附近的块。 0056 如图6(c)所示,将3处的块的图像作为1个图像,进行判别分析法,确定新的阈值 (S103)。然后,利用新的阈值,对输入图像的规定区域进行再次二值化处理,生成第2二值 图像(S104)。如图6(d)所示。

27、,在再次二值化后的第2二值图像中,手背被分类为白。接下 来,对第2二值图像进行收缩处理(S105)。再接下来,判定在第1二值图像和收缩处理后的 第2二值图像中是否能够识别出手(S106)。在能够在第1二值图像和第2二值图像的任意 一个图像中识别出手的情况下,判定为能够识别出手(S107)。 0057 在图5(c)的第1二值图像中,手背为黑而判定为不能识别出手,而在图6(d)的再 次二值化后的图像的例子中,由于手被分类为白,因而被识别为手。因此,由于能够在一方 中识别出手,因此判定为能够识别出手。 0058 图7示出手的识别处理中的图像处理的另一例。图7(a)是来自摄像机的输入图 像,且光从手的。

28、右侧后方照射。图7(b)是基于判别分析法的第1二值图像,图7(c)是对所 需最低限的区域进行再次二值化并进行收缩处理后的第2二值图像。 0059 如图7(b)所示,手被分类为白,方向盘S的部分被分类为黑。即,判断为在图7(b) 的第1二值图像中能够识别出手。另一方面,在图7(c)的第2二值图像中,通过再次二值 化处理,喇叭部2被分类为白,手指与气囊面结合,通过进行收缩处理,食指变细,能够消除 人的食指与喇叭部2的结合。 0060 在上述的实施方式中,二值化的阈值确定方法使用了判别分析法,不过,也可以 使用其它确定二值化的阈值的方法,按照相同的处理顺序,生成二值图像,进行手的识别。 此外,进行最。

29、初的二值化的阈值和进行再次二值化的阈值均是利用判别分析法来确定的, 不过也可以分别利用不同的方法来确定阈值。例如,利用自适应二值化处理(adaptive threshold:自适应阈值)确定最初的阈值,利用判别分析法确定进行再次二值化的阈值, 按照与上述的实施方式相同的处理顺序,也能够得到相同的效果。此外,作为自适应二值化 处理的一例,在日本特许第4405942号公报的0037段中有记载。 0061 以上,使用附图所示的实施方式对本发明进行了说明,但这些仅为示例,本技术领 域的技术人员应当理解,在不脱离本发明的范围及主旨的范围内,能够进行各种变更及变 说 明 书CN 104025154 A 6。

30、/6页 8 形。因此,本发明的范围不限定于所说明的实施方式,而必须由权利要求所记载的技术主旨 来限定。 0062 标号说明 0063 1 摄像机 0064 10 手识别部 0065 11 图像接收部 0066 12 二值化处理部 0067 13 再次二值化处理部 0068 14 收缩处理部 0069 15 判定部 说 明 书CN 104025154 A 1/4页 9 图1 图2 说 明 书 附 图CN 104025154 A 2/4页 10 图3 说 明 书 附 图CN 104025154 A 10 3/4页 11 图4 说 明 书 附 图CN 104025154 A 11 4/4页 12 图5 图6 图7 说 明 书 附 图CN 104025154 A 12 。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1