用于识别用户的手势以执行车辆的操作的系统和方法.pdf

本发明公开了用于识别用户的手势以执行车辆的操作的系统和方法。该系统可包括：安装在车辆内以生成目标图像的摄像机，以及势识别器，该手势识别器从目标图像检测用户的手，参考用户的手来设置感兴趣区域(ROI)，并且通过仅追踪在ROI内的用户的手来识别用户的手势，其中根据用户的手的移动方向和移动速度改变ROI。

权利要求书
1.  一种用于识别用户的手势以执行车辆的操作的系统，包括：
摄像机，安装在所述车辆内并且被配置为产生目标图像；以及
手势识别器，被配置为从所述目标图像检测用户的手，参考所 述用户的手来设置感兴趣区域(ROI)，并且通过仅追踪在所述ROI 内的所述用户的手来识别所述用户的手势，
其中，根据所述用户的手的移动方向和移动速度改变所述ROI。

2.  根据权利要求1所述的系统，其中，所述手势识别器包括：
预处理单元，被配置为执行用于移除所述目标图像的背景和噪 声的预处理；以及
ROI设置单元，被配置为使用多个特征点从预处理后的所述目 标图像检测所述用户的手，并且参考所述用户的手来设置所述ROI。

3.  根据权利要求2所述的系统，其中，
所述多个特征点包括手指尖、手指谷、手腕和所述用户的手的 中心点，并且
所述ROI设置单元基于所述用户的手的轮廓的曲率来提取所 述手指尖、所述手指谷和所述手腕。

4.  根据权利要求2所述的系统，其中，所述ROI设置单元根据预定像 素坐标检测所述用户的手的位置。

5.  根据权利要求2所述的系统，其中，当所述用户的手的所述移动速 度小于预定速度时，所述ROI设置单元将所述ROI设置为参考所述 用户的手所形成的第一区域。

6.  根据权利要求5所述的系统，其中，在将所述ROI设置为所述第一 区域之后，当所述用户的手的所述移动速度大于或等于所述预定速 度时，所述ROI设置单元将所述ROI重置为第二区域。

7.  根据权利要求6所述的系统，其中，
所述第二区域的尺寸小于所述第一区域的尺寸，并且
所述第二区域基于所述第一区域而沿所述用户的手的所述移 动方向扩大并且沿与所述用户的手的所述移动方向垂直的方向减 小。

8.  根据权利要求7所述的系统，其中，在将所述ROI重置为所述第二 区域之后，当所述用户的手的所述移动速度小于所述预定速度时， 所述ROI设置单元将所述ROI恢复到所述第一区域。

9.  根据权利要求2所述的系统，其中，所述手势识别器进一步包括：
存储单元，被配置为存储与在所述车辆中提供的多个应用功能 匹配的手势信息；以及
匹配单元，被配置为使用追踪到的所述用户的手和存储在所述 存储单元中的所述手势信息来识别所述用户的手势并且执行对应于 所识别出的所述用户的手势的应用功能。

10.  根据权利要求9所述的系统，其中，所述手势信息包括基于所述多 个特征点设置的手姿态，以及基于所述多个特征点的位置改变而设 置的手运动。

11.  一种用于识别用户的手势以执行车辆的操作的方法，包括：
从经由摄像机获得的目标图像检测用户的手；
参考所述用户的手将感兴趣区域(ROI)设置为第一区域；
计算所述用户的手在所述第一区域内的移动方向和移动速度； 并且
当所述用户的手的所述移动速度大于或等于预定速度时，将所 述ROI重置为第二区域，
其中，所述第二区域的尺寸小于所述第一区域的尺寸，并且所 述第二区域基于所述第一区域沿所述用户的手的所述移动方向扩大 并且沿与所述用户的手的所述移动方向垂直的方向减小。

12.  根据权利要求11所述的方法，其中，检测所述用户的手包括：
执行用于移除所述目标图像的背景和噪声的预处理；并且
使用多个特征点从预处理后的所述目标图像检测所述用户的 手。

13.  根据权利要求11所述的方法，其中，
所述多个特征点包括手指尖、手指谷、手腕和所述用户的手的 中心点，并且
基于所述用户的手的轮廓的曲率来提取所述手指尖、所述手指 谷、所述手腕以及所述用户的手的中心点。

14.  根据权利要求11所述的方法，进一步包括：在将所述ROI重置为 所述第二区域之后，当所述用户的手的所述移动速度小于所述预定 速度时，将所述ROI恢复到所述第一区域。

15.  根据权利要求11所述的方法，进一步包括：
仅追踪在所述ROI内的所述用户的手；并且
使用所追踪到的所述用户的手和存储在存储单元中的手势信 息来识别所述用户的手势。

16.  一种非暂存性计算机可读介质，包含由处理器或控制器执行的程序 指令，所述计算机可读介质包括：
从经由摄像机获得的目标图像检测用户的手的程序指令；
参考所述用户的手将感兴趣区域(ROI)设置为第一区域的程 序指令；
计算所述用户的手在所述第一区域内的移动方向和移动速度 的程序指令；以及
当所述用户的手的所述移动速度大于或等于预定速度时，将所 述ROI重置为第二区域的程序指令，
其中，所述第二区域的尺寸小于所述第一区域的尺寸，并且所 述第二区域基于所述第一区域而沿所述用户的手的所述移动方向扩 大并且沿与所述用户的手的所述移动方向垂直的方向减小。

说明书用于识别用户的手势以执行车辆的操作的系统和方法
相关申请的交叉引用
本申请要求于2013年12月10日提交给韩国知识产权局的韩国专利 申请第10-2013-0153472号的优先权和权益，通过引用将其全部结合在此。
技术领域
本发明涉及用于识别用户的手势以操作车辆或车辆组件，并因此能够 执行车辆的操作的系统和方法。
背景技术
通常，基于摄像机的手势识别技术被用于各种领域，诸如车辆、智能 TV、游戏机、以及移动电话的操作。
在基于摄像机的手势识别技术中，手势识别成功率和手势识别速度是 关键的因素。
图6(现有技术)是根据现有技术用于识别用户的手势的方法的流程 图。
参考图6，在现有技术中，经由摄像机获得目标图像，并且移除目标 图像的背景以检测用户的手。此后，追踪用户的手以识别用户手势。
在这种情况下，预先设置其中追踪用户的手以识别用户手势的感兴趣 区域(ROI)。尽管用户的手快速移动，但是为了追踪用户的手，ROI被固 定为整个目标图像。
在ROI较宽的情况下，花费较长时间追踪用户的手，使得手势识别 成功率和手势识别速度劣化。
当手势识别成功率较低时，诸如驾驶员的用户必须频繁地移动他的手 从而输入他的手势，并且因此随着驾驶员的注意力分散，可能发生意外事 故。
在本背景技术部分中公开的上述信息仅用于增强对本发明的背景技 术的理解，并且因此可能包含没有在该国形成为本领域的技术人员所已知 的现有技术的信息。
发明内容
本发明提供了用于识别用户手势以执行车辆的操作的系统和方法，其 具有通过根据用户的手的移动方向和移动速度设置感兴趣区域来改善手 势识别成功率和手势识别速度的优点。
根据本发明的示例性实施方式的用于识别用户的手势以执行车辆的 操作的系统可以包括：摄像机，其安装在车辆内并且被配置为产生目标图 像；和手势识别器，其被配置为从目标图像检测用户的手，参考用户的手 设置感兴趣区域(ROI)，并且通过仅追踪在ROI内的用户的手来识别用户 的手势，其中，可以根据用户的手的移动方向和移动速度改变ROI。
手势识别器可以包括预处理单元，其被配置为执行用于移除目标图像 的背景和噪声的预处理；和ROI设置单元，其被配置为使用多个特征点从 预处理后的目标图像检测用户的手，并且参考用户的手设置ROI。
多个特征点可以包括手指尖、手指谷(finger valley，指蹼，指窝)、 手腕、以及用户的手的中心点，并且ROI设置单元可以基于用户的手轮廓 的曲率来提取手指尖、手指谷、以及手腕。
ROI设置单元可以根据预定像素坐标检测用户的手的位置。
当用户的手的移动速度小于预定速度时，ROI设置单元可以将ROI 设置为参考用户的手所形成的第一区域。
在ROI被设置为第一区域之后，当用户的手的移动速度大于或等于 预定速度时，ROI设置单元可以将ROI重置为第二区域。
第二区域的尺寸可以小于第一区域的尺寸，并且第二区域可以基于第 一区域而沿用户的手的移动方向扩大并且沿垂直于用户的手的移动方向 的方向减小。
在ROI被重置为第二区域之后，当用户的手的移动速度小于预定速 度时，ROI设置单元122可以将ROI恢复到第一区域。
手势识别器可以进一步包括存储单元，其被配置为存储与设置在车辆 中的多个应用功能匹配的手势信息；和匹配单元，其被配置为使用追踪的 用户的手和存储在存储单元中的手势信息识别用户手势并且执行对应于 所识别的用户手势的应用功能。
手势信息可以包括基于多个特征点设置的手姿势，和基于多个特征点 位置改变设置的手运动(hand motion)。
根据本发明的示例性实施方式的用于识别用于执行车辆操作的用户 手势的方法可以包括：从经由摄像机获得的目标图像检测用户的手；参考 用户的手将感兴趣区域(ROI)设置为第一区域；计算在第一区域内的用 户的手的移动方向和移动速度；并且当用户的手的移动速度大于或等于预 定速度时，将ROI重置为第二区域，其中，第二区域的尺寸小于第一区域 的尺寸，并且基于第一区域第二区域沿用户的手的移动方向扩大并且沿垂 直于用户的手的移动方向的方向减小。
检测用户的手可以包括：执行用于移除目标图像的背景和噪声的预处 理；并且使用多个特征点从预处理的目标图像检测用户的手。
多个特征点可以包括手指尖、手指谷、手腕、以及用户的手的中心点， 并且可以基于用户的手轮廓的曲率来提取手指谷、手腕、以及用户的手的 中心点。
该方法可以进一步包括：在ROI被重置为第二区域之后，当用户的 手的移动速度小于预定速度时，将ROI恢复到第一区域。
该方法可以进一步包括：仅追踪在ROI内的用户的手；并且使用追 踪的用户的手和存储在存储单元中的手势信息来识别用户手势。
根据本发明的示例性实施方式，可以根据用户的手的移动方向和移动 速度改变ROI，因此可以改善用于追踪用户的手的速度。
因此，可以改善手势识别成功率和手势识别速度。
一种非暂存性计算机可读介质，包含通过处理器或控制器执行的程序 指令，并且可以包括：从经由摄像机获得的目标图像检测用户的手的程序 指令；参考用户的手将感兴趣区域(ROI)设置为第一区域的程序指令；计 算在第一区域内的用户的手的移动方向和移动速度的程序指令；以及当用 户的手的移动速度大于或等于预定速度时，其将ROI重置为第二区域的程 序指令，其中第二区域的尺寸小于第一区域的尺寸，并且第二区域基于第 一区域沿用户的手的移动方向扩大并且沿垂直于用户的手的移动方向的 方向减小。
附图说明
图1是根据本发明的示例性实施方式的用于识别用户手势的系统的 示意图。
图2是根据本发明示例性实施方式的手势识别器的框图。
图3是用于解释根据本发明示例性实施方式用于从目标图像提取多 个特征点的方法的示意图。
图4是用于解释根据本发明示例性实施方式设置感兴趣区域的方法 的示意图。
图5是根据本发明的示例性实施方式的用于识别用户手势的方法的 流程图。
图6(现有技术)是根据现有技术用于识别用户手势的方法的流程图。
具体实施方式
在以下具体说明中，简单通过图示的方式仅示出并描述了本发明的某 些示例性实施方式。本领域技术人员应当认识到，在不脱离本发明的精神 或者范围内，可以各种不同方式修改所描述的实施方式。因此，附图和说 明从本质上被认为是说明性的并且非限制性的。通篇说明书，相同参考标 号指代相同的元件。
应当理解，本文中所使用的术语“车辆(vehicle)”或“车辆的 (vehicular)”或其他类似术语包括广义的机动车辆，诸如包括运动型多用 途车辆(SUV)、公共汽车、卡车、各种商用车辆的载客车辆；包括各种 小船、海船的船只；航天器等；并且包括混合动力车辆、电动车辆、燃油 车、插电混合电动车、氢动力车辆和其他替代燃料车辆(例如，燃料来源 于非汽油能源)。如本文中提及，混合动力车辆是具有两个或更多动力源 的车辆，例如，汽油动力和电动力车辆。
本文中所使用的措辞仅是为了描述特定实施方式而并不旨在对本发 明进行限制。除非上下文另有明确说明，否则如本文中所使用的单数形式 “一(a)”、“一(an)”及“该(the)”也旨在包括复数形式。还应当理解， 当术语“包括”和/或“包含”用于本说明书时，其描述了存在所述特征、 整体、步骤、操作、元件及/或组件，但并不排除存在或附加有一个或多个 其它特征、整体、步骤、操作、元件、组件及/或其组合。作为本文中所用 的术语“和/或”包括一个或多个相关的所列项的任何及所有组合。此外， 在说明书中术语“…器(-er)”，“…装置(-or)”或者“模块(module)” 意指用于处理至少一个功能和操作的单元，并且可通过硬件组件或者软件 组件及其组合实现。
进一步，本发明的控制逻辑可体现为非暂存性计算机可读介质，在计 算机可读介质上包含由处理器、控制器/控制单元等执行的可执行程序指 令。计算机可读介质的实例包括但并不限于：ROM、RAM、光盘(CD) -ROM、磁带、软盘、闪存驱动、智能卡和光学数据存储装置。计算机可 读介质也可分布在网络耦合的计算机系统中，从而以分布式方式存储并且 例如由远程信息处理服务器(telematics server)或控制器局域网络(CAN) 执行该计算机可读介质。
在下文中，将参考附图详细地描述根据本发明示例性实施方式的用于 识别用户的手势的系统和方法。
图1是根据本发明的示例性实施方式的用于识别用户的手势的系统 的示意图。
如图1所示，根据本发明示例性实施方式的用于识别用户的手势以执 行车辆的操作的系统100可以包括摄像机110和手势识别器120。
摄像机110安装在车辆内，并且拍摄用户(诸如驾驶员和乘客)的手 以产生目标图像。目标图像被传输到手势识别器120。
手势识别器120移除经由摄像机110获得的目标图像的背景以检测用 户的手，参照用户的手设置感兴趣区域(ROI)，并且通过仅追踪在ROI内 的用户的手来识别用户的手势。ROI是其中追踪用户的手以从目标图像中 识别用户手势的区域。
手势识别器120可以利用通过预定程序执行的一个或多个微处理器 实现。预定程序可以包括一系列命令，该命令用于执行包括在以下描述的 根据本发明示例性实施方式的识别用户手势的方法中的各步骤。
图2是根据本发明示例性实施方式的手势识别器的框图。
如图2所示，根据本发明示例性实施方式的手势识别器120可以包括 预处理单元121、ROI设置单元122、存储单元123、以及匹配单元124。
预处理单元121执行用于移除经由摄像机110获得的目标图像的背景 和噪声的预处理。
ROI设置单元122使用多个特征点从预处理后的目标图像检测用户 的手，并且参考用户的手设置ROI。
图3是用于解释根据本发明示例性实施方式的用于从目标图像提取 多个特征点的方法的示意图。
参考图3，ROI设置单元122从目标图像提取多个特征点并且通过使 用多个特征点建模的手来检测用户的手。多个特征点可以包括手指尖、手 指谷、手腕、以及用户的手的中心点。ROI设置单元可以基于用户的手轮 廓的曲率提取手指尖、手指谷、以及手腕。
ROI设置单元122根据预定像素坐标检测用户的手的位置(坐标)。 在这种情况下，用户的手的位置可以根据摄像机110的性能表示为二维坐 标[X,Y]或三维坐标[X,Y,Z]。
ROI设置单元122参考用户的手来设置ROI，并且仅在ROI内而不 是整个目标图像追踪用户的手。因此，能够显著地改善手势识别速度。
图4是用于解释根据本发明示例性实施方式设置感兴趣区域的方法 的示意图。
参考图4，ROI设置单元122可以使用目标图像的连续帧计算用户的 手的移动方向和移动速度。本文中，可以基于用户的手的中心点计算移动 方向和移动速度。为了提供适宜的可靠性，可以预定帧时间(例如，三个 帧时间)计算用户的手的移动方向和移动速度。
当用户的手的移动速度小于预定速度时，ROI设置单元122将ROI 设置为第一区域。第一区域可以参考用户的手以正方形形状形成，但不限 于此。
当用户的手的移动速度大于或等于预定速度时，ROI设置单元122 将ROI重置为第二区域。第二区域可以基于第一区域，在沿用户的手的移 动方向扩大并且沿垂直于用户的手的移动方向的方向减小。第二区域小于 第一区域。
换言之，当用户的手沿具体方向迅速移动时，期望的是，用户的手将 沿具体方向持续移动。因此，ROI沿具体方向扩大并且沿垂直于具体方向 的方向减小，使得可以改善用于追踪用户的手的速度。
例如，当用户的手在一个帧时间向左或右移动一个像素时，第二区域 可以形成具有10像素宽度和6像素高度的长方形形状，但是第二区域的 形状不限于此。
在ROI被重置为第二区域之后，当用户的手的移动速度小于预定速 度时，ROI设置单元122将ROI恢复到第一区域。
存储单元123存储与设置在车辆中的多个应用功能匹配的手势信息。 多个应用功能可以是设置在车辆中的多个电子装置(音频视频导航装置、 空调器等)的各种应用功能(例如，上电/断电、调高/调低音量、接听/挂 断移动电话、音乐的播放/停止/静音等)。
存储单元123可以存储包括手姿态和手运动的手势信息。可以基于多 个特征点设置手姿态，并且可以基于多个特征点的位置改变设置手运动
匹配单元124使用追踪的用户的手和存储在存储单元123中的手势信 息来识别用户手势。
匹配单元124执行对应于所识别的用户手势的应用功能。为了这个目 的，匹配单元124可以与多个电子装置连接。
匹配单元124可以经由音频视频导航装置显示针对每个应用功能的 手势输入状态和操作状态。
在下文中，参考图5，将详细地描述根据本发明示例性实施方式的用 于识别用户手势的方法。
图5是根据本发明的示例性实施方式的用于识别用户手势的方法的 流程图。
如图5所示，在步骤S101，手势识别器120从摄像机110获得目标 图像。
在步骤S102，手势识别器120执行用于移除目标图像的背景和噪声 的预处理。
在步骤S103，手势识别器120使用多个特征点从预处理后的目标图 像检测用户的手。多个特征点可以包括手指尖、手指谷、手腕、以及用户 的手的中心点。手势识别器120可以基于用户的手轮廓的曲率来提取手指 尖、手指谷、以及手腕。
在步骤S104，手势识别器120将ROI设置为第一区域。第一区域可 以参考用户的手以正方形形状形成，但不限于此。
在步骤S105，手势识别器120计算在第一区域内的用户的手的移动 方向和移动速度。
在步骤S106，手势识别器120将用户的手的移动速度与预定速度比 较。
当在步骤S106用户的手的移动速度小于预定速度时，在步骤S111 手势识别器120识别仅在第一区域内的用户手势。
当在步骤S106用户的手的移动速度大于或等于预定速度时，在步骤 S107手势识别器120将ROI重置为第二区域。第二区域可以基于第一区 域沿用户的手的移动方向扩大并且沿垂直于用户的手的移动方向的方向 减小。第二区域小于第一区域。
在步骤S108，手势识别器120通过追踪仅在第二区域内的用户的手 来识别用户手势。
在步骤S109，手势识别器120将在第二区域内的用户的手的移动速 度与预定速度比较。
当在步骤S109用户的手的移动速度大于或等于预定速度时，在步骤 S111手势识别器120识别仅在第二区域内的用户手势。
当在步骤S109用户的手的移动速度小于预定速度时，在步骤S110 手势识别器120将ROI恢复到第一区域。
在步骤S111手势识别器120使用所追踪的用户的手和存储在存储单 元123中的手势信息来识别用户手势。手势识别器120执行对应于所识别 用户手势的应用功能。
根据本发明的示例性实施方式，可以根据用户的手的移动方向和移动 速度改变ROI，因此可以改善用于追踪用户的手的速度。
因此，可以改善手势识别成功率和手势识别速度。
上述实施方式除了通过由本领域技术人员容易实现的上述装置和/或 方法之外，还能够通过用于实现对应于实施方式构造的功能的程序或用于 记录程序的记录介质而实现。
虽然已经结合目前被认为是实用的示例性实施方式对本发明进行了 描述，但是应当理解，本发明不限于所公开的实施方式，而是相反，旨在 涵盖包括在所附权利要求书的精神和范围内的各种修改和等同配置。