《手势输入的方法及系统.pdf》由会员分享，可在线阅读，更多相关《手势输入的方法及系统.pdf（19页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103135753 A (43)申请公布日 2013.06.05 CN 103135753 A *CN103135753A* (21)申请号 201110412209.5 (22)申请日 2011.12.12 100144596 2011.12.05 TW G06F 3/01(2006.01) G06K 9/00(2006.01) G06K 9/62(2006.01) (71)申请人 纬创资通股份有限公司 地址 中国台湾新北市 (72)发明人 魏守德 周家德 曹训志 廖志彬 (74)专利代理机构 隆天国际知识产权代理有限 公司 72003 代理人 冯志云 吕俊清 (5。
2、4) 发明名称 手势输入的方法及系统 (57) 摘要 本发明提供一种手势输入的方法及系统。该 系统耦接于一显示装置。第一影像提取装置及第 二影像提取装置提取使用者的手部并分别产生第 一灰阶影像画面及第二灰阶影像画面。处理单元 包括物体检测单元、 三角定位单元、 记忆单元及手 势判断单元。物体检测单元分别检测取得手部于 第一灰阶影像画面与该第二灰阶影像画面的第一 成像位置及第二成像位置。三角定位单元通过第 一成像位置及第二成像位置计算手部的三维空间 坐标。 记忆单元， 记录手部于三维空间坐标中的一 移动轨迹以及手势判断单元识别该移动轨迹并产 生一手势命令。 (30)优先权数据 (51)Int.C。
3、l. 权利要求书 2 页 说明书 5 页 附图 11 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书5页 附图11页 (10)申请公布号 CN 103135753 A CN 103135753 A *CN103135753A* 1/2 页 2 1. 一种手势输入方法， 用于一手势输入系统中以控制一显示装置的内容， 其中该手势 输入系统包括一第一影像提取装置、 一第二影像提取装置、 一物体检测单元、 一三角定位单 元、 一记忆单元、 一手势判断单元以及一显示装置， 该方法包括 ： 通过该第一影像提取装置提取一使用者的一手部并产生一第一灰阶影像画面 ； 通过。
4、该第二影像提取装置提取该使用者的该手部并产生一第二灰阶影像画面 ； 通过该物体检测单元分别检测取得该手部于该第一灰阶影像画面与该第二灰阶影像 画面的一第一成像位置及一第二成像位置 ； 通过该三角定位单元根据该第一成像位置及该第二成像位置计算该手部的一三维空 间坐标 ； 通过该记忆单元记录该手部于该三维空间坐标中的一移动轨迹 ； 以及 通过该手势判断单元用以识别该移动轨迹并据以产生一手势命令。 2. 如权利要求 1 所述的手势输入方法， 还包括输出该手势命令控制该显示装置内容的 一手势对应元件。 3. 如权利要求 1 所述的手势输入方法， 其中该物体检测单元通过一滑动窗口在该第一 灰阶影像画面及。
5、该第二灰阶影像画面中检测该手部于该第一灰阶影像画面与该第二灰阶 影像画面的该第一成像位置及该第二成像位置。 4. 如权利要求 1 所述的手势输入方法， 其中该三角定位单元通过该第一影像提取装置 及该第二影像提取装置的复数内部参数、 一旋转矩阵、 一位移矩阵、 该第一成像位置以及该 第二成像位置计算该手部的一三维空间坐标。 5. 如权利要求 1 所述的手势输入方法， 在该第一及该第二影像提取装置提取手部灰阶 影像时， 还包括 ： 通过该对象检测单元辨识所提取的对象影像是否为手部灰阶影像。 6. 如权利要求 5 所述的手势输入方法， 在该第一及该第二影像提取装置提取手部灰阶 影像时， 还包括 ： 。
6、通过该物体检测单元中一影像辨识分类器用以辩识该使用者的该手部灰阶画面。 7. 如权利要求 6 所述的手势输入方法， 该影像辨识分类器辩识该使用者的该手部灰阶 画面时， 还包括 ： 利用一影像特征训练学习器以大量的手部灰阶影像与非手部灰阶影像并通过支持向 量机或 Adaboost 技术做离线训练以预先训练学习辨识手部特征的能力。 8. 一种手势输入系统， 耦接于一显示装置， 包括 ： 一第一影像提取装置， 提取一使用者的一手部并产生一第一灰阶影像画面 ； 一第二影像提取装置， 提取该使用者的该手部并产生一第二灰阶影像画面 ； 一处理单元， 耦接该第一影像提取装置、 该第二影像提取装置及该显示装置。
7、， 包括 ： 一物体检测单元， 耦接于该第一影像提取装置及该第二影像提取装置， 分别检测取得 该手部于该第一灰阶影像画面与该第二灰阶影像画面的一第一成像位置及一第二成像位 置 ； 一三角定位单元， 耦接于该物体检测单元， 通过该第一成像位置及该第二成像位置计 算该手部的一三维空间坐标 ； 一记忆单元， 耦接于该三角定位单元， 记录该手部于该三维空间坐标中的一移动轨迹 ； 权 利 要 求 书 CN 103135753 A 2 2/2 页 3 以及 一手势判断单元， 耦接于该记忆单元， 用以识别该移动轨迹并产生一手势命令。 9. 如权利要求 8 所述的手势输入装置， 其中该处理单元还包括 ： 一传。
8、输单元， 耦接于该手势判断单元， 输出该手势命令控制该显示装置内容的一手势 对应元件。 10. 如权利要求 8 所述的手势输入装置， 其中该物体检测单元通过一滑动窗口在该第 一灰阶影像画面及该第二灰阶影像画面中检测该手部于该第一灰阶影像画面与该第二灰 阶影像画面的该第一成像位置及该第二成像位置。 11. 如权利要求 8 所述的手势输入装置， 其中该三角定位单元通过该第一影像输入提 取装置及该第二影像提取输入装置的复数内部参数、 一旋转矩阵、 一位移矩阵、 该第一成像 位置以及该第二成像位置计算该手部的一三维空间坐标。 12. 如权利要求 8 所述的手势输入装置， 其中该物体检测单元还包括一影像。
9、辨识分类 器， 用以辩识该使用者的该手部灰阶画面。 13. 如权利要求 12 所述的手势输入装置， 其中该影像辨识分类器系利用一影像特征训 练学习器以大量的手部灰阶影像与非手部灰阶影像并通过支持向量机或 Adaboost 技术做 离线训练以预先训练学习辨识手部特征的能力。 权 利 要 求 书 CN 103135753 A 3 1/5 页 4 手势输入的方法及系统 技术领域 0001 本发明涉及一种输入系统， 且特别有关于一种手势输入系统， 其主要应用于一具 有人机接口且以数据运算处理为基础的空间的系统。 背景技术 0002 随着计算机及其它电子装置在我们的日常生活中变得更普遍， 对更方便、 直。
10、观及 便携式输入装置的需求也在增长。指向装置是一类输入装置， 其通常用来同与电子显示器 相关联的计算机及其它电子装置互动。已知的指向装置及机器控制机制包括电子鼠标、 轨 迹球(trackball)、 指标鼠(pointing stick)及触控板、 触控屏幕及其它装置。 已知的指向 装置用来控制显示于相关联电子显示器上的光标的位置及 / 或运动。通过启动指向装置上 的开关， 指向装置亦可传送命令， 例如特定位置命令。 0003 在一些实例中， 需要在一距离之外来控制电子装置， 在此情况中， 使用者无法触摸 该装置。这些实例的一些范例为收看电视、 观看个人计算机上的视频等等。在这些情况下， 解决。
11、方案是使用一远程控制装置。最近， 诸如手势的人类姿势已被提议作为一使用者接口 输入工具， 其即使在远离控制器装置的一距离也可使用。 0004 现有以人类姿势在一距离之外操控电子装置 ( 例如， 一体成型计算机 (allin one， AIO)、 智能型电视 (Smart TV) 等装置 ) 的系统有两类。一种是二维影像感应器， 另外 一种则是利用支持立体影像的 3D 立体摄影机。但二维影像感应器仅能检测肢体的于二维 平面的移动向量， 并无法检测肢体相对于感应器进行前后方向的动作， 例如推 / 拉的动作。 而支持立体影像的 3D 立体摄影机， 虽可得到整个影像的深度信息， 再追踪肢体 ( 例如手。
12、 部 ) 于三维空间的动作变化。但是以结构光源 (structured light) 或时差测距 (time of flight) 技术为主能支持立体影像的 3D 摄影机系统成本昂贵， 机构巨大且不利于整合。 0005 此外， 先前技术例如中国台湾专利 TW I348127 申请， 也有使用于工作空间中 随机取数个取样点的机率分布方式而以复杂的机率统计分析来检测手势的指向。先 前技术例如国立成功大学资讯工程学系于 2007 年 7 月发表的硕士论文 耦合隐藏式 马可夫模型于双手手势辨识 (Recognition of Two-HandedGestures via Couplings of Hi。
13、dden Markov Models) ， 或是财团法人工业技术研究院所发表的 Depth Camera Technology(Passive)， 则介绍了以辨识手部肤色的方式来辨识手势动作。此外， 先前技术 例如国立中央大学资讯工程研究所 2009 年发表的 基于立体视觉手势辨识的人机互动系 统 (Human-MachineInteraction Using Stereo Vision-based Gesture Recognition) 硕 士论文， 则有公开利用类神经网络求得像差与影像深度的映像模型来追踪与检测手势动 作。 如采用肤色检测辨识的解决方案时， 容易因环境光源的改变而影响肤色。
14、的判别准确度。 而若采需预先建立深度映像模型的解决方案， 则要产生像差则二台摄影机必须平行摆放， 且将最接近的物体当作是手势对象而会有误认或误判的风险。 0006 因此， 本发明提供了一种手势输入的方法及系统， 其具有设计成本低廉与符合人 体工学需求等特性， 并且增加使用的简易性与方便性。特别是本发明可不受环境光线明暗 说 明 书 CN 103135753 A 4 2/5 页 5 强弱影响， 也毋须先建立深度映像模型， 更不用复杂的采样机率统计分析， 而为一简单实用 的手势动作检测解决方案。 发明内容 0007 本发明提供一种手势输入的方法及系统。 0008 本发明提供实施例的一种手势输入方法。
15、， 用于一手势输入系统中以控制一显示装 置的内容， 其中该手势输入系统包括一第一影像提取装置、 一第二影像提取装置、 一物体检 测单元、 一三角定位单元、 一记忆单元、 一手势判断单元以及一显示装置。 该方法包括 ： 通过 该第一影像提取装置提取一使用者的一手部并产生一第一灰阶影像画面 ； 通过该第二影像 提取装置提取该使用者的该手部并产生一第二灰阶影像画面 ； 通过该物体检测单元分别检 测取得该手部于该第一灰阶影像画面与该第二灰阶影像画面的一第一成像位置及一第二 成像位置 ； 通过该三角定位单元根据该第一成像位置及该第二成像位置计算该手部的一三 维空间坐标 ； 通过该记忆单元记录该手部于该三。
16、维空间坐标中的一移动轨迹 ； 以及通过该 手势判断单元用以识别该移动轨迹并据以产生一手势命令。 0009 本发明更提供实施例的一种手势输入系统， 耦接于一显示装置， 包括 ： 一第一影像 提取装置， 提取一使用者的一手部并产生一第一灰阶影像画面 ； 一第二影像提取装置， 提取 该使用者的该手部并产生一第二灰阶影像画面 ； 一物体检测单元， 耦接于该第一影像提取 装置及该第二影像提取装置， 分别检测取得该手部于该第一灰阶影像画面与该第二灰阶影 像画面的一第一成像位置及一第二成像位置 ； 一三角定位单元， 耦接于该物体检测单元， 通 过该第一成像位置及该第二成像位置计算该手部的一三维空间坐标 ； 。
17、一记忆单元， 耦接于 该三角定位单元， 记录该手部于该三维空间坐标中的一移动轨迹 ； 以及一手势判断单元， 耦 接于该记忆单元， 用以识别该移动轨迹并产生一手势命令。 0010 为使本发明的上述和其它目的、 特征和优点能更明显易懂， 下文特举出较佳实施 例， 并配合所附图式， 作详细说明如下。 附图说明 0011 图 1 显示本发明实施例的手势输入系统的架构示意图 ； 0012 图 2 显示本发明实施例的手势输入系统的区块图 ； 0013 图 3 显示本发明实施例的成像画面与位置的示意图 ； 0014 图 4A 4B 显示本发明的手势输入方法的步骤流程图 ； 0015 图 5A 5C 显示本发。
18、明的手势输入实际应用的示意图 ； 0016 图 6A 6C 显示本发明的手势输入实际应用的示意图。 0017 其中， 附图标记说明如下 ： 0018 100 手势输入系统 0019 110 第一影像提取装置 120 第二影像提取装置 ； 0020 130 处理单元 131 物体检测单元 ； 0021 1311 影像辨识分类器 0022 1312 影像特征训练学习器 0023 132 三角定位单元 133 记忆单元 ； 说 明 书 CN 103135753 A 5 3/5 页 6 0024 134 手势判断单元 135 传输单元 ； 0025 140 显示装置 150 使用者 ； 0026 15。
19、1 手部 152 手部重心 ； 0027 210 第一影像画面 211 滑动窗口 ； 0028 212 第一成像位置 220 第二影像画面 ； 0029 221 滑动窗口 222 第二成像位置 ； 0030 S301 S310 步骤 具体实施方式 0031 为了让本发明的目的、 特征、 及优点能更明显易懂， 下文特举较佳实施例， 并配合 所附图示图 1 至图 6C， 做详细的说明。本发明说明书提供不同的实施例来说明本发明不同 实施方式的技术特征。其中， 实施例中的各元件的配置为说明之用， 并非用以限制本发明。 且实施例中图式标号的部分重复， 是为了简化说明， 并非意指不同实施例之间的关联性。 。
20、0032 本发明实施的手势输入系统为一具有人机接口的系统， 其具有两个影像提取装 置。该手势输入系统利用两个影像提取装置提取一肢体 ( 即， 一使用者的手部 ) 的影像后， 利用一处理单元对该影像提取装置所提取到肢体影像的成像位置执行运算， 以回推该肢体 于空间中的三维坐标或二维投影坐标， 并根据计算所得的坐标信息纪录手部运动的一移动 轨迹， 以控制一显示装置。 0033 下文以数个实施例分别说明本发明的手势输入系统及其方法流程。 0034 图 1 显示本发明一种实施例的手势输入系统的架构示意图。 0035 参考图 1， 手势输入系统包括一第一影像提取装置 110、 一第二影像提取装置 120。
21、、 一处理单元 130 及一显示装置 140。其中显示装置 140 泛指计算机屏幕、 个人数字助理 (Personal Digital Assistant， PDA)、 行动电话、 投影机、 电视屏幕等装置。第一影像提取 装置 110 及第二影像提取装置 120 可以是二维影像摄影机 ( 例如， 连接监控摄影机 (CCTV camera)、 数字摄影机 (Digital Video， DV)、 网络摄影机 (WebCam) 等 )。而第一影像提取装 置 110 及第二影像提取装置 120 可以在能提取到一使用者 150 的手部 151 的条件下， 摆放 于具有适当角度的位置， 但不必一定平行对。
22、应摆放， 且第一影像提取装置 110 及第二影像 提取装置 120 也可使用不同的焦距。但在使用之前， 第一影像提取装置 110 及第二影像提 取装置 120 需先经过校正程序 (Calibration) 以得到影像提取装置内部参数矩阵、 旋转矩 阵与位移矩阵。 0036 图 2 显示本发明的手势输入系统 100 的区块图。处理单元 130 耦接至第一影像提 取装置 110、 第二影像提取装置 120 及显示装置 140。其中， 处理单元 130 还包括一物体检 测单元 131、 一三角定位单元 132、 一记忆单元 133、 一手势判断单元 134 及一传输单元 135。 0037 首先， 。
23、物体检测单元 131 包含有一影像辨识分类器 1311， 该影像辨识分类器 1311 必须接受预先训练 (Pre-training) 以产生辨认识手部的能力。其中影像辨识分类器 1311 可以利用一影像特征训练学习器 1312， 例如 Intel 公司所发展的 Open CV 软件， 以大量的 手部灰阶影像与非手部灰阶影像并通过支持向量机 (Support Vector Machine， SVM) 或 Adaboost 技术做离线训练 (Ofi-line Training)， 以预先训练学习辨识手部特征的能力。 值得注意的是， 由于此物体检测单元 131 仅需使用灰阶影像， 所以在一般环境中，。
24、 不同的光 说 明 书 CN 103135753 A 6 4/5 页 7 源、 色温、 色彩 ( 例如， 日光灯白光、 钨丝灯黄光、 太阳光 ) 均不影响物体检测单元 131 检测 可能会随环境光源而变化肤色呈现的手部。此外， 本实施例为预先训练好大量的手部灰阶 影像与非手部灰阶影像， 该手部影像可以是五指张开的掌形影像， 也可以是五指缩合的拳 头影像。 然而， 除以上所述的手部肢体外， 熟习本技术领域技术人员也可事先训练其它人体 五官四肢的灰阶影像。 0038 使用者150一开始挥动手部151， 同时间第一影像提取装置110及第二影像提取装 置 120 开始提取在其前方的对象灰阶画面， 先经。
25、由上述已预先训练学习过的物体检测单元 131 中的影像辨识分类器 1311 作比对， 若确认是手部影像则提取使用者 150 的手部 151 的 灰阶影像画面并分别产生手部的一第一灰阶影像画面 210 及一第二灰阶影像画面 220( 如 图 3 所示 )。接着， 根据第一灰阶影像画面 210 及第二灰阶影像画面 220 的影像信息， 利用 滑动窗口 211 及 221(sliding window) 得到使用者手部 151 经由第一灰阶影像画面 210 及 一第二灰阶影像画面 220 成像于第一灰阶影像画面 210 及第二灰阶影像画面 220 中的区 域， 并取滑动窗口 211 及 221 的重。
26、心作为使用者手部 151 的成像位置， 即图 3 中的第一成像 位置 212 及第二成像位置 222。此外， 本实施例为选取滑动窗口的重心作为手部的成像位 置。 然而， 除以上所述的重心外， 熟习本技术领域技术人员也可使用其它代表物体成像于影 像画面上的形状重心、 几何中心、 或任一点可代表该物体的二维坐标。 0039 接着， 根据第一成像位置 212、 第二成像位置 222、 影像提取装置的内部参数矩阵、 旋转矩阵与位移矩阵等信息， 三角定位单元 132 利用三角测量算法 (Triangulation) 计算 得到手部 151 在某一时间点的成像位置重心 152 的三维空间坐标。详细技术内容。
27、例如可参 照 Multiple View Geometry in ComputerVision， Second Edition， Richard Hartley and Andrew Zisserman， CambridgeUniversity Press， March 2004.。 0040 记忆单元 133 接着记录该手部 151 的重心 152 于三维空间坐标中的一移动轨迹。 而手势判断单元 134 识别该移动轨迹并产生一手势命令。最后， 手势判断单元 134 将该手 势命令传送给传输装置135， 在由传输装置135传送该手势命令至显示装置140中以控制该 显示装置 140 中的手势对应。
28、元件， 例如， 一计算机光标或是为一图形使用者接口 (Graphics User Interface， GUI)。 0041 需注意的是， 虽然本发明的前述处理单元中各单元为单独元件， 但此等元件可被 整合至一起， 因而降低处理单元内的元件数。 0042 图 4A 4B 显示本发明的手势输入方法的步骤流程图。 0043 参考图 1 图 3， 首先， 在步骤 S301 中， 利用一影像特征训练学习器以大量手部 及非手部灰阶影像并通过支持向量机或 Adaboost 技术做离线训练以产生辨认识手部的能 力。 0044 在步骤 S302 中， 在一显示装置上设置一第一影像提取装置、 一第二影像提取装置。
29、 及一处理单元。在步骤 S303 中， 一使用者挥动手部， 同时间第一影像提取装置及第二影像 提取装置开始检测并提取在其前方的手部灰阶画面。接着， 在步骤 S304 中， 经由上述已预 先训练学习过的物体检测单元的影像辨识分类器比对是否为手部影像， 若否则不处理而重 回步骤 S303 继续检测。在步骤 S305 中， 该第一影像提取装置与该第二影像提取装置提取 该使用者的手部灰阶画面后产生手部的第一灰阶影像画面与第二灰阶影像画面。在步骤 S306 中， 物体检测单元分别取得该手部于第一灰阶影像画面与第二灰阶影像画面的一第一 说 明 书 CN 103135753 A 7 5/5 页 8 成像位置。
30、及一第二成像位置。在步骤 S307 中， 三角定位单元根据该第一成像位置及该第二 成像位置计算该手部的一三维空间坐标。在步骤 S308 中， 记忆单元记录该手部于该三维空 间坐标中的一移动轨迹。在步骤 S309 中， 手势判断单元识别该移动轨迹并据以产生一手势 命令。最后， 在步骤 S310 中， 传输单元输出该手势命令控制该显示装置中的手势对应元件。 0045 图 5A 5C 显示本发明的手势输入实际应用的示意图。使用者可预先输入对应不 同移动轨迹的手势命令于手势判断单元中。举例但不局限于如表 1 ： 0046 表 1 0047 移动轨迹 手势命令 推 选择 拉 移动 推 + 向左平移 删除。
31、 0048 如图 5A 所示， 使用者可通过手部输入一 推 的移动轨迹 ( 使用者的手部延 z 轴 方向从使用者向显示装置移动 ) 执行一手势命令 选择 ， 以操控手势对应元件选择显示装 置内所显示的某一内容。如图 5B 所示， 使用者可通过手部输入一 拉 ( 使用者的手部延 z 轴方向从显示装置向使用者移动 ) 的移动轨迹执行一手势命令 移动 ， 以移动显示装置内 所显示的某一内容。如图 5C 所示， 使用者可通过手部输入一 推 + 向左平移 ( 使用者的手 部延 z 轴方向从使用者向显示装置移动， 接着向左延 x 轴平移 ) 的移动轨迹执行一手势命 令 删除 ， 以删除显示装置内所显示的某。
32、一内容。 0049 图 6A 6C 显示本发明的手势输入实际应用的示意图。使用者可进一步输入更复 杂的手势命令。如图所示， 使用者可通过手部输入一 平面旋转 、立体龙卷风 等复杂的 移动轨迹来执行手势命令。可进一步地提升设定手势输入的亲切性， 也可让使用者运用更 复杂的手势做更多的应用。 0050 因此， 透过本发明的手势输入的方法及系统， 利用物体于左右影像提取装置中影 像的位置， 可以快速得的到物体的三维坐标以及移动轨迹。此外， 本发明采用物体检测单 元预先训练学习辨识手部灰阶影像的方式， 因此并不受外部环境光源、 色温、 色彩的干扰影 响。 利用本发明的系统也不用如现有技术需采复杂的机率。
33、统计方析方式或是建立深度映像 模型， 而两个影像提取装置也无须平行摆放而仅需摆放于适当角度的位置并事先经过校正 程序校正即可。 因此， 利用本发明的系统不需高成本且系统本身机构轻薄短小， 利于整合到 其它装置上。再者， 系统所需的计算量低， 更利于在嵌入式平台实现。 0051 虽然本发明已以较佳实施例揭露如上， 然其并非用以限定本发明， 任何熟习此技 艺者， 在不脱离本发明的精神和范围内， 当可作各种的更动与润饰， 因此本发明的保护范围 当视后附的申请专利范围所界定者为准。 说 明 书 CN 103135753 A 8 1/11 页 9 图 1 说 明 书 附 图 CN 103135753 A。
34、 9 2/11 页 10 图 2 说 明 书 附 图 CN 103135753 A 10 3/11 页 11 图 3 说 明 书 附 图 CN 103135753 A 11 4/11 页 12 图 4A 说 明 书 附 图 CN 103135753 A 12 5/11 页 13 图 4B 说 明 书 附 图 CN 103135753 A 13 6/11 页 14 图 5A 说 明 书 附 图 CN 103135753 A 14 7/11 页 15 图 5B 说 明 书 附 图 CN 103135753 A 15 8/11 页 16 图 5C 说 明 书 附 图 CN 103135753 A 16 9/11 页 17 图 6A 说 明 书 附 图 CN 103135753 A 17 10/11 页 18 图 6B 说 明 书 附 图 CN 103135753 A 18 11/11 页 19 图 6C 说 明 书 附 图 CN 103135753 A 19 。