手势互动操作方法技术领域
本发明涉及一种手势互动操作方法，尤其涉及一种操作显示屏幕的手
势互动操作方法。
背景技术
随着科技的进步，交互式触控方法已广泛地应用在各种电子显示装置
上。
交互式电子白板即为交互式触控方法应用于电子显示装置中的一个实
例。交互式电子白板是一种白板与计算机之间的双向互动与操作。
然而，在使用投影机的情况下，一般的电子白板还需设置红外线光幕
产生器，经由红外线光幕产生器在显示屏幕上方产生平行于显示屏幕的平
面光幕来对接近显示屏幕的触控物体进行感测，从而执行相对应的功能(例
如书写功能或启动对应程序)。因此，显示屏幕必需是一个平整度高的平
面，才不会因为显示屏幕的平整度不够而使得红外线光幕产生器发出的光
幕必需调高与显示屏幕的垂直距离，从而造成触控物体还未接触到显示屏
幕、但触控动作已发生的现象。这不但影响触控精准度而且影响使用者操
作习惯及不直觉的使用经验。然而要形成平整度高的平面的显示屏幕是非
常不容易的，需要额外耗费许多的加工成本及制造时间的成本，另一方面，
不平整的显示屏幕又会影响电子白板的触控质量，进而影响其良率。
另外，在使用投影机及交互式电子白板的情况下，使用者要进行手势
操作则需要额外的影像撷取装置，来撷取使用者手势变化的影像，因此，
若要同时进行触控及手势的操作，对于使用者来说便利性不足。
“背景技术”段落只是用来帮助了解本发明内容，因此在“背景技术”
段落所揭露的内容可能包含一些没有构成所属技术领域中的普通技术人员
所知道的公知技术。“背景技术”段落所揭露的内容不代表该内容或者本
发明的一个或多个实施例所要解决的问题，也不代表在本发明申请前已被
所属技术领域中的普通技术人员所知晓或认知。
发明内容
本发明的目的之一在于提供一种手势互动操作方法，用以改善背景技
术所产生的问题。
本发明的其它目的和优点可以从本发明所公开的技术特征中得到进一
步的了解。
为达上述目的的其中之一或部分或全部目的、或其它目的，本发明的
实施例提供了一种手势互动操作方法，该方法包括以下步骤。当使用者的
手部靠近显示屏幕并且位于影像感测器的感测范围内时，则接收影像感测
器所提供的关于使用者的手部的多个影像信息。通过影像处理器来定义每
个影像信息中的关于手部的彼此依序相邻的第一手指、第二手指以及第三
手指的空间关系。分析影像信息，并产生第一启动信息或第二启动信息，
以对应地使显示屏幕启动执行第一操作模式或第二操作模式。第一启动信
息为第二手指与第三手指相互靠拢并接触、第二手指不接触第一手指时的
影像信息，第二启动信息为第一手指与第二手指相互靠拢并接触、并且第
二手指不接触第三手指的影像信息。
在本发明的实施例中，手势互动操作方法还包括以下步骤。在显示屏
幕执行第一操作模式时，第二手指持续地接触第三手指，并且第二手指以
及第三手指中的任一个的指尖靠近或接触于显示屏幕。
在本发明的实施例中，手势互动操作方法还包括以下步骤。在显示屏
幕执行第一操作模式时，分析影像信息来产生第一终止信息，以使显示屏
幕终止执行第一操作模式，第一终止信息为第二手指与第三手指相互分离
并且不接触时的影像信息。
在本发明的实施例中，手势互动操作方法还包括以下步骤。在显示屏
幕执行第二操作模式时，分析影像信息来产生第二终止信息，以使显示屏
幕终止执行第二操作模式，第二终止信息为第二手指与第一手指相互分离
并且不接触时的影像信息。
在本发明的实施例中，手部包含使用者的右手及左手，第二启动信息
为右手及左手的第一手指分别与对应的第二手指相互靠拢并接触、并且第
二手指分别不接触第三手指时的影像信息。
在本发明的实施例中，手势互动操作方法还包括以下步骤。在显示屏
幕执行第二操作模式时，右手及左手的第一手指分别与对应的第二手指持
续地接触。
在本发明的实施例中，手势互动操作方法还包括以下步骤。在显示屏
幕执行第二操作模式时，分析影像信息来产生第二终止信息，以使显示屏
幕终止执行第二操作模式，第二终止信息为右手及左手中的任一个的第二
手指与第一手指相互分离并且不接触时的影像信息
在本发明的实施例中，手势互动操作方法还包括以下步骤。在显示屏
幕执行第一操作模式时，分析影像信息来产生点击信息，以使显示屏幕启
动执行与显示屏幕上的图标对应的应用程序，其中点击信息为第二手指持
续地接触第三手指、第一手指在预设时间区段内连续两次接触并离开第二
手指、并且第二手指或第三手指的指尖接触显示屏幕的图标时的影像信息。
在本发明的实施例中，第一操作模式为触控模式，在触控模式下，使
用者的第二手指与第三手指在靠近或接触显示屏幕的情况下进行操作，并
且第二操作模式为手势模式，在手势模式下，使用者的第一手指与第二手
指在距离显示屏幕一定距离的范围内进行手势操作。
在本发明的实施例中，手势互动操作方法还包括以下步骤。在显示屏
幕执行第一操作模式时，不接收第二启动信息。在显示屏幕执行第二操作
模式时，不接收第一启动信息。
在本发明的实施例中，手势互动操作方法还包括以下步骤。在显示屏
幕执行第一操作模式时，在显示屏幕上形成显示点，显示点为第二手指与
第三手指的两指尖投影于显示屏幕上的两点连线的中间点。
本发明的另一实施例提供一种手势互动操作方法，该方法包括以下步
骤。当使用者的手部抓持感测件使得感测件的端部靠近显示屏幕并且位于
影像感测器的感测范围内时，则接收影像感测器所提供的关于使用者的手
部的多个影像信息。通过影像处理器来定义每个影像信息中的关于相邻的
感测件以及抓持感测件的手部的第一手指。分析影像信息来产生第三启动
信息，以使显示屏幕启动执行第一操作模式，其中第三启动信息为第一手
指在预设时间区段内连续两次接触并离开感测件、并且感测件的端部靠近
或接触显示屏幕时的影像信息。
在本发明的实施例中，第一操作模式为触控模式，在触控模式下，使
用者使用感测件靠近或接触显示屏幕来进行操作。
在本发明的实施例中，手势互动操作方法还包括以下步骤。在显示屏
幕执行第一操作模式时，分析影像信息来产生第三终止信息，以使显示屏
幕终止执行第一操作模式，第三终止信息为第一手指在预设时间区段内连
续两次接触并离开感测件的影像信息。
本发明的实施例所述的手势互动操作方法可以应用于触控互动设备
(例如为交互式电子白板)上，利用影像感测器来感测使用者手部的影像
并经由影像处理器来进行分析，即可在触控互动设备的显示屏幕上启动相
对应的功能，使得本实施例的触控互动设备不需另外设置形成光幕的红外
线光幕产生器。同时，由于仅需利用影像感测器来感测使用者手部的影像
即可启动相对应的功能，因此本实施例的触控互动设备的显示屏幕不需额
外考虑平整性的问题，从而可以降低显示屏幕的制作成本并提高触控互动
设备的良率，使用者于互动操作上也较为便利。
为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配
合附图来进行如下详细说明。
附图说明
图1是绘示根据本发明的实施方式的一种手势互动操作方法的步骤流
程图。
图2是绘示根据本发明的另一实施方式的一种手势互动操作方法的步
骤流程图。
图3是绘示根据本发明的手势互动操作方法所应用的触控互动设备的
示意图。
具体实施方式
在以下结合参考附图的其中之一的较佳实施例的详细说明中，将可以
清楚地呈现有关本发明的前述及其它技术内容、特点与效果。以下实施例
中所提到的方向术语，例如上、下、左、右、前或后等，仅是参考附图的
方向。因此，使用的方向术语用来说明而并非用来限制本发明。
请参照图1，其绘示根据本发明的实施方式的一种手势互动操作方法的
步骤流程图，同时请参照图3，其绘示根据本发明的手势互动操作方法所应
用的触控互动设备的示意图，即如图1所示的本实施例的手势互动操作方
法100可以应用在如图3所示的触控互动设备300上，并且可以作为计算
机程序来实施并被储存在计算机可读存储介质中，以使计算机读取该存储
介质后执行该描述对象变化信息的记录方法。计算机可读取存储介质可以
是唯读存储器、闪存、软盘、硬盘、光盘、随身碟、磁带、可由网络存取
的数据库或本领域技术人员可以容易想到的具有相同功能的计算机可读存
储介质。如图3所示，本发明所述的触控互动设备300可以是交互式电子
白板搭配投影机350、或者投影幕搭配投影机350，其中电子白板或投影幕
例如为显示屏幕310。举例而言，投影机350将影像投射在显示屏幕310上
并且利用影像感测器320(例如为相机)来感测及撷取使用者手部H的影
像并经由影像处理器330进行分析，影像处理器330将已分析的影像信息
传送至操控单元340，操控单元340根据接收到的已分析的影像信息来控制
显示屏幕310以启动对应的功能，使用者即可利用触控互动设备300来进
行互动操作，使得本实施例的触控互动设备300不需另外设置形成平面光
幕的红外线光幕产生器。本发明的另一实施例中所述的触控互动设备300
可以是液晶屏幕搭配计算机(未绘示)，液晶屏幕为显示屏幕310，计算机
将待显示的影像传递至显示屏幕310上。利用影像感测器320感测及撷取
使用者手部H的影像并经由影像处理器330进行分析，影像处理器330将
已分析的影像信息传送至操控单元340，操控单元340根据接收到的已分析
的影像信息来控制显示屏幕310以启动对应的功能，使用者即可利用触控
互动设备300的显示屏幕310来启动相对应的功能。另外，图3所绘示的
实施例中的影像感测器320、影像处理器330及操控单元340分别为独立装
置。然而在其它实施例中的影像感测器320可以与投影机350或计算机(未
绘示)整合为单一装置，影像处理器330和/或操控单元340也可以被整合
地配置在影像感测器320、投影机350、计算机或其它具有相似功能的装置
内，本发明不以此为限。
请参照图1及图3，本实施例的手势互动操作方法100可以包含以下步
骤110～180。步骤110，当使用者的手部H靠近显示屏幕310并且位于影
像感测器320的感测范围内时，则接收影像感测器320所提供的关于使用
者的手部H的影像信息。步骤120，通过影像处理器330来定义每个影像
信息中的关于使用者手部H的彼此依序相邻的第一手指、第二手指及第三
手指的空间关系。举例来说，第一手指可以是拇指、第二手指可以是食指
并且第三手指可以是中指，但不以此为限。另一方面，影像感测器320可
以是数字摄影装置，其可连续地录摄或拍摄使用者的手部H来产生多个影
像信息。进一步地，影像处理器330接收多个影像信息后可以经由轮廓边
缘来分析多个影像信息，利用判断使用者的手部H的彼此相邻手指之间的
长短顺序关系来定义出每个影像信息中的第一手指、第二手指及第三手指。
因此，在本实施例中，当使用者的手部H靠近显示屏幕310并且位于影像
感测器320的感测范围内时，影像感测器320开始进行检测及撷取使用者
手部H的影像并提供多个影像信息至影像处理器330，影像处理器330接
收多个影像信息后后，即时地定义出每个影像信息中的关于手部H的彼此
依序相邻的第一手指、第二手指及第三手指。
进一步地，分析影像信息，并产生第一启动信息或第二启动信息。当
分析影像信息并产生第一启动信息(步骤130)时，使显示屏幕310启动执
行第一操作模式(步骤150)，或者，当分析影像信息并产生第二启动信息
(步骤140)时，使显示屏幕310启动执行第二操作模式(步骤160)。也
就是说，影像处理器330可以进一步分析影像信息中的关于手部H的彼此
依序相邻的第一手指、第二手指及第三手指，进而产生第一启动信息或第
二启动信息，并进一步将该信息电传输到操控单元340，操控单元340接收
来自影像处理器330的第一启动信息后，可以使显示屏幕310启动执行第
一操作模式，另外，在操控单元340接收来自影像处理器330的第二启动
信息后，可以使显示屏幕310启动执行第二操作模式。在本实施例中，操
控单元340可以是中央处理器，本领域的技术人员可以清楚了解该中央处
理器的结构与功能，但不以此为限。
详细而言，第一启动信息为使用者接近显示屏幕310的手部H的第二
手指与第三手指相互靠拢并接触、并且第二手指及第三手指不接触第一手
指时的影像信息。第二启动信息为使用者接近显示屏幕310的手部H的第
一手指与第二手指相互靠拢并接触、并且第一手指及第二手指不接触第三
手指的影像信息。举例来说，当影像感测器320拍摄到使用者的手部H的
影像，同时影像处理器330判断该影像中的使用者的手部H(左手或右手)
接近显示屏幕310并且其第二手指与第三手指相互靠拢并接触、并且第二
手指及第三手指不接触第一手指时，影像处理器330可以发出第一启动信
息。应了解，第二手指与第三手指相互靠拢可以被定义为使用者接近显示
屏幕310的手部H(左手或右手)的第二手指的指尖接触到第三手指时的
动作状态，但不以此为限。
在显示屏幕310执行第一操作模式时，第二手指持续地接触第三手指，
并且第二手指和第三手指中的任一个的指尖靠近或接触显示屏幕310，影像
感测器320所记录的前述动作的影像信息经过影像处理器330分析后可以
使显示屏幕310上对应于第二手指和第三手指的位置形成显示点P。举例来
说，显示点P可以是第二手指与第三手指的两指尖投影在显示屏幕310上
的两点连线的中间点、第二手指的指尖投影在显示屏幕310上的点或第三
手指的指尖投影在显示屏幕310上的点，但不以此为限。当第二手指持续
地接触第三手指并且第二手指或第三手指的指尖靠近或接触显示屏幕310
并持续地沿一轨迹移动时，显示点P可以沿着该轨迹持续地进行显示，并
且在显示屏幕310上形成对应于手指轨迹的线段，因此，在第二手指持续
地接触第三手指并且第二手指或第三手指的指尖靠近或接触显示屏幕310
时，使用者可以在显示屏幕310上进行书写的动作。
另一方面，在显示屏幕310执行第一操作模式时，影像处理器330还
可以经由分析影像信息来产生点击信息，使得操控单元340接收点击信息
以使显示屏幕310启动执行对应于显示屏幕310上的图标(ICON)的应用
程序，其中当第二手指持续地接触第三手指、并且同时第一手指在预设时
间区段内进行连续两次接触并离开第二手指的动作时，此时第二手指或第
三手指的指尖接触显示屏幕310的图标时的影像信息被判定为点击信息。
也就是说，第二手指持续地接触第三手指来产生显示点P，并将显示点P
移动至显示屏幕310上显示的图标，进一步地，影像感测器320连续地拍
摄到关于第一手指在预设时间区段内连续两次接触并离开第二手指的影像
信息后，影像处理器330产生点击信息并将点击信息传输至操控单元340，
使显示屏幕310启动执行对应于显示屏幕310上的图标的应用程序。
在显示屏幕310执行第一操作模式时，分析影像信息来产生第一终止
信息，以使显示屏幕310终止执行第一操作模式(步骤170)，第一终止信
息为第二手指与第三手指相互分离并且不接触时的影像信息。也就是说，
当影像感测器320连续地拍摄到关于使用者手部H的第二手指与第三手指
从相互接触到相互分离并且不接触的影像信息后，影像处理器330根据上
述影像信息来产生第一终止信息并将该信息电传输至操控单元340，使显示
屏幕310终止执行第一操作模式。应了解，第二手指与第三手指相互分离
可以被定义为使用者的同一手的第二手指的指尖与第三手指彼此不接触的
动作状态。
因此，第一操作模式可以被定义为触控模式，在触控模式下，使用者
通过相互接触的第二手指与第三手指靠近或接触显示屏幕310来进行操作。
应了解到，在显示屏幕310执行第一操作模式时，不接收第二启动信
息。在显示屏幕310执行第二操作模式时，不接收第一启动信息。因此，
在使用者通过手部H的第二手指与第三手指从相互接触至相互分离并且不
接触的操作来使显示屏幕310终止执行第一操作模式之后，使用者手部H
的第一手指与第二手指相互靠拢并接触、并且第一手指和第二手指不接触
第三手指时，操控单元340才可以在显示屏幕310上执行第二操作模式。
进一步地说，手部H包含使用者的右手及左手，第二启动信息可以为
使用者同时将右手及左手的第一手指分别与对应的第二手指相互靠拢并且
接触、第一手指及第二手指分别地不接触第三手指时的影像信息。进一步
地说，右手及左手的第一手指分别与其对应的第二手指持续地接触。
因此，第二操作模式可以被定义为手势模式，在手势模式下，使用者
的左手及右手的相互接触的第一手指与第二手指在距离显示屏幕310一定
距离的范围内进行手势操作。举例来说，当使用者相互接触的第一手指与
第二手指紧邻显示屏幕310，并且左手与右手在一时间区段内彼此远离(在
其它实施例中也可以被定义为左手与右手彼此接近)时，操控单元340可
以在显示屏幕310上显示的页面处执行翻页或换页的动作。在其它实施例
中，当使用者的相互接触的第一手指与第二手指紧邻显示屏幕310并且左
手与右手在一时间区段内彼此远离时，操控单元340也可以在显示屏幕310
上执行窗口切换的动作。另外，在其它实施例中，可以自行定义在手势模
式下的不同手势在对应的显示屏幕310上显示的动作，本发明不以此为限。
在显示屏幕310执行第二操作模式时，分析影像信息来产生第二终止
信息，以使显示屏幕310终止执行第二操作模式(步骤180)，第二终止信
息为使用者的第二手指与第一手指从相互接触至相互分离并且不接触时的
影像信息。进一步地说，当使用者以左手及右手共同地在显示屏幕310上
使得操控单元340在显示屏幕310上执行第二操作模式时，第二终止信息
为右手及左手中的任一手的第二手指与同一手的第一手指从相互接触至相
互分离并且不接触时的影像信息。
请参照图2，其绘示根据本发明的另一实施方式的一种手势互动操作方
法的步骤流程图，本实施例的手势互动操作方法200也可以应用在如图3
所示的触控互动设备(例如可以是电子白板)上，并且可以被实施为计算
机程序并被储存在计算机可读存储介质中，以使计算机读取该存储介质后
执行此描述对象变化信息的记录方法。计算机可读存储介质可以是唯读存
储器、闪存、软盘、硬盘、光盘、随身碟、磁带、可以由网络存取的数据
库或本领域技术人员可能容易想到的以及具有相同功能的计算机可读存储
介质。另外，本发明的实施例所述的触控互动设备可以是交互式电子白板
搭配投影机、投影幕搭配投影机、或者液晶屏幕搭配计算机，本实施例所
应用的触控互动设备与应用图1的手势互动操作方法的触控互动设备大致
相同，在此不再赘述。
请参照图2及图3，本实施例的手势互动操作方法200可以包含以下步
骤210～250。步骤210，当使用者的手部F抓持感测件S使得感测件S的
端部靠近显示屏幕310并且位于影像感测器320的感测范围内时，则接收
影像感测器320所提供的关于使用者的手部F的多个影像信息。在本实施
例中，感测件S可以是触控笔或棒状物等，但不以此为限。
步骤220，通过影像处理器320来定义每个影像信息中的关于彼此相邻
的感测件S和抓持感测件S的手部F的第一手指。分析影像信息来产生第
三启动信息(步骤230)，以使显示屏幕310启动执行第一操作模式(步骤
240)，其中第三启动信息为第一手指在预设时间区段内连续两次接触并离
开感测件S、并且感测件的端部靠近或接触显示屏幕时的影像信息。应了解，
本实施例的第一操作模式与图1所述的实施例的第一操作模式大致上相同，
但不以此为限。也就是说，第一操作模式为触控模式，在触控模式下，使
用者通过手部F握持感测件S靠近或接触显示屏幕310来进行操作。因此，
在第一操作模式被执行时，使用者可以握持感测件S以在显示屏幕310上
进行书写的动作，并且在显示屏幕310上呈现对应的书写轨迹。在本实施
例中，第一手指可以是使用者抓持感测件S的手的食指，但不以此为限。
在显示屏幕310执行第一操作模式时，分析影像信息来产生第三终止
信息，以使显示屏幕310终止执行第一操作模式(步骤250)，第三终止信
息为第一手指在预设时间区段内连续两次接触并离开感测件S的影像信息。
也就是说，在第一操作模式被执行时，使用者抓持感测件S的手部F的第
一手指在预设时间区段内连续两次接触并离开感测件S后，操控单元340
可以被判定为使显示屏幕310终止执行第一操作模式的动作。
本发明的实施例所述的手势互动操作方法可以应用于触控互动设备
上，利用影像感测器感测使用者的手部的影像并经由影像处理器来进行分
析，即可在触控互动设备的显示屏幕上启动相对应的功能，使得本实施例
的触控互动设备不需另外设置形成光幕的红外线光幕产生器，且使用者可
单纯透过手部的动作切换操作的模式，于互动操作上更具便利性。同时，
由于仅需利用影像感测器来感测使用者的手部的影像即可启动相对应的功
能，因此本实施例的触控互动设备的显示屏幕不需额外考虑平整性的问题，
即本实施例的显示屏幕可以是曲面屏幕，从而可以降低显示屏幕的制作成
本并提高触控互动设备的良率。
以上所述的实施例仅是本发明的较佳实施例，不能以此来限定本发明
实施的范围，即，根据本发明的权利要求以及说明书内容所做出的简单的
等效变化与修改，都包含在本发明专利的范围之内。另外，本发明的任何
实施例或权利要求的范围不一定实现本发明所公开的全部目的、优点或特
征。此外，摘要部分和标题仅用于辅助专利文件搜索，并非用于限制本发
明的权利范围。此外，说明书或权利要求中所提及的“第一”、“第二”
等术语仅用于表示元件(element)的名称或区别不同实施例或范围，而并
非用来限制元件的数量的上限或下限。
附图标记
100、200：手势互动操作方法
110～180、210～250：步骤
300：触控互动设备
310：显示屏幕
320：影像检测器
330：影像处理器
340：操控单元
350：投影机
F、H：手部
P：显示点
S：感测件