终端设备及其操控系统、操控方法和装置技术领域
本发明涉及人机交互技术领域，具体涉及到一种终端设备及其操控系统、操控方
法和装置。
背景技术
触摸屏技术利用人体电流的感应效应实现对设备的操作，例如容抗屏、阻抗屏等。
现有的终端设备通常采用触摸显示屏感知手指的操作实现用户与设备的交互操作。
然而，由于触摸屏通过手指的触发响应，手指上的污渍容易被携带到触摸屏上。触
摸屏上的污渍、触摸屏的轻微破损会导致触摸屏的灵敏程度下降，另一方面，手指上的污渍
也会导致触摸屏的灵敏程度下降，影响交互体验；此外，频繁地对触摸屏进行触发操作，会
加快触摸屏的物理损耗，导致终端设备的使用寿命减少。
因此，如何减少触摸屏的物理损耗提高终端设备的使用寿命成为亟待解决的问
题。
发明内容
本发明要解决的技术问题在于提高用户与终端设备的交互操作体验。
为此，根据第一方面，本发明实例提供了一种终端操控系统，包括：
至少一个投影装置，用于分别设置在终端设备上，用于将终端设备的界面投影到
终端设备的外部，以形成与终端设备界面匹配的投影界面，投影界面上的触控对象的触发
操作与终端设备界面的触发事件一一映射；至少一个光学传感器，用于分别设置在终端设
备上，用于扫描投影界面，在检测到触发投影界面的触控对象的操作后，向终端设备发送用
于表征触控对象的触发操作的触发信号，以触发终端设备响应与触发操作映射的触发事
件。
可选地，至少一个光学传感器以固定频率扫描投影界面。
可选地，至少一个投影装置分别投影终端设备的至少部分界面，各至少部分界面
的集合遍历终端设备的界面。
可选地，投影界面划分为多个独立区域，至少一个光学传感器用于检测被触发的
独立区域的坐标，以确定被触发的触控对象。
可选地，终端操控系统还包括：气体屏幕发生装置，用于在终端设备制造气流，以
形成用于呈现投影界面的悬浮屏幕。
根据第二方面，本发明实施例还提供了一种终端设备操控方法，包括如下步骤：
发送用于控制投影装置进行投影的控制信号，以控制投影装置将终端设备的界面
数据投影至终端设备的外部，以形成与终端设备界面匹配的投影界面；获取用于表征投影
界面的触控对象的触发操作事件的触发信号，投影界面上的触控对象的触发操作与终端设
备界面的触发事件一一映射，触发信号为光学传感器扫描投影界面，在检测到触发投影界
面的触控对象的操作后，产生的用于表征触控对象的触发操作的信号；根据触发操作事件
响应与触发操作事件映射的终端设备界面的触发事件。
可选地，发送用于控制投影装置进行投影的控制信号，包括：将终端设备的界面数
据划分为与多个投影装置对应的多个子界面数据，子界面数据的集合遍历终端设备的界面
数据；发送与多个投影装置对应到的多个控制信号，以控制多个投影装置分别将对应的多
个子界面数据投影至终端设备的外部。
可选地，在将终端设备的界面数据划分为与多个投影装置对应的多个子界面数据
和发送与多个投影装置对应到的多个控制信号，包括：获取各个子界面数据的投影位置；根
据投影位置确定各个子界面数据的投影方向，以使各个子界面数据投影后拼接形成投影界
面。
根据第三方面，本发明实施例提供了一种终端设备操控装置，包括：
投影模块，用于发送用于控制投影装置进行投影的控制信号，以控制投影装置将
终端设备的界面数据投影至终端设备的外部，以形成与终端设备界面匹配的投影界面；获
取模块，用于获取用于表征投影界面的触控对象的触发操作事件的触发信号，投影界面上
的触控对象的触发操作与终端设备界面的触发事件一一映射，触发信号为光学传感器扫描
投影界面，在检测到触发投影界面的触控对象的操作后，产生的用于表征触控对象的触发
操作的信号；响应模块，用于根据触发操作事件响应与触发操作事件映射的终端设备界面
的触发事件。
可选地，投影模块包括：划分子模块，用于将终端设备的界面数据划分为与多个投
影装置对应的多个子界面数据，子界面数据的集合遍历终端设备的界面数据；投影子模块，
用于发送与多个投影装置对应到的多个控制信号，以控制多个投影装置分别将对应的多个
子界面数据投影至终端设备的外部。
可选地，投影模块还包括：获取子模块：用于获取各个子界面数据的投影位置；拼
接子模块：用于根据投影位置确定各个子界面数据的投影方向，以使各个子界面数据投影
后拼接形成投影界面。
根据第四方面，本发明实施例还提供了一种终端设备，包括：
终端设备本体；本发明实施例第一方面描述地任意一项终端操控系统。
根据第五方面，本发明实施例还提供了一种终端操控设备，包括：
至少一个投影装置，用于将终端设备的界面投影到终端设备的外部，以形成与终
端设备界面匹配的投影界面；至少一个光学传感器，用于扫描投影界面，检测触发投影界面
的触控对象的操作；处理器，执行本发明实施例第二方面描述地任意一项的终端设备操控
方法。
本发明实例提供的终端设备及其操控系统、操控方法和装置，用户可以通过操作
投影装置在终端设备外部，投影形成的与终端设备界面匹配的投影界面，在操作的过程中，
光学传感器扫描投影界面，在检测到有操作后，向终端设备发送用于表征触控对象的触发
操作的触发信号，终端设备响应与触发操作映射的用户的操作事件。使得用户在对终端设
备操作时不需要接触终端设备和触摸屏，从而，减少触摸屏的物理损耗提高终端设备的使
用寿命。
本发明实施例提供的终端设备操控方法，通过将终端设备的界面数据投影至终端
设备的外部，以形成与终端设备界面匹配的投影界面；获取投影界面的触控对象的触发操
作事件，投影界面上的触控对象的触发操作与终端设备界面的触发事件一一映射；根据触
发操作事件响应与触发操作事件映射的终端设备界面的触发事件。从而，用户可以在终端
设备触摸屏以外的虚拟投影界面上对终端进行操作，用户在对终端操作时不受触摸屏灵敏
度的影响，不接触终端设备和触摸屏，进而，减少触摸屏的物理损耗提高终端设备的使用寿
命。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体
实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的
附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前
提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例的终端操控系统的示意图；
图2示出了本实施例的投影装置、光学传感器及投影界面设置位置的示意图；
图3示出了本实施例的终端设备操控方法流程示意图；
图4示出了本实施例的投影方法的流程示意图；
图5示出了本实施例的终端设备操控装置示意图；
图6示出了本实施例的终端设备的示意图；
图7示出了本实施例的终端操控设备的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施
例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术
人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相
连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可
以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以
是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员
而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供了一种终端操控系统，如图1所示，该系统用于实现终端设备的
悬浮操作，包括：
至少一个投影装置20，用于分别设置在终端设备10上，用于将将终端设备10的界
面投影到终端设备10的外部，以形成与终端设备10界面匹配的投影界面，投影界面上的触
控对象的触发操作与终端设备10界面的触发事件一一映射。投影界面是用于在终端设备外
显示终端设备的界面，投影界面为虚拟界面。在具体的实施例中，在终端设备10上可以集成
至少一个投影设备，例如，可以在终端设备10端面的四个边角各集成一个可翻转的小型投
影灯，小型投影灯可以向终端设备10的上方投影与终端设备10界面匹配的投影界面；也可
以在设备终端10侧面集成至少一个小型投影灯，当终端设备10放在桌面上时，可以将终端
设备10的界面投影到桌面上，形成投影界面。在图2中示出了投影装置20和投影界面的示例
位置，但是，本发明实施例并限于图2公开的位置。在本实施例中，投影界面是虚拟的终端设
备10界面，所称触控对象可以是例如，APP、网页以及虚拟键盘等，所称触发操作为用户使用
APP、浏览网页及通过虚拟键盘输入文字等操作。在对投影界面上触控对象的触发操作与终
端设备界面的触发事件一一映射，即用于在对投影界面进行操作时，与用户在终端设备10
界面的操作一一对应。
至少一个光学传感器30，用于设置在中终端设备10上，用于扫描投影界面，在检测
到触发投影界面的触控对象的操作后，向终端设备10发送用于表征触控对象的触发操作的
触发信号，以触发终端设备10响应与触发操作映射的触发事件。在具体的实施例中，所称投
影界面可以是平面或曲面，该平面或曲面可以是规则平面或曲面，也可以是不规则的平面
或曲面。至少一个光学传感器30可以设置在与投影装置20对应的位置，例如，投影装置20设
置在终端设备10端面上，光学传感器30可以设置在终端设备10端面上的任意位置，例如，可
以设置在终端设备的边框、触摸屏或边角等位置，为了方便扫描，光学传感器30可以设置在
终端设备10端面的对应的边框上。投影装置20设置在终端设备10的侧面，光学传感器30可
以设置在设置投影装置的侧面上，可以光学传感器30方便的对投影装置20投影的投影界面
上。在图2中示出了光学传感器30示例位置，但是，本发明实施例并不限于图2所示的位置。
在光学传感器30对投影界面扫描时，在检测到触发投影界面的触控对象的操作后，例如，在
检测到用户对投影界面进行翻页、文字输入。上下移动等操作后，光学传感器30的扫描的对
应的投影界面位置的电位发生变化，移动终端根据光学传感器30扫描的对应的投影界面发
生电位发生的位置，响应触发操作，实现在终端设备10触摸屏外操作终端设备10。
在可选的实施例中，至少一个光学传感器30以固定频率扫描投影界面。在具体的
实施了中，可以根据用户要求的灵敏程度设置扫描的频率，例如，可以间隔100ms扫描一次，
在包含两个或两个以上的光学传感器30交叉间隔扫描时，就可以达到很好的灵敏程度。在
本实施例中，包含两个或两个以上的光学传感器30时，各个光学传感器30的扫描频率可以
相同，也可以不等频的进行扫描。
在可选地实施例中，至少一个投影装置20分别投影终端设备10的至少部分界面，
各至少部分界面的集合遍历终端设备10的界面。在具体的实施例中，投影装置20只有一个
时，该一个投影装置10可以投影全部的终端设备界面。为保证画面的分辨率，可以设置多个
投影装置20，每个投影装置20投影部分界面，在将各个投影装置20投影的各个部分界面，拼
接组成投影界面，各个部分界面在组成投影界面时，其拼接部分可以部分重合地组成一个
完整的终端设备的界面，也可以不重合的组成完整的界面。
在可选地实施了中，投影界面划分为多个独立区域，至少一个光学传感器30用于
检测被触发的独立区域的坐标，以确定被触发的触控对象。在具体的实施例中，投影界面划
分为不同的阵列，形成网格，网格中每个子网格可以作为一个独立区域。具体地，每个独立
区域满足手指单点操作的要求，光学传感器30扫描整个投影界面，在触发操作发生后，光学
传感器30可以检测到投影界面的阴影部分，由于用户操作精度的限制，阴影部分可能覆盖
到几个不同的独立区域，选择独立区域阴影面积最大的独立区域，每个独立区域对应一个
坐标，光学传感器30通过扫描发生触发操作的独立区域，得到发生触发操作的位置的坐标，
发送至终端设备，由于投影界面的触控对象与终端设备的触控对象一一映射，终端设备确
定发生触发操作的触控对象。
在可选的实施例中，终端操控系统还可以包括：气体屏幕发生装置，用于在终端设
备外制造气流，以形成用于呈现投影界面的悬浮屏幕。在具体的实施例中，气体屏幕发生装
置可以在终端设备的正上方、侧上方或者其他外部方位，可以根据投影装置20的投射角度
确定。所称气流可以是水蒸气液化的水雾，水雾可以形成显示投影界面的悬浮屏幕，有利于
保证悬浮屏幕的稳定性。在可选的实施例中，投影设备20可以将投影界面投影到桌面上，更
加方面用户的使用。
用户可以通过操作投影装置在终端设备外部，投影形成的与终端设备界面匹配的
投影界面，在操作的过程中，光学传感器扫描投影界面，在检测到有操作后，向终端设备发
送用于表征触控对象的触发操作的触发信号，终端设备响应与触发操作映射的用户的操作
事件。使得用户在对终端设备操作时不需要接触终端设备和触摸屏，从而，减少触摸屏的物
理损耗提高终端设备的使用寿命。
本发明实施例还提供了一种终端操控方法，如图3所示，该方法包括：
S210.发送用于控制投影装置进行投影的控制信号，以控制投影装置将终端设备
的界面数据投影至终端设备的外部，以形成与终端设备界面匹配的投影界面。在具体的实
施例中，在具体的实施例中，在发送控制信号时，将终端设备的界面数据发送到投影装置，
界面数据和控制信号可以同时发送也可以顺序发送，投影装置在接收到控制信号和界面数
据后，在控制信号的控制下，将界面数据按照终端设备界面投影到设备外部，行成与终端设
备界面匹配的投影界面。
S220.获取用于表征投影界面的触控对象的触发操作事件的触发信号，投影界面
上的触控对象的触发操作与终端设备界面的触发事件一一映射，触发信号为光学传感器扫
描投影界面，在检测到触发投影界面的触控对象的操作后，产生的用于表征触控对象的触
发操作的信号。在具体的实施例中，投影界面发声触发操作事件时，投影界面发生触发操作
的位置被用户的手指覆盖，形成了阴影，在光学传感器扫描投影界面时，会感知到阴影部分
的存在，光学传感器根据扫描的阴影部分的位置，感应相应电位的变化，电位变化信号发送
至终端设备，终端设备根据电位变化信号得到投影界面的触控对象的触发操作事件。由于，
投影设备将终端设备的界面数据投影至投影界面，故投影界面的触控对象与终端设备的触
控对象一一映射。
S230.根据触发操作事件响应与触发操作事件映射的终端设备界面的触发事件。
在具体的实施例中，在电位变化信号发送至终端设备后，终端设备根据电位变化信号确定
触发操作事件具体坐标位置，将该坐标位置映射至终端设备的界面上，确定触发操作事件
发生在终端设备的某一触控对象上，由此，可以响应触发操作事件。
在本实施例中，在获取投影界面的触控对象的触发操作事件时，确定触发操作事
件发生的位置坐标，将投影界面划分为多个独立区域；在操作发生时锁定阴影覆盖面积最
大的独立区域；确定阴影覆盖面积最大的独立区域的位置坐标为发生触发操作的坐标位
置。在用户操作时，除了对界面的点击，可能还存在对界面的滑动的情况，确定滑动位置连
续变化的坐标，可以根据阴影覆盖面积最大的独立区域在连续时间内的直线变化确定。
在可选的实施例中，如图4所示，步骤S210还可以包括如下步骤：
S211.将终端设备的界面数据划分为与多个投影装置对应的多个子界面数据，子
界面数据的集合遍历终端设备的界面数据。在具体的实施例中，可以将终端设备的界面数
据分为多个子界面数据，根据投影设备的分布划分子界面数据，并将划分后各个子界面数
据分别发送到对应位置的投影设备，各个子界面数据的集合可以组成终端数据界面数据，
在子界面边缘的数据可以有部分重合。各个投影设备在控制投影的控制信号下，分别将接
收到的子界面数据投影到终端设备外部，在投影界面组成终端设备的数据界面。各个投影
的子界面在组成投影界面是可以部分重合。
S212.发送与多个投影装置对应到的多个控制信号，以控制多个投影装置分别将
对应的多个子界面数据投影至终端设备的外部。在具体的实施例中，各个投影设备在控制
投影的控制信号下，分别将接收到的子界面数据投影到终端设备外部，在投影界面组成终
端设备的数据界面。各个投影的子界面在组成投影界面是可以部分重合。
在可选的实施例中，如图4所示，在步骤S211和步骤S212之间还可以包括：
S213.获取各个子界面数据的投影位置。在具体的实施例中，可以根据各个投影设
备的分布位置以及投影角度，确定各个子界面数据的投影位置。
S214.根据投影位置确定各个子界面数据的投影方向，以使各个子界面数据投影
后拼接形成投影界面。在具体的实施例中，在确定各个子界面的投影位置后，根据确定的位
置，将各个子界面数据发送至各个投影设备，各个投影设备投影各自得到的子界面数据，由
于各个子界面数据已经根据投影装置的分布与角度分配好，投影装置投影的各个子界面数
据可以拼接形成投影界面。
用户可以通过操作投影装置在终端设备外部，投影形成的与终端设备界面匹配的
投影界面，在操作的过程中，光学传感器扫描投影界面，在检测到有操作后，向终端设备发
送用于表征触控对象的触发操作的触发信号，终端设备响应与触发操作映射的用户的操作
事件。使得用户在对终端设备操作时不需要接触终端设备和触摸屏，从而，减少触摸屏的物
理损耗提高终端设备的使用寿命。
本发明实施例还提供了一种终端设备操控装置，如图5所示，该装置包括：
投影模块310，用于发送用于控制投影装置进行投影的控制信号，以控制投影装置
将终端设备的界面数据投影至终端设备的外部，以形成与终端设备界面匹配的投影界面；
获取模块320，用于获取用于表征投影界面的触控对象的触发操作事件的触发信号，投影界
面上的触控对象的触发操作与终端设备界面的触发事件一一映射，触发信号为光学传感器
扫描投影界面，在检测到触发投影界面的触控对象的操作后，产生的用于表征触控对象的
触发操作的信号；响应模块330，用于根据触发操作事件响应与触发操作事件映射的终端设
备界面的触发事件。
在可选地实施例中，投影模块310包括：划分子模块，用于将终端设备的界面数据
划分为与多个投影装置对应的多个子界面数据，子界面数据的集合遍历终端设备的界面数
据；投影子模块，用于发送与多个投影装置对应到的多个控制信号，以控制多个投影装置分
别将对应的多个子界面数据投影至终端设备的外部。
在可选的实施例中，投影模块310还包括：获取子模块：用于获取各个子界面数据
的投影位置；拼接子模块：用于根据投影位置确定各个子界面数据的投影方向，以使各个子
界面数据投影后拼接形成投影界面。
通过将终端设备的界面数据投影至终端设备的外部，以形成与终端设备界面匹配
的投影界面；获取投影界面的触控对象的触发操作事件，投影界面上的触控对象的触发操
作与终端设备界面的触发事件一一映射；根据触发操作事件响应与触发操作事件映射的终
端设备界面的触发事件。从而，用户可以在终端设备触摸屏以外的虚拟投影界面上对终端
进行操作，用户在对终端操作时不受触摸屏灵敏度的影响，不接触终端设备和触摸屏，进
而，减少触摸屏的物理损耗提高终端设备的使用寿命。
本发明实施例还提供了一种终端设备，如图6所示，该终端设备包括：终端设备本
体410，上述实施例描述的任意一项终端操控系统420。其中，终端设备本体上安装有终端操
控系统420，通过终端操控系统从而可以实现在终端设备本体外对终端设备本体进行操控，
减少触摸屏的物理损耗，提高终端设备的寿命。
本发明实施例还提供了一种终端操控设备，如图7所示，该终端操控设备包括：至
少一个投影装置510，用于将终端设备的界面投影到终端设备的外部，以形成与终端设备界
面匹配的投影界面；至少一个光学传感器520，用于扫描投影界面，检测触发投影界面的触
控对象的操作；处理器530，上述实施例任意一项的终端设备操控方法。
通过处理器控制投影设备将终端设备投影到外部形成投影界面，光学传感器扫描
投影界面，检测触发操作，从而，可以实现终端设备外对终端设备本体进行操控，减少触摸
屏的物理损耗，提高终端设备的寿命。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发
明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求
所限定的范围之内。