《鼠标图标控制方法及系统.pdf》由会员分享，可在线阅读，更多相关《鼠标图标控制方法及系统.pdf（10页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103576906 A (43)申请公布日 2014.02.12 CN 103576906 A (21)申请号 201210263081.5 (22)申请日 2012.07.27 G06F 3/0354(2013.01) G06F 3/038(2013.01) (71)申请人 深圳富泰宏精密工业有限公司 地址 518109 广东省深圳市宝安区龙华镇富 士康科技工业园 F3 区 A 栋 申请人 奇美通讯股份有限公司 (72)发明人 王欣伟 (54) 发明名称 鼠标图标控制方法及系统 (57) 摘要 一种鼠标图标控制方法及系统， 该方法包括 ： 建立鼠标图标形态与对荧幕画。
2、面操作的关联， 将 该关联添加到一对应关系表中 ； 第一投影装置将 第一电子装置的荧幕画面投射成荧幕 ； 当第二投 影装置将第二电子装置的鼠标图标投射出时， 触 发第一电子装置的摄像装置拍摄上述荧幕 ； 获取 拍摄到的荧幕 ； 当荧幕中存在鼠标图标时， 辨识 该鼠标图标的形态和在荧幕上的位置变化 ； 从所 述对应关系表中查询相应的对荧幕画面的操作 ； 根据查询到的对荧幕画面的操作以及辨识得到的 鼠标图标在荧幕上的位置变化控制第一电子装置 的荧幕画面做出相应操作， 该荧幕画面控制过程 显示在上述荧幕上。本发明利用投影技术实现通 过辨识鼠标图标控制多个电子装置的投影荧幕。 (51)Int.Cl. 。
3、权利要求书 2 页 说明书 3 页 附图 4 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书3页 附图4页 (10)申请公布号 CN 103576906 A CN 103576906 A 1/2 页 2 1. 一种鼠标图标控制方法， 应用在第一电子装置上， 该第一电子装置连接第二电子装 置并进行通讯， 第一电子装置包括第一投影装置， 第二电子装置包括第二投影装置， 其特征 在于， 该方法包括 ： 建立步骤， 建立鼠标图标形态与荧幕画面操作的关联关系， 并将该关联关系添加到一 对应关系表中 ； 投射步骤， 第一投影装置将第一电子装置的荧幕画面投射成荧幕 ；。
4、 触发步骤， 当第二投影装置将存储在第二电子装置的鼠标图标投射出时， 触发第一电 子装置的摄像装置拍摄上述荧幕 ； 获取步骤， 从上述摄像装置获取拍摄到的荧幕 ； 辨识步骤， 当荧幕中存在第二电子装置的鼠标图标时， 辨识该鼠标图标的形态和该鼠 标图标在荧幕上的位置变化 ； 查询步骤， 根据辨识得到的鼠标图标形态从所述对应关系表中查询相应的对荧幕画面 的操作 ； 控制步骤， 根据查询到的对荧幕画面的操作以及辨识得到的鼠标图标在荧幕上的位 置变化控制第一电子装置的荧幕画面做出相应操作， 该荧幕画面控制过程显示在上述荧幕 上。 2. 根据权利要求 1 所述的鼠标图标控制方法， 其特征在于， 所述第一。
5、电子装置和第二 电子装置为手机。 3. 根据权利要求 1 所述的鼠标图标控制方法， 其特征在于， 当拍摄得到的荧幕中不存 在第二电子装置的鼠标图标时， 返回触发步骤。 4. 根据权利要求 1 所述的鼠标图标控制方法， 其特征在于， 所述对荧幕画面的控制为 拖拉、 翻页、 移动或选择文字。 5. 根据权利要求 1 所述的鼠标图标控制方法， 其特征在于， 所述辨识步骤包括利用开 源计算机视觉库 OpenCV 对拍摄到的荧幕上的鼠标图标形态与位置变化进行辨识， 在辨识 鼠标图标在荧幕上的位置变化时， 以荧幕左上角为坐标原点建立二维坐标系， 调用 OpenCV 取得鼠标图标的多个顶点及中心点相对于原点。
6、的坐标， 根据该多个顶点与中心点的相对坐 标确定鼠标图标在荧幕上的位置， 利用该确定鼠标图标位置的方法， 当鼠标图标在荧幕上 变换位置时确定鼠标图标在荧幕上变换位置过程中的各顶点相对坐标， 最终确定鼠标图标 在荧幕上的位置变化。 6. 一种鼠标图标控制系统， 运行在第一电子装置上， 该第一电子装置连接第二电子装 置并进行通讯， 第一电子装置包括第一投影装置， 第二电子装置包括第二投影装置， 其特征 在于， 该系统包括 ： 建立模块， 用于建立鼠标图标形态与对荧幕画面操作的关联关系， 并将该关联关系添 加到一对应关系表中 ； 触发模块， 用于当第二投影装置将存储在第二电子装置的鼠标图标投射出时，。
7、 触发第 一电子装置的摄像装置拍摄由第一投影装置将第一电子装置的荧幕画面投射成的荧幕 ； 获取模块， 用于从上述摄像装置获取拍摄到的荧幕 ； 辨识模块， 用于当获取到的荧幕中存在第二电子装置的鼠标图标时， 辨识该鼠标图标 形态和该鼠标图标在荧幕上的位置变化 ； 权 利 要 求 书 CN 103576906 A 2 2/2 页 3 查询模块， 用于根据鼠标图标形态从所述对应关系表中查询相应的对荧幕画面的操 作 ； 控制模块， 用于根据查询到的对荧幕画面的操作以及辨识得到的鼠标图标在荧幕上位 置变化控制第一电子装置的荧幕画面做出相应动作， 该荧幕画面控制过程显示在上述荧幕 上。 7. 根据权利要求。
8、 6 所述的鼠标图标控制系统， 其特征在于， 所述第一电子装置和第二 电子装置为手机。 8. 根据权利要求 6 所述的鼠标图标控制系统， 其特征在于， 所述对荧幕画面的控制为 拖拉、 翻页、 移动或选择文字。 9. 根据权利要求 6 所述的鼠标图标控制系统， 其特征在于， 所述辨识模块还用于利 用开源计算机视觉库 OpenCV 对拍摄到的荧幕上的鼠标图标的形态与位置变化进行辨识， 在辨识鼠标图标在荧幕上的位置变化时， 以荧幕左上角为坐标原点建立二维坐标系， 调用 OpenCV 取得鼠标图标的多个顶点及中心点相对于原点的坐标， 根据多个顶点与中心点的相 对坐标确定鼠标图标在荧幕上的位置， 利用该。
9、确定鼠标图标位置的方法， 当鼠标图标在荧 幕上变换位置时确定鼠标图标在荧幕上变换位置过程中的各顶点相对坐标， 最终确定鼠标 图标在荧幕上的位置变化。 权 利 要 求 书 CN 103576906 A 3 1/3 页 4 鼠标图标控制方法及系统 技术领域 0001 本发明涉及一种鼠标图标控制方法及系统。 背景技术 0002 随着投影技术的发展， 投影技术被嵌入电子装置， 特别是被嵌入手机、 平板电脑、 个人数字助理等移动电子装置， 投影技术嵌入使电子装置屏幕从机身上的小荧幕变成由投 影装置投影形成的大荧幕。 但是现有技术只能将用户自身电子装置上的信息投影到荧幕上 并由用户独自控制荧幕， 无法实现。
10、用户以外的人对荧幕控制从而实现互动。 发明内容 0003 本发明提供一种鼠标图标控制方法， 该方法包括 ： 建立步骤， 建立鼠标图标形态与 对荧幕画面操作的关联关系， 并将该关联关系添加到一对应关系表中 ； 投射步骤， 第一投影 装置将第一电子装置的荧幕画面投射成荧幕 ； 触发步骤， 当第二投影装置将第二电子装置 的鼠标图标投射出时， 触发第一电子装置的摄像装置拍摄上述荧幕 ； 获取步骤， 从上述摄像 装置获取拍摄到的荧幕 ； 辨识步骤， 当荧幕中存在第二电子装置的鼠标图标时， 辨识该鼠标 图标的形态和该鼠标图标在荧幕上的位置变化 ； 查询步骤， 根据辨识得到的鼠标图标形态 从所述对应关系表中。
11、查询相应的对荧幕画面的操作 ； 控制步骤， 根据查询到的对荧幕画面 的操作以及辨识得到的鼠标图标在荧幕上的位置变化控制第一电子装置的荧幕画面做出 相应操作， 该荧幕画面控制过程显示在上述荧幕上。 0004 本发明提供一种鼠标图标控制系统， 该系统包括 ： 建立模块， 用于建立鼠标图标形 态与对该鼠标图标操作的关联关系， 并将该关联关系添加到一对应关系表中 ； 触发模块， 用 于当第二投影装置将第二电子装置的鼠标图标投射出时， 触发第一电子装置的摄像装置拍 摄由第一投影装置将第一电子装置的荧幕画面投射成的荧幕 ； 获取模块， 用于从上述摄像 装置获取拍摄到的荧幕 ； 辨识模块， 用于当获取到的荧。
12、幕中存在第二电子装置的鼠标图标 时， 辨识该鼠标图标形态和该鼠标在荧幕上的位置变化 ； 查询模块， 用于根据鼠标图标形态 从所述对应关系表中查询相应的对荧幕画面的操作 ； 控制模块， 用于根据查询到的对荧幕 画面的操作以及辨识得到的鼠标图标在荧幕上的位置变化控制第一电子装置的荧幕画面 做出相应动作， 该荧幕画面控制过程显示在上述荧幕上。 0005 本发明利用投影技术实现通过辨识鼠标图标控制多个电子装置的投影荧幕。 附图说明 0006 图 1 是本发明鼠标图标控制系统的较佳实施方式的运行环境图。 0007 图 2 是本发明鼠标图标控制系统的较佳实施方式的功能模块图。 0008 图 3 是本发明鼠。
13、标图标控制方法的较佳实施方式的流程图。 0009 图 4 是本发明鼠标图标控制方法的较佳实施方式的鼠标图标形态与对荧幕画面 操作的对应关系表。 说 明 书 CN 103576906 A 4 2/3 页 5 0010 主要元件符号说明 第一电子装置1 第二电子装置2 荧幕3 鼠标图标4 鼠标图标控制系统10 第一存储器12 处理器14 摄像装置16 第一投影装置18 第二投影装置20 第二存储器22 建立模块100 触发模块102 获取模块104 判断模块106 辨识模块108 查询模块110 控制模块112 如下具体实施方式将结合上述附图进一步说明本发明。 具体实施方式 0011 如图 1 所。
14、示， 是本发明鼠标图标控制系统较佳实施例的运行环境图。鼠标图标控 制系统 10 运行在第一电子装置 1 上， 所述第一电子装置 1 包括第一存储器 12、 第一处理器 14、 摄像装置 16、 第一投影装置 18。所述第二电子装置 2 可以包括第二投影装置 20 及第二 存储器 22。 0012 所述第一电子装置 1 与第二电子装置 2 可以为手机、 平板电脑或个人数字助理等 电子装置。 0013 第一存储器 12 用于存储鼠标图标控制系统 10 的程序代码等资料。 0014 所述第一投影装置 18 集成在第一电子装置 1 内， 用于将第一电子装置 1 的荧幕画 面投射成荧幕 3。 0015 。
15、第二投影装置 20 集成在第二电子装置 2 内， 用于投射鼠标图标到荧幕 3。 0016 第二存储器 22 用于存储各种形状的鼠标图标 4。 0017 摄像装置 16 用于当第二投影装置 20 将鼠标图标 4 投射出去时， 拍摄荧幕 3。 0018 在本实施例中， 所述鼠标图标控制系统 10 可以被分割成一个或多个模块， 所述一 个或多个模块被存储在第一电子装置 1 的第一存储器 12 中并被配置成由一个或多个处理 器 （本实施例为一个处理器 14） 执行， 以完成本发明。例如， 参阅图 2 所示， 所述鼠标图标 控制系统 10 被分割成建立模块 100、 触发模块 102、 获取模块 104。
16、、 判断模块 106、 辨识模块 108、 查询模块 110、 控制模块 112。本发明所称的模块是完成一特定功能的程序段， 比程序 更适合于描述软件在第一电子装置 1 中的执行过程， 关于各模块的功能参阅图 3 的描述。 0019 如图 3 所示， 是本发明鼠标图标控制方法的较佳实施例的流程图。 0020 步骤S200， 建立模块100建立鼠标图标4的形态与对荧幕画面操作的关联关系， 并 将该关联关系添加到一对应关系表中， 该对应关系表如图 4 所示， 例如当控制荧幕画面进 行拖拉操作时， 鼠标图标 4 的形态为一个 “小手” 形态 ； 当要把荧幕画面翻到下一页时， 鼠标 说 明 书 CN 。
17、103576906 A 5 3/3 页 6 图标4的形态为一个向左的箭头 ； 当鼠标图标4形态为一个向右的箭头时， 表示把荧幕画面 翻到上一页， 白色的箭头表示标准选择。 0021 步骤 S202， 第一投影装置 18 将第一电子装置 1 的荧幕画面投射成荧幕 3。 0022 步骤 S204， 当第二投影装置 20 将鼠标图标 4 投射出时， 触发模块 102 触发摄像装 置 16 拍摄荧幕 3， 本实施方式中， 第一电子装置 1 与第二电子装置 2 通过有线或者无线方 式连接通讯， 当第二投影装置 20 投射出鼠标图标 4 时， 第二电子装置 2 通知第一电子装置 1 以启动触发模块 102。
18、 触发摄像装置 16 拍摄荧幕 3。 0023 步骤 S206， 获取模块 104 从摄像装置 16 获取拍摄到的荧幕 3。 0024 步骤 S208， 判断模块 106 判断拍摄到的荧幕 3 中是否存在鼠标图标 4， 如果存在， 进入步骤 S210， 否则返回步骤 S204。在本实施方式中， 当第二投影装置 20 投射出鼠标图标 4 时， 触发模块 102 触发摄像装置 16 拍摄荧幕 3， 判断模块 106 判断荧幕 3 上除第一电子装 置 1 的荧幕画面外是否还包括鼠标图标 4， 此处可以利用开源计算机视觉库 OpenCV（Open Source Computer Vision Libr。
19、ary） 对拍摄到的荧幕3的画面进行辨识， 看荧幕3上是否包 括鼠标图标 4， 所述 OpenCV 是一个跨平台计算机视觉库， 可以运行在 Linux、 Windows 操作 系统上， 它由一系列 C 函数和少量 C+ 类构成， 它同时提供了 Python、 Ruby、 MATLAB 等语言 的接口， 实现了图像处理和计算机视觉方面的很多通用算法。 此处之所以会加入步骤S208， 是因为第二投影装置 20 投射鼠标图标 4 时， 未必一定投射在荧幕 3 上。 0025 步骤 S210， 辨识模块 108 辨识鼠标图标 4 的形态和鼠标图标 4 在荧幕 3 上的位置 变化。本实施方式中， 所述辨。
20、识模块 108 可以利用 OpenCV 对拍摄到的荧幕 3 上的鼠标图标 4的形态与位置变化进行辨识。 在确定鼠标图标4的位置变化时， 以荧幕3左上角为坐标原 点建立二维坐标系， 则荧幕 3 左上角坐标为 (0， 0)， 调用 OpenCV 取得鼠标图标 4 的多个顶 点， 例如图1所示顶点A、 B、 C及中心点相对于原点坐标， 根据多个顶点与中心点的相对坐标 确定鼠标图标 4 在荧幕 3 上的位置， 当鼠标图标 4 在荧幕 3 上变换位置时， 确定鼠标图标 4 在荧幕 3 上变换位置的过程中各点的相对坐标， 最终确定鼠标图标 4 在荧幕 3 上的位置变 化。 0026 步骤 S212， 查询。
21、模块 110 根据辨识得到的荧幕 3 中的鼠标图标 4 的形态从所述对 应关系表中查询相应的对荧幕画面的操作， 例如， 鼠标图标 4 的形态为 “小手” 形态， 那么对 应的对荧幕画面的操作为 “拖拉” 。 0027 步骤 S214， 控制模块 112 根据查询到的对荧幕画面的操作以及辨识得到的鼠标图 标 4 在荧幕 3 上位置变化控制第一电子装置的荧幕画面做出相应动作， 该操作过程显示在 荧幕 3 上， 例如， 控制模块 112 将第一电子装置 1 荧幕画面最左端的图片拖拉到荧幕画面最 右端， 该拖拉过程显示在荧幕 3 上为将荧幕 3 最左端的图片拖拉到荧幕 3 的最右边。 0028 以上步。
22、骤S200至步骤S214利用投影技术实现通过辨识投射到荧幕上的鼠标图标 来控制多个电子装置的投影荧幕。 0029 以上实施方式仅用以说明本发明的技术方案而非限制， 尽管参照较佳实施例对本 发明进行了详细说明， 本领域的普通技术人员应当理解， 可以对本发明的技术方案进行修 改或等同替换， 而不脱离本发明技术方案的精神和范围。 说 明 书 CN 103576906 A 6 1/4 页 7 图 1 说 明 书 附 图 CN 103576906 A 7 2/4 页 8 图 2 说 明 书 附 图 CN 103576906 A 8 3/4 页 9 图 3 说 明 书 附 图 CN 103576906 A 9 4/4 页 10 图 4 说 明 书 附 图 CN 103576906 A 10 。