《一种电子设备的远程操控方法及电子设备.pdf》由会员分享，可在线阅读，更多相关《一种电子设备的远程操控方法及电子设备.pdf（17页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103365572 A (43)申请公布日 2013.10.23 CN 103365572 A *CN103365572A* (21)申请号 201210082832.3 (22)申请日 2012.03.26 G06F 3/0488(2013.01) G06F 3/041(2006.01) (71)申请人 联想 （北京） 有限公司 地址 100085 北京市海淀区上地创业路 6 号 (72)发明人 张强 郑坤 (74)专利代理机构 北京同达信恒知识产权代理 有限公司 11291 代理人 黄志华 (54) 发明名称 一种电子设备的远程操控方法及电子设备 (57) 摘要 。
2、本发明公开了一种电子设备的远程操控方法 及电子设备， 该方法应用于第一电子设备和第二 电子设备之间， 该方法包括 ： 第一电子设备通过 自身图像获取装置获取包含第二电子设备所显示 的第一显示内容的实时图像， 并显示所述实时图 像 ； 建立所述实时图像与所述第一显示内容的第 一显示坐标转换关系 ； 根据所述第一显示坐标转 换关系将第一电子设备接收到的触控操作坐标转 换为所述第二电子设备中的第二坐标， 使第二电 子设备通过所述触控命令实现对所述第二坐标位 置的操作。本发明公开的方法和装置通过。通过 本发明提供的方法和装置能够使得用户可以通过 手持设备中的触摸屏在一定距离范围内对另一电 子的桌面进行。
3、操控。 (51)Int.Cl. 权利要求书 2 页 说明书 9 页 附图 5 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书9页 附图5页 (10)申请公布号 CN 103365572 A CN 103365572 A *CN103365572A* 1/2 页 2 1. 一种电子设备的远程操控方法， 该方法应用于第一电子设备和第二电子设备之间， 其中， 第一电子设备与第二电子设备通过无线方式连接， 第一电子设备包括图像获取装置 和触控显示单元， 第二电子设备包括一显示单元， 其特征在于， 该方法包括 ： 第一电子设备通过所述图像获取装置获取包含所述显示单。
4、元所显示的第一显示内容 的实时图像， 将所述实时图像显示在所述触控显示单元中 ； 建立所述实时图像对应显示坐标与所述第一显示内容对应显示坐标的第一显示坐标 转换关系 ； 检测所述触控显示单元接收到的触控操作信息， 根据所述触控操作信息确定该触控操 作的触控点坐标是否对应所述实时图像中包含的第一显示内容， 如果是， 则根据所述第一 显示坐标转换关系将所述触控操作对应的触控点坐标转换为所述显示单元中的第二坐标， 并将所述触控操作信息中的触控命令发送到第二电子设备， 使第二电子设备通过所述触控 命令实现对所述第二坐标位置的操作。 2. 如权利要求 1 所述的方法， 其特征在于， 建立所述实时图像对应。
5、显示坐标与所述第 一显示内容对应显示坐标的显示坐标转换关系包括 ： 对所述实时图像执行图象识别操作， 确定所述实时图像中第一显示内容的边界信息， 并获取所述边界信息所确定区域包括的第一显示坐标集 ； 确定所述显示单元中第一显示内容对应的第二显示坐标集 ； 建立所述第一显示坐标集与第二显示坐标集的显示坐标转换关系。 3. 如权利要求 1 所述的方法， 其特征在于， 建立所述实时图像对应显示坐标与所述第 一显示内容对应显示坐标的显示坐标转换关系包括 ： 接受用户输入的图像选择信息， 并根据所述选择信息从所述实时图像中确定第一显示 内容的边界信息， 并获取所述边界信息所确定区域包括的第一显示坐标集 。
6、； 确定所述显示单元中第一显示内容对应的第二显示坐标集 ； 建立所述第一显示坐标集与第二显示坐标集的显示坐标转换关系。 4. 如权利要求 1 所述的方法， 其特征在于， 所述第一电子设备与第二电子设备之间间 隔设定距离， 所述图像获取装置包括全景摄像头和缩放摄像头， 所述第一电子设备通过所 述图像获取装置获取包含所述显示单元所显示的第一显示内容的实时图像包括 ： 通过所述全景摄像头获取所述显示单元当前显示的所有显示内容 ； 通过接收到的图像缩放指令控制所述调整缩放摄像头获取所述显示单元中任一区域 的缩放图像。 5. 如权利要求 1 4 任一权项所述的方法， 其特征在于， 该方法进一步包括 ： 。
7、检测第一电子设备和第二电子设备之间的距离， 如果当前次检测到的第一距离与前一 次检测的第二距离不相同， 则获取当前触控显示单元中显示的第二实时图像， 并确定所述 第二实时图像中包含所述显示单元所显示的第二显示内容 ； 建立所述第二实时图像对应显示坐标与所述第二显示内容对应显示坐标的第二显示 坐标转换关系， 并用该第二显示坐标转换关系更新所述第一显示坐标转换关系。 6. 一种电子设备， 电子设备与第二电子设备之间通过无线方式连接， 该电子设备包括 图像获取单元和触控显示单元， 其特征在于， 包括 ： 所述图像获取单元， 用于获取包含所述第二电子设备显示单元所显示的第一显示内容 权 利 要 求 书。
8、 CN 103365572 A 2 2/2 页 3 的实时图像， 将所述实时图像发送至所述触控显示单元 ； 对应关系建立单元， 用于建立所述实时图像对应显示坐标与所述第一显示内容对应显 示坐标的第一显示坐标转换关系 ； 控制单元， 用于检测所述触控显示单元接收到的触控操作信息， 根据所述触控操作信 息确定该触控操作的触控点坐标是否对应所述实时图像中包含的第一显示内容， 如果是， 则根据所述第一显示坐标转换关系将所述触控操作对应的触控点坐标转换为所述显示单 元中的第二坐标， 并将所述触控操作信息中的触控命令发送到第二电子设备， 使第二电子 设备通过所述触控命令实现对所述第二坐标位置的操作。 7.。
9、 如权利要求 6 所述的电子设备， 其特征在于， 所述对应关系建立单元还用于对所述 实时图像执行图象识别操作， 确定所述实时图像中第一显示内容的边界信息， 并获取所述 边界信息所确定区域包括的第一显示坐标集 ； 确定所述显示单元中第一显示内容对应的第 二显示坐标集 ； 建立所述第一显示坐标集与第二显示坐标集的显示坐标转换关系。 8. 如权利要求 6 所述的电子设备， 其特征在于， 所述对应关系建立单元还用于接受用 户输入的图像选择信息， 并根据所述选择信息从所述实时图像中确定第一显示内容的边界 信息， 并获取所述边界信息所确定区域包括的第一显示坐标集 ； 确定所述显示单元中第一 显示内容对应的。
10、第二显示坐标集 ； 建立所述第一显示坐标集与第二显示坐标集的显示坐标 转换关系。 9. 如权利要求 6 所述的电子设备， 其特征在于， 所述图像获取单元包括 ： 全景摄像头， 用于获取所述显示单元当前显示的所有显示内容 ； 缩放摄像头， 用于通过接收到的图像缩放指令， 获取所述显示单元显示内容中任一区 域的缩放图像。 10. 如权利要求 6 9 任一权项所述的电子设备， 其特征在于， 该电子设备还包括 ： 测距单元， 用于检测第一电子设备和第二电子设备之间的距离， 如果当前次检测到的 第一距离与前一次检测的第二距离不相同， 则获取当前触控显示单元中显示的第二实时图 像， 并确定所述第二实时图像。
11、中包含所述显示单元所显示的第二显示内容 ； 建立所述第二 实时图像对应显示坐标与所述第二显示内容对应显示坐标的第二显示坐标转换关系， 并用 该第二显示坐标转换关系更新所述第一显示坐标转换关系。 权 利 要 求 书 CN 103365572 A 3 1/9 页 4 一种电子设备的远程操控方法及电子设备 技术领域 0001 本发明涉及电子技术领域， 尤其涉及一种电子设备的远程操控方法及电子设备。 背景技术 0002 目前人机桌面交互的主要控制输入方式包括鼠标、 键盘、 触摸屏和手势识别设备 等等。这些控制方式都需要额外的、 专门的指令输入设备， 造成大量的计算机输入设备冗 余。 而且输入设备与计算。
12、机呈紧耦合连接， 一个输入设备通常只对应一台计算机， 因此难以 实现使用一个输入设备灵活控制多台计算机， 也难以实现多人使用多个输入设备控制一台 计算机。 0003 同时， 在很多场合下， 用户希望可以方便快捷的使用计算机， 而最有效的方式就是 利用用户随身携带的电子设备作为输入设备。 例如用户利用手机操控一定距离之外的计算 机。 0004 现有技术中提出的解决方案为 ： 将手机作为遥控器控制 PC、 电视或者其他计算机 设备， 该方案的缺点是 ： 0005 1) 遥控方式单调， 通常只包括选台， 基本设定 ； 2) 互操作性差， 不能对智能电视桌 面进行交互操作 ； 3) 灵活性低， 手机和。
13、电视耦合性较高， 用户不能实现多个电视之间快速 切换 ； 4) 无法实现可见即可控。 发明内容 0006 本发明提供一种电子设备的远程操控方法及电子设备， 本发明所提供的方法和装 置能够解决显示技术中不能使用一个输入设备灵活控制计算机或非触控显示设备的问题。 0007 本发明提供一种电子设备的远程操控方法， 该方法应用于第一电子设备和第二电 子设备之间， 其中， 第一电子设备与第二电子设备通过无线方式连接， 第一电子设备包括图 像获取装置和触控显示单元， 第二电子设备包括一显示单元， 该方法包括 ： 0008 第一电子设备通过所述图像获取装置获取包含所述显示单元所显示的第一显示 内容的实时图像。
14、， 将所述实时图像显示在所述触控显示单元中 ； 0009 建立所述实时图像对应显示坐标与所述第一显示内容对应显示坐标的第一显示 坐标转换关系 ； 0010 检测所述触控显示单元接收到的触控操作信息， 根据所述触控操作信息确定该触 控操作的触控点坐标是否对应所述实时图像中包含的第一显示内容， 如果是， 则根据所述 第一显示坐标转换关系将所述触控操作对应的触控点坐标转换为所述显示单元中的第二 坐标， 并将所述触控操作信息中的触控命令发送到第二电子设备， 使第二电子设备通过所 述触控命令实现对所述第二坐标位置的操作。 0011 建立所述实时图像对应显示坐标与所述第一显示内容对应显示坐标的显示坐标 转。
15、换关系包括 ： 0012 对所述实时图像执行图象识别操作， 确定所述实时图像中第一显示内容的边界信 说 明 书 CN 103365572 A 4 2/9 页 5 息， 并获取所述边界信息所确定区域包括的第一显示坐标集 ； 0013 确定所述显示单元中第一显示内容对应的第二显示坐标集 ； 0014 建立所述第一显示坐标集与第二显示坐标集的显示坐标转换关系。 0015 建立所述实时图像对应显示坐标与所述第一显示内容对应显示坐标的显示坐标 转换关系包括 ： 0016 接受用户输入的图像选择信息， 并根据所述选择信息从所述实时图像中确定第一 显示内容的边界信息， 并获取所述边界信息所确定区域包括的第一。
16、显示坐标集 ； 0017 确定所述显示单元中第一显示内容对应的第二显示坐标集 ； 0018 建立所述第一显示坐标集与第二显示坐标集的显示坐标转换关系。 0019 所述第一电子设备与第二电子设备之间间隔设定距离， 所述图像获取装置包括全 景摄像头和缩放摄像头， 所述第一电子设备通过所述图像获取装置获取包含所述显示单元 所显示的第一显示内容的实时图像包括 ： 0020 通过所述全景摄像头获取所述显示单元当前显示的所有显示内容 ； 0021 通过接收到的图像缩放指令控制所述调整缩放摄像头获取所述显示单元中任一 区域的缩放图像。 0022 更优化的方案， 该方法进一步包括 ： 0023 检测第一电子设。
17、备和第二电子设备之间的距离， 如果当前次检测到的第一距离与 前一次检测的第二距离不相同， 则获取当前触控显示单元中显示的第二实时图像， 并确定 所述第二实时图像中包含所述显示单元所显示的第二显示内容 ； 0024 建立所述第二实时图像对应显示坐标与所述第二显示内容对应显示坐标的第二 显示坐标转换关系， 并用该第二显示坐标转换关系更新所述第一显示坐标转换关系。 0025 根据上述方法本发明还提供一种电子设备， 电子设备与第二电子设备之间通过无 线方式连接， 该电子设备包括图像获取单元和触控显示单元， 包括 ： 0026 所述图像获取单元， 用于获取包含所述第二电子设备显示单元所显示的第一显示 内。
18、容的实时图像， 将所述实时图像发送至所述触控显示单元 ； 0027 对应关系建立单元， 用于建立所述实时图像对应显示坐标与所述第一显示内容对 应显示坐标的第一显示坐标转换关系 ； 0028 控制单元， 用于检测所述触控显示单元接收到的触控操作信息， 根据所述触控操 作信息确定该触控操作的触控点坐标是否对应所述实时图像中包含的第一显示内容， 如果 是， 则根据所述第一显示坐标转换关系将所述触控操作对应的触控点坐标转换为所述显示 单元中的第二坐标， 并将所述触控操作信息中的触控命令发送到第二电子设备， 使第二电 子设备通过所述触控命令实现对所述第二坐标位置的操作。 0029 所述对应关系建立单元还。
19、用于对所述实时图像执行图象识别操作， 确定所述实时 图像中第一显示内容的边界信息， 并获取所述边界信息所确定区域包括的第一显示坐标 集 ； 确定所述显示单元中第一显示内容对应的第二显示坐标集 ； 建立所述第一显示坐标集 与第二显示坐标集的显示坐标转换关系。 0030 所述对应关系建立单元还用于接受用户输入的图像选择信息， 并根据所述选择信 息从所述实时图像中确定第一显示内容的边界信息， 并获取所述边界信息所确定区域包括 的第一显示坐标集 ； 确定所述显示单元中第一显示内容对应的第二显示坐标集 ； 建立所述 说 明 书 CN 103365572 A 5 3/9 页 6 第一显示坐标集与第二显示坐。
20、标集的显示坐标转换关系。 0031 更优化的实施方案， 所述图像获取单元包括 ： 0032 全景摄像头， 用于获取所述显示单元当前显示的所有显示内容 ； 0033 缩放摄像头， 用于通过接收到的图像缩放指令， 获取所述显示单元显示内容中任 一区域的缩放图像。 0034 进一步， 该电子设备还包括 ： 0035 测距单元， 用于检测第一电子设备和第二电子设备之间的距离， 如果当前次检测 到的第一距离与前一次检测的第二距离不相同， 则获取当前触控显示单元中显示的第二实 时图像， 并确定所述第二实时图像中包含所述显示单元所显示的第二显示内容 ； 建立所述 第二实时图像对应显示坐标与所述第二显示内容对。
21、应显示坐标的第二显示坐标转换关系， 并用该第二显示坐标转换关系更新所述第一显示坐标转换关系。 0036 上述技术方案中的一个或两个， 至少具有如下技术效果 ： 0037 本发明实施例所提供的方法和装置使用包括缩放摄像头和触摸屏的电子设置控 制另一电子设备， 当用户通过摄像头获取另一电子设备显示单元中显示的内容后， 在触摸 屏中显示。用户即可以通过触摸屏在一定距离范围内对所述另一电子设备的桌面进行操 控。可以实现通过触控方式对非触控显示屏的电子设备的控制。 附图说明 0038 图 1 为本发明实施例一种电子设备的远程操控方法的示意图 ； 0039 图 2 为本发明实施例中被控电子设备整个桌面显示。
22、内容包含在实时图像中 ； 0040 图 3 为本发明实施例中被控电子设备部分桌面显示内容包含在适时图像中 ； 0041 图 4 为本发明实施例第一电子设备相对于第二电子设备的底边有一定的倾斜角 度的示意图 ； 0042 图 5 为本发明实施例图 4 所示示意图的效果简图 ； 0043 图 6 为本发明实施例在实时图像中显示选择框的示意图 ； 0044 图 7 为本发明实施例对实时图像进行放大处理后的示意图 ； 0045 图 8 为本发明实施例第二电子设备包括两个摄像头的进行坐标换算的示意图 ； 0046 图 9 为本发明实施例一种电子设备的结构示意图 ； 0047 图 10 为本发明实施例图像。
23、获取单元的结构示意图。 具体实施方式 0048 本发明实施例提供一种电子设备的远程操控方法， 该方法应用于第一电子设备和 第二电子设备之间， 其中， 第一电子设备与第二电子设备通过无线方式连接， 第一电子设备 包括图像获取装置和触控显示单元， 第二电子设备包括一显示单元， 该方法包括 ： 第一电子 设备通过所述图像获取装置获取包含所述显示单元所显示的第一显示内容的实时图像， 将 所述实时图像显示在所述触控显示单元中 ； 建立所述实时图像对应显示坐标与所述第一显 示内容对应显示坐标的第一显示坐标转换关系 ； 检测所述触控显示单元接收到的触控操作 信息， 根据所述触控操作信息确定该触控操作的触控点。
24、坐标是否对应所述实时图像中包含 的第一显示内容， 如果是， 则根据所述第一显示坐标转换关系将所述触控操作对应的触控 说 明 书 CN 103365572 A 6 4/9 页 7 点坐标转换为所述显示单元中的第二坐标， 并将所述触控操作信息中的触控命令发送到第 二电子设备， 使第二电子设备通过所述触控命令实现对所述第二坐标位置的操作。 0049 在本发明实施例所提供的方法， 应用在第一电子设备和第二电子设备中， 其中， 第 一电子设备与第二电子设备通过无线方式连接， 第一电子设备包括图像获取装置和触控显 示单元， 第二电子设备包括一显示单元。 第一电子设备图像获取装置可以是摄像头， 则所述 摄像。
25、头拍摄所述第二电子设备的显示单元所显示的所有内容， 并将拍摄到的图像内容在触 控显示单元中实时显示。并建立图像内容与所述显示单元显示内容的坐标对应关系， 则用 户可在触控显示单元上观察到所述显示单元的桌面， 还可通过操作所述触控显示单元对第 二电子设备进行操作控制。 其中， 所述操作控制包括所有的鼠标类型控制指令， 以及一些高 级指令， 例如前进、 后退、 缩放、 返回、 关机、 复制和粘贴等等。 0050 进一步， 还借助测距仪确定第一电子设备和第二电子设备直接的距离， 从而建立 或更新触控显示单元坐标和显示单元桌面坐标的转换函数。 另外， 还设置两个摄像头， 通过 缩放摄像头实现对所拍摄画。
26、面进行数码缩放， 给用户呈现被控桌面的细节， 便于用户操控。 0051 实施例一、 如图 1 所示， 本发明实施例提供一种电子设备的远程操控方法， 该方法 应用于第一电子设备和第二电子设备之间， 其中， 第一电子设备与第二电子设备通过无线 方式连接， 第一电子设备包括图像获取装置和触控显示单元， 第二电子设备包括一显示单 元， 在该实施中所述图像获取装置包括一个摄像头。下面结合说明书附图对本发明的具体 实施方式进行详细说明 ： 0052 在本发明实施例被控电子设备 ( 根据上述条件为第二电子设备 ) 的显示单元， 在 所述图像获取装置的扫描范围内。 0053 在该实施中， 所述第二电子设备中如。
27、果设备摄像头或者包括的显示单元也是触控 显示单元， 则同时也可实现对第一电子设备的反向控制。 0054 步骤 101， 第一电子设备通过所述图像获取装置获取包含所述显示单元所显示的 第一显示内容的实时图像， 将所述实时图像显示在所述触控显示单元中 ； 0055 在本发明实施例中， 所述第一显示内容可以是所述显示单元当前桌面的所有内容 ( 如图 2 所示， 其中， 第一电子设备的图像获取装置的扫描的区域的直径为 a-b)， 也可是所 述显示单元当前桌面的一部分内容 ( 如图 3 所示 )。为了使本发明实施例所提供的方法适 用范围更大， 所述第一电子设备可以与水平面存在一定的倾斜角度(如图4所示，。
28、 简化图如 图 5 所示， 其中， 第一电子设备的图像获取装置的扫描的区域的直径为 a-b)， 以第二电子设 备显示单元的左下角为基准坐标系的原点， 底边为基准线。通过所述基准线确定所述倾斜 角度。 0056 在本发明实施例中， 所述图像获取装置实时获取图像需要做到所述显示单元一旦 出现显示内容的变化， 则需要对实时图像执行更新的操作。 0057 该实施中可以实现对显示单元桌面内容进行实时控制的方法可以是 ： 周期性的对 获取显示单元桌面所显示的内容。将当前次获取的显示内容与前一次获取的进行比较， 如 果不相同的像素值大于预设值， 则确定显示单元的桌面内容发生了变化， 则对实时图像进 行更新。。
29、 0058 步骤 102， 建立所述实时图像对应显示坐标与所述第一显示内容对应显示坐标的 第一显示坐标转换关系 ； 说 明 书 CN 103365572 A 7 5/9 页 8 0059 在该步骤中， 还包括对所述实时图像进行图像识别操作或通过用户输入的选择信 息， 确定所述实时图像中的第一显示内容。 0060 本发明实施所述提供的方法可以通过多种方式确定实时图像中的第一内容， 下面 以为图像识别方式和用户选择两种方式对确定所述实时图像中的第一显示内容做进一步 的说明， 具体包括 ： 0061 (1) 对所述实时图像执行图象识别操作， 确定所述实时图像中第一显示内容的边 界信息， 并获取所述边。
30、界信息所确定区域包括的第一显示坐标集 ； 0062 确定所述显示单元中第一显示内容对应的第二显示坐标集 ； 0063 建立所述第一显示坐标集与第二显示坐标集的显示坐标转换关系。 0064 (2) 接受用户输入的图像选择信息， 并根据所述选择信息从所述实时图像中确定 第一显示内容的边界信息， 并获取所述边界信息所确定区域包括的第一显示坐标集 ； 0065 在本实施例中， 执行图像识别的时， 则在所述触控显示单元显示选择框(如图6所 示)。 通过接收用户输入的操控信息， 对所述选择框进行移动、 放缩操作， 从而实现将第一显 示内容的边界与所述选择框的边界重合或者是将第一显示内容中的需要对应操作控制。
31、的 部分框选在所述选择框中。 0066 确定所述显示单元中第一显示内容对应的第二显示坐标集 ； 0067 建立所述第一显示坐标集与第二显示坐标集的显示坐标转换关系。 0068 步骤 103， 检测所述触控显示单元接收到的触控操作信息， 根据所述触控操作信息 确定该触控操作的触控点坐标是否对应所述实时图像中包含的第一显示内容， 如果是， 则 根据所述第一显示坐标转换关系将所述触控操作对应的触控点坐标转换为所述显示单元 中的第二坐标， 并将所述触控操作信息中的触控命令发送到第二电子设备， 使第二电子设 备通过所述触控命令实现对所述第二坐标位置的操作。 0069 在本发明实施中， 因为第一电子设备可。
32、以获取显示单元桌面显示内容的一部分， 所以需要确定用户在执行触控操作时， 触控点的坐标是否对应实时图像中包含的第一显示 图像， 如果是， 则确定该触控操作是对显示单元进行的触控操作。 0070 其中， 触控操作信息中包括触控点坐标和触控操作指令。 0071 在本发明实施例中， 所述第一电子设备一般为具有触控显示单元的手持， 设备， 所 以在具体的应用中可能会导致第一电子设备与第二电子设备之间存在相对位移的变化， 所 以在相对位移发生变化之后， 则还需要实时的更新显示坐标转换关系， 具体的实现方式包 括 ： 0072 检测第一电子设备和第二电子设备之间的距离， 如果当前次检测到的第一距离与 前一。
33、次检测的第二距离不相同， 则获取当前触控显示单元中显示的第二实时图像， 并确定 所述第二实时图像中包含所述显示单元所显示的第二显示内容 ； 0073 建立所述第二实时图像对应显示坐标与所述第二显示内容对应显示坐标的第二 显示坐标转换关系， 并用该第二显示坐标转换关系更新所述第一显示坐标转换关系。 0074 在步骤 102 中， 建立所述实时图像对应显示坐标与所述第一显示内容对应显示坐 标的第一显示坐标转换关系的据实现可以是 ： 0075 第一电子设备记录用户触摸点的横纵坐标与实时图像中显示单元边框的比例值。 即用户触摸点的横坐标与横边框的比例 XR， 纵坐标与竖边框的比例 YR。得到这两个值之。
34、后 说 明 书 CN 103365572 A 8 6/9 页 9 再传到第二电子设备上， 第二电子设备即获知用户触摸点的位置。所以在该实施中第二电 子设备只需要确定本地设备的水平倾角， 被控计算机边框的长度 ( 以像素计算 )， 以及用户 在本地设备触摸点的坐标即可确定触控显示单元中的触控操作坐标与显示单元中坐标的 对应关系。在具体应用是的确定方法为 ： 0076 如图 5 所示的显示单元 502 桌面与触控显示单元 L 所显示的实时图像的对应关 系， 该方法需要将用户在触控屏上的触控坐标换算为以显示单元为基准的坐标， 换算公式 可由如下步骤实现 ： 0077 为了不失一般性， 需要记录为第二。
35、电子设备的倾斜角度， 以 L 左下角为基准坐标 系的原点， 记 RL 的原点坐标为 (x0， y0)， 用户触控点 U 的坐标为 (xL， yL)， 由此， 可以建立 RL 的四边对应直线函数， 其中 a、 b 边的长度可记为 la， lb( 可采用 L 的像素为单位 ) ： 0078 记 a， b 边所在的直线函数为 ： fa(x)， fb(x) ； 0079 可求得点 U 分别到边 a， b 的距离， 即为 da， db， 由此可求得点 U 在 RL 的相对坐标， XR db/lb 和 YR da/la。 0080 进一步， 为了方便用户的操作， 本发明实施例中第一电子设备的图像获取装置可。
36、 以包括两个摄像头， 两个摄像头分别为全景摄像头和缩放摄像头， 在用户对触控显示单元 中实时图像进行触控操作时， 所述第一电子设备通过所述图像获取装置获取包含所述显示 单元所显示的第一显示内容的实时图像包括 ： 0081 通过所述全景摄像头获取所述显示单元当前显示的所有显示内容 ； 0082 通过接收到的图像缩放指令控制所述调整缩放摄像头获取所述显示单元中任一 区域的缩放图像 ( 放大后的实时图像如图 7 所示 )。 0083 在该实施中， 所述全景摄像头双摄像头的情况下， 两个摄像头 G-camera 和 Z-camera。其中 G-camera 为定焦摄像头 ( 即全景摄像头 )， 可以拍。
37、摄被控计算机屏幕的全 部。Z-camera 为变焦摄像头 ( 即缩放摄像头 )， 用户可以改变 Z-camera 进行缩放拍摄。 0084 在本发明实施例中坐标转换是指将第一电子设备上点击的坐标， 换算成对应的第 二电子设备 ( 被控设备 ) 桌面上的坐标。换算的公式由第一电子设备距离第二电子设备桌 面的距离、 G-Camera 角度、 缩放的倍数相关， 换算公式可由如下步骤实现 ： 0085 如图8所示， 若第二电子设备平面为R1-R4， 用户的G-Camera可以拍下第二电子设 备桌面全景， 并且投影在G1-G2。 用户使用Z-Camera浏览时， 是以直线x为轴心进行前后位 移， 在此假。
38、定镜头的广角在位移过程中保持不变。 0086 当 Z-Camera 位移至图示位置时， 触摸屏上显示的范围是 R2-R3 段。图 XX 中各标 号的含义如表 1 所示 说 明 书 CN 103365572 A 9 7/9 页 10 0087 0088 表 1 0089 以横坐标为例进行换算公式的推导 ： 0090 坐标换算的目标是将用户在Z-Camera上的操作点P的坐标， 换算至第二电子设备 平面上的对应点 Q。 0091 用户触摸点 P 的相对位置满足 0092 0093 其中， R2R3是用户调整摄像头倍率而定， 所以 R2R3是缩放倍率和全景范围 OR5的乘 积， 因此有 ： 0094。
39、 R2R3 *OR5， 0095 所以 0096 根据上图， 还可推得 0097 0098 OR2 tan(x0x2-x0x1) 0099 OR5 2tan*x0x2+G0G2 0100 由于 R1Q (R2O-R1O)+R2Q， 所以综合整理， 得到 Q 点的横坐标 R1Q 为 ： 0101 0102 如图 9 所示， 根据上述方法本发明还提供一种电子设备， 该电子设备与第二电子 设备之间通过无线方式连接， 该电子设备包括图像获取单元 901 和触控显示单元 902， 包 括 ： 0103 所述图像获取单元 901， 用于获取包含所述第二电子设备显示单元所显示的第一 显示内容的实时图像， 将。
40、所述实时图像发送至所述触控显示单元 ； 0104 对应关系建立单元 903， 用于建立所述实时图像对应显示坐标与所述第一显示内 容对应显示坐标的第一显示坐标转换关系 ； 0105 控制单元 904， 用于检测所述触控显示单元接收到的触控操作信息， 根据所述触控 说 明 书 CN 103365572 A 10 8/9 页 11 操作信息确定该触控操作的触控点坐标是否对应所述实时图像中包含的第一显示内容， 如 果是， 则根据所述第一显示坐标转换关系将所述触控操作对应的触控点坐标转换为所述显 示单元中的第二坐标， 并将所述触控操作信息中的触控命令发送到第二电子设备， 使第二 电子设备通过所述触控命令。
41、实现对所述第二坐标位置的操作。 0106 所述对应关系建立单元 903 还用于对所述实时图像进行图像识别操作或通过用 户输入的选择信息， 确定所述实时图像中的第一显示内容。 0107 其中本发明实施所述提供的电子设备可以通过多种方式确定实时图像中的第一 内容， 下面以为图像识别方式和用户选择两种方式对确定所述实时图像中的第一显示内容 做进一步的说明， 具体包括 ： 0108 所述对应关系建立单元 903 还用于对所述实时图像执行图象识别操作， 确定所述 实时图像中第一显示内容的边界信息， 并获取所述边界信息所确定区域包括的第一显示坐 标集 ； 确定所述显示单元中第一显示内容对应的第二显示坐标集。
42、 ； 建立所述第一显示坐标 集与第二显示坐标集的显示坐标转换关系。 0109 所述对应关系建立单元 903 还用于接受用户输入的图像选择信息， 并根据所述选 择信息从所述实时图像中确定第一显示内容的边界信息， 并获取所述边界信息所确定区域 包括的第一显示坐标集 ； 确定所述显示单元中第一显示内容对应的第二显示坐标集 ； 建立 所述第一显示坐标集与第二显示坐标集的显示坐标转换关系。 0110 如图 10 所示， 为了方便用户的操作， 本发明实施例中第一电子设备的图像获取单 元 901 可以包括两个摄像头， 两个摄像头分别为全景摄像头 1001 和缩放摄像头 1002 ： 0111 全景摄像头 1。
43、001， 用于获取所述显示单元当前显示的所有显示内容 ； 0112 缩放摄像头 1002， 用于通过接收到的图像缩放指令， 获取所述显示单元显示内容 中任一区域的缩放图像。 0113 在本发明实施例中， 所述第一电子设备一般为具有触控显示单元的手持， 设备， 所 以在具体的应用中可能会导致第一电子设备与第二电子设备之间存在相对位移的变化， 所 以在相对位移发生变化之后， 则还需要实时的更新显示坐标转换关系， 本发明实施例所提 供的装置还包括 ： 0114 测距单元 905， 用于检测第一电子设备和第二电子设备之间的距离， 如果当前次检 测到的第一距离与前一次检测的第二距离不相同， 则获取当前触。
44、控显示单元中显示的第二 实时图像， 并确定所述第二实时图像中包含所述显示单元所显示的第二显示内容 ； 建立所 述第二实时图像对应显示坐标与所述第二显示内容对应显示坐标的第二显示坐标转换关 系， 并用该第二显示坐标转换关系更新所述第一显示坐标转换关系。 0115 本申请实施例中的上述一个或多个技术方案， 至少具有如下的技术效果 ： 0116 本发明实施例所提供的方法和装置使用包括缩放摄像头和触摸屏的电子设置控 制另一电子设备， 当用户通过摄像头获取另一电子设备显示单元中显示的内容后， 在触摸 屏中显示。用户即可以通过触摸屏在一定距离范围内对所述另一电子设备的桌面进行操 控 ； 0117 该方法可。
45、以实现用户灵活控制多台计算机、 也可以实现多个用户控制一台计算 机 ； 0118 该方法对被控计算机桌面没有限制， 可以应用于多种计算机显示方式， 包括 CRT、 说 明 书 CN 103365572 A 11 9/9 页 12 LCD、 LED、 液晶、 电容屏、 电阻屏、 投影等 ； 0119 该方法仅要求被控制计算机提供无线输入接口， 无其他软硬件的要求 ； 0120 摄像头和触摸屏已成为智能手机标配， 测距仪也方便集成在类似手机类手持设备 上， 因此该方法易于在手机等手持设备上广泛实施。 0121 本发明所述的方法并不限于具体实施方式中所述的实施例， 本领域技术人员根据 本发明的技术方。
46、案得出其它的实施方式， 同样属于本发明的技术创新范围。 0122 显然， 本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精 神和范围。这样， 倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围 之内， 则本发明也意图包含这些改动和变型在内。 说 明 书 CN 103365572 A 12 1/5 页 13 图 1 图 2 说 明 书 附 图 CN 103365572 A 13 2/5 页 14 图 3 图 4 说 明 书 附 图 CN 103365572 A 14 3/5 页 15 图 5 图 6 说 明 书 附 图 CN 103365572 A 15 4/5 页 16 图 7 图 8 说 明 书 附 图 CN 103365572 A 16 5/5 页 17 图 9 图 10 说 明 书 附 图 CN 103365572 A 17 。