用于引导控制器的方法、多媒体装置及其目标跟踪装置.pdf

《用于引导控制器的方法、多媒体装置及其目标跟踪装置.pdf》由会员分享，可在线阅读，更多相关《用于引导控制器的方法、多媒体装置及其目标跟踪装置.pdf（19页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 103677259 A (43)申请公布日 2014.03.26 CN 103677259 A (21)申请号 201310426326.6 (22)申请日 2013.09.18 10-2012-0103507 2012.09.18 KR 10-2013-0016574 2013.02.15 KR G06F 3/01(2006.01) G06F 9/44(2006.01) (71)申请人 三星电子株式会社 地址 韩国京畿道 (72)发明人 崔镇旭 权东旭 金廷燮 金庆溢 金民镐 李起相 李相普 李镇京 郑善太 陈暎究 (74)专利代理机构 北京市柳沈律师事务所 111。

2、05 代理人 张婧 (54) 发明名称 用于引导控制器的方法、 多媒体装置及其目 标跟踪装置 (57) 摘要 描述了用于把主体引导回多媒体系统的可识 别范围内的方法、 系统和设备。 根据所描述的方法 之一， 当确定目标已经离开多媒体系统的可识别 范围时， 从用户已经用来控制多媒体系统的便携 式电子设备 （或者控制器） 中获取传感器信息， 并 且所获取的传感器信息被用来确定用户相对于可 识别范围在何处。 在一个例子中， 用户被要求利用 便携式电子设备做出姿态， 并且关于该姿态的传 感器信息被用来确定用户的相对位置。在另一例 子中， 用户离开可识别范围时被记录的传感器信 息被用来确定用户的相对位置。

3、。 (30)优先权数据 (51)Int.Cl. 权利要求书 3 页 说明书 8 页 附图 7 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书3页 说明书8页 附图7页 (10)申请公布号 CN 103677259 A CN 103677259 A 1/3 页 2 1. 一种用于引导多媒体装置的控制器的用户在连接到多媒体装置的相机的可识别范 围内移动的方法， 包含 ： 确定目标是否在相机的可识别范围内 ； 和 如果确定目标不在相机的可识别范围内， 则 ： 获取指示控制器的移动的传感器信息 ； 基于控制器的移动的传感器信息， 估计控制器的位置 ； 和 输出和估计的控制器。

4、的位置对应的引导信息， 以便引导目标在相机的可识别范围内移 动。 2. 如权利要求 1 所述的方法， 其中， 如果确定目标不在可识别范围内， 则还包含 ： 输出指令目标利用控制器执行姿态的指令信息。 3. 如权利要求 1 或 2 所述的方法， 其中， 确定目标是否在相机的可识别范围内包含 ： 通过相机接收图像 ； 从接收的图像识别目标 ； 和 跟踪目标。 4. 如权利要求 3 所述的方法， 还包含， 如果在相机的可识别范围内未检测到目标， 则输 出引导目标朝多媒体装置移动的引导信息。 5. 如权利要求 4 所述的方法， 其中， 当目标响应于指令信息做出预先确定的姿态时， 从 控制器获取的传感器。

5、信息包含控制器的位置、 取向或者方向上的变化的传感器信息。 6. 如权利要求 5 所述的方法， 还包含 ： 基于控制器的传感器信息， 计算控制器的参考轴相对于多媒体装置的预先确定的参考 轴倾斜的角度 ； 基于计算的倾斜角度， 创建要在控制器的屏幕上显示的方向信息 ； 和 把方向信息传送到控制器。 7. 如权利要求 1 所述的方法， 其中， 估计控制器的位置包含基于控制器的传感器信息， 确定控制器位于相机的可识别范围的左边还是右边。 8. 如权利要求 1 所述的方法， 其中， 输出和估计的控制器的位置对应的引导信息包含 输出用于引导目标沿着和估计控制器在可识别范围外部的方向相反的方向移动的信息。。

6、 9. 如权利要求 1 所述的方法， 其中， 输出和估计的控制器的位置对应的引导信息包含 通过多媒体装置的显示单元、 扬声器和振动设备中的至少一个输出引导信息。 10. 如权利要求 1 所述的方法， 其中， 传感器信息被从控制器中的加速度传感器和陀螺 仪传感器中的至少一个获取。 11. 一种用于引导多媒体装置的控制器的用户移动到连接到多媒体装置的相机的可识 别范围内的多媒体装置， 包含 ： 图像处理器， 被配置成从相机所获取的图像中识别在相机的可识别范围内的目标 ； 控制单元， 被配置成当在相机的可识别范围内未检测到目标时， 获取控制器的移动的 传感器信息， 以便使用控制器的传感器信息来估计控。

7、制器的位置， 并且， 被配置成输出和估 计的控制器的位置对应的引导信息， 以便引导目标在相机的可识别范围内移动 ； 和 显示单元， 被配置成显示和估计的控制器的位置对应的引导信息。 12. 如权利要求 11 所述的多媒体装置， 还包含 ： 权 利 要 求 书 CN 103677259 A 2 2/3 页 3 一个或更多个输出单元， 被配置成当在可识别范围内未检测到目标时输出指令信息， 所述指令信息包含用于目标执行预先确定的姿态的指令。 13. 如权利要求 11 或 12 所述的多媒体装置， 还包含 ： 图像输入单元， 被配置成接收相机所获取的一个或更多个图像 ； 和 短距离通信单元， 被配置成。

8、和控制器通信， 以便从控制器接收传感器信息， 并把传感器 信息从控制器传送到控制单元。 14. 如权利要求 13 所述的多媒体装置， 其中， 图像输入单元和短距离通信单元被安装 在以有线方式和无线方式至少其中之一连接到多媒体装置的机顶盒中。 15. 如权利要求 11 所述的多媒体装置， 其中， 如果在可识别范围内未检测到目标， 则控 制单元输出用于引导目标朝多媒体装置移动的引导信息， 所述引导信息被通过显示单元、 扬声器和振动设备中的至少一个输出。 16. 如权利要求 12 所述的多媒体装置， 其中， 当目标响应于引导信息做出预先确定的 姿态时， 来自控制器的传感器信息包含指示控制器的位置、 。

9、取向和方向中的至少一个的变 化的信息。 17. 如权利要求 16 所述的多媒体装置， 其中， 传感器信息包括用户做出预先确定的姿 态之前的控制器的坐标， 以及目标做出预先确定的姿态之后的控制器的坐标。 18. 如权利要求 11 所述的多媒体装置， 其中， 控制单元基于传感器信息， 计算控制器相 对于多媒体装置的预先确定的参考轴倾斜的角度， 并且使用控制器的倾斜角度估计控制器 的相对位置。 19. 如权利要求 18 所述的多媒体装置， 其中， 控制单元基于控制器的倾斜角度， 确定控 制器位于相机的可识别范围外部左侧还是右侧。 20. 如权利要求 11 所述的多媒体装置， 其中， 控制单元基于传感。

10、器信息， 计算控制器相 对于多媒体装置的预先确定的参考轴倾斜的角度， 基于计算的控制器的倾斜角度， 确定控 制器位于相机的可识别范围的左边还是右边， 并引导目标沿着和确定的控制器在相机的可 识别范围外部所位于的左侧或者右侧方向相反的方向移动。 21. 如权利要求 11 所述的多媒体装置， 其中， 控制器包含 ： 传感器， 被配置成获取指示控制器的位置、 取向和 / 或方向其中之一的变化的传感器 信息 ； 短距离通信单元， 被配置成和多媒体装置通信 ； 和 控制单元， 被配置成基于传感器信息计算控制器的参考轴相对于多媒体装置的预先确 定的参考轴倾斜的角度， 以便基于计算的倾斜角度产生关于控制器要。

11、转动的方向的信息， 并输出关于转动方向的信息。 22. 一种便携式电子设备， 包含 ： 短距离通信单元， 被配置成传送短距离通信信号 ； 至少一个传感器， 被配置成获取关于便携式电子设备的取向、 移动和位置其中至少一 个的信息 ； 和 至少一个其上记录程序指令的非瞬态计算机可读介质， 所述程序指令被配置成使便携 式电子设备执行以下步骤 ： 当便携式电子设备的用户在多媒体系统的可识别范围外部时， 通过短距离通信单元从 权 利 要 求 书 CN 103677259 A 3 3/3 页 4 多媒体系统接收对传感器信息的请求 ； 和 通过短距离通信单元， 把被请求的传感器信息传送到多媒体系统， 随后，。

12、 所述多媒体系 统使用接收到的传感器信息来确定用户在其可识别范围外部沿哪个方向。 23. 如权利要求 22 所述的便携式电子设备， 其中， 记录在至少一个非瞬态计算机可读 介质上的程序指令还被配置成使便携式电子设备执行以下步骤 ： 在多媒体系统指令便携式电子设备的用户利用便携式电子设备执行动作之后， 通过至 少一个传感器， 获取关于便携式电子设备的取向上的变化的信息。 24. 一种多媒体系统， 包含 ： 显示器 ； 短距离通信单元， 被配置成传送短距离通信信号 ； 至少一个视觉输入设备， 被配置成获取便携式电子设备的用户在显示器前方的可识别 范围内的移动和位置信息中的至少一个 ； 和 至少一个。

13、其上记录程序指令的非瞬态计算机可读介质， 所述程序指令被配置成使多媒 体系统执行以下步骤 ： 检测用户何时在所述至少一个视觉输入设备的可识别范围外部 ； 和 当检测到用户在可识别范围外部时 ： 请求用户利用便携式电子设备执行动作 ； 通过短距离通信单元从便携式电子设备接收关于被请求动作的传感器信息 ； 和 使用接收的传感器信息确定用户在可识别范围外部沿哪个方向。 权 利 要 求 书 CN 103677259 A 4 1/8 页 5 用于引导控制器的方法、 多媒体装置及其目标跟踪装置 技术领域 0001 本发明一般地涉及把多媒体装置的用户引导回多媒体装置的可识别范围内， 并具 体涉及估计位于多媒。

14、体装置的操作环境内的多媒体装置的控制器的位置。 背景技术 0002 随着通信技术的快速发展， 电子设备的功能快速地扩展， 这要求实现这些成长和 变化的功能的各种用户接口 （User Interface， UI） 持续并快速的发展。电子设备提供了各 种输入方法和用于控制这各种功能的手段。 0003 一般地， 用户使用按键输入来控制电子设备的功能。 当电子设备具有触摸屏时， 用 户触碰触摸屏上的特定区域来控制设备。一般地， 根据通过特定输入单元的直接输入来控 制电子设备。 0004 除了直接输入以外， 能够使用基于视觉的识别方法来控制电子系统。基于视觉的 识别方法从视觉输入设备拍摄的一个或更多个图。

15、像提取图像信息， 并且被提取的图像信息 被用来给电子系统提供输入。在图 1 中所示的基于视觉的识别方法的例子中， 利用安装在 例如电视的显示装置 100 上的相机 110 拍摄用户的运动， 并且显示装置 100 的屏幕根据用 户的运动改变。 为了显示装置100识别用户的运动， 用户必须位于相机110的视角范围120 内 ； 当用户位于相机 110 的视角范围外部时， 显示装置 100 不能够识别用户的运动。 0005 但是， 用户无法判断他或她在视角范围内部还是外部， 并且， 即使在被通知时， 用 户也可能不知道怎样以及向哪儿移动以便回到系统的视角范围内。 0006 因此， 需要一种用于在用户。

16、移动到视角范围外部时把目标主体 （即用户） 引导回视 角范围内的方法和装置。 发明内容 0007 为了至少解决上面提到的问题和 / 或缺点并至少提供下面描述的益处， 已经做出 了本发明。因此， 本发明的一个方面是提供一种引导目标主体在多媒体装置的成像区域内 移动的装置和方法。 0008 本发明的另一方面是提供一种用于在多媒体装置的操作环境中跟踪多媒体装置 的控制器的运动， 以便在控制器的用户移动到多媒体装置的可识别范围外部时引导他或她 的装置和方法。 0009 根据本发明的一个方面， 提供了一种用于引导多媒体装置的控制器的用户移动回 连接到多媒体装置的相机的可识别范围内的方法， 包括 ： 确定。

17、目标是否在相机的可识别范 围内 ； 和， 如果确定目标不在可识别范围内， 则 ： 获取指示控制器的运动的传感器信息 ； 基 于控制器的运动的传感器信息， 估计控制器的位置 ； 和， 输出和估计的控制器位置对应的引 导信息， 以便引导目标在相机的可识别范围内移动。 0010 根据本发明的另一方面， 提供了一种用于引导多媒体装置的控制器的用户在连接 到多媒体装置的相机的可识别范围内移动的多媒体装置， 包括 ： 图像处理器， 被配置成从相 说 明 书 CN 103677259 A 5 2/8 页 6 机所获取的图像中识别在相机的可识别范围内的目标 ； 控制单元， 被配置成当在相机的可 识别范围内未检。

18、测到目标时， 获取控制器的移动的传感器信息， 以便使用控制器的传感器 信息来估计控制器的位置， 并且， 被配置成输出和估计的控制器位置对应的引导信息， 以便 引导目标在相机的可识别范围内移动 ； 和， 显示单元， 被配置成显示和估计的控制器位置对 应的引导信息。 0011 根据本发明的又一个方面， 提供了一种便携式电子设备， 包括 ： 短距离通信单元， 被配置成传送短距离通信信号 ； 至少一个传感器， 被配置成获取关于便携式电子设备的取 向、 移动和位置其中至少一个的信息 ； 和， 至少一个其上记录程序指令的非瞬态计算机可读 介质， 所述程序指令被配置成使便携式电子设备执行以下步骤 ： 当便携。

19、式电子设备的用户 在多媒体系统的可识别范围外部时， 通过短距离通信单元从多媒体系统接收对传感器信息 的请求 ； 和， 通过短距离通信单元， 把被请求的传感器信息传送到多媒体系统， 随后， 所述多 媒体系统使用接收到的传感器信息来确定用户在其可识别范围外部沿哪个方向。 0012 根据本发明的又一个方面， 提供了一种多媒体系统， 包括 ： 显示器 ； 短距离通信单 元， 被配置成传送短距离通信信号 ； 至少一个视觉输入设备， 被配置成获取便携式电子设备 的用户在显示器前方的可识别范围内的移动和位置信息中的至少一个 ； 和， 至少一个其上 记录程序指令的非瞬态计算机可读介质， 所述程序指令被配置成使。

20、多媒体系统执行以下步 骤 ： 检测用户何时在所述至少一个视觉输入设备的可识别范围外部 ； 和， 当检测到用户在 可识别范围外部时， 请求用户利用便携式电子设备执行动作 ； 通过短距离通信单元从便携 式电子设备接收关于被请求动作的传感器信息 ； 和， 使用接收的传感器信息确定用户在可 识别范围外部沿哪个方向。 附图说明 0013 结合附图， 从下面的描述， 本发明的某些实施例的上述以及其他方面、 特征和益处 将更为清晰， 在附图中 ： 0014 图 1 示出了一般多媒体装置的可识别范围 ； 0015 图 2 示出了本发明的一个实施例， 其中多媒体装置的控制器位于多媒体装置的可 识别范围外部 ； 。

21、0016 图 3 根据本发明实施例示出了在控制器的屏幕上显示的引导信息 ； 0017 图 4A 是根据本发明实施例的多媒体装置及控制器的框图 ； 0018 图 4B 是根据本发明实施例的多媒体装置和单独的目标跟踪单元的框图 ； 0019 图 5 是根据本发明实施例的多媒体装置的操作方法的流程图 ； 0020 图 6 示出了本发明的实施例， 其为用户提供了移动回多媒体装置的可识别范围内 的指引 ； 0021 图 7 示出了本发明的另一实施例， 其为用户提供了在多媒体装置的可识别范围内 移动的指引 ； 和 0022 图 8 示出了本发明的另一实施例， 其为用户提供了在多媒体装置的可识别范围内 移动。

22、的指引。 0023 贯穿附图， 相同的参考数字将被理解为指示相同的部分、 部件和结构。 说 明 书 CN 103677259 A 6 3/8 页 7 具体实施方式 0024 此后将参考附图详细地描述本发明的实施例。但是本领域技术人员应该清楚， 提 供下面对本发明实施例的描述仅用于说明目的而非限制本发明的目的， 本发明由所附权利 要求及其等同物限定。 在下面的描述中， 为了容易理解， 相同的数字贯穿附图的描述指示相 同的元件， 并且相同的元件将不被进一步描述。 0025 将会理解， 尽管这里使用术语第一、 第二等来描述各种元件， 但是这些元件不受这 些术语限制， 它们仅被用来帮助将一个元件与另一。

23、个加以区分。 例如， 第一元件可以被称为 第二元件， 并且， 类似地， 第二元件可以被称为第一元件而不偏离本发明的范围。如这里所 使用的， 单数形式 “一” 、“一个” 、“该” 预期也包括复数形式， 除非上下文清楚地另有指示。 0026 本发明的实施例提供了用于把目标主体 （即， 用户） 引导回多媒体装置的可识别范 围内的方法和装置。 所述方法包括 ： 当在多媒体装置的可识别范围内未检测到目标时， 从用 户的控制器获取加速度信息以确定控制器在多媒体装置的可识别范围外部位于何处 ； 和， 输出把用户引导回多媒体装置的可识别范围内的引导信息。 0027 如这里所使用的，“可识别范围” 是多媒体装。

24、置的目标跟踪单元中所包括的相机的 视场 （field of view） 。 换句话说， 可识别范围是当通过相机镜头观察主体时什么能够被看 见。可识别范围依赖于相机的视角， 视角是相机的独特性质。 0028 如果目标主体或者用户 （取决于上下文， 术语 “目标主体” 、“目标” 、“主体” 和 “用 户” 被可互换地用于相同的实体或者实体的部分） 在多媒体装置的可识别范围的外部， 则多 媒体装置不能跟踪目标的移动。 此外， 在快速移动主体例如手或者脚的情况下， 只使用 图像传感器很难跟踪主体已经移动到的位置。因此， 有必要准确地估计目标的位置并使用 该位置信息来引导目标在可识别范围以内移动。为此。

25、目的， 根据本发明的一个实施例的方 法使用控制器把控制命令输入到多媒体装置， 并估计持有控制器的目标的位置， 然后， 引导 目标在多媒体装置的可识别范围内移动。 0029 图 2 示出了当控制器 215 已经移动到多媒体装置 200 的可识别范围外部时确定其 取向和 / 或位置。在图 2 中， 多媒体装置 200 是电视， 但是， 多媒体装置 200 可以是能够跟 踪用户的移动并使用跟踪的移动作为输入命令的任何装置， 例如电视、 桌面 PC、 平板 PC、 游 戏， 等等。图 2 中示出的控制器 215 被用作控制由多媒体装置 200 执行的应用程序、 游戏等 的输入单元。例如， 当用户正在多。

26、媒体装置 200 上玩网球视频游戏时， 用户可以像网球拍那 样实体地操纵控制器215。 在这个例子中， 如多媒体装置200的显示器上所示的网球选手针 对网球拍的位置和姿态根据由控制器 215 跟踪的用户的位置和姿态改变。 0030 参考图 2， 多媒体装置 200 跟踪用户， 并使用用户的移动作为输入命令来输出图 像。为此目的， 用于拍摄并跟踪用户的目标跟踪单元 205 被安装在多媒体装置 200 的上部。 目标跟踪单元 205 的位置可以是能够从其很容易地感测用户的整个身体和移动的任何位 置。在这个实施例中， 目标跟踪单元 205 具有可识别范围 230。 0031 多媒体装置 200 通过。

27、外部设备连接器连接到外部设备， 外部设备连接器例如短距 离通信单元 210。这里， 外部设备连接器可以是任何类型的短距离通信单元， 例如蓝牙通信 单元、 近场通信 （NFC） 单元， 或者能够通过短距离通信以无线方式连接多媒体装置 200 的 任何系统、 设备或部件， 包括 WiFi 直连通信单元。在这个实施例中， 控制器是使用短距离 通信单元与多媒体装置 200 通信的外部设备， 并且可以是移动终端， 例如遥控器、 传感器带 说 明 书 CN 103677259 A 7 4/8 页 8 （sensor band） 、 移动电话、 智能电话、 平板PC， 等等。 在这个实施例中， 多媒体装置2。

28、00能够 使用短距离通信单元 210 在 10 米半径内通信。 0032 识别算法被应用于通过目标跟踪单元 205 接收的图像， 以便检测并跟踪用户。通 过这些手段， 多媒体装置 200 能够确定用户何时已经移动出可识别范围 230。当这发生时， 根据本发明实施例的多媒体装置 200 使用用户持有的控制器 215 准确地估计用户的位置。 更具体地， 多媒体装置 200 通过短距离通信单元 210 从控制器 215 获取传感器信息， 然后， 把传感器信息用于位置和 / 或取向估计。 0033 来自控制器 215 的传感器信息包括 x 轴、 y 轴和 z 轴坐标值。为了确定控制器 215 位于可识。

29、别范围 230 外部左侧还是右侧， 多媒体装置 200 输出通知消息 240 来获取控制器 215 更准确的坐标值。例如， 当用户已经移动出可识别范围 230 时， 多媒体装置 200 可以在 屏幕上示出用户的缺失， 并为用户显示移动控制器 215 以朝向屏幕的通知消息。当用户看 到通知消息时， 用户将转动控制器 215 以朝向多媒体装置 200。如果控制器 215 相对于多 媒体装置 200 的中心在可识别范围 230 外部居右， 则控制器 215 将被沿左边方向 220 转动。 如果控制器 215 相对于多媒体装置 200 的中心居左， 则控制器 215 将被沿右边方向转动。 0034 在。

30、用户做出移动控制器215以朝向多媒体装置200的姿态之前、 期间和之后， 控制 器215正在获取传感器信息。 更具体地， 控制器215在用户做出姿态之前获取关于其初始坐 标 (X1， Y1， Z1) 的传感器信息， 在用户做出姿态之后获取其坐标 (X2， Y2， Z2)。该传感器信 息指示控制器在该姿态之前和之后取向上的变化， 该传感器信息被传送到多媒体装置 200， 以使多媒体装置 200 能够准确地识别控制器 215 在可识别范围 230 外部位于何处。多媒体 装置200随后基于确定的控制器215的位置， 通过屏幕、 扬声器和振动设备中的至少一个输 出用户引导信息。引导信息引导用户沿着和控。

31、制器 215 已经在可识别范围 205 外部移动的 方向相反的方向移动。 0035 根据本发明的另一实施例， 如图3中所示， 引导信息被在控制器215的屏幕上而非 在多媒体装置200的屏幕上显示。 当多媒体装置200从控制器215获取传感器信息时， 多媒 体装置200计算控制器215的参考轴260相对于多媒体装置参考轴255做出的倾斜角度， 基 于该倾斜角度确定控制器 215 的相对位置和 / 或取向， 然后把引导信息传送到控制器 215， 多媒体装置参考轴 255 对应于多媒体装置 200 的预先确定的参考轴 250。即， 多媒体装置 200 产生关于要在控制器 215 上显示的引导方向的信。

32、息， 并把该信息提供给控制器 215， 控 制器 215 可以在其屏幕上示出例如箭头来指示用户和 / 或控制器应该往哪儿移动。此外， 如图 3 中所示， 在控制器 215 的屏幕上显示的箭头 270 的方向随着控制器 215 的倾斜角度 改变。在图 3 的例子中， 控制器 215 基于使用例如罗盘传感器等确定的取向和 / 或位置上 的变化， 把显示箭头 270 改变到显示箭头 280。 0036 根据本发明的实施例， 控制器 215 的屏幕可以示出有关控制器 215 和多媒体装置 200 之间的距离的信息， 和 / 或有关多媒体装置 200 相对于控制器 215 沿哪个方向的信息。 在图 3 。

33、中， 像个罗盘， 持有控制器 215 的用户必须沿着移动的方向 （基于控制器 215 的倾斜 角度确定） 被显示在控制器 215 的屏幕上。图 3 仅仅是一个例子。控制器的屏幕也可以显 示多媒体装置 200 和控制器 215 之间的相对距离， 或者用户为了回到可识别范围内必须移 动的距离。 0037 在图 3 中， 引导信息被通过屏幕输出， 但是， 引导信息可以通过扬声器或者振动设 说 明 书 CN 103677259 A 8 5/8 页 9 备被输出。例如， 当使用振动设备时， 在从左向右移动或者反向移动的同时， 控制器 215 可 以输出和从多媒体装置 200 接收到的方向信息对应的振动信。

34、号， 从而通知用户他 / 她必须 沿其移动的方向。 0038 此后， 将参考图4A描述多媒体装置200和控制器215的详细操作和配置。 图4A只 示出了和本发明的实施例相关的部件， 并且将省略有关构成多媒体装置 200 和控制器 215 的其他公知部件的详细描述， 因为它们不和本发明直接相关。 0039 参考图 4A， 多媒体装置 200 包括 ： 图像输入单元 305、 控制单元 310、 用于和控制器 215通信的短距离通信单元315， 以及用于显示引导信息的显示单元320。 图像输入单元305 在控制单元 310 的控制下， 拍摄静态图像或者运动图像。图像输入单元 305 包括用于获取 。

35、其可识别范围内的一个或更多个图像的图像传感器， 并且通常被从多媒体装置 200 瞄准前 方 （即， 朝着多媒体装置的任何用户） ， 或者， 可以包括用于获取有关位于其前方的用户的深 度信息的深度传感器。控制单元 310 可以起到图像处理器的作用， 用于把识别算法用于从 图像输入单元 305 接收到的一个或更多个图像来识别用户。但是， 如本领域技术人员公知 的， 可以与控制单元 310 分开地提供图像处理器。如果在接收的图像中未检测到用户， 则控 制单元 310 通过短距离通信单元 315 从控制器 215 获取有关控制器的移动的传感器信息。 控制单元 310 随后基于传感器信息估计控制器 21。

36、5 的位置， 并控制显示单元 320 输出引导 信息， 以使用户将在多媒体装置 200 的可识别范围内移动控制器 215。 0040 控制单元 310 通过屏幕、 扬声器和振动设备中的至少一个输出引导信息。当持有 控制器 215 的用户朝着多媒体装置 200 移动时， 控制器 215 将其根据用户的移动改变的坐 标值 （即传感器信息） 通过短距离通信单元 315 传送到多媒体装置 200。 0041 在图4A中所示的实施例中， 控制器215包括短距离通信单元325、 控制单元 （例如， 应用程序处理器、 CPU， 等等） 330、 传感器单元 335 和输入 / 输出模块 345。 0042 。

37、短距离通信单元 325 被配置成通过短距离通信方法与多媒体装置 200 通信。 0043 传感器单元 335 是用于感测控制器 215 的位置、 方向、 取向、 定位和 / 或移动的传 感器， 并且可以包括加速度传感器、 陀螺仪传感器、 重力传感器、 冲击传感器、 GPS 和罗盘传 感器中的一个或更多个。传感器单元 335 被配置成获取传感器信息， 包括例如根据用户的 移动改变的坐标值。 0044 响应于来自多媒体装置 200 的请求， 控制单元 330 通过短距离通信单元 325 把被 传感器单元 335 获取的传感器信息传送到多媒体装置 200。当多媒体装置 200 已经确定在 可识别范围。

38、中不存在用户时， 请求可被从多媒体装置 200 传送到控制器 215。 0045 根据本发明的另一实施例， 指示目标必须沿其移动的方向的引导信息被在控制器 215 的屏幕上而非多媒体装置 200 的屏幕上输出。在这种情况下， 控制器 215 从多媒体装 置 200 接收方向信息， 并输出引导信息， 指示目标为了返回可识别范围内必须沿其移动的 方向。 0046 在图 4A 中所示的实施例中， 控制器 215 包括显示单元 340。显示单元 340 可以被 用 LCD 面板的形式实施， 并且也可以被实施为触摸屏， 在触摸屏的情况下， 显示单元 340 也 作为输入单元工作。除了控制器 215 的各。

39、种菜单以外， 显示单元 340 被用来显示用户输入 的信息或者要提供给用户的信息。显示单元 340 给用户提供对应于各种服务 （例如应用程 序、 游戏， 等等） 的各种 UI。 说 明 书 CN 103677259 A 9 6/8 页 10 0047 输入/输出模块345包括按钮、 麦克风、 扬声器、 振动设备、 连接器和小键盘中的任 一个。 0048 根据本发明的又一实施例， 控制器产生方向信息并将其输出到用户。 更具体地， 控 制器 215 的控制单元 330 使用传感器信息来计算控制器 215 的参考轴相对于多媒体装置 200 的参考轴的倾斜角度、 产生有关控制器 215 必须沿其转动的。

40、方向的信息 （基于计算的倾 斜角度确定） ， 然后把方向引导信息输出给用户。在这个实施例中， 方向信息由控制器 215 而非多媒体装置 200 计算。这里， 多媒体装置 200 的参考轴可被从多媒体装置 200 请求并 被提供给控制器 215。 0049 图 4A 示出了目标跟踪部件被包括在多媒体装置 200 中的例子， 但是， 如图 4B 中所 示， 那些部件可以被包括在单独的目标跟踪单元 205 中。目标跟踪单元可以被安装或者实 施在其他类型的外部设备中也是有可能的。 例如， 目标跟踪单元可以是机顶盒等， 其被有线 或者无线地连接到多媒体装置 200。 0050 参考图 4B， 目标跟踪单。

41、元 205 包括图像输入单元 350、 短距离通信单元 355 和控制 单元360。 在其他的实施例中， 目标跟踪单元205可以只包括图像输入单元350和短距离通 信单元 355。 0051 目标跟踪单元 205 的部件以和多媒体装置 200 的对应部件相同的方式工作。简单 地说， 图像输入单元 350 被配置成获得前景图像。如果从接收到的图像未检测到目标， 则目 标跟踪单元 205 的控制单元 360 通过短距离通信单元 355 从控制器 215 获取用于位置估计 的传感器信息。控制单元 360 基于使用传感器信息估计的位置创建引导信息， 并通过短距 离通信单元355把引导信息传送到控制器2。

42、15， 以使用户能够把控制器215移动到目标跟踪 单元 205 的可识别范围内。目标跟踪单元 205 的可识别范围依赖于图像输入单元 350 的成 像范围。 0052 在目标跟踪单元 205 只包括图像输入单元 350 和短距离通信单元 355 的实施例 中， 尽管省略了控制单元 360， 但是图像输入单元 350 和短距离通信单元 355 以相同方式工 作。 0053 图 5 是根据本发明实施例的多媒体装置 200 的操作方法的流程图。 0054 参考图2和图5， 当成像开始时， 在步骤400中， 多媒体装置200从通过相机接收的 一个或更多个图像识别要被跟踪的目标， 然后在步骤 405 中。

43、监视或者跟踪该目标。如本领 域技术人员公知的， 存在各种用于识别和跟踪目标的方法， 包括使用一般的识别算法从输 入图像提取特征点， 然后执行模板匹配。在步骤 410 中， 多媒体装置 200 确定在接收的图像 中是否已经识别到目标。如果确定已经检测到目标， 则在步骤 415 中， 多媒体装置 200 执行 与作为输入命令的用户移动对应的功能。 0055 如果在步骤 410 中确定未检测到目标， 则在步骤 420 中， 多媒体装置 200 请求控制 器 215 发送传感器信息， 然后在步骤 425 中， 基于由控制器 215 提供的传感器信息， 确定控 制器 215 位于可识别范围外部何处 （即。

44、， 可识别范围的左边还是右边） 。在本发明的实施例 中， 用户被要求利用控制器做出移动或者姿态， 并且， 在这种情况下， 传感器信息包括由用 户做出姿态 / 移动之前、 之后和 / 或期间， 有关控制器 215 的移动、 取向和 / 或方向的坐标 和 / 或信息。在步骤 430 中， 多媒体装置 200 输出引导信息， 以使持有控制器 215 的用户在 可识别范围内移动。例如， 引导信息可以是方向图标、 符号或者字符， 例如图 6 中在多媒体 说 明 书 CN 103677259 A 10 7/8 页 11 装置 200 的屏幕上示出的箭头 500。 0056 在上面描述的实施例中， 用户被请。

45、求执行动作， 以便确定控制器 215 的位置。根据 其他实施例， 例如下面描述的例子， 通过使用始自识别目标移动出可识别范围的时间的加 速度传感器信息来确定控制器 215 的位置而不需要来自用户的移动或者姿态。 0057 在图 7 中， 用户已经沿左边方向 715 移动出可识别范围 700。当多媒体装置 200 确 定用户已经从可识别范围 700 移动时， 多媒体装置 200 分析在用户移动出可识别范围 700 的时刻之前和之后的预先确定的时间段期间从控制器 215 接收到的传感器信息 （即， 加速 度信息） 。 加速度信息可以被多媒体装置200从控制器215定期接收， 或者周期性地， 或者间。

46、 隙性地。或者， 多媒体装置 200 可以在目标不再在可识别范围中被检测到时， 从控制器 215 请求某一加速度传感器信息。某一加速度传感器信息可以是控制器 215 在预先确定的时间 段上收集的加速度传感器度量。控制器 215 可以自动度量加速度传感器信息达预先确定的 时间段， 然后把度量的加速度传感器信息存储在临时缓冲区中。 0058 在图 7 的例子中， 如果可识别范围外部左边区域被设置为 “+” ， 则因为速度的方向 是 “左边” ， 所以当控制器 215 移动出可识别范围进入左边区域时的加速度值是 “+” 。多媒 体装置 200 基于加速度传感器信息确定控制器 215 的移动方向是沿着。

47、加速度方向 705。由 于控制器 215 的加速度方向 705 和用户的加速度方向 715 相同， 所以多媒体装置 200 确定 用户已经移动到可识别范围 700 的左侧。以这种方式， 由于加速度传感器信息具有方向和 大小， 所以多媒体装置200能够基于加速度传感器信息， 确定持有控制器215的用户的移动 方向。在确定加速度方向之后， 多媒体装置 200 输出引导信息 710， 指示和加速度方向相反 的方向， 从而引导用户移动回可识别范围 700 内。 0059 图 8 示出了本发明的实施例， 当用户在可识别范围的边界把控制器移入和移出可 识别范围时， 该实施例补偿由加速度传感器读数所指示的方。

48、向。 0060 参考图 8， 如果用户在他 / 她沿左边方向 815 移动出可识别范围 700 时的大致相 同时刻沿着右边方向 805 把控制器 215 移动回可识别范围 700 内， 则控制器 215 在用户退 出可识别范围的时刻的移动方向和用户的移动方向 815 相反。但是， 控制器 215 的移动方 向 805 和用户的移动方向 815 相反的时间段非常短暂， 而控制器 215 的移动方向 800 是沿 着和用户相同的移动方向 815即朝着可识别范围 700 的外部左边的时间段则长得多。 0061 因此， 当用户移动出可识别范围700时， 控制器215的加速度方向被分析更长的时 段， 即。

49、， 从确定用户不再在可识别范围 700 中的时间开始达预先确定的时间段 （例如 0.5 秒 到 1 秒） 。如果可识别范围 700 外部的左边区域被设置为 “+” ， 则初始加速度的方向 800 是 “+” ， 并且较晚加速度的方向 805 是 “-” 。但是， 由于其对应于非常短的时段， 所以当分析的 时段包括沿着方向 800 的初始加速度的长得多的时段时， 较晚加速度的方向 805 实际上被 忽略。因此， 多媒体装置 200 最终确定初始加速度的方向 800 是用户已经移动的方向， 并输 出和用户的移动方向相反的方向对应的引导信息810。 藉此， 多媒体装置200能够实时地引 导用户在可识别范围 700 内移动。 0062 根据上述本发明的实施例， 如果在安装在多媒体装置上的相机一开始被驱动时， 主体位于多媒体装置的可识别范围以外， 或者， 如果在相机正在工作时主体移动出可识别 范围， 则多媒体装置确定主体的相对位置， 并把主体引导回可识别范围内。 0063 本发明的实施例可被用硬件、 软件或者硬件和软件组合的形式实施。软。