《一种应用程序的控制方法、装置及电子设备.pdf》由会员分享，可在线阅读，更多相关《一种应用程序的控制方法、装置及电子设备.pdf（17页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 104281265 A (43)申请公布日 2015.01.14 CN 104281265 A (21)申请号 201410542224.5 (22)申请日 2014.10.14 G06F 3/01(2006.01) G06T 7/00(2006.01) (71)申请人 京东方科技集团股份有限公司 地址 100015 北京市朝阳区酒仙桥路 10 号 (72)发明人 韩芳 (74)专利代理机构 北京银龙知识产权代理有限 公司 11243 代理人 许静 黄灿 (54) 发明名称 一种应用程序的控制方法、 装置及电子设备 (57) 摘要 本发明实施例的目的在于提供一种应用程。
2、序 的控制方法、 装置及电子设备， 提高应用程序的运 行速度。本发明实施例的方法包括 ： 获取记录用 户运动的深度图像序列 ； 预先根据一数学转换模 型将所述深度图像序列转换为第一用户姿态数据 序列 ； 从预设的标准姿态数据序列中， 获取相匹 配的第一目标姿态数据， 并基于所述第一目标姿 态数据进行应用控制处理 ； 在所述第一目标姿态 数据对应的目标姿态需要维持的时间超过预订时 间门限时， 从第二姿态数据序列中挑选部分用户 姿态数据进行后续匹配处理 ； 所述第二姿态数据 序列与已处理的用户姿态数据形成的数据序列相 邻， 且第二姿态数据序列的长度与所述目标姿态 需要维持的时间相关。本发明提高了应。
3、用程序运 行速度。 (51)Int.Cl. 权利要求书 3 页 说明书 10 页 附图 3 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书3页 说明书10页 附图3页 (10)申请公布号 CN 104281265 A CN 104281265 A 1/3 页 2 1. 一种应用程序的控制方法， 其特征在于， 包括 ： 获取记录用户运动的深度图像序列 ； 预先根据一数学转换模型将所述深度图像序列转换为第一用户姿态数据序列 ； 从所述应用程序预先设置的标准姿态数据序列中， 获取与所述用户姿态数据序列中当 前待处理的用户姿态数据相匹配的第一目标姿态数据， 并基于所述第一目。
4、标姿态数据进行 应用控制处理 ； 在所述第一目标姿态数据对应的目标姿态需要维持的时间超过预订时间门限时， 从第 二姿态数据序列中挑选部分用户姿态数据进行后续匹配处理 ； 所述第二姿态数据序列与已 处理的用户姿态数据形成的数据序列相邻， 且第二姿态数据序列的长度与所述目标姿态需 要维持的时间相关。 2. 根据权利要求 1 所述的应用程序的控制方法， 其特征在于， 对应的目标姿态需要维 持的时间超过预订时间门限的姿态数据包括 ： 一个目标姿态起始子数据、 至少一个目标姿 态中间子数据和一个目标姿态结束子数据， 所述从第二姿态数据序列中挑选部分用户姿态 数据进行后续匹配处理具体包括 ： 对应于至少一。
5、个目标姿态中间子数据和一个目标姿态结 束子数据， 从所述第二姿态数据序列中挑选部分用户姿态数据， 用于后续匹配处理。 3. 根据权利要求 1 所述的应用程序的控制方法， 其特征在于， 转换得到所述第一用户 姿态数据序列的操作在所述应用程序需要使用所述用户姿态数据的阶段之前完成。 4. 根据权利要求 1 所述的应用程序的控制方法， 其特征在于， 所述数学转换模型与多 个应用程序相对应， 所述控制方法还包括 ： 在得到第一用户姿态数据序列后， 从所述多个应用程序确定目标应用程序 ； 确定所述目标应用程序对应的标准姿态数据序列用于姿态匹配。 5. 根据权利要求 1 所述的应用程序的控制方法， 其特征。
6、在于， 获取记录用户运动的深 度图像序列具体包括 ： 获取用户的原始图像序列 ； 对所述原始图像序列中的图像进行降低分辨率、 背景移除、 去噪和深度值调整中的至 少一个， 得到所述深度图像序列。 6. 根据权利要求 1 所述的应用程序的控制方法， 其特征在于， 每一个标准姿态数据对 应于一个用于显示到显示屏的屏幕用户形象， 所述基于所述目标姿态数据进行应用控制处 理具体为 ： 将所述显示屏显示的当前屏幕用户形象改变为所述目标姿态数据对应的第一屏 幕用户形象。 7. 根据权利要求 6 所述的应用程序的控制方法， 其特征在于， 每一个标准姿态对应于 一姿态需要维持的时间， 所述控制方法还包括 ： 。
7、确定应用运行时间 ； 根据应用运行时间以及标准姿态数据序列中每一个标准姿态对应的姿态需要维持时 间， 确定第二目标姿态数据 ； 在所述第二目标姿态数据与第一目标姿态数据不同时， 执行一提醒操作。 8. 根据权利要求 6 所述的应用程序的控制方法， 其特征在于， 每一个标准姿态对应于 一姿态需要维持的时间， 所述控制方法还包括 ： 确定应用运行时间 ； 权 利 要 求 书 CN 104281265 A 2 2/3 页 3 根据应用运行时间以及标准姿态数据序列中每一个标准姿态对应的姿态需要维持时 间， 确定第二目标姿态数据 ； 确定第二目标姿态数据对应的第二屏幕用户形象 ； 当所述第二屏幕用户形象。
8、与第一屏幕用户形象的差异超过预定差异标准时， 执行一提 醒操作。 9. 一种应用程序的控制装置， 其特征在于， 包括 ： 获取模块， 用于获取记录用户运动的深度图像序列 ； 转换模块， 用于预先根据一数学转换模型将所述深度图像序列转换为第一用户姿态数 据序列 ； 处理模块， 用于从所述应用程序预先设置的标准姿态数据序列中， 获取与所述用户姿 态数据序列中当前待处理的用户姿态数据相匹配的第一目标姿态数据， 并基于所述第一目 标姿态数据进行应用控制处理 ； 筛选模块， 用于在所述第一目标姿态数据对应的目标姿态需要维持的时间超过预订时 间门限时， 从第二姿态数据序列中挑选部分用户姿态数据进行后续匹配。
9、处理 ； 所述第二姿 态数据序列与已处理的用户姿态数据形成的数据序列相邻， 且第二姿态数据序列的长度与 所述目标姿态需要维持的时间相关。 10. 根据权利要求 9 所述的应用程序的控制装置， 其特征在于， 对应的目标姿态需要维 持的时间超过预订时间门限的姿态数据包括 ： 一个目标姿态起始子数据、 至少一个目标姿 态中间子数据和一个目标姿态结束子数据， 所述筛选模块具体用于 ： 对应于至少一个目标 姿态中间子数据和一个目标姿态结束子数据， 从所述第二姿态数据序列中挑选部分用户姿 态数据， 用于后续匹配处理。 11. 根据权利要求 9 所述的应用程序的控制装置， 其特征在于， 转换得到所述第一用户。
10、 姿态数据序列的操作在所述应用程序需要使用所述用户姿态数据的阶段之前完成。 12. 根据权利要求 9 所述的应用程序的控制装置， 其特征在于， 所述数学转换模型与多 个应用程序相对应， 所述控制装置还包括 ： 程序确定模块， 用于在得到第一用户姿态数据序列后， 从所述多个应用程序确定目标 应用程序 ； 标准姿态序列确定模块， 确定所述目标应用程序对应的标准姿态数据序列用于姿态匹 配。 13. 根据权利要求 9 所述的应用程序的控制装置， 其特征在于， 获取模块具体包括 ： 原始图像获取单元， 用于获取用户的原始图像序列 ； 优化单元， 用于对所述原始图像序列中的图像进行降低分辨率、 背景移除、。
11、 去噪和深度 值调整中的至少一个， 得到所述深度图像序列。 14. 根据权利要求 9 所述的应用程序的控制装置， 其特征在于， 每一个标准姿态数据对 应于一个用于显示到显示屏的屏幕用户形象， 所述处理模块具体用于将所述显示屏显示的 当前屏幕用户形象改变为所述目标姿态数据对应的第一屏幕用户形象， 实现所述应用控制 处理。 15. 根据权利要求 14 所述的应用程序的控制装置， 其特征在于， 每一个标准姿态对应 于一姿态需要维持的时间， 所述控制装置还包括 ： 权 利 要 求 书 CN 104281265 A 3 3/3 页 4 时间确定模块， 用于确定应用运行时间 ； 目标姿态数据确定模块， 用。
12、于根据应用运行时间以及标准姿态数据序列中每一个标准 姿态对应的姿态需要维持时间， 确定第二目标姿态数据 ； 第一提醒模块， 用于在所述第二目标姿态数据与第一目标姿态数据不同时， 执行一提 醒操作。 16. 根据权利要求 14 所述的应用程序的控制装置， 其特征在于， 每一个标准姿态对应 于一姿态需要维持的时间， 所述控制装置还包括 ： 时间确定模块， 用于确定应用运行时间 ； 目标姿态数据确定模块， 用于根据应用运行时间以及标准姿态数据序列中每一个标准 姿态对应的姿态需要维持时间， 确定第二目标姿态数据 ； 屏幕用户形象确定模块， 用于确定第二目标姿态数据对应的第二屏幕用户形象 ； 第二提醒模。
13、块， 用于在所述第二屏幕用户形象与第一屏幕用户形象的差异超过预定差 异标准时， 执行一提醒操作。 17. 一种电子设备， 其特征在于， 包括权利要求 9-16 中任意一项所述的控制装置。 权 利 要 求 书 CN 104281265 A 4 1/10 页 5 一种应用程序的控制方法、 装置及电子设备 技术领域 0001 本发明涉及应用的人体控制技术领域， 特别是一种应用程序的控制方法、 装置及 电子设备。 背景技术 0002 体感游戏突破了以往单纯以手柄按键输入的操作方式， 而是通过肢体动作变化来 进行 ( 操作 ) 的新型电子游戏。 0003 体感游戏已经在各大游戏平台， 如 Wii 平台、。
14、 PS 平台以及 Xbox 平台等， 得到了充 分的应用。 0004 目前， 体感游戏获取用户动作的一种方式为通过摄像头来采集用户的图像， 并基 于该图像进行处理， 得到描述用户动作的数据， 进而根据该数据来实现游戏的控制， 即 ： 用 户的运动被游戏系统解释成可以用于影响游戏的控制。换言之， 用户可以使用运动来控制 游戏。用户的运动基本上可以被解释成任何类型的游戏控制， 如控制游戏中的被控对象的 动作、 又如保存游戏、 退出游戏等菜单相关的操作。 0005 然而， 目前的体感游戏存在资源消耗巨大的问题， 解释如下。 0006 在通过图像方式感应用户运动的体感游戏中， 首先需要采集用户的图像，。
15、 然后要 基于采集到的用户图像进行模型的建立， 最后要进行模型的匹配 ( 即进行动作的解释 ) 来 确定对应的指令。 0007 而众所周知的是， 图像处理是目前计算机系统中非常耗费资源的一类处理， 如果 对采集到的每幅图像都进行上述的处理的话， 将会导致程序运行缓慢问题， 降低用户体验。 0008 当然， 以上是以体感游戏为例进行的说明， 但应当理解的是， 只要是通过图像方式 感应用户运动来控制应用程序都会存在以上问题， 在此不一一举例说明。 发明内容 0009 本发明实施例的目的在于提供一种应用程序的控制方法、 装置及电子设备， 提高 应用程序的运行速度。 0010 为了实现上述目的， 本发。
16、明实施例提供了一种应用程序的控制方法， 包括 ： 0011 获取记录用户运动的深度图像序列 ； 0012 预先根据一数学转换模型将所述深度图像序列转换为第一用户姿态数据序列 ； 0013 从所述应用程序预先设置的标准姿态数据序列中， 获取与所述用户姿态数据序列 中当前待处理的用户姿态数据相匹配的第一目标姿态数据， 并基于所述第一目标姿态数据 进行应用控制处理 ； 0014 在所述第一目标姿态数据对应的目标姿态需要维持的时间超过预订时间门限时， 从第二姿态数据序列中挑选部分用户姿态数据进行后续匹配处理 ； 所述第二姿态数据序列 与已处理的用户姿态数据形成的数据序列相邻， 且第二姿态数据序列的长度。
17、与所述目标姿 态需要维持的时间相关。 说 明 书 CN 104281265 A 5 2/10 页 6 0015 上述的应用程序的控制方法， 其中， 对应的目标姿态需要维持的时间超过预订时 间门限的姿态数据包括 ： 一个目标姿态起始子数据、 至少一个目标姿态中间子数据和一个 目标姿态结束子数据， 所述从第二姿态数据序列中挑选部分用户姿态数据进行后续匹配处 理具体包括 ： 对应于至少一个目标姿态中间子数据和一个目标姿态结束子数据， 从所述第 二姿态数据序列中挑选部分用户姿态数据， 用于后续匹配处理。 0016 上述的应用程序的控制方法， 其中， 转换得到所述第一用户姿态数据序列的操作 在所述应用程。
18、序需要使用所述用户姿态数据的阶段之前完成。 0017 上述的应用程序的控制方法， 其中， 所述数学转换模型与多个应用程序相对应， 所 述控制方法还包括 ： 0018 在得到第一用户姿态数据序列后， 从所述多个应用程序确定目标应用程序 ； 0019 确定所述目标应用程序对应的标准姿态数据序列用于姿态匹配。 0020 上述的应用程序的控制方法， 其中， 获取记录用户运动的深度图像序列具体包 括 ： 0021 获取用户的原始图像序列 ； 0022 对所述原始图像序列中的图像进行降低分辨率、 背景移除、 去噪和深度值调整中 的至少一个， 得到所述深度图像序列。 0023 上述的应用程序的控制方法， 其。
19、中， 每一个标准姿态数据对应于一个用于显示到 显示屏的屏幕用户形象， 所述基于所述目标姿态数据进行应用控制处理具体为 ： 将所述显 示屏显示的当前屏幕用户形象改变为所述目标姿态数据对应的第一屏幕用户形象。 0024 上述的应用程序的控制方法， 其中， 每一个标准姿态对应于一姿态需要维持的时 间， 所述控制方法还包括 ： 0025 确定应用运行时间 ； 0026 根据应用运行时间以及标准姿态数据序列中每一个标准姿态对应的姿态需要维 持时间， 确定第二目标姿态数据 ； 0027 在所述第二目标姿态数据与第一目标姿态数据不同时， 执行一提醒操作。 0028 上述的应用程序的控制方法， 其中， 每一个。
20、标准姿态对应于一姿态需要维持的时 间， 所述控制方法还包括 ： 0029 确定应用运行时间 ； 0030 根据应用运行时间以及标准姿态数据序列中每一个标准姿态对应的姿态需要维 持时间， 确定第二目标姿态数据 ； 0031 确定第二目标姿态数据对应的第二屏幕用户形象 ； 0032 当所述第二屏幕用户形象与第一屏幕用户形象的差异超过预定差异标准时， 执行 一提醒操作。 0033 为了更好的实现上述目的， 本发明实施例还提供了一种应用程序的控制装置， 包 括 ： 0034 获取模块， 用于获取记录用户运动的深度图像序列 ； 0035 转换模块， 用于预先根据一数学转换模型将所述深度图像序列转换为第一。
21、用户姿 态数据序列 ； 0036 处理模块， 用于从所述应用程序预先设置的标准姿态数据序列中， 获取与所述用 说 明 书 CN 104281265 A 6 3/10 页 7 户姿态数据序列中当前待处理的用户姿态数据相匹配的第一目标姿态数据， 并基于所述第 一目标姿态数据进行应用控制处理 ； 0037 筛选模块， 用于在所述第一目标姿态数据对应的目标姿态需要维持的时间超过预 订时间门限时， 从第二姿态数据序列中挑选部分用户姿态数据进行后续匹配处理 ； 所述第 二姿态数据序列与已处理的用户姿态数据形成的数据序列相邻， 且第二姿态数据序列的长 度与所述目标姿态需要维持的时间相关。 0038 上述的应。
22、用程序的控制装置， 其中， 对应的目标姿态需要维持的时间超过预订时 间门限的姿态数据包括 ： 一个目标姿态起始子数据、 至少一个目标姿态中间子数据和一个 目标姿态结束子数据， 所述筛选模块具体用于 ： 对应于至少一个目标姿态中间子数据和一 个目标姿态结束子数据， 从所述第二姿态数据序列中挑选部分用户姿态数据， 用于后续匹 配处理。 0039 上述的应用程序的控制装置， 其中， 转换得到所述第一用户姿态数据序列的操作 在所述应用程序需要使用所述用户姿态数据的阶段之前完成。 0040 上述的应用程序的控制装置， 其中， 所述数学转换模型与多个应用程序相对应， 所 述控制装置还包括 ： 0041 程。
23、序确定模块， 用于在得到第一用户姿态数据序列后， 从所述多个应用程序确定 目标应用程序 ； 0042 标准姿态序列确定模块， 确定所述目标应用程序对应的标准姿态数据序列用于姿 态匹配。 0043 上述的应用程序的控制装置， 其中， 获取模块具体包括 ： 0044 原始图像获取单元， 用于获取用户的原始图像序列 ； 0045 优化单元， 用于对所述原始图像序列中的图像进行降低分辨率、 背景移除、 去噪和 深度值调整中的至少一个， 得到所述深度图像序列。 0046 上述的应用程序的控制装置， 其中， 每一个标准姿态数据对应于一个用于显示到 显示屏的屏幕用户形象， 所述处理模块具体用于将所述显示屏显。
24、示的当前屏幕用户形象改 变为所述目标姿态数据对应的第一屏幕用户形象， 实现所述应用控制处理。 0047 上述的应用程序的控制装置， 其中， 每一个标准姿态对应于一姿态需要维持的时 间， 所述控制装置还包括 ： 0048 时间确定模块， 用于确定应用运行时间 ； 0049 目标姿态数据确定模块， 用于根据应用运行时间以及标准姿态数据序列中每一个 标准姿态对应的姿态需要维持时间， 确定第二目标姿态数据 ； 0050 第一提醒模块， 用于在所述第二目标姿态数据与第一目标姿态数据不同时， 执行 一提醒操作。 0051 上述的应用程序的控制装置， 其中， 每一个标准姿态对应于一姿态需要维持的时 间， 所。
25、述控制装置还包括 ： 0052 时间确定模块， 用于确定应用运行时间 ； 0053 目标姿态数据确定模块， 用于根据应用运行时间以及标准姿态数据序列中每一个 标准姿态对应的姿态需要维持时间， 确定第二目标姿态数据 ； 0054 屏幕用户形象确定模块， 用于确定第二目标姿态数据对应的第二屏幕用户形象 ； 说 明 书 CN 104281265 A 7 4/10 页 8 0055 第二提醒模块， 用于在所述第二屏幕用户形象与第一屏幕用户形象的差异超过预 定差异标准时， 执行一提醒操作。 0056 为了更好的实现上述目的， 本发明实施例还提供了一种电子设备， 包括上述的控 制装置。 0057 本发明实。
26、施例具有如下的有益效果。 0058 本发明实施例的应用程序的控制方法、 装置及电子设备中， 采集用户的运动图像， 然后依据图像分析得到用户姿态数据序列， 当与某一用户姿态数据匹配的标准姿态数据所 对应的目标姿态需要维持的时间较长时， 则从后续的用户姿态数据序列中挑选部分用户姿 态数据序列进行后续的匹配处理， 因此能够提高应用程序的运行速度。 附图说明 0059 图 1 表示本发明实施例的一种应用程序的控制方法的流程示意图 ； 0060 图 2 表示本发明实施例的一种应用程序的控制装置的结构示意图 ； 0061 图 3 表示本发明实施例的一种应用程序的控制方法的详细实现过程示意图。 具体实施方式。
27、 0062 本发明实施例的应用程序的控制方法、 装置及电子设备中， 采集用户的运动图像， 然后依据图像分析得到用户姿态数据序列， 当与某一用户姿态数据匹配的标准姿态数据所 对应的目标姿态需要维持的时间较长时， 则从后续的用户姿态数据序列中挑选部分用户姿 态数据序列进行后续的匹配处理， 以提高应用程序的运行速度。 0063 本发明实施例的一种应用程序的控制方法如图 1 所示， 包括 ： 0064 步骤 101， 获取记录用户运动的深度图像序列 ； 0065 步骤 102， 预先根据一数学转换模型将所述深度图像序列转换为第一用户姿态数 据序列 ； 0066 步骤 103， 从所述应用程序预先设置的。
28、标准姿态数据序列中， 获取与所述用户姿态 数据序列中当前待处理的用户姿态数据相匹配的第一目标姿态数据， 并基于所述第一目标 姿态数据进行应用控制处理 ； 0067 步骤 104， 在所述第一目标姿态数据对应的目标姿态需要维持的时间超过预订时 间门限时， 从第二姿态数据序列中挑选部分用户姿态数据进行后续匹配处理 ； 所述第二姿 态数据序列与已处理的用户姿态数据形成的数据序列相邻， 且第二姿态数据序列的长度与 所述目标姿态需要维持的时间相关。 0068 本发明实施例的应用程序的控制方法、 装置及电子设备中， 采集用户的运动图像， 然后依据图像分析得到用户姿态数据序列， 当与某一用户姿态数据匹配的标。
29、准姿态数据所 对应的目标姿态被应用程序预先定义为需要维持较长的时间时， 则从后续的用户姿态数据 序列中挑选部分用户姿态数据序列进行后续的匹配处理， 由于待处理数据量的减小以及数 据处理的时间被拉长， 因此能够提高应用程序的运行速度。 0069 以下就上述的有益效果进一步详细说明如下。 0070 假定图像采集设备的采集速率为 X 幅 / 秒， 现有技术中采集持续时间与应用处理 ( 图像的转换及匹配 ) 的时间相同， 为 Y 秒， 则采集到的图像数量为 X*Y， 假定每张图像对应 说 明 书 CN 104281265 A 8 5/10 页 9 的用户姿态数据进行匹配处理需要消耗的处理器资源 ( 不。
30、包括将图像转换为用户姿态数 据所消耗的资源 ) 为 Z， 则现有技术中需要耗费的处理器资源为 ： X*Y*Z， 单位时间内需要消 耗的处理器资源为 X*Z。 0071 提高应用程序的运行速度一般可以从如下两方面着手 ： 0072 1、 降低整体需要处理的数据量 ； 0073 2、 降低单位时间内处理器资源消耗量。 0074 本发明实施例的方法中， 当确定出目标姿态需要维持的时间超过预订时间门限 时， 则在接下来的处理中， 会从数据序列中挑选部分数据来进行后续的匹配处理， 因此相对 于现有技术减少了需要处理的数据量， 因此能够提高应用程序的运行速度。 0075 而从单位时间内的处理器资源消耗量来。
31、看， 本发明实施例的方法分如下两个阶 段 ： 数据转换阶段和数据匹配阶段， 而现有技术只有一个阶段， 即同时实现数据转换和数据 匹配。即使本发明实施例的方法没有减少需要处理的数据量， 其处理时间也比现有技术长 ( 增加了游戏运行之前的转换预处理 )。因此， 本发明实施例的方法中， 单位时间内的处理 器资源消耗量会小于现有技术的单位时间内的处理器资源消耗量， 这也能够提高应用程序 的运行速度。 0076 也就是说， 本发明实施例的方法在减少需要处理的数据量的同时还延长了对这些 数据进行处理的时间， 因此本发明实施例的方法能够提高应用程序的运行速度。 0077 同时， 应当理解的是， 本发明实施例。
32、的方法虽然是预先根据深度图像序列得到用 户姿态数据序列， 但对用户控制应用程序并不会产生不利的后果， 对此解释如下。 0078 首先， 本发明实施例针对的应用具有如下的特征 ： 0079 1、 应用程序预先设置有标准姿态数据序列， 也就是说， 用户需要一定的顺序来完 成标准姿态数据序列所对应的标准姿态。换而言之， 用户在应用程序中需要执行的动作是 预先规定好的， 也是用户预先能够知道的。 0080 例如， 该应用程序为一款体感瑜伽游戏， 其规定了用户需要按照一定的顺序来完 成一系列的动作以完成挑战。又如该应用程序为一款体感跳舞游戏， 其规定了用户需要按 照一定的顺序来完成一系列的动作以完成当前。
33、关卡。再如， 该应用程序为一款体感迷宫游 戏， 用户需要按照一定的顺序运动， 进而以最佳方式走出当前关卡对应的迷宫。 0081 这种类型的应用非常多， 在此不一一举例说明。 0082 由于这一类应用对用户控制的实时性要求非常低， 因此对于这一类的应用预先采 集图像并形成用户姿态数据序列并不会对用户控制游戏造成无法控制的影响。 0083 2、 按照应用的设定， 用户在完成某些动作时需要维持一定的时间。 如瑜伽游戏中， 用户需要维持某一个姿态一段时间， 又如体感跳舞游戏中， 在播放相同音符的时间段中， 用 户需要维持某一个姿态。 0084 基于以上的描述可以发现， 由于这一类应用的特殊性， 当存在。
34、需要用户维持一段 时间(假定为5s)的姿态时， 此时， 按照10幅图像/秒的速度采集时， 5s内采集到的图像为 50 幅， 如果用户按照要求执行动作， 则对这 50 幅图像对应的用户姿态数据进行匹配都会得 到同一个标准姿态数据。 0085 本发明实施例中， 对上述 5s 内采集的图像对应的 50 个用户姿态数据按照一定的 间隔取部分姿态数据也可以实现对用户动作完成度以及准确度的考察， 对此举例说明如 说 明 书 CN 104281265 A 9 6/10 页 10 下。 0086 如按照 5 个用户姿态数据取 1 个姿态数据， 则从上述的 50 个用户姿态数据中取出 10个用户姿态数据， 按照。
35、这10个用户姿态数据来进行匹配， 当10个用户姿态数据匹配到的 标准姿态数据都相同时， 也可以表明用户完成了规定的动作。 0087 也就是说， 由于动作的特殊性， 从对应的用户动作数据序列中取部分用户动作数 据也可以实现相同的功能 ( 如验证用户动作完成的持续性， 又或者基于动作序列确定指令 等 )， 达到相同的效果。 0088 综上所述， 本发明实施例的方法针对上述的应用程序， 在实现完整的体感控制的 同时， 能够提高应用程序的运行速度。 0089 从以上的描述可以发现， 第二姿态数据序列的确定与目标姿态需要维持的时间相 关。 0090 以存在需要用户维持一段时间 ( 假定为 5s) 的姿态。
36、， 则在确定姿态起始时间点之 后， 第二姿态数据序列为从姿态起始时间点后的 5s 内采集到的图像转换得到的用户姿态 数据。而当图像采集速度为 10 幅图像 / 秒时， 则在确定姿态起始时间点之后， 第二姿态数 据序列为从姿态起始时间点后的 10s 内采集到的图像转换得到的用户姿态数据。 0091 本发明具体实施例中， 深度图像序列可以通过深度相机、 摄像机、 立体相机、 和 / 或其他合适的捕捉设备获取。 0092 为了提高判断的准确性， 在本发明的具体实施例中， 将上述的需要维持一定时间 的目标姿态对应的数据分为 3 个部分 ： 0093 一个目标姿态起始子数据 ； 0094 至少一个目标姿。
37、态中间子数据 ； 和 0095 一个目标姿态结束子数据。 0096 这种情况下， 所述从第二姿态数据序列中挑选部分用户姿态数据进行后续匹配处 理具体包括 ： 对应于至少一个目标姿态中间子数据和一个目标姿态结束子数据， 从所述第 二姿态数据序列中挑选部分用户姿态数据， 用于后续匹配处理。 0097 也就是说， 设置的目标姿态中间子数据的数量越多， 则需要挑选的用户姿态数据 越多， 但相应的后续的控制处理的结果也更精确。 0098 在本发明的具体实施例中， 上述的姿态数据都是一个表达用户身体部位、 部位位 置以及部位间相对位置关系的数据。 0099 上述的姿态数据可以通过现有技术中能够描述人体的任。
38、意模型来描述， 如骨骼和 关节共同构成的骨架模型， 又如通过线框网格模型等， 在此不作详细说明。 0100 在本发明的具体实施例中， 可以直接对图像采集设备直接采集到的图像进行转换 得到用户姿态数据， 但综合考虑数据处理量、 转换精度等因素， 本发明实施例中先对直接采 集到的图像进行优化处理， 也就是说， 所述获取记录用户运动的深度图像序列具体包括 ： 0101 获取用户的原始图像序列 ； 0102 对所述原始图像序列中的图像进行降低分辨率、 背景移除、 去噪和深度值调整中 的至少一个， 得到所述深度图像序列。 0103 上述的可选的降低分辨率、 背景移除的处理， 使得后续的转换能够以较小的计。
39、算 开销完成。 说 明 书 CN 104281265 A 10 7/10 页 11 0104 如在图像捕捉过程中， 有可能发生各种随机的， 或者系统性的误差， 图像采集设备 本身也会导致采集到的图像中存在一定的缺陷或畸变等， 因此通过去噪操作能够更好的去 除上述的缺陷， 得到更加准确和完整的数据， 保证后续转换得到的用户姿态数据的准确度。 0105 当然， 应当理解的是， 上述的优化仅仅是举例说明， 本发明实施例并不具体限定采 用的具体优化手段。 0106 应该了解的是， 得到一套数学转换模型需要付出巨大的代价， 因此为了降低开发 成本， 本发明实施例中， 可以将一套数学转换模型分配给多个应用。
40、程序使用。 而每个应用程 序各自对应的标准姿态数据序列在绝大部分情况下都不相同， 在这种情况下， 本发明实施 例的方法还包括 ： 0107 在得到第一用户姿态数据序列后， 从所述多个应用程序确定目标应用程序 ； 0108 确定所述目标应用程序对应的标准姿态数据序列用于姿态匹配。 0109 当用户预先完成自己想要处理的应用程序所规定的动作之后， 即可确定目标应用 程序， 进而选择目标应用程序对应的标准姿态数据序列来对上述得到的用户姿态数据序列 进行处理。 0110 通过上述的方式， 使得一个数学转换模型可以为多应用程序所使用， 大大降低了 开发成本。如以上举例的瑜伽体感游戏、 跳舞体感游戏和迷宫。
41、体感游戏由于针对的对象基 本相同， 因此可以使用一个数学转换模型来对应， 以降低开发成本。 0111 本发明实施例的应用程序的控制方法， 转换得到所述第一用户姿态数据序列的操 作在所述应用程序需要使用所述用户姿态数据的阶段之前完成， 因此， 将数据转换和数据 匹配分为两个阶段， 延长了数据处理的时间， 降低了单位时间对处理资源的需求， 能够提高 应用程序的运行速度。 0112 在此对应用程序需要使用所述用户姿态数据的时机举例说明如下。 0113 以体感跳舞游戏为例， 当用户启动应用程序时并不需要用户姿态数据， 只有当用 户选择游戏难度、 游戏场景等并选择 “开始游戏” 后， 才进入了应用程序需。
42、要使用所述用户 姿态数据的阶段。 0114 本发明实施例的方法可以用于多种场景， 一种比较典型的场景为身体动作跟踪场 景， 即每一个标准姿态数据对应于一个用于显示到显示屏的屏幕用户形象， 所述基于所述 目标姿态数据进行应用控制处理具体为 ： 将所述显示屏显示的当前屏幕用户形象改变为所 述目标姿态数据对应的第一屏幕用户形象。 0115 举例说明如下， 当用户从站立姿态变成坐下姿态时， 则采集到的用户坐下的图像 能够转换得到一用户姿态数据， 而该用户姿态数据与标准姿态数据中的坐下姿态数据匹 配， 此时， 通过一定的显示处理手段， 就能够将屏幕上显示的站立的人改变为坐下的人。 0116 应当了解的是。
43、， 上述的过程描述仅仅是为了方便理解而作的一个简化描述， 实际 处理过程可能还需要包括更多的使用户得到更好体验的处理手段， 在此不作进一步详细说 明。 0117 在本发明具体实施例中， 还可以针对用户的动作是否符合要求进行提醒， 而这种 提醒操作可以通过多种方式进行， 下面就两种可能的实现方式详细说明如下。 0118 由于应用程序已经预先规定用户所要执行的动作的顺序以及每个动作的持续时 间， 因此， 在一些时间节点上用户应该处于某一种特定的姿态上， 举例如下。 说 明 书 CN 104281265 A 11 8/10 页 12 0119 假定应用程序预先规定的标准姿态序列如下 ： A1 姿态 。
44、B1 秒、 A2 姿态 B2 秒、 A3 姿 态 B3 秒、 A4 姿态 B4 秒。此时当时间段处于 (B1,B1+B2 的区间时， 则用户应该处于 A2 姿 态。 0120 由于每一个姿态对应于一个标准姿态数据， 结合以上的分析可以发现， 当应用运 行的时间确定时， 即可确定用户当前应该作的动作， 也就是可以确定用户当前应该所处的 标准姿态所对应的标准姿态数据。 0121 而用户当前实际所处的姿态可以确定， 当二者不同时， 即可发现用户没有按照要 求进行动作， 即可进行提示。 0122 因此， 上述方式下， 本发明实施例的应用程序的控制方法中， 每一个标准姿态对应 于一姿态需要维持的时间， 。
45、所述控制方法还包括 ： 0123 确定应用运行时间 ； 0124 根据应用运行时间以及标准姿态数据序列中每一个标准姿态对应的姿态需要维 持时间， 确定第二目标姿态数据 ； 0125 在所述第二目标姿态数据与第一目标姿态数据不同时， 执行一提醒操作。 0126 当然， 以上是以姿态数据作为参照对象来确定用户动作是否符合要求， 由于姿态 数据都对应于屏幕用户形象， 因此， 也可以使用屏幕用户形象的差异是否超过预定的差异 标准进行判断。 0127 这种方式下， 所述控制方法还包括 ： 0128 确定应用运行时间 ； 0129 根据应用运行时间以及标准姿态数据序列中每一个标准姿态对应的姿态需要维 持时。
46、间， 确定第二目标姿态数据 ； 0130 确定第二目标姿态数据对应的第二屏幕用户形象 ； 0131 当所述第二屏幕用户形象与第一屏幕用户形象的差异超过预定差异标准时， 执行 一提醒操作。 0132 本发明实施例还提供了一种应用程序的控制装置， 如图 2 所示， 包括 ： 0133 获取模块， 用于获取记录用户运动的深度图像序列 ； 0134 转换模块， 用于预先根据一数学转换模型将所述深度图像序列转换为第一用户姿 态数据序列 ； 0135 处理模块， 用于从所述应用程序预先设置的标准姿态数据序列中， 获取与所述用 户姿态数据序列中当前待处理的用户姿态数据相匹配的第一目标姿态数据， 并基于所述第。
47、 一目标姿态数据进行应用控制处理 ； 0136 筛选模块， 用于在所述第一目标姿态数据对应的目标姿态需要维持的时间超过预 订时间门限时， 从第二姿态数据序列中挑选部分用户姿态数据进行后续匹配处理 ； 所述第 二姿态数据序列与已处理的用户姿态数据形成的数据序列相邻， 且第二姿态数据序列的长 度与所述目标姿态需要维持的时间相关。 0137 其中， 为方便比较， 本发明具体实施例中， 对应的目标姿态需要维持的时间超过预 订时间门限的姿态数据包括 ： 一个目标姿态起始子数据、 至少一个目标姿态中间子数据和 一个目标姿态结束子数据， 所述筛选模块具体用于 ： 对应于至少一个目标姿态中间子数据 和一个目标。
48、姿态结束子数据， 从所述第二姿态数据序列中挑选部分用户姿态数据， 用于后 说 明 书 CN 104281265 A 12 9/10 页 13 续匹配处理。 0138 上述的控制装置中， 转换得到所述第一用户姿态数据序列的操作在所述应用程序 需要使用所述用户姿态数据的阶段之前完成， 将数据处理分为多段， 延长数据的处理时间， 因此能够降低单位时间的处理资源需求， 能够提高应用程序的运行速度。 0139 为降低开发成本， 本发明实施例的所述控制装置中， 所述数学转换模型与多个应 用程序相对应， 所述控制装置还包括 ： 0140 程序确定模块， 用于在得到第一用户姿态数据序列后， 从所述多个应用程序。
49、确定 目标应用程序 ； 0141 标准姿态序列确定模块， 确定所述目标应用程序对应的标准姿态数据序列用于姿 态匹配。 0142 为了进一步提高运行效率， 或者提高用户数据序列计算的准确性， 本发明具体实 施例的控制装置中， 获取模块具体包括 ： 0143 原始图像获取单元， 用于获取用户的原始图像序列 ； 0144 优化单元， 用于对所述原始图像序列中的图像进行降低分辨率、 背景移除、 去噪和 深度值调整中的至少一个， 得到所述深度图像序列。 0145 本发明实施例的应用程序的控制装置可以用于用户动作的跟踪， 每一个标准姿态 数据对应于一个用于显示到显示屏的屏幕用户形象， 所述处理模块具体用于将所述显示屏 显示。