一种基于手势识别的PTZ摄像机控制系统及方法.pdf

摘要
申请专利号：	CN201310399933.8	申请日：	2013.08.30
公开号：	CN103442177A	公开日：	2013.12.11
当前法律状态：	驳回	有效性：	无权
法律详情：	发明专利申请公布后的驳回IPC(主分类):H04N 5/232申请公布日:20131211\|\|\|文件的公告送达IPC(主分类):H04N5/232收件人:吴慧玲文件名称:手续合格通知书\|\|\|专利申请权的转移IPC(主分类):H04N 5/232变更事项:申请人变更前权利人:程治永变更后权利人:深圳市壹比特信息技术有限公司变更事项:地址变更前权利人:518057 广东省深圳市南山区.前海路.星海名城五期.2栋31K.变更后权利人:518000 广东省深圳市南山区留仙大道1183号南山云谷创新产业园南风楼6楼A登记生效日:20150205\|\|\|实质审查的生效IPC(主分类):H04N 5/232申请日:20130830\|\|\|公开
IPC分类号：	H04N5/232; G06F3/01	主分类号：	H04N5/232
申请人：	程治永
发明人：	程治永
地址：	518057 广东省深圳市南山区前海路星海名城五期2栋31K
优先权：
专利代理机构：		代理人：
PDF下载：	PDF下载

内容摘要

本发明公开了一种基于手势识别的PTZ摄像机控制系统及方法，系统：由控制终端、PTZ摄像机构成，并通过网络互联；用户借助控制终端，对PTZ摄像机进行远程控制；控制终端：由终端硬件、终端操作系统、终端软件构成；终端硬件：由带有屏幕、镜头、图像传感器、中央处理器、存储器、网络模块组成；终端软件：由图像采集模块、图像分析模块、流媒体传输模块、视频解码模块、音频解码模块、视频渲染模块、音频输出模块、控制模块、用户操作模块构成；控制终端负责连接PTZ摄像机，并接收PTZ摄像机的音视频媒体流数据，进行解码、渲染及输出，同时通过镜头、图像传感器采集用户所在自由空间的图像，并对图像进行识别，提取出用户手势，并将手势转换为PTZ操作，将该操作请求通过网络发往PTZ摄像机，进行远程PTZ控制。

权利要求书

权利要求书
1.  本发明是这样实现的：一种基于手势识别的PTZ摄像机控制系统及方法，
其特征在于，该方法包括以下主要过程和步骤：
一种基于手势识别的PTZ摄像机控制系统：由控制终端、PTZ摄像机构成，并通过网络互联；
用户借助控制终端，对PTZ摄像机进行远程控制；控制终端通过镜头对用户所在自由空间的场景进行图像捕捉，通过图像识别模块进行识别，抽取出用户的肢体状态和动作，获得用户的手势，然后将用户手势转换PTZ操作，主要有平移操作、缩放操作之类的PTZ操作，通过网络对PTZ摄像机进行远程控制。

2.  如权利要求1所述的控制终端：由终端硬件、终端操作系统、终端软件构成；
终端硬件：由带有屏幕、镜头、图像传感器、喇叭、中央处理器、存储器、网络模块组成；
终端软件：由图像采集模块、图像分析模块、流媒体传输模块、视频解码模块、音频解码模块、视频渲染模块、音频输出模块、控制模块、用户操作模块构成；负责连接PTZ摄像机，并接收PTZ摄像机的音视频媒体流数据，进行解码、渲染及输出；同时采集用户所在自由空间的图像，并对图像进行识别，提取出用户手势，并将手势转换为PTZ操作；构造PTZ控制请求并通过网络发往摄像机，进行远程PTZ控制。

3.  如权利要求1所述PTZ摄像机：由摄像机硬件、摄像机操作系统、摄像机软件构成；
摄像机硬件：由主控芯片、镜头、图像传感器、图像编码器、音频采集模块、网络模块、PTZ云台构成；
摄像机操作系统：以嵌入式操作系统内核为核心的嵌入式操作系统；
摄像机软件：由主控模块、媒体流采集模块、流媒体通讯模块、PTZ控制模块构成。

4.  如权利要求1所述基于手势识别对PTZ摄像机的远程控制，其特征在于，步骤如下：
步骤1：控制终端运行后，启动终端软件，打开镜头，驱动图像传感器，启动图像采集模块和图像分析模块，检测采集到的图像中的用户手势操作；
步骤2：控制终端通过网络连接到远程PTZ摄像机，启动流媒体传输模块，连接摄像机，请求媒体流；
步骤3：PTZ摄像机接收到媒体流请求，启动图像传感器和图像编码器，启动音频采集设备和音频编码器，将编码后的音视频数据合并成为媒体流，发往控制终端；
步骤4：控制终端接收到PTZ摄像机的媒体流后，将接收到的媒体流送往图像解码模块、音频解码模块，将解码后的图像渲染显示在屏幕上，并将音频输出到喇叭中；
步骤5：用户在自由空间挥动控制手势；
步骤6：控制终端捕捉到用户在自由空间挥动的控制手势后，转换为PTZ控制请求；控制终端将PTZ控制请求发往PTZ摄像机，并输出控制正在进行中的状态；
步骤7：PTZ摄像机的收到PTZ控制请求后，根据控制类型进行PTZ操作，如果控制类型为平移则进行步骤8，如果是缩放操作则进行步骤9；
步骤8：PTZ摄像机取出x轴和y轴的移动比值，转过移动比值乘以当前取景范围角度值作为角度偏移量，对PTZ模块发起x轴、y轴对应的角度偏移量的转动指令，如果无法和无需支持精准角度控制的应用则通过xy轴中角度较大的一轴转过固定角度，然后执行步骤10；
步骤9：PTZ摄像机取出缩放比值，按照缩放比值对PTZ模块发起缩放操作，如果是无法和无需支持精准角度控制的应用则可以依据缩放比值所指向的操作方向进行固定比值的缩放，然后执行步骤10；
步骤10：PTZ摄像机构造控制应答，将控制应答发往控制终端；
步骤11：控制终端接收到PTZ控制应答后，停止输出控制正在进行中的状态，完成PTZ摄像机的远程控制及场景切换。

5.  如权利要求1所述的用户的平移操作，进一步的说：
用户展开手掌，手掌对着控制终端镜头挥动手臂；
控制终端图像分析模块从镜头持续捕捉的画面检测到手掌出现，控制终端记录当前位置为平移起点(x1，y1)；
用户保持手掌展开并面对镜头的姿势持续挥动手臂，直至停止，收拢手掌，当控制终端图像识别模块检测到收拢手掌消失后；
控制终端记录当前位置为用户拖动的终点(x2，y2)；
将位于x轴和y轴的用户终点和起点的距离相对于视频显示区域的大小的移动比值作为参数，构造控制方式为平移的PTZ控制请求；
移动比值计算方法：x轴移动比值＝((x2-x1)/视频显示区域的宽度)，y轴移动比值＝((y2-y1)/视频显示区域的高度))。

6.  如权利要求1所示的用户的缩放操作，进一步的说：
用户展开双手掌，双手掌对着控制终端镜头挥动手臂；
控制终端图像分析模块从镜头持续捕捉的画面中检测到双手掌出现，控制终端记录手掌所在的两点当前的位置为带有2个坐标((x1，y1)，(x2，y2))的缩放起点；
用户保持手掌展开并面对镜头的姿势进行双手掌移动以缩短或拉长两手掌间距离，完毕后收拢双手掌；
当控制终端从镜头持续捕捉的画面中检测到双手掌消失后，控制终端记录双手掌各自所在的当前位置为带有2个坐标((x3，y3)，(x4，y4))的缩放终点；
缩放起点坐标间的距离和缩放终坐标间的距离之比值作为参数，构造控制方式为缩放的PTZ控制请求；
缩放比值计算方法：

说明书

说明书一种基于手势识别的PTZ摄像机控制系统及方法
技术领域：
本发明涉及视频监控领域，尤其涉及一种基于手势识别的PTZ摄像机控制系统及方法。
背景技术：
随着传感器技术、图像压缩技术、计算机技术、通讯技术的发展，视频监控获得广泛的应用。视频监控系统经过二十多年的发展，从模拟监控到数字监控，发展到当前的IP(英特网协议)网络视频监控，发生了翻天覆地变化。IP技术作为一种基础的通讯技术，融入了生产和生活的方方面面，越来越多的终端、平台、系统支持这一标准，成为设备互联领域最重要也是应用最广泛的标准。
从技术的角度来说，视频监控系统发展划分为三代：第一代，模拟视频监控系统(CCTV)；第二代：基于“PC+多媒体卡”数字视频监控系统(DVR)；第三代：基于IP网络视频监控系统(IPVS)、IP摄像机(IP Camera)。
在这些摄像机等视频采集设备中，有大量的设备支持PTZ(Pan/Tilt/Zoom)云台全方位(上下、左右)移动及镜头变倍、变焦控制，能更加灵活的调整观察景象的范围。
智能终端、家庭终端、游戏终端也都具备了镜头，芯片的运算能力也在持续增强，这些终端具备了图像识别的能力，终端的操作和控制可以通过图像输入完成。通过图像输入技术，能摆脱键盘、鼠标等输入方式需要物理接的限制，能在自由的空间通过手势对远程PTZ摄像机进行控制。
发明内容：
为了借助具有镜头的图像输入和处理能力的设备，在自由空间通过手势，进行非接触的PTZ摄像机的控制，本发明提供了一种基于手势识别的PTZ控制系统及方法。
本发明是这样实现的：一种基于手势识别的PTZ控制系统及方法，包括以下主要过程和步骤：
所述系统：由控制终端、PTZ摄像机构成，并通过网络互联；
用户借助控制终端，对PTZ摄像机进行远程控制；控制终端通过镜头对用户所在自由空间的场景进行图像捕捉，通过图像识别模块进行识别，抽取出用户的肢体状态和动作，获得用户的手势，然后将用户手势转换PTZ操作，主要有平移操作、缩放操作之类的PTZ操作，通过网络对PTZ摄像机进行远程控制。
控制终端：由终端硬件、终端操作系统、终端软件构成；
终端硬件：由带有屏幕、镜头、图像传感器、喇叭、中央处理器、存储器、网络模块组成；
终端软件：由图像采集模块、图像分析模块、流媒体传输模块、视频解码模块、音频解码模块、视频渲染模块、音频输出模块、控制模块、用户操作模块构成；负责连接PTZ摄像机，并接收PTZ摄像机的音视频媒体流数据，进行解码、渲染及输出；同时采集用户所在自由空间的图像，并对图像进行识别，提取出用户手势，并将手势转换为PTZ操作；构造PTZ控制请求并通过网络发往摄像机，进行远程PTZ控制。
PTZ摄像机：由摄像机硬件、摄像机操作系统、摄像机软件构成；
摄像机硬件：由主控芯片、镜头、图像传感器、图像编码器、音频采集模块、网络模块、PTZ云台构成；
摄像机操作系统：以嵌入式操作系统内核为核心的嵌入式操作系统；
摄像机软件：由主控模块、媒体流采集模块、流媒体通讯模块、PTZ控制模块构成。
基于手势识别对PTZ摄像机的远程控制，步骤如下：
步骤1：控制终端运行后，启动终端软件，打开镜头，驱动图像传感器，启动图像采集模块和图像分析模块，检测采集到的图像中的用户手势操作；
步骤2：控制终端通过网络连接到远程PTZ摄像机，启动流媒体传输模块，连接摄像机，请求媒体流；
步骤3：PTZ摄像机接收到媒体流请求，启动图像传感器和图像编码器，启动音频采集设备和音频编码器，将编码后的音视频数据合并成为媒体流，发往控制终端；
步骤4：控制终端接收到PTZ摄像机的媒体流后，将接收到的媒体流送往图像解码模块、音频解码模块，将解码后的图像渲染显示在屏幕上，并将音频输出到喇叭中；
步骤5：用户在自由空间挥动控制手势；
步骤6：控制终端捕捉到用户在自由空间挥动的控制手势后，转换为PTZ控制请求；控制终端将PTZ控制请求发往PTZ摄像机，并输出控制正在进行中的状态；
步骤7：PTZ摄像机的收到PTZ控制请求后，根据控制类型进行PTZ操作，如果控制类型为平移则进行步骤8，如果是缩放操作则进行步骤9；
步骤8：PTZ摄像机取出x轴和y轴的移动比值，转过移动比值乘以当前取景范围角度值作为角度偏移量，对PTZ模块发起x轴、y轴对应的角度偏移量的转动指令，如果无法和无需支持精准角度控制的应用则通过xy轴中角度较大的一轴转过固定角度，然后执行步骤10；
步骤9：PTZ摄像机取出缩放比值，按照缩放比值对PTZ模块发起缩放操作，如果是无法和无需支持精准角度控制的应用则可以依据缩放比值所指向的操作方向进行固定比值的缩放，然后执行步骤10；
步骤10：PTZ摄像机构造控制应答，将控制应答发往控制终端；
步骤11：控制终端接收到PTZ控制应答后，停止输出控制正在进行中的状态，完成PTZ摄像机的远程控制及场景切换。
进一步的说，用户的平移操作：
用户展开手掌，手掌对着控制终端镜头挥动手臂；
控制终端图像分析模块从镜头持续捕捉的画面检测到手掌出现，控制终端记录当前位置为平移起点(x1，y1)；
用户保持手掌展开并面对镜头的姿势持续挥动手臂，直至停止，收拢手掌，当控制终端图像识别模块检测到收拢手掌消失后；
控制终端记录当前位置为用户拖动的终点(x2，y2)；
将位于x轴和y轴的用户终点和起点的距离相对于视频显示区域的大小的移动比值作为参数，构造控制方式为平移的PTZ控制请求；
移动比值计算方法：x轴移动比值＝((x2-x1)/视频显示区域的宽度)，y轴移动比值＝((y2-y1)/视频显示区域的高度))。
进一步的说，用户的缩放操作：
用户展开双手掌，双手掌对着控制终端镜头挥动手臂；
控制终端图像分析模块从镜头持续捕捉的画面中检测到双手掌出现，控制终端记录手掌所在的两点当前的位置为带有2个坐标((x1，y1)，(x2，y2))的缩放起点；
用户保持手掌展开并面对镜头的姿势进行双手掌移动以缩短或拉长两手掌间距离，完毕后收拢双手掌；
当控制终端从镜头持续捕捉的画面中检测到双手掌消失后，控制终端记录双手掌各自所在的当前位置为带有2个坐标((x3，y3)，(x4，y4))的缩放终点；
缩放起点坐标间的距离和缩放终坐标间的距离之比值作为参数，构造控制方式为缩放的PTZ控制请求；
缩放比值计算方法：
(x4-x3)2+(y4-y3)2/(x2-x1)2+(y2-y1)2.]]>
附图说明：
下面结合附图，对本发明做出详细描述。
图1为系统示意图
图2为基于手势识别的PTZ摄像机控制流程时序图
图3为平移操作示意图
图4为缩放操作示意图
具体实施方式：
本发明以借助具有镜头的控制终端，通过持续的图像步骤和图像处理、分析，对用户在自由空间的肢体状态和行为转换为对PTZ摄像机的控制请求，由控制终端通过网络对PTZ摄像机进行操作，实现基于手势识别的PTZ摄像机系统及方法的例子，实现如下：
远程控制的系统：如图1所示，由控制终端(103、104)、PTZ摄像机(102)构成，并通过网络(121)互联(120)；
如图1所示，用户(140)借助控制终端(103、140)，对PTZ摄像机(102)进行远程控制；控制终端(103、104)对用户(140)所在自由空间的场景进行图像采集和识别，抽取出用户(140)的手势(141)，然后转换为PTZ操作，主要有平移操作、缩放操作等PTZ操作，对远程PTZ摄像机(102)进行控制。
控制终端：由终端硬件、终端操作系统、终端软件构成；
终端硬件：由带有屏幕(如图1的131所示)、镜头(如图1的110所示)、图像传感器、喇叭、中央处理器、存储器、网络模块组成；
终端软件：由图像采集模块、图像分析模块、流媒体传输模块、视频解码模块、音频解码模块、视频渲染模块、音频输出模块、控制模块、用户操作模块构成；负责连接PTZ摄像机，并接收PTZ摄像机的音视频媒体流数据，进行解码、渲染及输出；同时采集用户所在自由空间的图像，并对图像进行识别，提取出用户手势，并将手势转换为PTZ操作；构造PTZ控制请求并通过网络发往摄像机，进行远程PTZ控制；
控制终端可以是基于大屏的控制终端(如图1的103所示)，也可以是手持移动终端(如图1的104所示)。
PTZ摄像机：由摄像机硬件、摄像机操作系统、摄像机软件构成；
摄像机硬件：由主控芯片、镜头、图像传感器、图像编码器、音频采集模块、网络模块、PTZ云台构成；
摄像机操作系统：以嵌入式操作系统内核为核心的嵌入式操作系统；
摄像机软件：由主控模块、媒体流采集模块、流媒体通讯模块、PTZ控制模块构成。
基于手势识别对PTZ摄像机的远程控制，如图2所示，步骤如下：
步骤1：控制终端运行后，启动终端软件，打开镜头，驱动图像传感器，启动图像采集模块和图像分析模块，检测采集到的图像中的用户手势操作；
步骤2：控制终端通过网络连接到远程PTZ摄像机，启动流媒体传输模块，连接摄像机，请求媒体流；
步骤3：PTZ摄像机接收到媒体流请求，启动图像传感器和图像编码器，启动音频采集设备和音频编码器，将编码后的音视频数据合并成为媒体流，发往控制终端；
步骤4：控制终端接收到PTZ摄像机的媒体流后，将接收到的媒体流送往图像解码模块、音频解码模块，将解码后的图像渲染显示在屏幕上，并将音频输出到喇叭中；
步骤5：用户在自由空间挥动控制手势；
步骤6：控制终端捕捉到用户在自由空间挥动的控制手势后，转换为PTZ控制请求；控制终端将PTZ控制请求发往PTZ摄像机，并输出控制正在进行中的状态；
步骤7：PTZ摄像机的收到PTZ控制请求后，根据控制类型进行PTZ操作，如果控制类型为平移则进行步骤8，如果是缩放操作则进行步骤9；
步骤8：PTZ摄像机取出x轴和y轴的移动比值，转过移动比值乘以当前取景范围角度值作为角度偏移量，对PTZ模块发起x轴、y轴对应的角度偏移量的转动指令，如果无法和无需支持精准角度控制的应用则通过xy轴中角度较大的一轴转过固定角度，然后执行步骤10；
步骤9：PTZ摄像机取出缩放比值，按照缩放比值对PTZ模块发起缩放操作，如果是无法和无需支持精准角度控制的应用则可以依据缩放比值所指向的操作方向进行固定比值的缩放，然后执行步骤10；
步骤10：PTZ摄像机构造控制应答，将控制应答发往控制终端；
步骤11：控制终端接收到PTZ控制应答后，停止输出控制正在进行中的状态，完成PTZ摄像机的远程控制及场景切换。
进一步的说，用户的平移操作，如图3所示：
用户展开手掌，手掌对着控制终端镜头挥动手臂；
控制终端图像分析模块从镜头持续捕捉的画面检测到手掌出现，控制终端记录当前位置为平移起点(x1，y1)；
用户保持手掌展开并面对镜头的姿势持续挥动手臂，直至停止，收拢手掌，当控制终端图像识别模块检测到收拢手掌消失后；
控制终端记录当前位置为用户拖动的终点(x2，y2)；
将位于x轴和y轴的用户终点和起点的距离相对于视频显示区域的大小的移动比值作为参数，构造控制方式为平移的PTZ控制请求；
移动比值计算方法：x轴移动比值＝((x2-x1)/视频显示区域的宽度)，y轴移动比值＝((y2-y1)/视频显示区域的高度))。
进一步的说，用户的缩放操作，如图4所示：
用户展开双手掌，双手掌对着控制终端镜头挥动手臂；
控制终端图像分析模块从镜头持续捕捉的画面中检测到双手掌出现，控制终端记录手掌所在的两点当前的位置为带有2个坐标((x1，y1)，(x2，y2))的缩放起点；
用户保持手掌展开并面对镜头的姿势进行双手掌移动以缩短或拉长两手掌间距离，完毕后收拢双手掌；
当控制终端从镜头持续捕捉的画面中检测到双手掌消失后，控制终端记录双手掌各自所在的当前位置为带有2个坐标((x3，y3)，(x4，y4))的缩放终点；
缩放起点坐标间的距离和缩放终坐标间的距离之比值作为参数，构造控制方式为缩放的PTZ控制请求；
缩放比值计算方法：
(x4-x3)2+(y4-y3)2/(x2-x1)2+(y2-y1)2.]]>

资源描述

《一种基于手势识别的PTZ摄像机控制系统及方法.pdf》由会员分享，可在线阅读，更多相关《一种基于手势识别的PTZ摄像机控制系统及方法.pdf（12页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 103442177 A(43)申请公布日 2013.12.11CN103442177A*CN103442177A*(21)申请号 201310399933.8(22)申请日 2013.08.30H04N 5/232(2006.01)G06F 3/01(2006.01)(71)申请人程治永地址 518057 广东省深圳市南山区前海路星海名城五期2栋31K(72)发明人程治永(54) 发明名称一种基于手势识别的PTZ摄像机控制系统及方法(57) 摘要本发明公开了一种基于手势识别的PTZ摄像机控制系统及方法，系统：由控制终端、PTZ摄像机构成，并通过网络互联；用户借助控制终。

2、端，对PTZ摄像机进行远程控制；控制终端：由终端硬件、终端操作系统、终端软件构成；终端硬件：由带有屏幕、镜头、图像传感器、中央处理器、存储器、网络模块组成；终端软件：由图像采集模块、图像分析模块、流媒体传输模块、视频解码模块、音频解码模块、视频渲染模块、音频输出模块、控制模块、用户操作模块构成；控制终端负责连接PTZ摄像机，并接收PTZ摄像机的音视频媒体流数据，进行解码、渲染及输出，同时通过镜头、图像传感器采集用户所在自由空间的图像，并对图像进行识别，提取出用户手势，并将手势转换为PTZ操作，将该操作请求通过网络发往PTZ摄像机，进行远程PTZ控制。(51)Int.Cl.权利要求书2页说明书。

3、5页附图4页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书2页说明书5页附图4页(10)申请公布号 CN 103442177 ACN 103442177 A1/2页21.本发明是这样实现的：一种基于手势识别的PTZ摄像机控制系统及方法，其特征在于，该方法包括以下主要过程和步骤：一种基于手势识别的PTZ摄像机控制系统：由控制终端、PTZ摄像机构成，并通过网络互联；用户借助控制终端，对PTZ摄像机进行远程控制；控制终端通过镜头对用户所在自由空间的场景进行图像捕捉，通过图像识别模块进行识别，抽取出用户的肢体状态和动作，获得用户的手势，然后将用户手势转换PTZ操作，主要有平移。

4、操作、缩放操作之类的PTZ操作，通过网络对PTZ摄像机进行远程控制。2.如权利要求1所述的控制终端：由终端硬件、终端操作系统、终端软件构成；终端硬件：由带有屏幕、镜头、图像传感器、喇叭、中央处理器、存储器、网络模块组成；终端软件：由图像采集模块、图像分析模块、流媒体传输模块、视频解码模块、音频解码模块、视频渲染模块、音频输出模块、控制模块、用户操作模块构成；负责连接PTZ摄像机，并接收PTZ摄像机的音视频媒体流数据，进行解码、渲染及输出；同时采集用户所在自由空间的图像，并对图像进行识别，提取出用户手势，并将手势转换为PTZ操作；构造PTZ控制请求并通过网络发往摄像机，进行远程PTZ控制。3.如。

5、权利要求1所述PTZ摄像机：由摄像机硬件、摄像机操作系统、摄像机软件构成；摄像机硬件：由主控芯片、镜头、图像传感器、图像编码器、音频采集模块、网络模块、PTZ云台构成；摄像机操作系统：以嵌入式操作系统内核为核心的嵌入式操作系统；摄像机软件：由主控模块、媒体流采集模块、流媒体通讯模块、PTZ控制模块构成。4.如权利要求1所述基于手势识别对PTZ摄像机的远程控制，其特征在于，步骤如下：步骤1：控制终端运行后，启动终端软件，打开镜头，驱动图像传感器，启动图像采集模块和图像分析模块，检测采集到的图像中的用户手势操作；步骤2：控制终端通过网络连接到远程PTZ摄像机，启动流媒体传输模块，连接摄像机，请求媒。

6、体流；步骤3：PTZ摄像机接收到媒体流请求，启动图像传感器和图像编码器，启动音频采集设备和音频编码器，将编码后的音视频数据合并成为媒体流，发往控制终端；步骤4：控制终端接收到PTZ摄像机的媒体流后，将接收到的媒体流送往图像解码模块、音频解码模块，将解码后的图像渲染显示在屏幕上，并将音频输出到喇叭中；步骤5：用户在自由空间挥动控制手势；步骤6：控制终端捕捉到用户在自由空间挥动的控制手势后，转换为PTZ控制请求；控制终端将PTZ控制请求发往PTZ摄像机，并输出控制正在进行中的状态；步骤7：PTZ摄像机的收到PTZ控制请求后，根据控制类型进行PTZ操作，如果控制类型为平移则进行步骤8，如果是缩放操作。

7、则进行步骤9；步骤8：PTZ摄像机取出x轴和y轴的移动比值，转过移动比值乘以当前取景范围角度值作为角度偏移量，对PTZ模块发起x轴、y轴对应的角度偏移量的转动指令，如果无法和无需支持精准角度控制的应用则通过xy轴中角度较大的一轴转过固定角度，然后执行步骤10；步骤9：PTZ摄像机取出缩放比值，按照缩放比值对PTZ模块发起缩放操作，如果是无法权利要求书CN 103442177 A2/2页3和无需支持精准角度控制的应用则可以依据缩放比值所指向的操作方向进行固定比值的缩放，然后执行步骤10；步骤10：PTZ摄像机构造控制应答，将控制应答发往控制终端；步骤11：控制终端接收到PTZ控制应答后，。

8、停止输出控制正在进行中的状态，完成PTZ摄像机的远程控制及场景切换。5.如权利要求1所述的用户的平移操作，进一步的说：用户展开手掌，手掌对着控制终端镜头挥动手臂；控制终端图像分析模块从镜头持续捕捉的画面检测到手掌出现，控制终端记录当前位置为平移起点(x1，y1)；用户保持手掌展开并面对镜头的姿势持续挥动手臂，直至停止，收拢手掌，当控制终端图像识别模块检测到收拢手掌消失后；控制终端记录当前位置为用户拖动的终点(x2，y2)；将位于x轴和y轴的用户终点和起点的距离相对于视频显示区域的大小的移动比值作为参数，构造控制方式为平移的PTZ控制请求；移动比值计算方法：x轴移动比值(x2-x1)/视频显示区。

9、域的宽度)，y轴移动比值(y2-y1)/视频显示区域的高度)。6.如权利要求1所示的用户的缩放操作，进一步的说：用户展开双手掌，双手掌对着控制终端镜头挥动手臂；控制终端图像分析模块从镜头持续捕捉的画面中检测到双手掌出现，控制终端记录手掌所在的两点当前的位置为带有2个坐标(x1，y1)，(x2，y2)的缩放起点；用户保持手掌展开并面对镜头的姿势进行双手掌移动以缩短或拉长两手掌间距离，完毕后收拢双手掌；当控制终端从镜头持续捕捉的画面中检测到双手掌消失后，控制终端记录双手掌各自所在的当前位置为带有2个坐标(x3，y3)，(x4，y4)的缩放终点；缩放起点坐标间的距离和缩放终坐标间的距离之比值作为参数。

10、，构造控制方式为缩放的PTZ控制请求；缩放比值计算方法：权利要求书CN 103442177 A1/5页4一种基于手势识别的 PTZ 摄像机控制系统及方法技术领域：0001 本发明涉及视频监控领域，尤其涉及一种基于手势识别的PTZ摄像机控制系统及方法。背景技术：0002 随着传感器技术、图像压缩技术、计算机技术、通讯技术的发展，视频监控获得广泛的应用。视频监控系统经过二十多年的发展，从模拟监控到数字监控，发展到当前的IP(英特网协议)网络视频监控，发生了翻天覆地变化。IP技术作为一种基础的通讯技术，融入了生产和生活的方方面面，越来越多的终端、平台、系统支持这一标准，成为设备互联领域最。

11、重要也是应用最广泛的标准。0003 从技术的角度来说，视频监控系统发展划分为三代：第一代，模拟视频监控系统(CCTV)；第二代：基于“PC+多媒体卡”数字视频监控系统(DVR)；第三代：基于IP网络视频监控系统(IPVS)、IP摄像机(IP Camera)。0004 在这些摄像机等视频采集设备中，有大量的设备支持PTZ(Pan/Tilt/Zoom)云台全方位(上下、左右)移动及镜头变倍、变焦控制，能更加灵活的调整观察景象的范围。0005 智能终端、家庭终端、游戏终端也都具备了镜头，芯片的运算能力也在持续增强，这些终端具备了图像识别的能力，终端的操作和控制可以通过图像输入完成。通过图像输入技术，。

12、能摆脱键盘、鼠标等输入方式需要物理接的限制，能在自由的空间通过手势对远程PTZ摄像机进行控制。发明内容：0006 为了借助具有镜头的图像输入和处理能力的设备，在自由空间通过手势，进行非接触的PTZ摄像机的控制，本发明提供了一种基于手势识别的PTZ控制系统及方法。0007 本发明是这样实现的：一种基于手势识别的PTZ控制系统及方法，包括以下主要过程和步骤：0008 所述系统：由控制终端、PTZ摄像机构成，并通过网络互联；0009 用户借助控制终端，对PTZ摄像机进行远程控制；控制终端通过镜头对用户所在自由空间的场景进行图像捕捉，通过图像识别模块进行识别，抽取出用户的肢体状态和动作，获得用户的手。

13、势，然后将用户手势转换PTZ操作，主要有平移操作、缩放操作之类的PTZ操作，通过网络对PTZ摄像机进行远程控制。0010 控制终端：由终端硬件、终端操作系统、终端软件构成；0011 终端硬件：由带有屏幕、镜头、图像传感器、喇叭、中央处理器、存储器、网络模块组成；0012 终端软件：由图像采集模块、图像分析模块、流媒体传输模块、视频解码模块、音频解码模块、视频渲染模块、音频输出模块、控制模块、用户操作模块构成；负责连接PTZ摄像机，并接收PTZ摄像机的音视频媒体流数据，进行解码、渲染及输出；同时采集用户所在自说明书CN 103442177 A2/5页5由空间的图像，并对图像进行识别，提取出用。

14、户手势，并将手势转换为PTZ操作；构造PTZ控制请求并通过网络发往摄像机，进行远程PTZ控制。0013 PTZ摄像机：由摄像机硬件、摄像机操作系统、摄像机软件构成；0014 摄像机硬件：由主控芯片、镜头、图像传感器、图像编码器、音频采集模块、网络模块、PTZ云台构成；0015 摄像机操作系统：以嵌入式操作系统内核为核心的嵌入式操作系统；0016 摄像机软件：由主控模块、媒体流采集模块、流媒体通讯模块、PTZ控制模块构成。0017 基于手势识别对PTZ摄像机的远程控制，步骤如下：0018 步骤1：控制终端运行后，启动终端软件，打开镜头，驱动图像传感器，启动图像采集模块和图像分析模块，检测采集到的。

15、图像中的用户手势操作；0019 步骤2：控制终端通过网络连接到远程PTZ摄像机，启动流媒体传输模块，连接摄像机，请求媒体流；0020 步骤3：PTZ摄像机接收到媒体流请求，启动图像传感器和图像编码器，启动音频采集设备和音频编码器，将编码后的音视频数据合并成为媒体流，发往控制终端；0021 步骤4：控制终端接收到PTZ摄像机的媒体流后，将接收到的媒体流送往图像解码模块、音频解码模块，将解码后的图像渲染显示在屏幕上，并将音频输出到喇叭中；0022 步骤5：用户在自由空间挥动控制手势；0023 步骤6：控制终端捕捉到用户在自由空间挥动的控制手势后，转换为PTZ控制请求；控制终端将PTZ控制请求发往P。

16、TZ摄像机，并输出控制正在进行中的状态；0024 步骤7：PTZ摄像机的收到PTZ控制请求后，根据控制类型进行PTZ操作，如果控制类型为平移则进行步骤8，如果是缩放操作则进行步骤9；0025 步骤8：PTZ摄像机取出x轴和y轴的移动比值，转过移动比值乘以当前取景范围角度值作为角度偏移量，对PTZ模块发起x轴、y轴对应的角度偏移量的转动指令，如果无法和无需支持精准角度控制的应用则通过xy轴中角度较大的一轴转过固定角度，然后执行步骤10；0026 步骤9：PTZ摄像机取出缩放比值，按照缩放比值对PTZ模块发起缩放操作，如果是无法和无需支持精准角度控制的应用则可以依据缩放比值所指向的操作方向进行固定。

17、比值的缩放，然后执行步骤10；0027 步骤10：PTZ摄像机构造控制应答，将控制应答发往控制终端；0028 步骤11：控制终端接收到PTZ控制应答后，停止输出控制正在进行中的状态，完成PTZ摄像机的远程控制及场景切换。0029 进一步的说，用户的平移操作：0030 用户展开手掌，手掌对着控制终端镜头挥动手臂；0031 控制终端图像分析模块从镜头持续捕捉的画面检测到手掌出现，控制终端记录当前位置为平移起点(x1，y1)；0032 用户保持手掌展开并面对镜头的姿势持续挥动手臂，直至停止，收拢手掌，当控制终端图像识别模块检测到收拢手掌消失后；0033 控制终端记录当前位置为用户拖动的终点(x2，y。

18、2)；0034 将位于x轴和y轴的用户终点和起点的距离相对于视频显示区域的大小的移动比说明书CN 103442177 A3/5页6值作为参数，构造控制方式为平移的PTZ控制请求；0035 移动比值计算方法：x轴移动比值(x2-x1)/视频显示区域的宽度)，y轴移动比值(y2-y1)/视频显示区域的高度)。0036 进一步的说，用户的缩放操作：0037 用户展开双手掌，双手掌对着控制终端镜头挥动手臂；0038 控制终端图像分析模块从镜头持续捕捉的画面中检测到双手掌出现，控制终端记录手掌所在的两点当前的位置为带有2个坐标(x1，y1)，(x2，y2)的缩放起点；0039 用户保持手掌展开并面对。

19、镜头的姿势进行双手掌移动以缩短或拉长两手掌间距离，完毕后收拢双手掌；0040 当控制终端从镜头持续捕捉的画面中检测到双手掌消失后，控制终端记录双手掌各自所在的当前位置为带有2个坐标(x3，y3)，(x4，y4)的缩放终点；0041 缩放起点坐标间的距离和缩放终坐标间的距离之比值作为参数，构造控制方式为缩放的PTZ控制请求；0042 缩放比值计算方法：0043 附图说明：0044 下面结合附图，对本发明做出详细描述。0045 图1为系统示意图0046 图2为基于手势识别的PTZ摄像机控制流程时序图0047 图3为平移操作示意图0048 图4为缩放操作示意图具体实施方式：0049 本发明以借助。

20、具有镜头的控制终端，通过持续的图像步骤和图像处理、分析，对用户在自由空间的肢体状态和行为转换为对PTZ摄像机的控制请求，由控制终端通过网络对PTZ摄像机进行操作，实现基于手势识别的PTZ摄像机系统及方法的例子，实现如下：0050 远程控制的系统：如图1所示，由控制终端(103、104)、PTZ摄像机(102)构成，并通过网络(121)互联(120)；0051 如图1所示，用户(140)借助控制终端(103、140)，对PTZ摄像机(102)进行远程控制；控制终端(103、104)对用户(140)所在自由空间的场景进行图像采集和识别，抽取出用户(140)的手势(141)，然后转换为PTZ操作，主。

21、要有平移操作、缩放操作等PTZ操作，对远程PTZ摄像机(102)进行控制。0052 控制终端：由终端硬件、终端操作系统、终端软件构成；0053 终端硬件：由带有屏幕(如图1的131所示)、镜头(如图1的110所示)、图像传感器、喇叭、中央处理器、存储器、网络模块组成；0054 终端软件：由图像采集模块、图像分析模块、流媒体传输模块、视频解码模块、音频解码模块、视频渲染模块、音频输出模块、控制模块、用户操作模块构成；负责连接PTZ摄像说明书CN 103442177 A4/5页7机，并接收PTZ摄像机的音视频媒体流数据，进行解码、渲染及输出；同时采集用户所在自由空间的图像，并对图像进行识别，提。

22、取出用户手势，并将手势转换为PTZ操作；构造PTZ控制请求并通过网络发往摄像机，进行远程PTZ控制；0055 控制终端可以是基于大屏的控制终端(如图1的103所示)，也可以是手持移动终端(如图1的104所示)。0056 PTZ摄像机：由摄像机硬件、摄像机操作系统、摄像机软件构成；0057 摄像机硬件：由主控芯片、镜头、图像传感器、图像编码器、音频采集模块、网络模块、PTZ云台构成；0058 摄像机操作系统：以嵌入式操作系统内核为核心的嵌入式操作系统；0059 摄像机软件：由主控模块、媒体流采集模块、流媒体通讯模块、PTZ控制模块构成。0060 基于手势识别对PTZ摄像机的远程控制，如图2所示，。

23、步骤如下：0061 步骤1：控制终端运行后，启动终端软件，打开镜头，驱动图像传感器，启动图像采集模块和图像分析模块，检测采集到的图像中的用户手势操作；0062 步骤2：控制终端通过网络连接到远程PTZ摄像机，启动流媒体传输模块，连接摄像机，请求媒体流；0063 步骤3：PTZ摄像机接收到媒体流请求，启动图像传感器和图像编码器，启动音频采集设备和音频编码器，将编码后的音视频数据合并成为媒体流，发往控制终端；0064 步骤4：控制终端接收到PTZ摄像机的媒体流后，将接收到的媒体流送往图像解码模块、音频解码模块，将解码后的图像渲染显示在屏幕上，并将音频输出到喇叭中；0065 步骤5：用户在自由空间挥。

24、动控制手势；0066 步骤6：控制终端捕捉到用户在自由空间挥动的控制手势后，转换为PTZ控制请求；控制终端将PTZ控制请求发往PTZ摄像机，并输出控制正在进行中的状态；0067 步骤7：PTZ摄像机的收到PTZ控制请求后，根据控制类型进行PTZ操作，如果控制类型为平移则进行步骤8，如果是缩放操作则进行步骤9；0068 步骤8：PTZ摄像机取出x轴和y轴的移动比值，转过移动比值乘以当前取景范围角度值作为角度偏移量，对PTZ模块发起x轴、y轴对应的角度偏移量的转动指令，如果无法和无需支持精准角度控制的应用则通过xy轴中角度较大的一轴转过固定角度，然后执行步骤10；0069 步骤9：PTZ摄像机取出。

25、缩放比值，按照缩放比值对PTZ模块发起缩放操作，如果是无法和无需支持精准角度控制的应用则可以依据缩放比值所指向的操作方向进行固定比值的缩放，然后执行步骤10；0070 步骤10：PTZ摄像机构造控制应答，将控制应答发往控制终端；0071 步骤11：控制终端接收到PTZ控制应答后，停止输出控制正在进行中的状态，完成PTZ摄像机的远程控制及场景切换。0072 进一步的说，用户的平移操作，如图3所示：0073 用户展开手掌，手掌对着控制终端镜头挥动手臂；0074 控制终端图像分析模块从镜头持续捕捉的画面检测到手掌出现，控制终端记录当前位置为平移起点(x1，y1)；0075 用户保持手掌展开并面对镜头。

26、的姿势持续挥动手臂，直至停止，收拢手掌，当控制说明书CN 103442177 A5/5页8终端图像识别模块检测到收拢手掌消失后；0076 控制终端记录当前位置为用户拖动的终点(x2，y2)；0077 将位于x轴和y轴的用户终点和起点的距离相对于视频显示区域的大小的移动比值作为参数，构造控制方式为平移的PTZ控制请求；0078 移动比值计算方法：x轴移动比值(x2-x1)/视频显示区域的宽度)，y轴移动比值(y2-y1)/视频显示区域的高度)。0079 进一步的说，用户的缩放操作，如图4所示：0080 用户展开双手掌，双手掌对着控制终端镜头挥动手臂；0081 控制终端图像分析模块从镜头持续捕。

27、捉的画面中检测到双手掌出现，控制终端记录手掌所在的两点当前的位置为带有2个坐标(x1，y1)，(x2，y2)的缩放起点；0082 用户保持手掌展开并面对镜头的姿势进行双手掌移动以缩短或拉长两手掌间距离，完毕后收拢双手掌；0083 当控制终端从镜头持续捕捉的画面中检测到双手掌消失后，控制终端记录双手掌各自所在的当前位置为带有2个坐标(x3，y3)，(x4，y4)的缩放终点；0084 缩放起点坐标间的距离和缩放终坐标间的距离之比值作为参数，构造控制方式为缩放的PTZ控制请求；0085 缩放比值计算方法：0086 说明书CN 103442177 A1/4页9图1说明书附图CN 103442177 A2/4页10图2说明书附图CN 103442177 A10。

展开阅读全文