用于传输视频数据和触觉数据的方法以及视频采集装置.pdf

上传人:e1 文档编号:4286906 上传时间:2018-09-13 格式:PDF 页数:12 大小:403.81KB
返回 下载 相关 举报
摘要
申请专利号:

CN201010567050.X

申请日:

2010.11.21

公开号:

CN102480612A

公开日:

2012.05.30

当前法律状态:

撤回

有效性:

无权

法律详情:

发明专利申请公布后的视为撤回IPC(主分类):H04N 7/14申请公布日:20120530|||文件的公告送达IPC(主分类):H04N 7/14收件人:余浪文件名称:第一次审查意见通知书|||实质审查的生效IPC(主分类):H04N 7/14申请日:20101121|||公开

IPC分类号:

H04N7/14; H04N7/18; H04N7/26; H04L29/06; H04W88/18(2009.01)I

主分类号:

H04N7/14

申请人:

余浪

发明人:

余浪

地址:

100029 北京市朝阳区祁家豁子8号健翔大厦1227室

优先权:

专利代理机构:

代理人:

PDF下载: PDF下载
内容摘要

本发明涉及一种在可运动的视频采集装置与异地计算机之间经由通信网络传输视频数据和触觉数据的方法,并且还涉及一种视频采集装置,其中在所述通信网络中存在可直接通信的服务器,所述视频数据可被呈现在异地计算机屏幕上供用户观看,所述触觉数据可被用于控制作为用户化身的视频采集装置的运动状态。本发明方法借助P2P技术利用服务器在可联入互联网的计算机与可联入互联网的视频采集装置之间建立用于传输视频数据的第一信道和用于传输触觉数据的第二信道。本发明使得能够形成低成本的、长距离的、多用户对多化身的化身网络,从而减少大量人的出行以有助于低碳环保。

权利要求书

1: 一种在可运动的视频采集装置 (3) 与异地计算机 (2) 之间经由通信网络 (4) 传输视 频数据和触觉数据的方法, 其中, 在所述通信网络 (4) 中存在可直接通信的服务器 (1), 所 述视频数据可被呈现在异地计算机 (2) 屏幕上供用户观看, 所述触觉数据可被用于控制视 频采集装置 (3) 的运动状态, 其特征在于, 视频采集装置 (3) 定期在服务器 (1) 上分别注册视频地址信息和触觉地址信息 ; 用户在异地计算机 (2) 上输入视频采集装置标识, 异地计算机 (2) 在服务器 (1) 上分 别注册视频地址信息和触觉地址信息, 异地计算机 (2) 将包含视频采集装置标识的请求信 令发送给服务器 (1) ; 所述服务器 (1) 根据所述视频采集装置标识查询到对应于视频采集装置 (3) 的视频地 址信息和触觉地址信息, 并将所述视频地址信息和触觉地址信息通知异地计算机 (2) ; 所述服务器 (1) 根据所述视频采集装置标识将所述请求信令与对应于异地计算机 (2) 的视频地址信息和触觉地址信息通知视频采集装置 (3) ; 根据从服务器 (1) 接收的视频地址信息和触觉地址信息, 异地计算机 (2) 和视频采集 装置 (3) 一起建立用于直接传输视频数据的第一信道和用于直接传输触觉数据的第二信 道; 视频采集装置 (3) 利用第一信道直接向异地计算机 (2) 发送视频数据, 异地计算机 (2) 利用第二信道直接向视频采集终端 (3) 发送触觉数据, 所述触觉数据是一组对状态的采样 值。2: 如权利要求 1 所述的方法, 其特征在于, 所述的地址信息包含 IP 地址和端口号。3: 如权利要求 1 所述的方法, 其特征在于, 所述视频数据包含多个针对视频帧的压缩数据, 针对视频帧的压缩数据可以被分成匹 配于通信网络带宽的多组数据包, 所述数据包组相隔一定时间被发送, 在针对上一视频帧 的压缩数据未发送完时针对新采集的视频帧的压缩数据不被发送给异地计算机 (2)。4: 如权利要求 1 所述的方法, 其特征在于, 由视频采集装置 (3) 所采集的视频数据被存放在视频采集装置 (3) 上, 所述视频数据 的一部分被传送给异地计算机 (2), 用户根据所接收到的视频数据将触觉数据发送给视频 采集装置 (3)。5: 如权利要求 1 所述的方法, 其特征在于, 所述的运动状态包含运动速率和运动方向。6: 如权利要求 1 所述的方法, 其特征在于, 所述视频采集装置 (3) 将由传感器所获取的针对实际运动状态的触觉数据发送给异 地计算机 (2)。7: 如权利要求 1 所述的方法, 其特征在于, 所述视频采集装置标识是视频采集装置的字符串昵称。8: 如权利要求 1 所述的方法, 其特征在于, 所述视频采集装置标识是视频采集装置的数字编号。9: 如权利要求 1 所述的方法, 其特征在于, 2 所述服务器 (1) 对异地计算机 (2) 与视频采集装置 (3) 的接入权限进行管理。10: 一种可运动的视频采集装置 (3), 所述视频采集装置包括用于进行移动的机电单 元、 用于采集视频数据的输入单元、 用于处理视频数据和触觉数据的计算单元以及用于接 收与发送视频数据和触觉数据的通信单元, 其中, 所述视频采集装置根据如权利要求 1 所 述的方法接入通信网络 (4) 并传输视频数据和触觉数据。

说明书


用于传输视频数据和触觉数据的方法以及视频采集装置

    【技术领域】
     本发明涉及一种用于传输视频数据与触觉数据的方法, 并涉及一种视频采集装置。 背景技术
     随着动力技术与信息技术的融合, 集自动控制、 计算机、 通信技术之大成的设备能 够作为人的物理化身 (physical avatar) 延伸人的视觉 (visual) 与触觉 (haptic), 从而实 现用户对远方环境的探寻。
     利用化身延伸人的视觉与触觉的尝试首先在目前非常普遍的无线局域网上进行。 无线局域网的带宽较高, 可以流畅地传输视频数据与触觉数据。带有摄像头的视频采集装 置可提供视频数据, 个人电脑附带的操纵杆 (Joystick) 可提供触觉数据, 所述触觉数据可 以被用于控制可运动的视频采集装置的运动速度。 一些大学与科研院所进行了通过无线局 域网传输视频数据与触觉数据的研究。在局域网内采用 client/server 架构利用 TCP 协议 或 UDP 协议进行视频数据与触觉数据的传输。中国山东电力研究院研制出变电站巡检机器 人, 视频采集装置位于机器人的移动本体上, 该机器人的移动本体通过无线局域网与用于 人机交互的计算机相连接, 所述计算机接收操作人员的各种指令, 并将这些指令下达到机 器人移动体, 另一方面所述计算机分析来自机器人的图像, 若分析不正常则向上一级传输 数据并发出警报。无线局域网的通信距离较短, 限制了通过局域网的用于传输视频数据与 触觉数据的技术的应用范围。
     随着 3G 电信网络的发展, 通过 3G 电信网络长距离传输视频数据和触觉数据成为 可能, 各国的电信运营商已经开始一些尝试。专利公开号为 CN200910176998 的专利申请公 布了一种传输视频数据 与触觉数据的方法和一种视频采集装置。用户通过手机屏幕看到 视频采集装置所采集到的视频, 而用户可以通过手机键盘输入的前进、 后退、 左转、 右转等 触觉数据, 这些数据通过 3G 通信网络被传输到视频采集装置以控制其运动。在该系统中, 通过 3G 网络传输数据的成本较高, 并且为了在手机与视频采集装置之间连接数据通道需 要复杂的电信级信令 (signaling), 而且手机键盘输入的触觉信号较简单从而导致对视频 采集装置的控制效果不够好。
     利用专用通讯线路可以将视频数据与触觉数据传输到更远的地方。 月球车就是一 例。 控制员坐在地面控制中心的屏幕前面, 月球车传回月球表面图像显示在屏幕上, 地面操 作员根据月表图像发出控制命令, 包含控制命令的触觉数据被传送给月球车, 引导月球车 避开障碍前行。 由于采用专用通信线路, 成本非常高, 而且地面计算机与月球车基本上单对 单通信, 未形成大范围的通信网络。
     在互联网上 P2P(Peer to Peer) 技术正在得到越来越多的应用。 借助该技术, 没有 Internet IP 地址 ( 也称为公网 IP 地址 ) 的两台计算机可以直接传输多媒体文件。所述的 计算机借助具有 Internet IP 地址的路由器联入互联网, 所述计算机的 IP 地址也被称为私 网地址。两台计算机都可以与互联网上的服务器进行通信, 所述路由器进行网络地址转换(NAT : Network Address Translator), 从该计算机发出的 UDP 数据包的源 IP 地址和端口号 portA 被替换成路由器的 IP 地址和路由器为该计算机分配的端口号 portB, 并且所述路由 器将接收到的目的端口号为 portB 的数据包发送给所述计算机。在通过服务器获知对方的 路由器的公网 IP 地址和通信端口号 portB 之后, 两台计算机就可以直接传输文件数据了。 P2P 是熟知的技术, 这里不详细描述。所述的两台计算机之间的通信距离可以是较长的, 它 们可以位于一个城市不同的楼宇内, 可以位于不同的城市, 也可以位于不同的国家。同时, 大多数可访问互联网的计算机都可以利用 P2P 技术相互传输多媒体文件, 形成多对多的网 络。
     相比于无线局域网, 现有的互联网具有长距离的优点。
     相比于 3G 电信网络, 现有的互联网具有低成本的优点。
     相比于专用线路, 现有的互联网具有可接入位置多的特点。 发明内容 有鉴于此, 本发明的任务是提供一种用于传输视频数据和触觉数据的方法和一种 视频采集装置, 以形成低成本的、 长距离的、 多对多 ( 多用户对多化身 ) 的化身网络, 从而减 少大量人出行以有助于低碳环保。
     该任务通过具有权利要求 1 所述特征的方法和具有权利要求 10 所述特征的装置来解决。 在本发明的方法方面, 本发明的思想是, 在本地的可运动的视频采集装置与异地 计算机之间经由通信网络传输视频数据和触觉数据, 在所述通信网络中存在可直接通信的 服务器, 所述视频数据可被呈现在异地计算机屏幕上供用户观看, 所述触觉数据可被用于 控制视频采集装置的运动状态。本发明方法包括以下步骤 : 视频采集装置定期在服务器上 分别注册视频地址信息和触觉地址信息 ; 用户在异地计算机上输入视频采集装置标识, 异 地计算机在服务器上分别注册视频地址信息和触觉地址信息, 异地计算机将包含视频采集 装置标识的请求信令发送给服务器 ; 所述服务器根据所述视频采集装置标识查询到对应于 视频采集装置的视频地址信息和触觉地址信息, 并将视频地址信息和触觉地址信息通知异 地计算机 ; 所述服务器根据所述视频采集装置标识将所述请求信令与对应于异地计算机的 视频地址信息和触觉地址信息通知视频采集装置 ; 根据从服务器接收的视频地址信息和触 觉地址信息, 异地计算机和视频采集装置一起建立用于直接传输视频数据的第一信道和用 于直接传输触觉数据的第二信道 ; 视频采集装置利用第一信道直接向异地计算机发送视频 数据, 异地计算机利用第二信道直接向视频采集终端发送触觉数据, 所述触觉数据是一组 对状态的采样值。
     其中, 视频采集装置可被视为坐在异地计算机前的用户的化身。
     其中地址信息可以包含 IP 地址和端口号, 通信网络可以是互联网和无线局域网 的组合 ( 例如, 视频采集装置可以先通过无线局域网与无线路由器通信, 而无线路由器直 接位于互联网上 ), 异地计算机和视频采集装置可以都不具有 Internet IP 地址、 也即公网 IP 地址, 服务器上记录的地址信息是离视频采集装置或异地计算机最近的互联网上的路由 器的公网 IP 地址和由该路由器分配给异地计算机或视频采集装置的端口号。
     由上可以看出, 本发明方法将 P2P 技术用于用户与化身之间的视频和触觉数据的
     传输, 使得可联入互联网的计算机经过长距离向可联入互联网的视频采集装置传输较丰富 的触觉信息, 而可联入互联网的视频采集装置经过长距离向可联入互联网的计算机传输视 频信息。
     本发明方法不同于局域网内借助化身延伸人的视觉和触觉的方法, 本发明方法可 以在较远的距离上借助化身延伸人的视频和触觉。无线局域网的传输距离只有几百米, 而 互联网的传输距离可以是几千公里, 用户和化身终端可以位于一个城市不同的楼宇内, 可 以位于不同的城市, 也可以位于不同的国家。
     本发明方法不同于目前 3G 电信网内借助化身延伸人的视觉和触觉的方法, 所传 输的触觉信息更加丰富, 不再局限与手机键盘输入的诸如前进、 后退等简单的触觉信息, 利 用操纵杆等计算机外围设备可以输入一组对指定运动状态的采样值, 诸如给定速度曲线 ; 同时通信成本更低, 用于建立用户与化身之间连接的信令更加简单。
     本发明方法不同于专用通信线路借助化身延伸人的视觉和触觉的方法, 用户的位 置和化身的位置所受到的限制更少, 只要用户的计算机和视频采集装置可联入互联网并通 信网络带宽较高, 就可以建立用户与化身之间的联系。而且多个用户和多个化身可以同时 联入互联网 ; 同时利用现有互联网和无线局域网的组合, 成本更低。
     简而言之, 相比于现有技术, 利用本发明方法形成的化身网络功能更强、 成本更 低。 因此本发明为融合动力技术和信息技术的化身 网络的大规模商用打下基础, 进而通过 减少大量人的出行来减少碳排放并保护自然环境。
     在本发明的一个改进方案中, 所述的视频数据包含多个对视频帧的压缩数据, 针 对视频帧的压缩数据可以被分成匹配于带宽的多组数据包, 所述数据包组相隔一定时间被 发送, 在针对上一视频帧的压缩数据未发送完时针对新采集的视频帧的压缩数据不被发送 给异地计算机。由于互联网的带宽相对于局域网的带宽更少, 利用该改进方案可以在互联 网带宽不够的情况仍传输清晰的视频图像, 这有利于用户根据视频信息发出进一步的触觉 信息。
     在本发明的另一改进方案中, 视频采集装置所采集的视频数据被存放在视频采集 装置上, 所述视频数据的一部分被传送给异地计算机, 用户根据所接收到的视频数据将触 觉数据发送给视频采集装置。 由此, 对于传媒等行业而言, 用户可以根据部分视频数据控制 视频采集装置的运动以记录所期望的内容, 在互联网带宽有限的情况下仍可获得在视频采 集装置上存放的完整视频数据进行后期处理。
     在本发明的又一改进方案中, 视频采集装置向异地计算机发送触觉数据。 由此, 异 地计算机可以根据来自操纵杆的给定运动状态和来自视频采集装置的实际运动状态确定 要发送的触觉数据, 形成闭环网络控制系统。视频采集装置可以通过所配备的传感器来获 取针对实际运动状态的一组采样值。
     在本发明的另一实施形式中, 服务器对于异地计算机与视频采集装置的接入权限 进行管理。 例如, 当异地计算机在服务器上注册地址信息时, 只有在注册时输入正确的用户 名和密码才允许注册。
     在本发明的装置方面, 本发明涉及一种可运动的视频采集装置, 所述视频采集装 置包括用于进行移动的机电单元、 用于采集视频数据的输入单元、 用于处理视频数据和触 觉数据的计算单元以及用于接收与发送视频数据和触觉数据的通信单元, 其中, 所述视频采集装置根据权利要求 1 所述的方法接入互联网并传输视频数据和触觉数据。
     本发明的其他优点可以从下面的具体实施例中得到。 附图说明
     下面参考附图根据实施例更详细地描述本发明。在所述附图中 : 图 1 示出了包含本发明装置的化身网络的系统结构图 ; 图 2 示出了根据本发明方法的序列图。具体实施方式
     图 1 示出了包含本发明装置的化身网络的系统结构图。化身网络包括多个视频采 集装置 3( 出于简化目的在图中仅示出一个 )、 多个异地计算机 2( 处于简化目的在图中仅 示出一个 )、 位于互联网上具有公网 IP 地址的服务器 1、 和通信网络 4。所述通信网络 4 可 以是互联网和有线局域网、 无线局域网的组合。视频采集装置 3 位于内容提供现场内, 异地 计算机处于异地的用户面前。视频采集装置 3 与服务器 1 可通过包含无线局域网和互联网 Internet 的通信网络 4 相连接。异地计算机 2 与服务器 1 可通过包含有线局域网和互联网 Internet 的通信网络 4 相连接。借助于服务器 1, 按照稍后的围绕图 2 描述的流程, 异地计 算机 2 与视频采集装置 3 可通过通信网络 4 相连接, 以传输视频数据和触觉数据。 异地计算机 2 可具有局域网的私网 IP 地址, 通过具有公网 IP 地址的路由器联入 互联网。异地计算机 2 处于用户的面前, 配属有操纵杆 21(Joystick)。用户观看异地计算 机 2 屏幕上的现场视频信息, 结合自身意愿通过操纵杆 21 给出触觉信息, 所述的触觉信息 将影响视频采集装置 3 的速度与位置, 通过视频采集装置 3 所采集的视频信息随着视频采 集装置的运动而改变, 因而从现场内容角度看异地的用户与现场形成动态交互, 而从用户 角度看视频采集装置 3 可被视为用户的化身。
     视频采集装置 3 作为用户的化身, 不是必须具有公网 IP 地址。视频采集装置 3 可 具有无线局域网的私网 IP 地址, 通过具有无线网 关联入互联网。视频采集装置 3 包括视 频输入单元 31、 用于处理视频数据和触觉数据的计算单元 32、 用于根据触觉数据进行移动 的机电单元 33、 和用于传输视频数据和触觉数据的通信单元 ( 未示出 )。
     所述机电单元 33 可视为化身的 “脚” , 机电单元 33 包含车轮、 传动机构、 用于驱动 车轮的直流电动机和步进电机、 用于控制电机的电力电子器件和作为动力源的蓄电池。电 力电子器件例如可以从计算单元接收 PWM 信号, 根据 PWM 信号的占空比来确定直流电动机 的转速, 进而控制车轮的速率, 所述 PWM 信号根据触觉数据加以生成。
     所述视频输入单元 31 可视为化身的 “眼” , 视频输入单元包含 CCD 摄像头或 CMOS 摄像头、 视频采集卡、 以及云台。视频采集卡例如可以通过 PCI 总线与计算单元相连接。计 算单元可以给视频采集卡发送与视频采集相关的命令。视频输入单元 31 可以配备多个摄 像头, 以便采集多个角度的视频信息或者达到立体的效果。
     视频采集装置的计算单元 32 和通信单元处理和传输与化身的 “脚” 或 “眼” 相关 的视频数据和触觉数据。它们可以利用工控机和无线网卡来实现。来自视频输入单元的视 频帧信息例如被压缩成多个小于 1KB 的数据包并被发送给异地计算机, 从异地计算机接收 的包含触觉数据的数据包被转换成 PWM 信号并被输入到视频采集装置的机电单元。
     图 2 示出了根据本发明方法的序列图, 所述序列图描述了本发明方法的流程, 整 个流程涉及图 1 中的位于本地的视频采集装置 3、 异地计算机 2 和位于公网上的服务器 1。
     视频采集装置 3 上电后, 应维持至少两条在视频采集装置 3 与距它最近的具有公 网 IP 地址的路由器之间的 UDP 通道, 第一 UDP 通道被用于从视频采集装置 3 向异地计算机 2 传输视频数据, 而第二 UDP 通道被用于从异地计算机 2 向视频采集装置 3 传输触觉数据, 另外的 UDP 通道可以被用于从视频采集装置 3 向异地计算机 2 传输触觉数据, 也可以被用 于传输听觉数据。
     为此, 在步骤 100 处, 视频采集装置通过发送包含注册信令和化身信息 ( 例如视频 采集装置的昵称或者 ID 号 ) 的数据包而在服务器上注册装置视频端口号, 并在没有收到来 自异地计算机的请求信令的情况下定期重复注册。每次注册的间隔小于或等于 3 分钟, 以 便维持在视频采集装置 3 与距它最近的具有公网 IP 地址的路由器之间的第一 UDP 通道, 并 且服务器记录针对第一 UDP 通道的所述路由器的 IP 地址和视频端口号。
     在步骤 200 处, 视频采集装置通过发送包含注册信令和化身信息的数据包而在服 务器上注册装置触觉端口号, 并在没有收到来自异地计算机的请求信令的情况下定期重复 注册。每次注册的间隔小于或等于 3 分钟, 以便维持在视频采集装置 3 与距它最近的具有 公网 IP 地址的路由器之间的第二 UDP 通道, 并且服务器记录针对第二 UDP 通道的所述路由 器的 IP 地址和视频端口号。 上述的步骤 100 与步骤 200 的次序可以相互调换。服务器在收到包含不同类型注 册信令的数据包后分别回应用于确认的数据包给视频采集装置。在注册后, 服务器将对应 于所述化身信息的视频采集装置视为在线。
     用户在异地计算机上输入连接化身的命令, 所述命令带有化身信息和用户名 ( 必 要时带有密码, 而用户名也可从配置文件读取 ) 等参数。同样地, 应建立至少两条在异地计 算机 2 与距它最近的具有公网 IP 地址的路由器之间的 UDP 通道, 异地计算机的第一 UDP 通 道被用于从视频采集装置 3 向异地计算机 2 传输视频数据, 而异地计算机的第二 UDP 通道 被用于从异地计算机 2 向视频采集装置 3 传输触觉数据, 异地计算机的其他 UDP 通道可以 被用于从视频采集装置 3 向异地计算机 2 传输触觉数据, 也可以被用于传输听觉数据。
     在步骤 300 处, 异地计算机通过发送包含注册信令和用户名的数据包而在服务器 上注册用户视频端口号, 服务器记录针对异地计算机第一 UDP 通道的所述路由器的 IP 地址 和视频端口号。
     在步骤 400 处, 异地计算机通过发送包含注册信令和用户名的数 据包而在服务 器上注册用户触觉端口号, 服务器记录针对异地计算机第二 UDP 通道的所述路由器的 IP 地 址和触觉端口号。
     上述的步骤 300 与步骤 400 的次序可以相互调换。服务器在收到来自异地计算机 的包含不同类型注册信令的数据包后分别回应用于确认的数据包给异地计算机。在注册 后, 服务器将对应于所述用户名的位于异地计算机前的用户视为在线。
     在异地计算机 2 在服务器 1 上注册了视频端口号和触觉端口号之后, 在步骤 500 处, 根据用户输入的视频采集装置信息 ( 也即化身信息 ), 异地计算机 2 将包含视频采集装 置信息的请求信令发送给服务器 1。
     此时, 服务器中记录了对应于多个在线视频采集装置 3 的视频端口号、 触觉端口
     号和公网 IP 地址。 根据请求信令中的化身昵称或 ID, 服务器找到异地计算机 2 要连接的视 频采集装置的相关记录。必要时, 服务器 1 可以检查对应于所述异地计算机 2 的用户是否 有权限连接所请求的视频采集装置 3, 并且服务器还可检查所请求的视频采集装置 3 是否 正与其他异地计算机相连接。
     如果所请求的视频采集装置不在线或者正与其他异地计算机相连接或者用户权 限不够, 服务器 1 将回传请求失败的信息, 整个连接流程结束。
     如果所请求的视频采集装置在线并且处于空闲而且用户具有连接权限, 那么在步 骤 600 处, 服务器 1 回传用于确认请求的数据包, 在所述数据包中有对应于视频采集装置的 公网 IP 地址和视频端口号、 触觉端口号。
     接着在步骤 700 处, 根据对应于视频采集装置 3 的公网 IP 地址和端口号, 服务器 1 将将用户的请求信令转发给视频采集装置 3, 而且查找出对应于发出请求的异地计算机 2 的公网 IP 地址和视频端口号、 触觉端口号并将其通知视频采集装置 3。
     在相互知道对方的地址信息之后, 在异地计算机 2 与异地计算机之间应建立两个 信道以分别传输视频数据和触觉数据。为此, 异地 计算机 2 利用自身的第一 UDP 通道向对 应于视频采集装置 3 的公网 IP 地址和视频端口号发送测试数据包, 并利用自身的第二 UDP 通道向对应于视频采集装置 3 的公网 IP 地址和触觉端口号发测试数据包。 同理, 视频采集装置 3 利用自身的第一 UDP 通道向对应于异地计算机 2 的 IP 地址 和视频端口号发送测试数据包, 并利用自身的第二 UDP 通道向对应异地计算机 2 的 IP 地址 和触觉端口号发送测试数据包。
     所述测试数据包可能不会到达异地计算机 2 或视频采集装置 3, 但借助所述测试 数据包将异地计算机 2 的第一 UDP 通道、 视频采集装置 3 的第一 UDP 通道和互联网通路连 接成用于传输视频数据的第一信道, 并将异地计算机 2 的第二 UDP 通道、 视频采集装置 3 的 第二 UDP 通道和互联网通路连接成用于传输触觉数据的第二信道。建立信道的更多细节可 参考熟知的 P2P 技术。
     此后在步骤 800 处, 视频采集装置 3 利用第一信道确认已接收到用户的请求, 并等 待来自异地计算机的再次确认。一旦收到再次确认, 视频采集装置 3 开始利用第一信道向 异地计算机传输视频数据, 并在第二信道上等待来自异地计算机的触觉数据。
     异地计算机通过第一信道接着到确认信息后在步骤 900 处通过第一信道向视频 采集装置 3 发出用于再次确认的数据包, 并在步骤 1000 处, 向服务器发送用于确认建立连 接的数据包。此后, 异地计算机在第一信道上等待来自视频采集装置 3 的视频数据, 并且利 用第二信道向视频采集装置 3 发送触觉数据。所述触觉数据是一组对运动状态的采样值, 例如可以是对操纵杆倾斜角度、 也即给定运动速度的一组采样值。
     异地计算机 2 将从第一信道所接收的视频数据进行处理后呈现给用户, 用户根据 视频信息来确认化身 ( 也即视频采集装置 ) 下一步的运动状态, 并通过操纵杆产生触觉信 息, 所述触觉信息通过第二信道被传输给视频采集装置 3, 视频采集装置 3 对所接收的触觉 信 息进行处理, 然后按照用户的意愿作为用户的化身 “行走” , 并将化身所 “看到” 的视频信 息通过第一信道传送给用户。
     当用户不再想与自己的化身继续连接时, 用户给异地计算机 2 输入断开连接命 令。收到该命令后, 异地计算机 2 停止在第一信道上接收视频数据并停止在第二信道上发
     送触觉数据。在步骤 1100 处, 异地计算机 2 向服务器 1 发送包含断开连接信令的数据包。 服务器 1 在接收该数据包后将视频采集装置 3 的标识设置为空闲。必要时, 服务器 1 计算 出用户与化身之间连接的持续时间, 以供计费等后续处理。
     此外, 异地计算机 2 在步骤 1200 处向视频采集装置 3 发送包含断开连接信令的数 据包, 视频采集装置 3 在接收到该数据包后停止在第一信道上发送视频数据并停止在第二 信道上接收触觉数据, 并定期在服务器上注册视频端口号和触觉端口号, 服务器将该视频 采集装置 3 视为在线。
     当视频采集装置 3 在线并空闲时, 其他用户可以借助可联入互联网的异地计算机 将该视频采集装置 3 变成自己的化身。
     应当理解, 上述实施例不是旨在限制本发明, 而是旨在说明本发明。 在不脱离本发 明精神的范围内, 本领域的技术人员可以进行多种修改与变更。在附带的权利要求中限定 了本发明的保护范围。
     附图标记列表
     1 服务器
     2 异地计算机
     21 操纵杆
     3 视频采集装置
     31 视频输入单元
     32 计算单元
     33 机电单元
     4 通信网络
     100 视频采集装置在服务器上注册视频地址信息
     200 视频采集装置在服务器上注册触觉地址信息
     300 异地计算机在服务器上注册视频端地址信息
     400 异地计算机在服务器上注册触觉端地址信息
     500 异地计算机发出请求信令
     600 服务器回应请求信令
     700 服务器转发请求信令
     800 视频采集装置向异地计算机确认请求信令
     900 异地计算机向视频采集装置再次确认
     1100 异地计算机向服务器发出断开连接信令
     1200 异地计算机向视频采集装置发出断开连接信令

用于传输视频数据和触觉数据的方法以及视频采集装置.pdf_第1页
第1页 / 共12页
用于传输视频数据和触觉数据的方法以及视频采集装置.pdf_第2页
第2页 / 共12页
用于传输视频数据和触觉数据的方法以及视频采集装置.pdf_第3页
第3页 / 共12页
点击查看更多>>
资源描述

《用于传输视频数据和触觉数据的方法以及视频采集装置.pdf》由会员分享,可在线阅读,更多相关《用于传输视频数据和触觉数据的方法以及视频采集装置.pdf(12页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102480612 A (43)申请公布日 2012.05.30 C N 1 0 2 4 8 0 6 1 2 A *CN102480612A* (21)申请号 201010567050.X (22)申请日 2010.11.21 H04N 7/14(2006.01) H04N 7/18(2006.01) H04N 7/26(2006.01) H04L 29/06(2006.01) H04W 88/18(2009.01) (71)申请人余浪 地址 100029 北京市朝阳区祁家豁子8号健 翔大厦1227室 (72)发明人余浪 (54) 发明名称 用于传输视频数据和触觉数据。

2、的方法以及视 频采集装置 (57) 摘要 本发明涉及一种在可运动的视频采集装置与 异地计算机之间经由通信网络传输视频数据和触 觉数据的方法,并且还涉及一种视频采集装置,其 中在所述通信网络中存在可直接通信的服务器, 所述视频数据可被呈现在异地计算机屏幕上供用 户观看,所述触觉数据可被用于控制作为用户化 身的视频采集装置的运动状态。本发明方法借助 P2P技术利用服务器在可联入互联网的计算机与 可联入互联网的视频采集装置之间建立用于传输 视频数据的第一信道和用于传输触觉数据的第二 信道。本发明使得能够形成低成本的、长距离的、 多用户对多化身的化身网络,从而减少大量人的 出行以有助于低碳环保。 (5。

3、1)Int.Cl. 权利要求书2页 说明书7页 附图2页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 7 页 附图 2 页 1/2页 2 1.一种在可运动的视频采集装置(3)与异地计算机(2)之间经由通信网络(4)传输视 频数据和触觉数据的方法,其中,在所述通信网络(4)中存在可直接通信的服务器(1),所 述视频数据可被呈现在异地计算机(2)屏幕上供用户观看,所述触觉数据可被用于控制视 频采集装置(3)的运动状态, 其特征在于, 视频采集装置(3)定期在服务器(1)上分别注册视频地址信息和触觉地址信息; 用户在异地计算机(2)上输入视频采集装置标识,。

4、异地计算机(2)在服务器(1)上分 别注册视频地址信息和触觉地址信息,异地计算机(2)将包含视频采集装置标识的请求信 令发送给服务器(1); 所述服务器(1)根据所述视频采集装置标识查询到对应于视频采集装置(3)的视频地 址信息和触觉地址信息,并将所述视频地址信息和触觉地址信息通知异地计算机(2); 所述服务器(1)根据所述视频采集装置标识将所述请求信令与对应于异地计算机(2) 的视频地址信息和触觉地址信息通知视频采集装置(3); 根据从服务器(1)接收的视频地址信息和触觉地址信息,异地计算机(2)和视频采集 装置(3)一起建立用于直接传输视频数据的第一信道和用于直接传输触觉数据的第二信 道;。

5、 视频采集装置(3)利用第一信道直接向异地计算机(2)发送视频数据,异地计算机(2) 利用第二信道直接向视频采集终端(3)发送触觉数据,所述触觉数据是一组对状态的采样 值。 2.如权利要求1所述的方法,其特征在于, 所述的地址信息包含IP地址和端口号。 3.如权利要求1所述的方法,其特征在于, 所述视频数据包含多个针对视频帧的压缩数据,针对视频帧的压缩数据可以被分成匹 配于通信网络带宽的多组数据包,所述数据包组相隔一定时间被发送,在针对上一视频帧 的压缩数据未发送完时针对新采集的视频帧的压缩数据不被发送给异地计算机(2)。 4.如权利要求1所述的方法,其特征在于, 由视频采集装置(3)所采集的。

6、视频数据被存放在视频采集装置(3)上,所述视频数据 的一部分被传送给异地计算机(2),用户根据所接收到的视频数据将触觉数据发送给视频 采集装置(3)。 5.如权利要求1所述的方法,其特征在于, 所述的运动状态包含运动速率和运动方向。 6.如权利要求1所述的方法,其特征在于, 所述视频采集装置(3)将由传感器所获取的针对实际运动状态的触觉数据发送给异 地计算机(2)。 7.如权利要求1所述的方法,其特征在于, 所述视频采集装置标识是视频采集装置的字符串昵称。 8.如权利要求1所述的方法,其特征在于, 所述视频采集装置标识是视频采集装置的数字编号。 9.如权利要求1所述的方法,其特征在于, 权 利。

7、 要 求 书CN 102480612 A 2/2页 3 所述服务器(1)对异地计算机(2)与视频采集装置(3)的接入权限进行管理。 10.一种可运动的视频采集装置(3),所述视频采集装置包括用于进行移动的机电单 元、用于采集视频数据的输入单元、用于处理视频数据和触觉数据的计算单元以及用于接 收与发送视频数据和触觉数据的通信单元,其中,所述视频采集装置根据如权利要求1所 述的方法接入通信网络(4)并传输视频数据和触觉数据。 权 利 要 求 书CN 102480612 A 1/7页 4 用于传输视频数据和触觉数据的方法以及视频采集装置 技术领域 0001 本发明涉及一种用于传输视频数据与触觉数据的。

8、方法,并涉及一种视频采集装 置。 背景技术 0002 随着动力技术与信息技术的融合,集自动控制、计算机、通信技术之大成的设备能 够作为人的物理化身(physical avatar)延伸人的视觉(visual)与触觉(haptic),从而实 现用户对远方环境的探寻。 0003 利用化身延伸人的视觉与触觉的尝试首先在目前非常普遍的无线局域网上进行。 无线局域网的带宽较高,可以流畅地传输视频数据与触觉数据。带有摄像头的视频采集装 置可提供视频数据,个人电脑附带的操纵杆(Joystick)可提供触觉数据,所述触觉数据可 以被用于控制可运动的视频采集装置的运动速度。一些大学与科研院所进行了通过无线局 域。

9、网传输视频数据与触觉数据的研究。在局域网内采用client/server架构利用TCP协议 或UDP协议进行视频数据与触觉数据的传输。中国山东电力研究院研制出变电站巡检机器 人,视频采集装置位于机器人的移动本体上,该机器人的移动本体通过无线局域网与用于 人机交互的计算机相连接,所述计算机接收操作人员的各种指令,并将这些指令下达到机 器人移动体,另一方面所述计算机分析来自机器人的图像,若分析不正常则向上一级传输 数据并发出警报。无线局域网的通信距离较短,限制了通过局域网的用于传输视频数据与 触觉数据的技术的应用范围。 0004 随着3G电信网络的发展,通过3G电信网络长距离传输视频数据和触觉数据。

10、成为 可能,各国的电信运营商已经开始一些尝试。专利公开号为CN200910176998的专利申请公 布了一种传输视频数据 与触觉数据的方法和一种视频采集装置。用户通过手机屏幕看到 视频采集装置所采集到的视频,而用户可以通过手机键盘输入的前进、后退、左转、右转等 触觉数据,这些数据通过3G通信网络被传输到视频采集装置以控制其运动。在该系统中, 通过3G网络传输数据的成本较高,并且为了在手机与视频采集装置之间连接数据通道需 要复杂的电信级信令(signaling),而且手机键盘输入的触觉信号较简单从而导致对视频 采集装置的控制效果不够好。 0005 利用专用通讯线路可以将视频数据与触觉数据传输到更。

11、远的地方。月球车就是一 例。控制员坐在地面控制中心的屏幕前面,月球车传回月球表面图像显示在屏幕上,地面操 作员根据月表图像发出控制命令,包含控制命令的触觉数据被传送给月球车,引导月球车 避开障碍前行。由于采用专用通信线路,成本非常高,而且地面计算机与月球车基本上单对 单通信,未形成大范围的通信网络。 0006 在互联网上P2P(Peer to Peer)技术正在得到越来越多的应用。借助该技术,没有 Internet IP地址(也称为公网IP地址)的两台计算机可以直接传输多媒体文件。所述的 计算机借助具有Internet IP地址的路由器联入互联网,所述计算机的IP地址也被称为私 网地址。两台计。

12、算机都可以与互联网上的服务器进行通信,所述路由器进行网络地址转换 说 明 书CN 102480612 A 2/7页 5 (NAT:Network Address Translator),从该计算机发出的UDP数据包的源IP地址和端口号 portA被替换成路由器的IP地址和路由器为该计算机分配的端口号portB,并且所述路由 器将接收到的目的端口号为portB的数据包发送给所述计算机。在通过服务器获知对方的 路由器的公网IP地址和通信端口号portB之后,两台计算机就可以直接传输文件数据了。 P2P是熟知的技术,这里不详细描述。所述的两台计算机之间的通信距离可以是较长的,它 们可以位于一个城市不。

13、同的楼宇内,可以位于不同的城市,也可以位于不同的国家。同时, 大多数可访问互联网的计算机都可以利用P2P技术相互传输多媒体文件,形成多对多的网 络。 0007 相比于无线局域网,现有的互联网具有长距离的优点。 0008 相比于3G电信网络,现有的互联网具有低成本的优点。 0009 相比于专用线路,现有的互联网具有可接入位置多的特点。 发明内容 0010 有鉴于此,本发明的任务是提供一种用于传输视频数据和触觉数据的方法和一种 视频采集装置,以形成低成本的、长距离的、多对多(多用户对多化身)的化身网络,从而减 少大量人出行以有助于低碳环保。 0011 该任务通过具有权利要求1所述特征的方法和具有权。

14、利要求10所述特征的装置 来解决。 0012 在本发明的方法方面,本发明的思想是,在本地的可运动的视频采集装置与异地 计算机之间经由通信网络传输视频数据和触觉数据,在所述通信网络中存在可直接通信的 服务器,所述视频数据可被呈现在异地计算机屏幕上供用户观看,所述触觉数据可被用于 控制视频采集装置的运动状态。本发明方法包括以下步骤:视频采集装置定期在服务器上 分别注册视频地址信息和触觉地址信息;用户在异地计算机上输入视频采集装置标识,异 地计算机在服务器上分别注册视频地址信息和触觉地址信息,异地计算机将包含视频采集 装置标识的请求信令发送给服务器;所述服务器根据所述视频采集装置标识查询到对应于 视。

15、频采集装置的视频地址信息和触觉地址信息,并将视频地址信息和触觉地址信息通知异 地计算机;所述服务器根据所述视频采集装置标识将所述请求信令与对应于异地计算机的 视频地址信息和触觉地址信息通知视频采集装置;根据从服务器接收的视频地址信息和触 觉地址信息,异地计算机和视频采集装置一起建立用于直接传输视频数据的第一信道和用 于直接传输触觉数据的第二信道;视频采集装置利用第一信道直接向异地计算机发送视频 数据,异地计算机利用第二信道直接向视频采集终端发送触觉数据,所述触觉数据是一组 对状态的采样值。 0013 其中,视频采集装置可被视为坐在异地计算机前的用户的化身。 0014 其中地址信息可以包含IP地。

16、址和端口号,通信网络可以是互联网和无线局域网 的组合(例如,视频采集装置可以先通过无线局域网与无线路由器通信,而无线路由器直 接位于互联网上),异地计算机和视频采集装置可以都不具有Internet IP地址、也即公网 IP地址,服务器上记录的地址信息是离视频采集装置或异地计算机最近的互联网上的路由 器的公网IP地址和由该路由器分配给异地计算机或视频采集装置的端口号。 0015 由上可以看出,本发明方法将P2P技术用于用户与化身之间的视频和触觉数据的 说 明 书CN 102480612 A 3/7页 6 传输,使得可联入互联网的计算机经过长距离向可联入互联网的视频采集装置传输较丰富 的触觉信息,。

17、而可联入互联网的视频采集装置经过长距离向可联入互联网的计算机传输视 频信息。 0016 本发明方法不同于局域网内借助化身延伸人的视觉和触觉的方法,本发明方法可 以在较远的距离上借助化身延伸人的视频和触觉。无线局域网的传输距离只有几百米,而 互联网的传输距离可以是几千公里,用户和化身终端可以位于一个城市不同的楼宇内,可 以位于不同的城市,也可以位于不同的国家。 0017 本发明方法不同于目前3G电信网内借助化身延伸人的视觉和触觉的方法,所传 输的触觉信息更加丰富,不再局限与手机键盘输入的诸如前进、后退等简单的触觉信息,利 用操纵杆等计算机外围设备可以输入一组对指定运动状态的采样值,诸如给定速度曲。

18、线; 同时通信成本更低,用于建立用户与化身之间连接的信令更加简单。 0018 本发明方法不同于专用通信线路借助化身延伸人的视觉和触觉的方法,用户的位 置和化身的位置所受到的限制更少,只要用户的计算机和视频采集装置可联入互联网并通 信网络带宽较高,就可以建立用户与化身之间的联系。而且多个用户和多个化身可以同时 联入互联网;同时利用现有互联网和无线局域网的组合,成本更低。 0019 简而言之,相比于现有技术,利用本发明方法形成的化身网络功能更强、成本更 低。因此本发明为融合动力技术和信息技术的化身 网络的大规模商用打下基础,进而通过 减少大量人的出行来减少碳排放并保护自然环境。 0020 在本发明。

19、的一个改进方案中,所述的视频数据包含多个对视频帧的压缩数据,针 对视频帧的压缩数据可以被分成匹配于带宽的多组数据包,所述数据包组相隔一定时间被 发送,在针对上一视频帧的压缩数据未发送完时针对新采集的视频帧的压缩数据不被发送 给异地计算机。由于互联网的带宽相对于局域网的带宽更少,利用该改进方案可以在互联 网带宽不够的情况仍传输清晰的视频图像,这有利于用户根据视频信息发出进一步的触觉 信息。 0021 在本发明的另一改进方案中,视频采集装置所采集的视频数据被存放在视频采集 装置上,所述视频数据的一部分被传送给异地计算机,用户根据所接收到的视频数据将触 觉数据发送给视频采集装置。由此,对于传媒等行业。

20、而言,用户可以根据部分视频数据控制 视频采集装置的运动以记录所期望的内容,在互联网带宽有限的情况下仍可获得在视频采 集装置上存放的完整视频数据进行后期处理。 0022 在本发明的又一改进方案中,视频采集装置向异地计算机发送触觉数据。由此,异 地计算机可以根据来自操纵杆的给定运动状态和来自视频采集装置的实际运动状态确定 要发送的触觉数据,形成闭环网络控制系统。视频采集装置可以通过所配备的传感器来获 取针对实际运动状态的一组采样值。 0023 在本发明的另一实施形式中,服务器对于异地计算机与视频采集装置的接入权限 进行管理。例如,当异地计算机在服务器上注册地址信息时,只有在注册时输入正确的用户 名。

21、和密码才允许注册。 0024 在本发明的装置方面,本发明涉及一种可运动的视频采集装置,所述视频采集装 置包括用于进行移动的机电单元、用于采集视频数据的输入单元、用于处理视频数据和触 觉数据的计算单元以及用于接收与发送视频数据和触觉数据的通信单元,其中,所述视频 说 明 书CN 102480612 A 4/7页 7 采集装置根据权利要求1所述的方法接入互联网并传输视频数据和触觉数据。 0025 本发明的其他优点可以从下面的具体实施例中得到。 附图说明 0026 下面参考附图根据实施例更详细地描述本发明。在所述附图中: 0027 图1示出了包含本发明装置的化身网络的系统结构图; 0028 图2示出。

22、了根据本发明方法的序列图。 具体实施方式 0029 图1示出了包含本发明装置的化身网络的系统结构图。化身网络包括多个视频采 集装置3(出于简化目的在图中仅示出一个)、多个异地计算机2(处于简化目的在图中仅 示出一个)、位于互联网上具有公网IP地址的服务器1、和通信网络4。所述通信网络4可 以是互联网和有线局域网、无线局域网的组合。视频采集装置3位于内容提供现场内,异地 计算机处于异地的用户面前。视频采集装置3与服务器1可通过包含无线局域网和互联网 Internet的通信网络4相连接。异地计算机2与服务器1可通过包含有线局域网和互联网 Internet的通信网络4相连接。借助于服务器1,按照稍后。

23、的围绕图2描述的流程,异地计 算机2与视频采集装置3可通过通信网络4相连接,以传输视频数据和触觉数据。 0030 异地计算机2可具有局域网的私网IP地址,通过具有公网IP地址的路由器联入 互联网。异地计算机2处于用户的面前,配属有操纵杆21(Joystick)。用户观看异地计算 机2屏幕上的现场视频信息,结合自身意愿通过操纵杆21给出触觉信息,所述的触觉信息 将影响视频采集装置3的速度与位置,通过视频采集装置3所采集的视频信息随着视频采 集装置的运动而改变,因而从现场内容角度看异地的用户与现场形成动态交互,而从用户 角度看视频采集装置3可被视为用户的化身。 0031 视频采集装置3作为用户的化。

24、身,不是必须具有公网IP地址。视频采集装置3可 具有无线局域网的私网IP地址,通过具有无线网 关联入互联网。视频采集装置3包括视 频输入单元31、用于处理视频数据和触觉数据的计算单元32、用于根据触觉数据进行移动 的机电单元33、和用于传输视频数据和触觉数据的通信单元(未示出)。 0032 所述机电单元33可视为化身的“脚”,机电单元33包含车轮、传动机构、用于驱动 车轮的直流电动机和步进电机、用于控制电机的电力电子器件和作为动力源的蓄电池。电 力电子器件例如可以从计算单元接收PWM信号,根据PWM信号的占空比来确定直流电动机 的转速,进而控制车轮的速率,所述PWM信号根据触觉数据加以生成。 。

25、0033 所述视频输入单元31可视为化身的“眼”,视频输入单元包含CCD摄像头或CMOS 摄像头、视频采集卡、以及云台。视频采集卡例如可以通过PCI总线与计算单元相连接。计 算单元可以给视频采集卡发送与视频采集相关的命令。视频输入单元31可以配备多个摄 像头,以便采集多个角度的视频信息或者达到立体的效果。 0034 视频采集装置的计算单元32和通信单元处理和传输与化身的“脚”或“眼”相关 的视频数据和触觉数据。它们可以利用工控机和无线网卡来实现。来自视频输入单元的视 频帧信息例如被压缩成多个小于1KB的数据包并被发送给异地计算机,从异地计算机接收 的包含触觉数据的数据包被转换成PWM信号并被输。

26、入到视频采集装置的机电单元。 说 明 书CN 102480612 A 5/7页 8 0035 图2示出了根据本发明方法的序列图,所述序列图描述了本发明方法的流程,整 个流程涉及图1中的位于本地的视频采集装置3、异地计算机2和位于公网上的服务器1。 0036 视频采集装置3上电后,应维持至少两条在视频采集装置3与距它最近的具有公 网IP地址的路由器之间的UDP通道,第一UDP通道被用于从视频采集装置3向异地计算机 2传输视频数据,而第二UDP通道被用于从异地计算机2向视频采集装置3传输触觉数据, 另外的UDP通道可以被用于从视频采集装置3向异地计算机2传输触觉数据,也可以被用 于传输听觉数据。 。

27、0037 为此,在步骤100处,视频采集装置通过发送包含注册信令和化身信息(例如视频 采集装置的昵称或者ID号)的数据包而在服务器上注册装置视频端口号,并在没有收到来 自异地计算机的请求信令的情况下定期重复注册。每次注册的间隔小于或等于3分钟,以 便维持在视频采集装置3与距它最近的具有公网IP地址的路由器之间的第一UDP通道,并 且服务器记录针对第一UDP通道的所述路由器的IP地址和视频端口号。 0038 在步骤200处,视频采集装置通过发送包含注册信令和化身信息的数据包而在服 务器上注册装置触觉端口号,并在没有收到来自异地计算机的请求信令的情况下定期重复 注册。每次注册的间隔小于或等于3分钟。

28、,以便维持在视频采集装置3与距它最近的具有 公网IP地址的路由器之间的第二UDP通道,并且服务器记录针对第二UDP通道的所述路由 器的IP地址和视频端口号。 0039 上述的步骤100与步骤200的次序可以相互调换。服务器在收到包含不同类型注 册信令的数据包后分别回应用于确认的数据包给视频采集装置。在注册后,服务器将对应 于所述化身信息的视频采集装置视为在线。 0040 用户在异地计算机上输入连接化身的命令,所述命令带有化身信息和用户名(必 要时带有密码,而用户名也可从配置文件读取)等参数。同样地,应建立至少两条在异地计 算机2与距它最近的具有公网IP地址的路由器之间的UDP通道,异地计算机的。

29、第一UDP通 道被用于从视频采集装置3向异地计算机2传输视频数据,而异地计算机的第二UDP通道 被用于从异地计算机2向视频采集装置3传输触觉数据,异地计算机的其他UDP通道可以 被用于从视频采集装置3向异地计算机2传输触觉数据,也可以被用于传输听觉数据。 0041 在步骤300处,异地计算机通过发送包含注册信令和用户名的数据包而在服务器 上注册用户视频端口号,服务器记录针对异地计算机第一UDP通道的所述路由器的IP地址 和视频端口号。 0042 在步骤400处,异地计算机通过发送包含注册信令和用户名的数 据包而在服务 器上注册用户触觉端口号,服务器记录针对异地计算机第二UDP通道的所述路由器的。

30、IP地 址和触觉端口号。 0043 上述的步骤300与步骤400的次序可以相互调换。服务器在收到来自异地计算机 的包含不同类型注册信令的数据包后分别回应用于确认的数据包给异地计算机。在注册 后,服务器将对应于所述用户名的位于异地计算机前的用户视为在线。 0044 在异地计算机2在服务器1上注册了视频端口号和触觉端口号之后,在步骤500 处,根据用户输入的视频采集装置信息(也即化身信息),异地计算机2将包含视频采集装 置信息的请求信令发送给服务器1。 0045 此时,服务器中记录了对应于多个在线视频采集装置3的视频端口号、触觉端口 说 明 书CN 102480612 A 6/7页 9 号和公网I。

31、P地址。根据请求信令中的化身昵称或ID,服务器找到异地计算机2要连接的视 频采集装置的相关记录。必要时,服务器1可以检查对应于所述异地计算机2的用户是否 有权限连接所请求的视频采集装置3,并且服务器还可检查所请求的视频采集装置3是否 正与其他异地计算机相连接。 0046 如果所请求的视频采集装置不在线或者正与其他异地计算机相连接或者用户权 限不够,服务器1将回传请求失败的信息,整个连接流程结束。 0047 如果所请求的视频采集装置在线并且处于空闲而且用户具有连接权限,那么在步 骤600处,服务器1回传用于确认请求的数据包,在所述数据包中有对应于视频采集装置的 公网IP地址和视频端口号、触觉端口。

32、号。 0048 接着在步骤700处,根据对应于视频采集装置3的公网IP地址和端口号,服务器 1将将用户的请求信令转发给视频采集装置3,而且查找出对应于发出请求的异地计算机2 的公网IP地址和视频端口号、触觉端口号并将其通知视频采集装置3。 0049 在相互知道对方的地址信息之后,在异地计算机2与异地计算机之间应建立两个 信道以分别传输视频数据和触觉数据。为此,异地 计算机2利用自身的第一UDP通道向对 应于视频采集装置3的公网IP地址和视频端口号发送测试数据包,并利用自身的第二UDP 通道向对应于视频采集装置3的公网IP地址和触觉端口号发测试数据包。 0050 同理,视频采集装置3利用自身的第。

33、一UDP通道向对应于异地计算机2的IP地址 和视频端口号发送测试数据包,并利用自身的第二UDP通道向对应异地计算机2的IP地址 和触觉端口号发送测试数据包。 0051 所述测试数据包可能不会到达异地计算机2或视频采集装置3,但借助所述测试 数据包将异地计算机2的第一UDP通道、视频采集装置3的第一UDP通道和互联网通路连 接成用于传输视频数据的第一信道,并将异地计算机2的第二UDP通道、视频采集装置3的 第二UDP通道和互联网通路连接成用于传输触觉数据的第二信道。建立信道的更多细节可 参考熟知的P2P技术。 0052 此后在步骤800处,视频采集装置3利用第一信道确认已接收到用户的请求,并等 。

34、待来自异地计算机的再次确认。一旦收到再次确认,视频采集装置3开始利用第一信道向 异地计算机传输视频数据,并在第二信道上等待来自异地计算机的触觉数据。 0053 异地计算机通过第一信道接着到确认信息后在步骤900处通过第一信道向视频 采集装置3发出用于再次确认的数据包,并在步骤1000处,向服务器发送用于确认建立连 接的数据包。此后,异地计算机在第一信道上等待来自视频采集装置3的视频数据,并且利 用第二信道向视频采集装置3发送触觉数据。所述触觉数据是一组对运动状态的采样值, 例如可以是对操纵杆倾斜角度、也即给定运动速度的一组采样值。 0054 异地计算机2将从第一信道所接收的视频数据进行处理后呈。

35、现给用户,用户根据 视频信息来确认化身(也即视频采集装置)下一步的运动状态,并通过操纵杆产生触觉信 息,所述触觉信息通过第二信道被传输给视频采集装置3,视频采集装置3对所接收的触觉 信 息进行处理,然后按照用户的意愿作为用户的化身“行走”,并将化身所“看到”的视频信 息通过第一信道传送给用户。 0055 当用户不再想与自己的化身继续连接时,用户给异地计算机2输入断开连接命 令。收到该命令后,异地计算机2停止在第一信道上接收视频数据并停止在第二信道上发 说 明 书CN 102480612 A 7/7页 10 送触觉数据。在步骤1100处,异地计算机2向服务器1发送包含断开连接信令的数据包。 服务。

36、器1在接收该数据包后将视频采集装置3的标识设置为空闲。必要时,服务器1计算 出用户与化身之间连接的持续时间,以供计费等后续处理。 0056 此外,异地计算机2在步骤1200处向视频采集装置3发送包含断开连接信令的数 据包,视频采集装置3在接收到该数据包后停止在第一信道上发送视频数据并停止在第二 信道上接收触觉数据,并定期在服务器上注册视频端口号和触觉端口号,服务器将该视频 采集装置3视为在线。 0057 当视频采集装置3在线并空闲时,其他用户可以借助可联入互联网的异地计算机 将该视频采集装置3变成自己的化身。 0058 应当理解,上述实施例不是旨在限制本发明,而是旨在说明本发明。在不脱离本发 。

37、明精神的范围内,本领域的技术人员可以进行多种修改与变更。在附带的权利要求中限定 了本发明的保护范围。 0059 附图标记列表 0060 1 服务器 0061 2 异地计算机 0062 21 操纵杆 0063 3 视频采集装置 0064 31 视频输入单元 0065 32 计算单元 0066 33 机电单元 0067 4 通信网络 0068 100 视频采集装置在服务器上注册视频地址信息 0069 200 视频采集装置在服务器上注册触觉地址信息 0070 300 异地计算机在服务器上注册视频端地址信息 0071 400 异地计算机在服务器上注册触觉端地址信息 0072 500 异地计算机发出请求信令 0073 600 服务器回应请求信令 0074 700 服务器转发请求信令 0075 800 视频采集装置向异地计算机确认请求信令 0076 900 异地计算机向视频采集装置再次确认 0077 1100 异地计算机向服务器发出断开连接信令 0078 1200 异地计算机向视频采集装置发出断开连接信令 说 明 书CN 102480612 A 10 1/2页 11 图1 说 明 书 附 图CN 102480612 A 11 2/2页 12 图2 说 明 书 附 图CN 102480612 A 12 。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1