成像装置、接收装置、视频发送系统和视频发送方法.pdf

上传人:a1 文档编号:4308791 上传时间:2018-09-13 格式:PDF 页数:20 大小:795.58KB
返回 下载 相关 举报
摘要
申请专利号:

CN201210018821.9

申请日:

2012.01.20

公开号:

CN102629971A

公开日:

2012.08.08

当前法律状态:

撤回

有效性:

无权

法律详情:

发明专利申请公布后的视为撤回IPC(主分类):H04N 5/232申请公布日:20120808|||实质审查的生效IPC(主分类):H04N 5/232申请日:20120120|||公开

IPC分类号:

H04N5/225; H04N7/26; G03B7/26

主分类号:

H04N5/225

申请人:

索尼公司

发明人:

佐佐木武彦; 礒津政明; 渡边一弘

地址:

日本东京都

优先权:

20110203 JP 2011-022067

专利代理机构:

北京市柳沈律师事务所 11105

代理人:

张丽新

PDF下载: PDF下载
内容摘要

一种成像装置,包括:编码数据生成部分,被配置以生成包括能够不用参考其他图片解码的第一图片和能够参考其他图片解码的一个或多个第二图片的编码数据;发送数据生成部分,被配置以组合编码数据的第一图片和在编码数据之前紧挨着的编码数据的一个或多个第二图片,来生成发送数据;以及无线电通信部分,被配置以按发送数据为单位间歇地发送在视频流中包括的多个发送数据。

权利要求书

1.一种成像装置,包括:编码数据生成部分,被配置以生成包括能够不用参考其他图片解码的第一图片和能够参考其他图片解码的一个或多个第二图片的编码数据;发送数据生成部分,被配置以组合该编码数据的第一图片和在该编码数据之前紧挨着的编码数据的一个或多个第二图片,来生成发送数据;以及无线电通信部分,被配置以按该发送数据为单位间歇地发送在视频流中包括的多个发送数据。2.根据权利要求1的成像装置,其中所述无线电通信部分具有包括活跃模式和省电模式的操作模式,以及所述成像装置还包括通信控制部分,被配置以在发送所述发送数据之后将操作模式切换为省电模式,且在发送下一发送数据之前将操作模式切换为活跃模式。3.根据权利要求2的成像装置,其中,所述无线电通信部分在省电模式下停止载波的检测。4.根据权利要求1的成像装置,还包括电力供给部分,被配置以向至少所述无线电通信部分供应操作电力。5.根据权利要求1的成像装置,其中所述发送数据生成部分生成其中按编码数据的第一图片和在该编码数据之前紧挨着的编码数据的一个或多个第二图片的顺序来排列图片的发送数据。6.根据权利要求1的成像装置,其中所述发送数据生成部分生成其中按编码数据的一个或多个第二图片和在该编码数据之后紧挨着的编码数据的第一图片的顺序来排列图片的发送数据。7.根据权利要求1的成像装置,其中,所述无线电通信部分通过将在各个发送数据中包括的一个或多个第二图片集中地与第一图片一起发送来按发送数据为单位间歇地发送多个发送数据。8.一种接收装置,包括:通信部分,被配置以按发送数据为单位,间歇地接收在视频流中包括的多个发送数据,编码数据包括能够不用参考其他图片解码的第一图片和能够参考其他图片解码的一个或多个第二图片,以及所述发送数据是通过组合编码数据的第一图片和在该编码数据之前紧挨着的编码数据的一个或多个第二图片而生成的;以及分析处理部分,被配置以使至少所述发送数据中包括的第一图片经受分析处理。9.根据权利要求8的接收装置,还包括视频数据生成部分,被配置以组合在所述发送数据中包括的第一图片的解码数据和在所述发送数据之前紧挨着的发送数据中包括的一个或多个第二图片的解码数据,来生成视频数据。10.一种视频发送系统,包括:成像装置,包括:编码数据生成部分,被配置以生成包括能够不用参考其他图片解码的第一图片和能够参考其他图片解码的一个或多个第二图片的编码数据,发送数据生成部分,被配置以组合该编码数据的第一图片和在该编码数据之前紧挨着的编码数据的一个或多个第二图片,来生成发送数据,以及无线电通信部分,被配置以按该发送数据为单位间歇地发送在视频流中包括的多个发送数据;以及接收装置,包括:通信部分,被配置以间歇地接收该多个发送数据,以及分析处理部分,被配置以使至少该发送数据中包括的第一图片经受分析处理。11.一种视频发送方法,包括:生成包括能够不用参考其他图片解码的第一图片和能够参考其他图片解码的一个或多个第二图片的编码数据;组合该编码数据的第一图片和在该编码数据之前紧挨着的编码数据的一个或多个第二图片,来生成发送数据;以及按该发送数据为单位间歇地发送在视频流中包括的多个发送数据。

说明书

成像装置、接收装置、视频发送系统和视频发送方法

技术领域

本公开涉及一种成像装置、接收装置、视频发送系统和视频发送方法。

背景技术

近年来,诸如使用电池驱动的小摄像机的监视系统的视频发送系统投入
实际使用。在视频发送系统中,摄像机通过接入点向诸如服务器接收装置发
送视频数据,且所述服务器接收并处理该视频数据。该服务器对视频数据进
行要求具有实时属性的分析处理、诸如对象检测和移动对象检测。

发明内容

在这种视频发送系统的摄像机中,由于要求稳定地向接收装置发送视频
数据,以便保证分析处理的实时属性,因此为了数据发送恒定地消耗电池。
因此,在实现视频发送系统上需要抑制摄像机的电池消耗。

因此,期望提供一种可以在视频发送期间抑制电池消耗的成像装置、
接收装置、视频发送系统和视频发送方法。

本公开的实施例指的是一种成像装置,包括:编码数据生成部分,被
配置以生成包括能够不用参考其他图片解码的第一图片和能够参考其他图片
解码的一个或多个第二图片的编码数据;发送数据生成部分,被配置以组合
编码数据的第一图片和在该编码数据之前紧挨着的编码数据的一个或多个第
二图片,来生成发送数据;以及无线电通信部分,被配置以按发送数据为单
位间歇地发送在视频流中包括的多个发送数据。

所述无线电部分具有包括活跃模式和省电模式的操作模式。所述成像
装置还可以包括通信控制部分,被配置以在发送所述发送数据之后将操作模
式切换为省电模式,且在发送下一发送数据之前将操作模式切换为所述活跃
模式。

所述无线电通信部分可以在省电模式下停止载波的检测。

所述成像装置还可以包括电力供给部分,被配置以向至少无线电通信
部分供应操作电力。

所述发送数据生成部分可以生成发送数据,其中,按编码数据的第一
图片和在编码数据之前紧挨着的编码数据的一个或多个第二图片的顺序来排
列图片。

所述发送数据生成部分可以生成发送数据,其中,按编码数据的一个
或多个第二图片和在编码数据之后紧挨着的编码数据的第一图片的顺序来排
列图片。

所述无线电通信部分可以通过将在各个发送数据中包括的一个或多个
第二图片集中地与第一图片一起发送来按发送数据为单位间歇地发送多个发
送数据。

本公开的另一实施例指的是一种接收装置,包括:通信部分,被配置
以按发送数据为单位,间歇地接收在视频流中包括的多个发送数据,编码数
据包括能够不用参考其他图片解码的第一图片和能够参考其他图片解码的一
个或多个第二图片,且通过组合编码数据的第一图片和在该编码数据之前紧
挨着的编码数据的一个或多个第二图片来生成所述发送数据;以及分析处理
部分,被配置以使发送数据中包括的至少第一图片经受分析处理。

所述接收装置还可以包括视频数据生成部分,被配置以组合在发送数
据中包括的第一图片的解码数据和在发送数据之前紧挨着的发送数据中包括
的一个或多个第二图片的解码数据,来生成视频数据。

本公开的另一实施例针对视频发送系统,包括成像装置和接收装置。

本公开的另一实施例针对一种视频发送方法,包括:生成包括能够不
用参考其他图片解码的第一图片和能够参考其他图片解码的一个或多个第二
图片的编码数据;组合编码数据的第一图片和在编码数据之前紧挨着的编码
数据的一个或多个第二图片,来生成发送数据;以及按发送数据为单位间歇
地发送在视频流中包括的多个发送数据。

根据本公开的另一实施例针对一种使得计算机执行视频发送方法的计
算机程序。可以使用计算机可读记录介质来提供、或可以经由通信装置等来
提供计算机程序。

根据本公开的实施例,能够提供一种可以在视频发送期间抑制电池消
耗的成像装置、接收装置、视频发送系统和视频发送方法。

附图说明

图1是根据本公开实施例的视频发送系统的图;

图2是根据本公开实施例的摄像机的配置的框图;

图3是根据本公开实施例的服务器的配置的框图;

图4是编码数据和发送数据的配置例子的图;

图5是发送数据的配置例子的图;

图6是说明摄像机的操作的流程图;

图7是说明根据本公开实施例的视频发送系统中视频发送方法的图;

图8是说明服务器的操作的流程图;以及

图9是说明在通用视频发送系统中的视频发送方法的图。

具体实施方式

将参考附图详细描述本公开的实施例。

在该说明书和附图中,用相同附图标记和符号来指示具有基本上相同的
功能配置的组件,且不重复对这些组件的冗余说明。

[1.通用视频发送系统]

首先,将参考图9说明在通用视频发送系统中的视频发送方法。

图9是说明在通用视频发送系统中的视频发送方法的图。如图9所示,
在视频发送系统中,摄像机1通过图中未示出的接入点AP和网络NW向服
务器3发送视频数据。服务器3实时地接收视频数据且使该视频数据经受分
析处理。

摄像机1使用诸如MPEG(运动图像专家组)2或H.264|AVC(ITU-T推
荐MPEG-4部分10:先进视频编码)系统来压缩编码视频数据。视频数据被
压缩编码为能够独立解码的图片(第一图片P1)和不同于该图片的图片(第
二图片P2)。图片意味着图像。一个图片等同于一个图像。通过使用运动补
偿的帧间编码(预测编码)结合使用正交变换等的帧内编码来进行压缩编码。

能够独立解码的第一图片P1是由帧内编码编码的IDR(Instantaneous 
Decoding Refresh,即时解码刷新)图片、I(内部解码)图片等。可以不参考
其他图片来解码第一图片P1。可能不能被独立解码的第二图片P2是由帧间
编码编码的P(预测编码)图片、B(双向预测编码)图片等。可能不能不参
考其他图片来解码第二图片P2。

摄像机1压缩编码视频数据并发送编码数据ED(编码数据的通常术语)。
在图9中,顺序地发送编码数据ED1、ED2、ED3、ED4等。编码数据ED
包括第一图片P1和不同于第一图片P1的一个或多个第二图片P2。在编码数
据ED中,在第一图片P1之后安排该一个或多个第二图片P2。服务器3接收
编码数据ED,优选地提取第一图片P1,解码提取的图片,并实时对提取的
图片进行分析处理。

因此,要求摄像机1周期性地向服务器3发送第一图片P1,以便保证分
析处理的实时属性。每次生成第一图片P1或第二图片P2时,连续发送生成
的图片。因此,在包括多个编码数据ED的视频流的发送时间段中为了数据
发送恒定地消耗摄像机1的电池。

[2.根据本公开的一个实施例的视频发送系统的配置]

参考图1到3说明根据本公开实施例的视频发送系统的配置。

图1是根据本公开实施例的视频发送系统的图。如图1所示,视频发送
系统包括摄像机10、服务器30、接入点AP和网络NW。摄像机10是电池驱
动的小成像装置,且连接到接入点AP。服务器30是执行要求具有实时属性
的分析处理、诸如对象检测和移动对象检测的信息处理装置。服务器30通过
有线或无线电连接到网络NW。接入点AP是用于无线电通信的桥、路由器等。
接入点AP连接到摄像机10和网络NW。

摄像机10向接入点AP发送视频数据。接入点AP进行与接入点AP和
摄像机10之间的视频数据的缓存和发送和接收。类似地,接入点AP进行通
过网络NW的在接入点AP和服务器30之间的视频数据的缓存和发送和接收。
服务器30接收视频数据且对该视频数据进行分析处理。摄像机10可以通过
接入点AP或其他接入点连接到其他服务器。服务器30可以向未示出的用户
终端等发送视频数据、分析处理的结果等。

[2-1.摄像机的配置]

图2是根据本公开实施例的摄像机10的配置的框图。如图2所示,摄像
机10包括光学系统11、摄像机控制部分12、视频获取部分13、编码数据生
成部分14、发送数据生成部分15、无线电通信部分16、通信控制部分17、
电力供给部分18、存储部分19和控制部分20。

光学系统11包括镜头系统、光圈和焦距调整机构和缩放和快门机构。光
学系统11将光从拍摄对象引导到视频获取部分13。摄像机控制部分12基于
从控制部分20供应的控制信号来控制光学系统11。通过控制部分20基于从
稍后说明的成像设备输出的成像信号的信息来生成控制信号。

视频获取部分13包括成像设备、成像信号处理部分和视频信号处理部
分。成像设备包括CCD(电荷耦合器件)。成像设备将从光学系统11导入的
光转换为电信号,对该电信号进行信号处理,且输出电信号作为成像信号。
成像信号处理部分包括CDS(相关双采样)电路、AGC(自动增益控制)电
路和ADC(模拟数字转换器)电路等。成像信号处理部分对从成像设备供应
的成像信号进行信号处理,且输出该成像信号作为数字信号。视频信号处理
部分包括γ校正电路和白平衡校正电路。视频信号处理部分对从成像信号处理
部分供应的数字信号进行信号处理,且输出该数字信号作为视频信号。

编码数据生成部分14包括视频编码器,且压缩编码从视频获取部分13
供应的视频数据,且生成编码数据ED。使用诸如MPEG2或H.264|AVC的
系统来压缩编码该视频数据。通过使用运动补偿的帧间编码(预测编码)结
合使用正交变换等的帧内编码来进行压缩编码。编码数据ED包括能够不用
参考其他图片解码的第一图片P1和可能不能不参考其他图片解码的第二图
片P2。第一图片P1是经历了帧内编码的图片。第二图片P2是作为与第一图
片的差经历了帧间编码的图片。编码数据ED包括第一图片P1和被安排在第
一图片P1之后的一个或多个第二图片P2。

发送数据生成部分15包括数据处理设备,且划分在从编码数据生成部分
14供应的编码数据ED中包括的第一图片P1和第二图片P2,且生成发送数
据TD。发送数据TD(发送数据的通常术语)基本上是通过组合特定编码数
据ED的第一图片P1和在该特定编码数据ED之前紧挨着的编码数据ED的
一个或多个第二图片P2来获得的数据。

无线电通信部分16包括发送和接收电路,且向接入点AP和从接入点
AP发送和接收诸如发送数据TD的数据。无线电通信部分16按发送数据TD
为单位间歇地发送在视频流中包括的多个发送数据TD。通过将在发送数据
TD中包括的一个或多个第二图片P2集中地与第一图片P1一起发送来进行间
歇的发送。所述无线电部分16以诸如活跃模式或省电模式的操作模式来操
作。在活跃模式中,恒定地从电力供给部分18向发送和接收电路供应电力。
在省电模式中,根据电力的必要性来间歇地供应电力。

通信控制部分17基于从控制部分20供应的控制信号来控制无线电通信
部分16的操作。通信控制部分17在发送该发送数据TD之后立即将操作模
式切换到省电模式,且就在发送下一发送数据TD之前将操作模式切换到活
跃模式。

电力供给部分18包括可充电或不可充电电池,且向包括无线电通信部分
16的摄像机10的各部分供应操作电力。电力供给部分18基于从控制部分20
供应的控制信号,来控制对无线电通信部分16的电力供应。电力供给部分
18连接到控制部分20和通信控制部分17,其中该控制部分20控制作为操作
电力的供应目的地和的各部分和电力供给部分18。

存储部分19包括存储器或硬盘,并存储视频数据、编码数据ED、发送
数据TD等。控制部分20包括CPU、ROM和RAM等,进行摄像机10的操
作必要的算术运算和控制。控制部分20读出在ROM等中存储的计算机程序,
在RAM上扩展该计算机程序,并执行计算机程序来控制摄像机10的操作。
控制部分20通过总线21连接到摄像机控制部分12、视频获取部分13、编码
数据生成部分14、发送数据生成部分15、通信控制部分17和存储部分19。

[2-2.服务器的配置]

图3是根据本公开实施例的服务器30的配置的框图。如图3所示,服务
器30包括通信部分31、分析处理部分32、视频解码部分33、视频数据生成
部分34、和存储部分35和控制部分36。

通信部分31包括发送和接收电路,且通过网络NW向接入点AP和从接
入点AP发送和接收诸如发送数据TD的数据。通信部分31可以通过网络NW
或其他网络向未示出的用户终端等发送视频流、和分析处理的结果。

分析处理部分32包括数据处理设备,且使用发送数据TD来进行要求具
有实时属性的分析处理、诸如对象检测和移动对象检测。对于分析处理,优
选地使用从发送数据TD提取且解码的第一图片P1。与作为与其他图片的差
的第二图片P2不同,第一图片P1充分地包括一个图片的数据。因此,优选
地使用第一图片P1用于分析处理。但是,可以使用一个或多个第二图片P2
连同第一图片P1一起用于分析处理。

视频解码部分33包括视频解码器,且解压缩解码在发送数据TD中包括
的图片,且输出解码数据。根据帧内编码和帧间编码来进行解压缩解码。

视频数据生成部分34包括数据处理设备,且从发送数据TD生成视频数
据。如上所述,发送数据TD基本上是通过组合特定编码数据ED的第一图片
P1和在该特定编码数据ED之前紧挨着的编码数据ED的一个或多个第二图
片P2来获得的数据。因此,通过组合在发送数据TD中包括的第一图片P1
的解码数据和在该发送数据TD之后的发数据TD中包括的一个或多个第二图
片P2的解码数据来生成视频数据。

存储部分35包括存储器或硬盘,并存储发送数据TD、编码数据ED、解
码数据、视频数据等。控制部分36包括CPU、ROM和RAM等,进行服务
器30的操作必要的算术运算和控制。控制部分36读出在ROM等中存储的
计算机程序,在RAM上扩展该计算机程序,并执行计算机程序来控制摄像
机30的操作。控制部分36通过总线21连接到服务器30的各部分。

[3.编码数据ED和发送数据TD]

参考图4和5来说明编码数据ED和发送数据TD。

图4是编码数据ED和发送数据TD的配置例子的图。在图4所示的例子
中,在视频流中包括的编码数据ED1、ED2、ED3等包括多个网络NW抽
象层(NW abstract layer,NAL)单元。具体地,编码数据ED包括NAL(IDR),
NAL(P),NAL(B1),NAL(B2),and NAL(B3)的单元。

NAL单元分别包括IDR图片(IDR)、P图片(P)和B图片(B1到B3)
的数据。指示NAL单元的边界的定界符D被布置在编码数据ED的头部且被
布置在NAL单元之间。IDR图片是能够独立解码的第一图片P1。P图片和B
图片是可能不能独立解码的第二图片P2。

通常通过组合特定编码数据ED的第一图片P1和在该编码数据ED之前
紧挨着的编码数据ED的一个或多个第二图片P2来生成发送数据TD。具体
地,从编码数据ED1的第一图片P1生成发送数据TD1。从编码数据ED1的
一个或多个第二图片P2和编码数据ED2的第一图片P1中生成发送数据TD2。
从编码数据ED2的一个或多个第二图片P2和编码数据ED3的第一图片P1
中生成发送数据TD3。指示发送数据TD的专属报头(header)H被布置在发送
数据TD的头部。定界符D被布置在NAL单元之间。

图5是发送数据TD的配置例子的图。在图5中,示出通过按编码数据
EDi-1的一个或多个第二图片P2和在编码数据EDi-1之后紧挨着的编码数据
EDi的第一图片P1的顺序排列图片而生成的发送数据TDi(TDA),以对应于
图4。在此,i是等于或大于2的自然数。相反,如由发送数据TDi(TDB)指
示的,可以通过按编码数据EDi的第一图片P1和在编码数据EDi之前紧挨
着的编码数据EDi-1的一个或多个第二图片P2的顺序排列图片来生成发送数
据。

图4和5不限制编码数据ED和发送数据TD的配置。例如,在编码数据
ED之间且在发送数据TD之间任意指定NAL单元的数量和图片的类型。不
用说,编码数据ED和发送数据TD可以包括作为第一图片P1的I图片来代
替IDR图片或者与IDR图片一起的NAL单元

[4.根据本公开的一个实施例的视频发送系统的操作]

参考图6到8来说明摄像机10和服务器30的操作。

图6是说明摄像机10的操作的流程图。如图6所示,视频获取部分13
生成对应于从光学系统11导入的光的视频数据(步骤S11),并向编码数据
生成部分14供应视频数据。编码数据生成部分14将从视频获取部分13供应
的视频数据压缩编码为图片(步骤S12),且向控制部分20供应该图片。通
过帧内编码和帧间编码(预测编码)来进行该压缩编码。对于每个编码数据
ED,按第一图片P1和在第一图片P1之后的一个或多个第二图片P2的顺序
来压缩编码视频数据。

当供应在编码数据ED中包括的图片时,控制部分20确定该图片是否是
第二图片P2(步骤S13)。当该图片是可能不能独立解码的第二图片P2时(步
骤S13中的“是”),控制部分20在存储部分19中存储该图片(第二图片P2)
(步骤S14)。控制部分20存储一个或多个第二图片P2来使得能够指定第二
图片P2的供应顺序。重复步骤S11到S14中的处理,直到确认第一图片P1
的供应。

另一方面,当该图片是能够独立解码的第一图片P1时(步骤S13中的
“否”),执行在步骤S15中的处理和随后的步骤。控制部分20从存储部分19
读出一个或多个第二图片P2(步骤S15),且向发送数据生成部分15供应第
二图片P2以及图片(第一图片P1)。管理该读出第二图片P2以当处理其他
编码数据ED时不会被再次读出。

发送数据生成部分15组合编码数据Edi的第一图片P1和编码数据EDi-1
的一个或多个第二图片P2,以生成发送数据TDi(步骤S16),且向控制部分
20供应发送数据Tdi。在此,i是等于或大于2的自然数。发送数据TD1不
包括第二图片P2,且包括编码数据ED1的第一图片P1。当生成图5所示的
发送数据TDA时,按编码数据EDi-1的一个或多个第二图片P2和编码数据
EDi的第一图片的顺序来排列图片。当生成图5所示的发送数据TDB时,按
编码数据EDi的第一图片P1和在编码数据Edi-1的一个或多个第二图片的
顺序来排列图片。

控制部分20向无线电通信部分16传输发送数据TD,且向通信控制部分
17输出用于将无线电通信部分16的操作模式切换到活跃模式的控制信号。
通信控制部分17向电力供给部分18输出用于开始向无线电通信部分16供电
的控制信号。无线电通信部分16将操作模式从省电模式切换到活跃模式(步
骤S17),且发送该发送数据TD(步骤S18)。无线电通信部分16将在发送数
据TD中包括的一个或多个第二图片P2集中地与第一图片P1一起发送。可
以在发送数据TD的发送期间进行步骤S11到S16的处理。

当发送数据TD的发送结束时,控制部分20向通信控制部分17输出用
于将操作模式切换到省电模式的控制信号。通信控制部分17向电力供给部分
18输出用于结束向无线电通信部分20供电的控制信号。无线电通信部分16
将操作模式从活跃模式切换到省电模式(步骤S19)。

图7是说明根据本公开的一个实施例的视频发送系统中视频发送方法的
图。如图7所示,摄像机10以发送数据TD为单位间歇地以如上所述的顺序
发送在视频流中包括的发送数据TD1、TD2、TD3、TD4等。与第一图片P1
一起集中发送在发送数据TD的每个中包括的一个或多个第二图片P2。摄像
机10在发送了发送数据TD之后立即切换到省电模式,且在发送下一发送数
据TD之前就返回到活跃模式。

在参考图9所示的通用视频发送系统中,每次生成第一图片P1或第二图
片P2时,连续发送生成的图片。因此,在包括多个编码数据ED的视频流的
发送时间段中为了数据发送通常消耗摄像机10的电池。

另一方面,根据本公开实施例的视频发送系统将图片转换为发送数据TD
的块,且间歇地发送该发送数据TD,而不是连续地发送图片。因此,在不发
送数据的时间段中,能够将无线电通信部分16切换为省电模式,诸如在
IEEE802.11中指定的PSM(Power-Saving Mode,省电模式)。在该省电模式
中,由于不进行载波的检测,因此能够最小化检测载波和帧接收的电池消耗。

另外,由于将图片转换为发送数据TD的块并发送,因此获得了
IEEE802.11n中指定的聚合(aggregation)效果。因此,能够通过减少在每次在
通用视频发送方法中进行数据发送时进行的载波感测多路访问/冲突避免
(carrier sense multiple access/collision avoidance)(CSMA/CA)上的处理次数
来抑制电池消耗。

图8是由于说明服务器30的操作的流程图。如图8所示,通信部分31
接收发送数据TD(步骤S31),并向控制部分36供应发送数据TD。控制部
分36确定视频数据是否经受分析处理(步骤S32)。

当视频数据经受分析处理时(步骤S32中的“是”),控制部分36从发送
数据TD中提取第一图片P1(步骤S33),并向视频解码部分33供应第一图
片P1。视频解码部分33解码第一图片(步骤S34),且向分析处理部分32
供应解码的数据。分析处理部分32对解码的数据施加诸如对象检测或移动对
象检测的分析处理(步骤S35),并输出处理结果。处理结果可以通过网络
NW发送到外部装置,或可以被存储在存储部分35等中。视频解码部分33
还解码一个或多个第二图片P2(步骤S36),且向视频数据生成部分34供应
解码数据。视频数据生成部分34从解码数据生成视频数据,并在存储部分
35中存储视频数据(步骤S37)。

视频数据生成部分34组合在发送数据TDi中包括的第一图片P1的解码
数据和在发送数据TDi+1中包括的一个或多个第二图片P2的解码数据,来
生成对应于编码数据EDi的视频数据。在此,i是等于或大于1的自然数。

另一方面,当视频数据不经受分析处理时(步骤S32中的“否”),控制部
分36向视频解码部分33供应发送数据TD。视频解码部分33解码第一图片
P1和一个或多个第二图片P2(步骤S38),且向视频数据生成部分34供应解
码数据。视频数据生成部分34从解码数据生成视频数据,且在存储部分35
中存储该视频数据(步骤S39)。

控制部分36可以向用户终端等发送视频数据和分析处理的结果。在该情
况下,控制部分36根据来自用户终端等的指令从存储部分35中读出视频数
据和分析处理的结果,且通过通信部分31向用户终端等发送读出的数据。

根据本公开的实施例的视频发送系统将图片转换为发送数据TD的块,
且间歇地接收该发送数据TD,而不是连续地接收图片。但是,如在通用视频
发送方法中那样,按接近于实时的定时,接收优选地用于视频分析处理的第
一图片P1。

具体地,如果接收到通过按编码数据ED的第一图片P1和在该编码数据
ED之前紧挨着的编码数据ED的一个或多个第二图片P2的顺序排列图片而
生成的发送数据TD(图5所示的发送数据TDB等),能够容易地检测用于视
频分析处理的第一图片P1。另一方面,如果接收到通过按编码数据ED的一
个或多个第二图片P2和在该编码数据ED之后紧挨着的编码数据ED的第一
图片P1的顺序排列图片而生成的发送数据TD(图5所示的发送数据TDA
等),由于对应于视频流中的图片的顺序地存储视频数据,因此能够容易地再
现该视频流。

[5.结论]

如上所述,根据本公开的实施例的视频发送系统将图片转换为发送数据
TD的块,且间歇地发送该发送数据TD,而不是连续地发送该图片。因此,
能够在不发送数据的时间段中将无线电通信设备(无线电通信部分16等)切
换到省电模式。因此,相比于在通用视频发送系统中的视频发送方法,能够
在视频发送期间最小化电池消耗。

以上将参考附图详细描述本公开的实施例。但是,本公开不限于此实施
例。很明显,本公开所属的本领域技术人员可以容易地实现各种修改和变更,
而不脱离所附权利要求中描述的技术思想。理解,这些修改和变更也自然地
属于本公开的技术范围。

本公开包含涉及分别在2011年2月3在日本专利局提交的日本优先权专
利申请JP 2011-022067中公开的主题,其全部内容被引用附于此。

成像装置、接收装置、视频发送系统和视频发送方法.pdf_第1页
第1页 / 共20页
成像装置、接收装置、视频发送系统和视频发送方法.pdf_第2页
第2页 / 共20页
成像装置、接收装置、视频发送系统和视频发送方法.pdf_第3页
第3页 / 共20页
点击查看更多>>
资源描述

《成像装置、接收装置、视频发送系统和视频发送方法.pdf》由会员分享,可在线阅读,更多相关《成像装置、接收装置、视频发送系统和视频发送方法.pdf(20页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102629971 A (43)申请公布日 2012.08.08 C N 1 0 2 6 2 9 9 7 1 A *CN102629971A* (21)申请号 201210018821.9 (22)申请日 2012.01.20 2011-022067 2011.02.03 JP H04N 5/225(2006.01) H04N 7/26(2006.01) G03B 7/26(2006.01) (71)申请人索尼公司 地址日本东京都 (72)发明人佐佐木武彦 礒津政明 渡边一弘 (74)专利代理机构北京市柳沈律师事务所 11105 代理人张丽新 (54) 发明名称 成像。

2、装置、接收装置、视频发送系统和视频发 送方法 (57) 摘要 一种成像装置,包括:编码数据生成部分,被 配置以生成包括能够不用参考其他图片解码的第 一图片和能够参考其他图片解码的一个或多个第 二图片的编码数据;发送数据生成部分,被配置 以组合编码数据的第一图片和在编码数据之前紧 挨着的编码数据的一个或多个第二图片,来生成 发送数据;以及无线电通信部分,被配置以按发 送数据为单位间歇地发送在视频流中包括的多个 发送数据。 (30)优先权数据 (51)Int.Cl. 权利要求书2页 说明书8页 附图9页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 8 页。

3、 附图 9 页 1/2页 2 1.一种成像装置,包括: 编码数据生成部分,被配置以生成包括能够不用参考其他图片解码的第一图片和能够 参考其他图片解码的一个或多个第二图片的编码数据; 发送数据生成部分,被配置以组合该编码数据的第一图片和在该编码数据之前紧挨着 的编码数据的一个或多个第二图片,来生成发送数据;以及 无线电通信部分,被配置以按该发送数据为单位间歇地发送在视频流中包括的多个发 送数据。 2.根据权利要求1的成像装置,其中 所述无线电通信部分具有包括活跃模式和省电模式的操作模式,以及 所述成像装置还包括通信控制部分,被配置以在发送所述发送数据之后将操作模式切 换为省电模式,且在发送下一发。

4、送数据之前将操作模式切换为活跃模式。 3.根据权利要求2的成像装置,其中,所述无线电通信部分在省电模式下停止载波的 检测。 4.根据权利要求1的成像装置,还包括电力供给部分,被配置以向至少所述无线电通 信部分供应操作电力。 5.根据权利要求1的成像装置,其中所述发送数据生成部分生成其中按编码数据的第 一图片和在该编码数据之前紧挨着的编码数据的一个或多个第二图片的顺序来排列图片 的发送数据。 6.根据权利要求1的成像装置,其中所述发送数据生成部分生成其中按编码数据的一 个或多个第二图片和在该编码数据之后紧挨着的编码数据的第一图片的顺序来排列图片 的发送数据。 7.根据权利要求1的成像装置,其中,。

5、所述无线电通信部分通过将在各个发送数据中 包括的一个或多个第二图片集中地与第一图片一起发送来按发送数据为单位间歇地发送 多个发送数据。 8.一种接收装置,包括: 通信部分,被配置以按发送数据为单位,间歇地接收在视频流中包括的多个发送数据, 编码数据包括能够不用参考其他图片解码的第一图片和能够参考其他图片解码的一个或 多个第二图片,以及所述发送数据是通过组合编码数据的第一图片和在该编码数据之前紧 挨着的编码数据的一个或多个第二图片而生成的;以及 分析处理部分,被配置以使至少所述发送数据中包括的第一图片经受分析处理。 9.根据权利要求8的接收装置,还包括视频数据生成部分,被配置以组合在所述发送 数。

6、据中包括的第一图片的解码数据和在所述发送数据之前紧挨着的发送数据中包括的一 个或多个第二图片的解码数据,来生成视频数据。 10.一种视频发送系统,包括: 成像装置,包括: 编码数据生成部分,被配置以生成包括能够不用参考其他图片解码的第一图片和能够 参考其他图片解码的一个或多个第二图片的编码数据, 发送数据生成部分,被配置以组合该编码数据的第一图片和在该编码数据之前紧挨着 的编码数据的一个或多个第二图片,来生成发送数据,以及 权 利 要 求 书CN 102629971 A 2/2页 3 无线电通信部分,被配置以按该发送数据为单位间歇地发送在视频流中包括的多个发 送数据;以及 接收装置,包括: 通。

7、信部分,被配置以间歇地接收该多个发送数据,以及 分析处理部分,被配置以使至少该发送数据中包括的第一图片经受分析处理。 11.一种视频发送方法,包括: 生成包括能够不用参考其他图片解码的第一图片和能够参考其他图片解码的一个或 多个第二图片的编码数据; 组合该编码数据的第一图片和在该编码数据之前紧挨着的编码数据的一个或多个第 二图片,来生成发送数据;以及 按该发送数据为单位间歇地发送在视频流中包括的多个发送数据。 权 利 要 求 书CN 102629971 A 1/8页 4 成像装置、 接收装置、 视频发送系统和视频发送方法 技术领域 0001 本公开涉及一种成像装置、接收装置、视频发送系统和视频。

8、发送方法。 背景技术 0002 近年来,诸如使用电池驱动的小摄像机的监视系统的视频发送系统投入实际使 用。在视频发送系统中,摄像机通过接入点向诸如服务器接收装置发送视频数据,且所述服 务器接收并处理该视频数据。该服务器对视频数据进行要求具有实时属性的分析处理、诸 如对象检测和移动对象检测。 发明内容 0003 在这种视频发送系统的摄像机中,由于要求稳定地向接收装置发送视频数据,以 便保证分析处理的实时属性,因此为了数据发送恒定地消耗电池。因此,在实现视频发送系 统上需要抑制摄像机的电池消耗。 0004 因此,期望提供一种可以在视频发送期间抑制电池消耗的成像装置、接收装置、视 频发送系统和视频发。

9、送方法。 0005 本公开的实施例指的是一种成像装置,包括:编码数据生成部分,被配置以生成包 括能够不用参考其他图片解码的第一图片和能够参考其他图片解码的一个或多个第二图 片的编码数据;发送数据生成部分,被配置以组合编码数据的第一图片和在该编码数据之 前紧挨着的编码数据的一个或多个第二图片,来生成发送数据;以及无线电通信部分,被配 置以按发送数据为单位间歇地发送在视频流中包括的多个发送数据。 0006 所述无线电部分具有包括活跃模式和省电模式的操作模式。所述成像装置还可以 包括通信控制部分,被配置以在发送所述发送数据之后将操作模式切换为省电模式,且在 发送下一发送数据之前将操作模式切换为所述活。

10、跃模式。 0007 所述无线电通信部分可以在省电模式下停止载波的检测。 0008 所述成像装置还可以包括电力供给部分,被配置以向至少无线电通信部分供应操 作电力。 0009 所述发送数据生成部分可以生成发送数据,其中,按编码数据的第一图片和在编 码数据之前紧挨着的编码数据的一个或多个第二图片的顺序来排列图片。 0010 所述发送数据生成部分可以生成发送数据,其中,按编码数据的一个或多个第二 图片和在编码数据之后紧挨着的编码数据的第一图片的顺序来排列图片。 0011 所述无线电通信部分可以通过将在各个发送数据中包括的一个或多个第二图片 集中地与第一图片一起发送来按发送数据为单位间歇地发送多个发送。

11、数据。 0012 本公开的另一实施例指的是一种接收装置,包括:通信部分,被配置以按发送数据 为单位,间歇地接收在视频流中包括的多个发送数据,编码数据包括能够不用参考其他图 片解码的第一图片和能够参考其他图片解码的一个或多个第二图片,且通过组合编码数据 的第一图片和在该编码数据之前紧挨着的编码数据的一个或多个第二图片来生成所述发 说 明 书CN 102629971 A 2/8页 5 送数据;以及分析处理部分,被配置以使发送数据中包括的至少第一图片经受分析处理。 0013 所述接收装置还可以包括视频数据生成部分,被配置以组合在发送数据中包括的 第一图片的解码数据和在发送数据之前紧挨着的发送数据中包。

12、括的一个或多个第二图片 的解码数据,来生成视频数据。 0014 本公开的另一实施例针对视频发送系统,包括成像装置和接收装置。 0015 本公开的另一实施例针对一种视频发送方法,包括:生成包括能够不用参考其他 图片解码的第一图片和能够参考其他图片解码的一个或多个第二图片的编码数据;组合编 码数据的第一图片和在编码数据之前紧挨着的编码数据的一个或多个第二图片,来生成发 送数据;以及按发送数据为单位间歇地发送在视频流中包括的多个发送数据。 0016 根据本公开的另一实施例针对一种使得计算机执行视频发送方法的计算机程序。 可以使用计算机可读记录介质来提供、或可以经由通信装置等来提供计算机程序。 001。

13、7 根据本公开的实施例,能够提供一种可以在视频发送期间抑制电池消耗的成像装 置、接收装置、视频发送系统和视频发送方法。 附图说明 0018 图1是根据本公开实施例的视频发送系统的图; 0019 图2是根据本公开实施例的摄像机的配置的框图; 0020 图3是根据本公开实施例的服务器的配置的框图; 0021 图4是编码数据和发送数据的配置例子的图; 0022 图5是发送数据的配置例子的图; 0023 图6是说明摄像机的操作的流程图; 0024 图7是说明根据本公开实施例的视频发送系统中视频发送方法的图; 0025 图8是说明服务器的操作的流程图;以及 0026 图9是说明在通用视频发送系统中的视频。

14、发送方法的图。 具体实施方式 0027 将参考附图详细描述本公开的实施例。 0028 在该说明书和附图中,用相同附图标记和符号来指示具有基本上相同的功能配置 的组件,且不重复对这些组件的冗余说明。 0029 1.通用视频发送系统 0030 首先,将参考图9说明在通用视频发送系统中的视频发送方法。 0031 图9是说明在通用视频发送系统中的视频发送方法的图。如图9所示,在视频发 送系统中,摄像机1通过图中未示出的接入点AP和网络NW向服务器3发送视频数据。服 务器3实时地接收视频数据且使该视频数据经受分析处理。 0032 摄像机1使用诸如MPEG(运动图像专家组)2或H.264|AVC(ITU-。

15、T推荐MPEG-4部 分10:先进视频编码)系统来压缩编码视频数据。视频数据被压缩编码为能够独立解码的 图片(第一图片P1)和不同于该图片的图片(第二图片P2)。图片意味着图像。一个图片 等同于一个图像。通过使用运动补偿的帧间编码(预测编码)结合使用正交变换等的帧内 编码来进行压缩编码。 说 明 书CN 102629971 A 3/8页 6 0033 能够独立解码的第一图片P1是由帧内编码编码的IDR(Instantaneous Decoding Refresh,即时解码刷新)图片、I(内部解码)图片等。可以不参考其他图片来解码第一图 片P1。可能不能被独立解码的第二图片P2是由帧间编码编码的。

16、P(预测编码)图片、B(双 向预测编码)图片等。可能不能不参考其他图片来解码第二图片P2。 0034 摄像机1压缩编码视频数据并发送编码数据ED(编码数据的通常术语)。在图9 中,顺序地发送编码数据ED1、ED2、ED3、ED4等。编码数据ED包括第一图片P1和不同于第 一图片P1的一个或多个第二图片P2。在编码数据ED中,在第一图片P1之后安排该一个或 多个第二图片P2。服务器3接收编码数据ED,优选地提取第一图片P1,解码提取的图片,并 实时对提取的图片进行分析处理。 0035 因此,要求摄像机1周期性地向服务器3发送第一图片P1,以便保证分析处理的实 时属性。每次生成第一图片P1或第二图。

17、片P2时,连续发送生成的图片。因此,在包括多个 编码数据ED的视频流的发送时间段中为了数据发送恒定地消耗摄像机1的电池。 0036 2.根据本公开的一个实施例的视频发送系统的配置 0037 参考图1到3说明根据本公开实施例的视频发送系统的配置。 0038 图1是根据本公开实施例的视频发送系统的图。如图1所示,视频发送系统包括 摄像机10、服务器30、接入点AP和网络NW。摄像机10是电池驱动的小成像装置,且连接到 接入点AP。服务器30是执行要求具有实时属性的分析处理、诸如对象检测和移动对象检测 的信息处理装置。服务器30通过有线或无线电连接到网络NW。接入点AP是用于无线电通 信的桥、路由器。

18、等。接入点AP连接到摄像机10和网络NW。 0039 摄像机10向接入点AP发送视频数据。接入点AP进行与接入点AP和摄像机10 之间的视频数据的缓存和发送和接收。类似地,接入点AP进行通过网络NW的在接入点AP 和服务器30之间的视频数据的缓存和发送和接收。服务器30接收视频数据且对该视频数 据进行分析处理。摄像机10可以通过接入点AP或其他接入点连接到其他服务器。服务器 30可以向未示出的用户终端等发送视频数据、分析处理的结果等。 0040 2-1.摄像机的配置 0041 图2是根据本公开实施例的摄像机10的配置的框图。如图2所示,摄像机10包 括光学系统11、摄像机控制部分12、视频获取。

19、部分13、编码数据生成部分14、发送数据生成 部分15、无线电通信部分16、通信控制部分17、电力供给部分18、存储部分19和控制部分 20。 0042 光学系统11包括镜头系统、光圈和焦距调整机构和缩放和快门机构。光学系统11 将光从拍摄对象引导到视频获取部分13。摄像机控制部分12基于从控制部分20供应的控 制信号来控制光学系统11。通过控制部分20基于从稍后说明的成像设备输出的成像信号 的信息来生成控制信号。 0043 视频获取部分13包括成像设备、成像信号处理部分和视频信号处理部分。成像设 备包括CCD(电荷耦合器件)。成像设备将从光学系统11导入的光转换为电信号,对该电信 号进行信号。

20、处理,且输出电信号作为成像信号。成像信号处理部分包括CDS(相关双采样) 电路、AGC(自动增益控制)电路和ADC(模拟数字转换器)电路等。成像信号处理部分对 从成像设备供应的成像信号进行信号处理,且输出该成像信号作为数字信号。视频信号处 理部分包括校正电路和白平衡校正电路。视频信号处理部分对从成像信号处理部分供 说 明 书CN 102629971 A 4/8页 7 应的数字信号进行信号处理,且输出该数字信号作为视频信号。 0044 编码数据生成部分14包括视频编码器,且压缩编码从视频获取部分13供应的视 频数据,且生成编码数据ED。使用诸如MPEG2或H.264|AVC的系统来压缩编码该视频。

21、数据。 通过使用运动补偿的帧间编码(预测编码)结合使用正交变换等的帧内编码来进行压缩编 码。编码数据ED包括能够不用参考其他图片解码的第一图片P1和可能不能不参考其他图 片解码的第二图片P2。第一图片P1是经历了帧内编码的图片。第二图片P2是作为与第一 图片的差经历了帧间编码的图片。编码数据ED包括第一图片P1和被安排在第一图片P1 之后的一个或多个第二图片P2。 0045 发送数据生成部分15包括数据处理设备,且划分在从编码数据生成部分14供应 的编码数据ED中包括的第一图片P1和第二图片P2,且生成发送数据TD。发送数据TD(发 送数据的通常术语)基本上是通过组合特定编码数据ED的第一图片。

22、P1和在该特定编码数 据ED之前紧挨着的编码数据ED的一个或多个第二图片P2来获得的数据。 0046 无线电通信部分16包括发送和接收电路,且向接入点AP和从接入点AP发送和接 收诸如发送数据TD的数据。无线电通信部分16按发送数据TD为单位间歇地发送在视频 流中包括的多个发送数据TD。通过将在发送数据TD中包括的一个或多个第二图片P2集中 地与第一图片P1一起发送来进行间歇的发送。所述无线电部分16以诸如活跃模式或省电 模式的操作模式来操作。在活跃模式中,恒定地从电力供给部分18向发送和接收电路供应 电力。在省电模式中,根据电力的必要性来间歇地供应电力。 0047 通信控制部分17基于从控制。

23、部分20供应的控制信号来控制无线电通信部分16 的操作。通信控制部分17在发送该发送数据TD之后立即将操作模式切换到省电模式,且 就在发送下一发送数据TD之前将操作模式切换到活跃模式。 0048 电力供给部分18包括可充电或不可充电电池,且向包括无线电通信部分16的摄 像机10的各部分供应操作电力。电力供给部分18基于从控制部分20供应的控制信号,来 控制对无线电通信部分16的电力供应。电力供给部分18连接到控制部分20和通信控制 部分17,其中该控制部分20控制作为操作电力的供应目的地和的各部分和电力供给部分 18。 0049 存储部分19包括存储器或硬盘,并存储视频数据、编码数据ED、发送。

24、数据TD等。 控制部分20包括CPU、ROM和RAM等,进行摄像机10的操作必要的算术运算和控制。控制 部分20读出在ROM等中存储的计算机程序,在RAM上扩展该计算机程序,并执行计算机程 序来控制摄像机10的操作。控制部分20通过总线21连接到摄像机控制部分12、视频获取 部分13、编码数据生成部分14、发送数据生成部分15、通信控制部分17和存储部分19。 0050 2-2.服务器的配置 0051 图3是根据本公开实施例的服务器30的配置的框图。如图3所示,服务器30包 括通信部分31、分析处理部分32、视频解码部分33、视频数据生成部分34、和存储部分35 和控制部分36。 0052 通。

25、信部分31包括发送和接收电路,且通过网络NW向接入点AP和从接入点AP发 送和接收诸如发送数据TD的数据。通信部分31可以通过网络NW或其他网络向未示出的 用户终端等发送视频流、和分析处理的结果。 0053 分析处理部分32包括数据处理设备,且使用发送数据TD来进行要求具有实时属 说 明 书CN 102629971 A 5/8页 8 性的分析处理、诸如对象检测和移动对象检测。对于分析处理,优选地使用从发送数据TD 提取且解码的第一图片P1。与作为与其他图片的差的第二图片P2不同,第一图片P1充分 地包括一个图片的数据。因此,优选地使用第一图片P1用于分析处理。但是,可以使用一 个或多个第二图片。

26、P2连同第一图片P1一起用于分析处理。 0054 视频解码部分33包括视频解码器,且解压缩解码在发送数据TD中包括的图片,且 输出解码数据。根据帧内编码和帧间编码来进行解压缩解码。 0055 视频数据生成部分34包括数据处理设备,且从发送数据TD生成视频数据。如上 所述,发送数据TD基本上是通过组合特定编码数据ED的第一图片P1和在该特定编码数据 ED之前紧挨着的编码数据ED的一个或多个第二图片P2来获得的数据。因此,通过组合在 发送数据TD中包括的第一图片P1的解码数据和在该发送数据TD之后的发数据TD中包括 的一个或多个第二图片P2的解码数据来生成视频数据。 0056 存储部分35包括存储。

27、器或硬盘,并存储发送数据TD、编码数据ED、解码数据、视频 数据等。控制部分36包括CPU、ROM和RAM等,进行服务器30的操作必要的算术运算和控 制。控制部分36读出在ROM等中存储的计算机程序,在RAM上扩展该计算机程序,并执行计 算机程序来控制摄像机30的操作。控制部分36通过总线21连接到服务器30的各部分。 0057 3.编码数据ED和发送数据TD 0058 参考图4和5来说明编码数据ED和发送数据TD。 0059 图4是编码数据ED和发送数据TD的配置例子的图。在图4所示的例子中,在视频 流中包括的编码数据ED1、ED2、ED3等包括多个网络NW抽象层(NW abstract l。

28、ayer,NAL) 单元。具体地,编码数据ED包括NAL(IDR),NAL(P),NAL(B1),NAL(B2),and NAL(B3)的单 元。 0060 NAL单元分别包括IDR图片(IDR)、P图片(P)和B图片(B1到B3)的数据。指示 NAL单元的边界的定界符D被布置在编码数据ED的头部且被布置在NAL单元之间。IDR图 片是能够独立解码的第一图片P1。P图片和B图片是可能不能独立解码的第二图片P2。 0061 通常通过组合特定编码数据ED的第一图片P1和在该编码数据ED之前紧挨着的 编码数据ED的一个或多个第二图片P2来生成发送数据TD。具体地,从编码数据ED1的第 一图片P1生成。

29、发送数据TD1。从编码数据ED1的一个或多个第二图片P2和编码数据ED2 的第一图片P1中生成发送数据TD2。从编码数据ED2的一个或多个第二图片P2和编码数 据ED3的第一图片P1中生成发送数据TD3。指示发送数据TD的专属报头(header)H被布 置在发送数据TD的头部。定界符D被布置在NAL单元之间。 0062 图5是发送数据TD的配置例子的图。在图5中,示出通过按编码数据EDi-1的一 个或多个第二图片P2和在编码数据EDi-1之后紧挨着的编码数据EDi的第一图片P1的顺 序排列图片而生成的发送数据TDi(TDA),以对应于图4。在此,i是等于或大于2的自然数。 相反,如由发送数据T。

30、Di(TDB)指示的,可以通过按编码数据EDi的第一图片P1和在编码数 据EDi之前紧挨着的编码数据EDi-1的一个或多个第二图片P2的顺序排列图片来生成发 送数据。 0063 图4和5不限制编码数据ED和发送数据TD的配置。例如,在编码数据ED之间且 在发送数据TD之间任意指定NAL单元的数量和图片的类型。不用说,编码数据ED和发送 数据TD可以包括作为第一图片P1的I图片来代替IDR图片或者与IDR图片一起的NAL单 说 明 书CN 102629971 A 6/8页 9 元 0064 4.根据本公开的一个实施例的视频发送系统的操作 0065 参考图6到8来说明摄像机10和服务器30的操作。。

31、 0066 图6是说明摄像机10的操作的流程图。如图6所示,视频获取部分13生成对应 于从光学系统11导入的光的视频数据(步骤S11),并向编码数据生成部分14供应视频数 据。编码数据生成部分14将从视频获取部分13供应的视频数据压缩编码为图片(步骤 S12),且向控制部分20供应该图片。通过帧内编码和帧间编码(预测编码)来进行该压缩 编码。对于每个编码数据ED,按第一图片P1和在第一图片P1之后的一个或多个第二图片 P2的顺序来压缩编码视频数据。 0067 当供应在编码数据ED中包括的图片时,控制部分20确定该图片是否是第二图片 P2(步骤S13)。当该图片是可能不能独立解码的第二图片P2时。

32、(步骤S13中的“是”),控 制部分20在存储部分19中存储该图片(第二图片P2)(步骤S14)。控制部分20存储一个 或多个第二图片P2来使得能够指定第二图片P2的供应顺序。重复步骤S11到S14中的处 理,直到确认第一图片P1的供应。 0068 另一方面,当该图片是能够独立解码的第一图片P1时(步骤S13中的“否”),执行 在步骤S15中的处理和随后的步骤。控制部分20从存储部分19读出一个或多个第二图片 P2(步骤S15),且向发送数据生成部分15供应第二图片P2以及图片(第一图片P1)。管理 该读出第二图片P2以当处理其他编码数据ED时不会被再次读出。 0069 发送数据生成部分15组。

33、合编码数据Edi的第一图片P1和编码数据EDi-1的一个 或多个第二图片P2,以生成发送数据TDi(步骤S16),且向控制部分20供应发送数据Tdi。 在此,i是等于或大于2的自然数。发送数据TD1不包括第二图片P2,且包括编码数据ED1 的第一图片P1。当生成图5所示的发送数据TDA时,按编码数据EDi-1的一个或多个第二 图片P2和编码数据EDi的第一图片的顺序来排列图片。当生成图5所示的发送数据TDB 时,按编码数据EDi的第一图片P1和在编码数据Edi-1的一个或多个第二图片的顺序来排 列图片。 0070 控制部分20向无线电通信部分16传输发送数据TD,且向通信控制部分17输出用 于。

34、将无线电通信部分16的操作模式切换到活跃模式的控制信号。通信控制部分17向电力 供给部分18输出用于开始向无线电通信部分16供电的控制信号。无线电通信部分16将 操作模式从省电模式切换到活跃模式(步骤S17),且发送该发送数据TD(步骤S18)。无线 电通信部分16将在发送数据TD中包括的一个或多个第二图片P2集中地与第一图片P1一 起发送。可以在发送数据TD的发送期间进行步骤S11到S16的处理。 0071 当发送数据TD的发送结束时,控制部分20向通信控制部分17输出用于将操作模 式切换到省电模式的控制信号。通信控制部分17向电力供给部分18输出用于结束向无线 电通信部分20供电的控制信号。

35、。无线电通信部分16将操作模式从活跃模式切换到省电模 式(步骤S19)。 0072 图7是说明根据本公开的一个实施例的视频发送系统中视频发送方法的图。如图 7所示,摄像机10以发送数据TD为单位间歇地以如上所述的顺序发送在视频流中包括的发 送数据TD1、TD2、TD3、TD4等。与第一图片P1一起集中发送在发送数据TD的每个中包括 的一个或多个第二图片P2。摄像机10在发送了发送数据TD之后立即切换到省电模式,且 说 明 书CN 102629971 A 7/8页 10 在发送下一发送数据TD之前就返回到活跃模式。 0073 在参考图9所示的通用视频发送系统中,每次生成第一图片P1或第二图片P2。

36、时, 连续发送生成的图片。因此,在包括多个编码数据ED的视频流的发送时间段中为了数据发 送通常消耗摄像机10的电池。 0074 另一方面,根据本公开实施例的视频发送系统将图片转换为发送数据TD的块,且 间歇地发送该发送数据TD,而不是连续地发送图片。因此,在不发送数据的时间段中,能够 将无线电通信部分16切换为省电模式,诸如在IEEE802.11中指定的PSM(Power-Saving Mode,省电模式)。在该省电模式中,由于不进行载波的检测,因此能够最小化检测载波和帧 接收的电池消耗。 0075 另外,由于将图片转换为发送数据TD的块并发送,因此获得了IEEE802.11n中 指定的聚合(。

37、aggregation)效果。因此,能够通过减少在每次在通用视频发送方法中进 行数据发送时进行的载波感测多路访问/冲突避免(carrier sense multiple access/ collision avoidance)(CSMA/CA)上的处理次数来抑制电池消耗。 0076 图8是由于说明服务器30的操作的流程图。如图8所示,通信部分31接收发送 数据TD(步骤S31),并向控制部分36供应发送数据TD。控制部分36确定视频数据是否经 受分析处理(步骤S32)。 0077 当视频数据经受分析处理时(步骤S32中的“是” ),控制部分36从发送数据TD 中提取第一图片P1(步骤S33),。

38、并向视频解码部分33供应第一图片P1。视频解码部分33 解码第一图片(步骤S34),且向分析处理部分32供应解码的数据。分析处理部分32对解 码的数据施加诸如对象检测或移动对象检测的分析处理(步骤S35),并输出处理结果。处 理结果可以通过网络NW发送到外部装置,或可以被存储在存储部分35等中。视频解码部 分33还解码一个或多个第二图片P2(步骤S36),且向视频数据生成部分34供应解码数据。 视频数据生成部分34从解码数据生成视频数据,并在存储部分35中存储视频数据(步骤 S37)。 0078 视频数据生成部分34组合在发送数据TDi中包括的第一图片P1的解码数据和在 发送数据TDi+1中包。

39、括的一个或多个第二图片P2的解码数据,来生成对应于编码数据EDi 的视频数据。在此,i是等于或大于1的自然数。 0079 另一方面,当视频数据不经受分析处理时(步骤S32中的“否” ),控制部分36向 视频解码部分33供应发送数据TD。视频解码部分33解码第一图片P1和一个或多个第二 图片P2(步骤S38),且向视频数据生成部分34供应解码数据。视频数据生成部分34从解 码数据生成视频数据,且在存储部分35中存储该视频数据(步骤S39)。 0080 控制部分36可以向用户终端等发送视频数据和分析处理的结果。在该情况下,控 制部分36根据来自用户终端等的指令从存储部分35中读出视频数据和分析处理。

40、的结果, 且通过通信部分31向用户终端等发送读出的数据。 0081 根据本公开的实施例的视频发送系统将图片转换为发送数据TD的块,且间歇地 接收该发送数据TD,而不是连续地接收图片。但是,如在通用视频发送方法中那样,按接近 于实时的定时,接收优选地用于视频分析处理的第一图片P1。 0082 具体地,如果接收到通过按编码数据ED的第一图片P1和在该编码数据ED之前紧 挨着的编码数据ED的一个或多个第二图片P2的顺序排列图片而生成的发送数据TD(图5 说 明 书CN 102629971 A 10 8/8页 11 所示的发送数据TDB等),能够容易地检测用于视频分析处理的第一图片P1。另一方面,如 。

41、果接收到通过按编码数据ED的一个或多个第二图片P2和在该编码数据ED之后紧挨着的 编码数据ED的第一图片P1的顺序排列图片而生成的发送数据TD(图5所示的发送数据 TDA等),由于对应于视频流中的图片的顺序地存储视频数据,因此能够容易地再现该视频 流。 0083 5.结论 0084 如上所述,根据本公开的实施例的视频发送系统将图片转换为发送数据TD的块, 且间歇地发送该发送数据TD,而不是连续地发送该图片。因此,能够在不发送数据的时间段 中将无线电通信设备(无线电通信部分16等)切换到省电模式。因此,相比于在通用视频 发送系统中的视频发送方法,能够在视频发送期间最小化电池消耗。 0085 以上。

42、将参考附图详细描述本公开的实施例。但是,本公开不限于此实施例。很明 显,本公开所属的本领域技术人员可以容易地实现各种修改和变更,而不脱离所附权利要 求中描述的技术思想。理解,这些修改和变更也自然地属于本公开的技术范围。 0086 本公开包含涉及分别在2011年2月3在日本专利局提交的日本优先权专利申请 JP 2011-022067中公开的主题,其全部内容被引用附于此。 说 明 书CN 102629971 A 11 1/9页 12 图1 说 明 书 附 图CN 102629971 A 12 2/9页 13 图2 说 明 书 附 图CN 102629971 A 13 3/9页 14 图3 说 明 书 附 图CN 102629971 A 14 4/9页 15 图4 说 明 书 附 图CN 102629971 A 15 5/9页 16 图5 说 明 书 附 图CN 102629971 A 16 6/9页 17 图6 说 明 书 附 图CN 102629971 A 17 7/9页 18 图7 说 明 书 附 图CN 102629971 A 18 8/9页 19 图8 说 明 书 附 图CN 102629971 A 19 9/9页 20 图9 说 明 书 附 图CN 102629971 A 20 。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1