背景技术
目前,作为对活动图像进行编码的技术,例如有国际标准化委员会
(ISO/IEC)推荐的ISO/IEC 14496 part2(Visual)(MPEG-4)。该
MPEG-4Visual是多媒体编码方式,是可以对各种图像素材进行编码的技术。
图像编码技术可用‘动作补偿预测编码方式’、‘离散余弦变换’及‘可
变长度编码’这三种技术来实现。
以下,说明这些技术。
(1)动作补偿预测编码方式
首先,比较输入图像和前一个编码图像,预测它们之间的动作(动作检
测),根据其动作量和前一个编码图像来预测输入图像。接着,计算预测的图
像(预测图像)和输入图像之间的差分(预测误差信号),将该预测误差信号
和前面求出的动作量送至接收端。通过这样预测动作,可以用少的数据量来
发送图像信息。除了该动作补偿预测编码方式以外,还有不依据与前一个编
码图像的差分,而对图像数据本身进行编码的内部编码方式。在该方式中产
生代码量增加的另一面,由于不使用预测误差,所以大多用于将运算误差复
位的情况或从传输差错的画质恶化中进行恢复的情况。
(2)离散余弦变换
离散余弦变换是将上述的预测误差信号变换到频域。如果将预测误差信
号变换到频域,那么由于具有将功率集中到某个特定的频域(低频频域)的
特征,所以产生该该特征,与可变长度编码方式进行组合,可以用更少的数
据量来传输图像信息。
(3)可变长度编码方式
可变长度编码方式是在要编码的数据的出现频度上有偏差的情况下,利
用该偏差,通过对出现频度高的现象以短的编码长度来表现,而对出现频度
低的现象以长的编码长度来表现,从而缩短平均编码长度的方式。通过使用
该方式,可以用少的数据量来传输图像信息。
上述的三个主要因素技术不适用于图像整体,而适用于每个将图像分割
成16×16像素的编码块(宏块)的单位。所述动作都可以用补偿预测编码方
式和内部编码方式以宏块单位来切换。
但是,近年来,随着携带电话等无线终端的普及,活动图像信号的无线
传输技术引人注目。无线传输与有线传输相比,由于传输差错率高,所以需
要有抗传输差错性的编码技术。
在抑制传输差错造成的图像恶化的技术中,有所谓的视频分组技术。这
种技术将多个宏块的编码数据作为一个传输单位(视频分组)来传输。视频
分组由被称为视频分组首标的信息和任意数的宏块编码数据构成。在视频分
组首标中,包含开头的宏块位置地址(表示该宏块处于图像的哪个位置的地
址)或解码所需的参数。
作为视频分组的构成方法的一例,有累积宏块单位的产生代码量,在其
达到某个一定的代码量时构成视频分组的方法(例如,特开平7-014514号公
报(日本))。根据该方法,背景等的没有动作的代码量少的部分由多个宏块
来构成视频分组,而动作大的代码量多的部分由少的宏块来构成视频分组。
因此,即使因传输差错在视频分组中产生了差错的情况下,由于动作大的部
分由少的宏块来构成,所以可以将恶化的范围抑制得小。即,虽然背景部分
包含许多宏块,但由于没有动作,所以恶化不明显。通过采用该方法,可以
高效率地分配比特。
一般地,代码量多的宏块在动作补偿预测编码的情况下,变化量大。即,
可以认为是动作大的部分。如果在该宏块中发生传输差错,那么对再现图像
的画质产生的影响大。即,认为产生代码量多的宏块的重要度高。另一方面,
在内部编码的情况下,由于不使用预测而产生代码量多,但由于可以恢复传
输差错造成的画质恶化,所以也认为其重要度高。
作为提高抗差错性的其他技术,有根据图像的重要度来进行再发的技术
(特开平9-214721号公报(日本))。这种技术是将静止图像变换到频域,对
比某个规定频率高的分量和低的分量单独实施可变长度编码,来构成两种传
输帧。发送这些帧,并进行控制,使得在接收端发现了传输差错的情况下,
对频率低的分量进行再发请求,而对于频率高的分量不进行再发请求。由此,
容许一些画质恶化,但可以提高传输效率。
但是,在现有的图像传输方法中,存在以下问题。
一般来说,如果根据频域或图像的分辨率来进行分层编码,那么需要将
信息进行分割的开销(overhead)信息,由此产生分割损失。即,编码数据一
般由传输单位的首标信息和宏块编码数据构成,所以例如在分割成两个的情
况下,传输单位的首标信息变为2倍。这部分成为开销。
此外,随着分层编码,需要进行每个层的解码处理的硬件或软件资源,
使装置结构变得复杂。
但是,近年来,正在研究通过无线传输活动图像的技术,由于无线传输
路径的传输速率比有限网低,所以不能忽视上述分割损失所占的比例。另外,
可接收活动图像的移动终端需要将消耗功率抑制得低,以便使通信时间尽量
长。但是,随着分层化,硬件和软件的资源增加也对终端的通信时间产生影
响。
具体实施方式
以下,参照附图来详细说明用于实施本发明的优选实施例。
(实施例1)
图1是表示本发明实施例1的图像传输装置的结构方框图。
在图1中,本实施例的图像传输装置100包括:摄像部101,配有CCD
(Charge coupled Device;电荷耦合器件)等摄像元件,输出模拟的图像信号;
A/D(Analog/Digital)变换部102,将从摄像部101输出的图像信号变换成数
字信号;图像编码部(图像编码装置)103,对由A/D变换部102变换的数
字图像信号进行图像编码处理,输出编码的宏块;分组部(重要度信息附加
部件)104,将图像编码部103编码的宏块以每个传输单位来进行分组;调制
部105,对分组部104生成的发送分组进行数字调制;无线发送部106,对来
自调制部105的调制信号实施规定的无线发送处理;天线107,用于向空中
发射调制信号和捕捉调制信号;无线接收部108,接收由天线107捕捉的调
制信号,变换成可解调的信号并输出;解调部109,对无线接收部108接收
的信息进行解调;再发缓冲器110,存储再发用的发送分组;缓冲控制部(控
制部件)111,控制对再发缓冲器110的发送分组的读取;以及计时部112,
在发送分组生成中,生成用于对宏块赋予时间信息的时间。
图2是表示图像编码部103的详细结构的方框图。
在图2中,图像编码部103包括:光栅-宏块变换部201;差分器202;
动作评价部203;宏块计数器204;保持前图像的编码再现图像的帧存储器
205;加法器206;离散余弦变换部207;量化部208;可变长度编码部209;
复用部210;反量化部211;反离散余弦变换部212;可变长度编码部213,
比特计数器214;同步单位分割判定部215;同步字产生部216;以及重要度
判定部217。
光栅-宏块变换部201将输入的数字图像信号分割成编码的宏块,分别输
入到差分器202、动作评价部203和宏块计数器204。动作评价部203根据来
自光栅-宏块变换部201的编码块(当前图像)来评价从帧存储器205读出的
前图像的动作量。然后,将评价结果作为动作矢量分别输入到帧存储器205
和可变长度编码部213。
可变长度编码部213对从动作评价部203输入的动作矢量进行可变长度
编码,分别输入到复用部210和比特计数器214。从帧存储器205中读出校
正了动作矢量的预测图像,作为预测信号分别输入到差分器202和加法器
206。差分器202求来自帧存储器205的预测图像和作为当前时刻处理对象的
编码的宏块之间的差分,将求出的差分值输入到离散余弦变换部207。离散
余弦变换部207将来自差分器202的差分值变换到频域,输入到量化部208。
量化部208对来自离散余弦变换部207的差分值根据规定的量化参数进
行量化,将量化后的离散余弦变换系数分别输入到可变长度编码部209和反
量化部211。可变长度编码部209对来自量化部208的离散余弦变换系数进
行可变长度编码,分别输入到复用部210和比特计数器214。反量化部211
对来自量化部208的量化过的离散余弦变换系数进行反量化,输入到反离散
余弦变换部212。反离散余弦变换部212根据反量化过的离散余弦变换系数
来再现预测误差信号,输入到加法器206。加法器206将来自反离散余弦变
换部212的预测误差信号和来自帧存储器205的预测信号相加,输出其结果。
通过将预测误差信号和预测信号相加,将再现图像再现。该图像作为用于对
下个图像进行编码的预测图像被存储到帧存储器205中。
宏块计数器204对来自光栅宏块变换部201的编码过的宏块进行计数,
将该计数值分别输入到同步单位分割部215和重要度判定部217。同步单位
分割判定部215在编码过的宏块达到规定的数目时,对同步字产生部216指
示输出同步字,以便区分传输单位,同时将宏块计数器204复位。同步字产
生部216在有来自同步字单位分割判定部215的同步字产生指示时,输出同
步字。该同步字、来自可变长度编码部209的可变长度编码过的离散余弦变
换系数、以及来自可变长度编码部213的动作矢量被输入到复用部210进行
复用。
比特计数器214对可变长度编码过的动作矢量和离散余弦变换系数的比
特数(即1传输单位中包含的代码量)进行计数,将该计数值输入到重要度
判定部217。重要度判定部217仅在同步单位分割判定部215判定为进行同
步单位分割的情况下输出重要度信息。
重要度判定部217由阈值计算部218、平均代码量计算部219、以及阈值
比较部220构成。平均代码量计算部219通过将比特计数器214计数的1传
输单位中包含的代码量除以1传输单位中的编码宏块数,来计算1编码宏块
的平均代码量,将其输入到阈值比较部220。
阈值计算部218根据帧速率和比特速率来计算用于判定1传输单位的数
据的重要度的阈值。这种情况下,设帧速率为F,比特速率为B,图像内的
编码宏块数为N,则阈值T根据
T=(B/F)/N
来获得。可以将该阈值T看作每个编码宏块的平均代码量。
阈值比较部220比较平均编码量计算部219算出的1传输单位的平均编
码率和阈值计算部218算出的阈值,在平均代码量超过阈值的情况下输出重
要度信息。
本实施例的图像传输装置100被这样构成。
下面,说明该图像传输装置100的工作情况。
在图1中,从摄像部101输出的图像信号由A/D变换部102变换成数字
图像信号,输入到图像编码部103。输入到图像编码部103的数字图像信号
按规定的编码算法进行编码,编码过的数据和该编码数据的重要度信息被输
入到分组部104。分组部104对编码数据和其重要度信息及编码数据赋予时
间信息,生成发送分组,生成的发送分组被输入到调制部105。
调制部105在输入的发送分组中对载波进行调制,生成调制信号,输入
到无线发送部106。无线发送部106进行功率放大,直至输入的调制信号达
到规定的电平后从天线107向空中发射。
再发缓冲器110在分组部104生成的发送分组中仅存储重要度高的发送
分组。这里,发送分组因传输中产生的差错而不能正确地发送,如果从接收
端发出再发请求,那么包含该再发请求的调制信号被无线接收部108接收,
并输入到解调部109。由此,能够恢复传输差错造成的画质恶化。解调部109
根据输入的调制信号来解调再发请求,输入到缓冲控制部111。缓冲控制部
111在输入再发请求后,在再发缓冲器110保持的发送分组中,为了再发指定
的发送分组,从再发缓冲器110中读出该发送分组,输入到调制部105。由
此,从无线发送部106输出要再发的发送分组,从天线107向空中发射。
这里,说明对图像编码过的传输单位赋予优先级的处理。
光栅-编码块变换部201中输入的数字图像例如被分割成16×16像素尺寸
的编码宏块。分割的编码宏块被输入到动作评价部203,在那里进行与帧存
储器205中存储的前图像的动作量评价,输出动作矢量。输出的动作矢量由
可变长度编码部213进行可变长度编码,并被输入到复用部210和比特计数
器214。
从帧存储器205输出仅校正了动作矢量的预测图像,由差分器202获得
与作为当前处理对象的编码宏块的差分,输出该差分值。从差分器202输出
的差分值由离散余弦变换部207变换到频域后,输入到量化部208进行量化。
然后,在量化后,再由可变长度编码部209变换成可变长度代码。量化过的
离散余弦变换系数被输入到反量化部211进行反量化后,由反离散余弦变换
部212再现预测误差信号。由加法器206将再现的预测误差信号和预测信号
相加来使再现图像进行再现。再现的再现图像作为用于对下个图像进行编码
的预测图像被保存在帧存储器205中。
另一方面,从光栅-宏块变换部201输出的编码宏块由宏块计数器204进
行计数,该计数值被输入到同步单位分割判定部215。如果编码宏块的计数
值达到规定的值,那么从同步单位分割判定部215对同步字产生部216输出
指示,从同步字产生部216输出同步字。在编码宏块的计数值达到规定值的
时刻,将宏块计数器204复位。
如果同步单位分割判定部215判定为进行同步单位分割,将该判定输入
到重要度判定部217,那么从重要度判定部217输出重要度信息。这种情况
下,在重要度判定部217中,平均代码量计算部219根据比特计数器214计
数的可变长度编码过的动作矢量和离散余弦变换系数的比特数,来计算传输
单位中包含的编码块的平均代码量。然后,将算出的平均代码量与阈值计算
部218算出的阈值进行比较,在超过该阈值的情况下,输出重要度高的重要
度信息。
于是,根据本实施例,由比特计数器214对1传输单位中包含的代码量
进行计数,由重要度判定部217将比特计数器214计数的代码量除以1传输
单位中包含的编码宏块数,计算每个编码宏块的平均代码量,由阈值比较部
220将来自重要度判定部217的平均代码量与根据帧速率和比特速率算出的
阈值进行比较,来决定该传输单位的重要度。即,可以用非常简单的结构来
决定图像编码处理中的图像数据的重要度。
因此,能够进行高效率的再发控制,即使在传输差错的发生频度高的情
况下,也可提供质量好的图像信息。由此,例如,在使用容易产生传输差错
的传输线路的图像信息分配服务(例如,活动图像)中,也可以保持良好的
画质。
(实施例2)
下面说明本发明实施例2的图像传输装置。
图3是表示本实施例的图像传输装置的图像编码部113的结构方框图。
在该图中,对于具有与上述图2相同功能的部分附以相同的标号,并省略其
说明。
在图3中,光栅-宏块变换部301将输入图像信号变换成编码宏块来输出,
同时输出表示图像开头的垂直同步定时。重要度判定部302仅在同步单位分
割判定部215发出指示的情况下才输出重要度信息。重要度判定部302根据
来自光栅-宏块变换部301的垂直同步定时,仅在图像开头的传输单位时判定
为重要度高,输出重要度信息。
于是,根据本实施例,根据是否包含图像解码上所需的图像首标信息来
决定传输单位的重要度,所以与实施例1的图像传输装置同样,可以用非常
简单的结构来决定图像编码处理中的图像数据的重要度。由此,能够进行高
效率的再发控制,即使在使用容易产生传输差错的传输线路来分配图像数据
的服务(例如,活动图像)中,也可以保持良好的画质。
(实施例3)
下面说明本发明实施例3的图像传输装置。
图4是表示本实施例的图像传输装置的结构方框图。在该图中,对于具
有与上述图1相同功能的部分附以相同的标号,并省略其说明。
在对1幅图像进行编码的情况下,可获得由多个传输单位组成的被称为
比特流的比特串。在图像开头的传输单位中,包含用于对该图像整体进行解
码所需的必要信息,将该信息称为图像首标。在该图像首标中产生传输差错
的情况下,该图像中包含的第2个以后的传输单位不能正确地进行解码。包
含该图像首标的传输单位是非常重要的。即使是已经结束该编码处理的比特
流,也可以决定包含图像首标的传输单位的重要度。
在图4中,重要度判定部401仅根据输入的图像编码后的比特流来判定
重要度。图5是表示该重要度判定部401的详细结构的方框图。重要度判定
部401由传输单位分割部501、代码量计数器502、宏块地址提取部503、1
传输单位延迟部504、506及509、差分器505、阈值计算部507、重要度判
定部(名称虽相同,但是构成重要度判定部401的一部分)508来构成。
从外部输入的比特流由多个传输单位构成。这里,在各传输单位中,如
图6所示,插入用于识别其开头的同步字。
在图5中,传输单位分割部501从输入的比特流中搜索同步字,将比特
流分割成图像的传输单位。这种情况下,从当前的同步字至下一个同步字为
一个传输单位。分割的传输单位被输入到代码量计数器502和宏块地址提取
部503。代码量计数器502对输入的传输单位的比特数进行计数,输出其计
数值。宏块地址提取部503读出在传输单位的开头包含的首标信息中的宏块
地址信息并输出。宏块地址信息由1传输单位延迟部504延迟1传输单位,
由差分器505计算差分值。这意味着计算前一个传输单位和当前传输单位的
宏块地址之间的差分,由此可以掌握前一个传输单位中包含的编码块数。
另一方面,代码量计数器502计数的传输单位的比特数在1传输单位延
迟部506中被延迟1传输单位。阈值计算部507根据帧速率、比特速率、图
像格式信息来计算阈值。这种情况下,阈值的决定方法,在这里也使用相同
于上述实施例1的图像传输装置中使用的方法。在本发明中,阈值决定方法
并不限于此,可以容易地类推,即使是其他决定方法,也可以使本发明有效
地产生作用。
重要度判定部508根据传输单位的比特数和编码宏块数来计算该传输单
位中包含的每个编码宏块的平均代码量,与阈值计算部507算出的阈值进行
比较。在该平均代码量比阈值大的情况下,输出重要度高的重要度信息。
于是,根据本实施例,即使是已经结束编码处理的比特流,通过对传输
单位中包含的编码宏块数和每个传输单位的代码量进行计数,与实施例1的
图像传输装置同样,可以用非常简单的结构来决定图像编码处理中的图像数
据的重要度。由此,能够进行高效率的再发控制,在使用容易产生传输差错
的传输线路,分配存储的图像数据的服务(例如,图像数据库存取)中,也
可以获得良好的画质。
(实施例4)
下面,说明本发明实施例4的图像传输装置。
本实施例的图像传输装置除了重要度判定部以外,有与上述图4所示的
实施例3的图像传输装置相同的结构。下面用图7来说明本实施例的图像传
输装置的重要度判定部。
在图7中,重要度判定部510由传输单位分割部501、传输单位首标解
析部601构成。传输单位首标解析部601对由传输单位分割部501分割了传
输单位的传输单位的开头部分比特串进行解析。在传输单位的开头存在同步
字,但表示图像开头的同步字使用与除此以外的同步字不同的同步字。因此,
通过仅对传输单位的开头进行解析,可以容易地判断该同步单位是否是图像
的开头,在检测出表示图像开头的同步字情况下,输出重要度高的重要度信
息。
于是,根据本实施例,即使是已经结束编码处理的比特流,通过对传输
单位的开头部分的比特串进行解析,与实施例1的图像传输装置同样,可以
用非常简单的结构来决定图像编码处理中的图像数据的重要度。由此,能够
进行高效率的再发控制,在使用容易产生传输差错的传输线路,分配存储的
图像数据的服务(例如,图像数据库存取)中,也可以获得良好的画质。
上述的本发明除了功能以外也可以将电路组合,也可以使用微计算机通
过软件来实现。在使用微计算机的情况下,将本发明程序化并存储在ROM等
可写记录媒体中,通过微计算机来处理该存储的程序。顺便说明一下,作为
记录媒体,除了ROM(Read Only Memory;只读存储器)等半导体存储元件
以外,还可列举出磁记录媒体、光记录媒体、光磁记录媒体等。
本发明除了图像传输装置以外,也可以简单地使图像编码部独立而作为
图像编码装置来实现,而且可以作为图像传输装置或包括图像编码装置的图
像信息分配用服务器(图像分配服务器)来实现。也可以在数字无线通信系
统中的基站装置或移动台装置那样的通信终端装置中实现。
在本发明的实施例3和4中,根据图像编码的数据来判定重要度,赋予
重要度信息来传输,但在处于发送端和终端之间的中继器中,在从没有与重
要度有关信息的传输单位变换成具有重要度信息的传输单位(协议变换)时,
也可以使用上述方法来进行变换。
如以上说明,根据本发明,在图像编码处理中,由于可以用非常简单的
结构来决定图像数据的重要度,所以可以进行再发控制,使用了有传输差错
的传输路径的图像信息分配服务(例如活动图像)也可以获得良好的画质。