影像数据转换装置 以及影像数据转换方法 【技术领域】
本发明涉及进行依据各种国际标准的影像压缩、解压缩方式的视频压缩数据的各种转换的影像数据转换装置以及影像数据转换方法。
背景技术
现在，在数字广播(卫星、地面波、电缆)、DVD、视频CD、因特网、移动通信等的跨越广播、通信、分组的多样的应用程序中，MPEG和ITU-T H.26x等国际标准影像编码方式被灵活运用。
在所支持的编码方式、传送位速率、空间分辨率(帧大小)、时间分辨率(帧速率)等条件不同的平台(flat form)中再利用以这些编码方式压缩的影像内容的要求提高了，以此为背景正在广泛研究开发影像代码转换技术。
特别是MPEG和ITU-T H.26x等标准影像编码方式因为一贯以采用运动补偿预测(Motion Compensation，以下MC)的时间方向的信号冗长度削减、采用离散余弦转换(Discrete Cosine Transform，以下称为DCT)的空间方向的信号冗长度削减为根本，所以编码数据的语法在某种程度被共用。考虑利用了此共用的在位流水平上地转换，因而把上述标准影像编码方式作为对象降低计算负荷的代码转换技术成为主要研究的对象。
其中，也有把NTSC分辨率(704×480象素帧，30帧/秒)的MPEG-2视频转换到SIF(352×240象素)的低帧速率MPEG-4或者H.263视频的问题，从现有的MPEG-2内容的有效灵活应用的观点出发实用化要求高，成为热点话题(例如，Wang Xing Guo，Zheng WeiGuo，and Ishfaq Ahmad，“MPEG-2 To MPEG-4 Transcoding”，Workshop and Exhibition on MPEG-4(WEMP)2001.等)。
在这样的影像代码转换技术中，重要的是把包含在转换代码输入的MPEG-2视频流中的运动向量转换为可以在MPEG-4编码中利用的运动向量的处理。
因为进行纵横1/2的分辨率转换，所以输入MPEG-2流的4个宏(macro)块区域正好与MPEG-4编码时的1个宏块的区域对应。此问题是根据原本的最大4个运动向量推测分辨率转换后的运动向量的问题，此前已有许多研究报告。例如，在B.Shen等，“AdaptiveMotion-Vector Resampling for Compressed Video Downsampling”，IEEE Transactions on Circuits And Systems for Video Technology，vol.9，no.6，Sep.1999中，报告了在输入压缩数据中，在预测余差大的运动向量上加上大的权重而取4个运动向量的加权平均的方法。
这是把输入压缩数据中的预测余差信号作为判断基准，根据其活性值决定应该转换的运动向量的值的方法，在M.R.Hashemi等，“Compressed Domain Motion Vector Resampling for Downscaling ofMPEG Video”，IEEE International Conference on Image Processing，Kobe，Japan，Oct.1999中也报告了此变形。
以往的影像数据转换方法因为如以上那样构成，所以除了需要转换的运动向量被限定为在1种情况中适用外，还存在不能保证转换后的运动向量的编码性能的意义为最佳的问题。
【发明内容】
本发明就是为了解决上述的问题而提出的，其目的在于提供一种可以转换考虑到第2影像编码方式中的编码性能的作用的运动向量等的影像数据转换装置以及影像数据转换方法。
本发明的影像数据转换装置是把影像信号的各帧分割为规定部分区域，以此为单位选择运动向量等编码参数，把依照进行编码的第1影像编码方式的影像编码数据作为输入，把影像信号的各帧分割为规定部分区域，以此为单位选择编码参数，并依照进行编码的第2影像编码方式对影像编码数据进行转换的装置，包含：根据作为上述第1影像编码方式中的规定部分区域单位的编码参数的运动向量，生成在上述第2影像编码方式中的规定部分区域的单位中使用的运动向量的候补的运动向量转换单元；在上述生成的第2影像编码方式中的运动向量的候补中，根据评价使用了该运动向量候补的情况下的预测效率的预测误差评价值、评价通过使用该运动向量候补产生的运动向量编码量的值，确定在该第2影像编码方式中使用的运动向量的编码参数判定单元。
由此，在转换考虑了在第2影像编码方式中的编码性能的作用的运动向量等的方面有效。
【附图说明】
图1是展示本发明的实施例1的影像代码转换器(影像数据转换装置)的构成图。
图2是展示在影像代码转换器中的运动向量映射和编码方式判定处理的流程图。
图3是展示伴随分辨率转换的代码转换单位的说明图。
图4是说明MPEG-2视频编码中的运动预测方式的类别的说明图。
图5是展示本发明的实施例2的影像代码转换器(影像数据转换装置)的构成图。
图6是展示影像代码转换器中的运动向量映射和编码方式判定处理的流程图。
图7是展示编码方式推测单元8的MPEG-2编码方式的监视动作的说明图。
图8是展示运动向量映射单元7的MPEG-2运动向量的监视动作的说明图。
【具体实施方式】
以下，为了更详细地说明本发明，根据附图说明用于实施本发明的最佳的形式。
实施例1
在本实施例1中，说明把MPEG-2视频数据作为输入，输出在空间分辨率为纵横1/2下采样后的MPEG-4视频数据的影像代码转换器。在以下的说明中，MPEG-4假设是依据MPEG-4简单配置文件的的编码方式。
图1是展示本发明的实施例1的影像代码转换器(影像数据转换装置)的构成图，在图中，MPEG-2译码单元2输入以MPEG-2基准的编码方式压缩的输入压缩数据1，并根据该输入压缩数据1生成译码图像5。可变长译码单元2A根据MPEG-2标准实施输入压缩数据1的语法解析，生成预测余差信号编码数据2B、编码方式信息3以及运动向量信息4。反量化单元2C实施由可变长译码单元2A生成的预测余差信号编码数据2B的反量化，反DCT单元2D实施针对反量化后的预测余差信号编码数据的反DCT后，输出预测余差信号译码值2E。
运动补偿单元2F根据由可变长译码单元2A生成的运动向量信息4和存储在帧存储器2G中的参照图像数据2H，生成预测图像2I。加法器2J加算从反DCT单元2D输出的预测余差信号译码值2E和由运动补偿单元2F生成的预测图像2I，生成译码图像5。进而，在帧存储器2G中把译码图像5作为参照图像数据2H存储。
分辨率转换单元6把由MPEG-2译码单元2生成的译码图像5的分辨率转换为在象素区域上纵横1/2大小的分辨率。运动向量映射单元7根据由可变长译码单元2A生成的运动向量信息4，生成可以在MPEG-4译码中利用的运动向量映射信息11(运动向量的候补)。编码方式推测单元8根据由可变长译码单元2A生成的编码方式信息3，确定应该在MPEG-4中利用的编码方式设定信息12。
MPEG-4编码单元10用MPEG-4编码由分辨率转换单元6转换分辨率后的译码图像9。运动补偿单元10A根据运动向量映射信息11和存储在帧存储器10M中的参照图像数据，生成预测图像10C。减法器10P取作为由分辨率转换单元6转换了分辨率的译码图像的输入信号9和由运动补偿单元10A生成的预测图像10C的差分，生成预测余差信号。编码参数判定单元10B根据编码方式设定信息12等，决定在MPEG-4的各宏块单位中用于编码的编码方式和运动向量。
DCT单元10D当由编码参数判定单元10B决定的编码方式是INTER方式或者INTER4V方式的情况下，对由减法器10P生成的预测余差信号实施DCT，当此编码方式是INTRA方式的情况下，对输入信号9实施DCT。量化单元10E量化DCT单元10D的输出信号。反量化单元10F反量化量化单元10E的输出信号，反DCT单元10G对反量化单元10F的输出信号实施反DCT输出预测余差信号译码值10H。加法器10Q加算从反DCT单元10G输出的预测余差信号译码值10H和由运动补偿单元10A生成的预测图像10C。进而，为了在以后的帧的MC中使用该加算结果10I，而存储到帧存储器10M。
可变长编码单元10J把量化单元10E的输出信号排列成MPEG-4视频流的形式。编码控制单元10L控制编码方式判定单元10B、量化单元10E和反量化单元10F等。
以下说明动作。
①.输入MPEG-2视频流的译码处理
首先，把以依据MPEG-2的编码方式压缩的输入压缩数据1输入MPEG-2译码单元2。
MPEG-2译码单元2的可变长译码单元2A根据MPEG-2标准实施输入压缩数据1的语法解析，生成预测余差信号编码数据2B、编码方式信息3以及运动向量信息4。
反量化单元2C如果从可变长译码单元2A接收到预测余差信号编码数据2B，则实施此预测余差信号编码数据2B的反量化。
反DCT单元2D如果从反量化单元2C接收到反量化后的预测余差信号编码数据，则对此预测余差信号编码数据实施反DCT，输出预测余差信号译码值2E。
运动补偿单元2F如果从可变长译码单元2A接收到运动向量信息4，则根据此运动向量信息4和存储在帧存储器2G中的参照图像数据2H，生成预测图像2I。进而，在运动向量信息4中，除了运动向量值外，还包含表示帧预测或者图像区域预测的标志等与MC有关的全部信息。
加法器2J在运动补偿单元2F生成预测图像2I时，加算该预测图像2I和从反DCT单元2D输出的预测余差信号译码值2E，生成译码图像5。进而，译码图像5为了在以后的帧的运动补偿中使用，而作为参照图像数据2H存储在帧存储器2G中。
②.分辨率转换处理
由MPEG-2译码单元2生成的MPEG-2译码图像5被输入作为空间分辨率转换单元的分辨率转换单元6。
分辨率转换单元6通过实施依据规定的下采样(Down sample)滤波器的象素间隔采样，把MPEG-2译码图像5的分辨率例如缩小到纵横1/2的空间分辨率。此结果成为MPEG-4编码器单元10的输入信号9。
进而，时间方向的分辨率转换例如在S.J.Wee等，“Field-to-frameTranscoding with Spatial And Temporal Downsampling”，IEEEInternational Conference on Image Processing，Kobe，Japan，Oct.1999中揭示的那样，当在MPEG-2流中存在B帧(两方向预测帧)的情况下，只容许通过间隔采样B帧削减帧速率的处理。这是因为B帧和I(内部)或者P(单向预测)帧不同，因为不把其自身用于另一帧的预测，所以通过间隔采样它不会对其它帧的品质有影响。
例如，虽然经常使用在I(内部)或者P(单向预测)帧之间插入2帧B帧的编码图案，但这种情况下，通过全部间隔采样B帧可以把帧速率降低到1/3。另外，在本实施例1中，假设MPEG-2的I(内部)帧在MPEG-4中也作为I(内部)帧，同样MPEG-2的P(单向预测)帧在MPEG-4中也作为P(单向预测)帧进行转换。
③.运动向量映射以及编码方式选择处理
以下，说明作为本发明的特征点的运动向量映射处理以及编码方式选择处理。进而，本处理由图1中的运动向量映射单元7、编码方式推测单元8以及MPEG-4编码单元10的编码参数判定单元10合作执行。
图2是展示影像代码转换器中的运动向量映射和编码方式判定处理的流程图。
MPEG-2译码图像5、MPEG-4编码单元10的输入信号9因为空间分辨率是纵横1/2，所以假设是以MPEG-2的2×2个宏块，即，MPEG-4的1个宏块为单位执行以下说明的处理步骤。图3是展示伴随分辨率转换的代码转换单位的说明图。
在MPEG-4中，因为对于宏块分配1个或者4个运动向量，所以作为运动向量的映射方法，有如图3(A)所示从4个MPEG-2运动向量转换为1个MPEG-4运动向量的情况、如图3(B)所示从4个MPEG-2运动向量转换到4个MPEG-4运动向量的情况这两种。
(1)事前的强制编码方式判定(步骤ST0)
首先，编码方式推测单元8调查图3所示的MPEG-2的2×2个宏块内的编码方式分布的状态。当4个宏块全部是INTRA方式的情况下，以及4个宏块全部是SKIP方式的情况下，分别将应该在MPEG-4编码中使用的转换后的编码方式强制设为INTRA、SKIP。这种情况下，假设运动向量全部是零，并跳过以后的步骤。
进而，所谓INTRA方式是不使用运动预测而在帧内进行编码的方式，所谓SKIP方式是直接拷贝参照图像中的同一位置的图像数据的方式，是不传送编码信息的方式。
其结果，通过采用只与在4个宏块的某一个中包含运动预测方式的情况有关的INTER方式，即使用运动向量进行运动预测的方式，从而成为编码效率高的情况。但是，这种情况下，根据以下的步骤(2)以后的处理，在取得的MPEG-4编码方式中，再次决定在编码效率的意义下最佳的方式。
因而，在从编码方式推测单元8输出的编码方式设定信息12中，有强制性的INTRA方式、强制的SKIP方式或者INTER方式的可能性这三个情况的选择分支。
(2)运动向量候补的选定
在上述(1)中，当判断为有INTER方式的利用价值的情况下，根据从MPEG-2编码单元2的可变长译码单元2A输出的2×2宏块的MPEG-2运动向量，决定在MPEG-4编码器单元10中使用的运动向量的候补。
在运动向量映射单元7中实施本处理。
MPEG-2支持交错信号的压缩编码，可以选择把帧作为编码单位的帧构造编码、把图像区域作为编码单位的图像区域构造编码的2个编码方式之一。
在帧构造编码中，用帧图形区域构成由16×16象素组成的宏块，在图像区域构造编码中由图像区域构成宏块。因为帧被定义为把上图像区域(构成上部线的图像区域)、下图像区域(构成下部线的图像区域)组合成梳状的图像数据，所以图像区域构造编码中的宏块相对于帧图像区域中的宏块，覆盖垂直方向的区域为2倍。
图4是说明MPEG-2视频编码中的运动预测方式的种类的说明图。
图4(A)是可以在帧构造编码时使用的运动预测方式，同一图(B)是可以在图像区域构造编码时使用的运动预测方式。在图4(A)中，帧预测用1个运动向量vfr预测由帧图像组成的宏块。图像区域预测是对由帧图像组成的宏块的各自的图像区域，用独立的运动向量vtf以及vbf进行预测。
这时，可以选择参照的图像区域是上图像区域，或者下图像区域。双起点预测用1个图像区域向量v，从同一图像区域位置生成第1预测图像(上图像区域的预测参照上图像区域，下图像区域的预测参照下图像区域)，同时从另一图像区域位置根据图像区域间距离换算向量v，用在其结果上加算了微小向量dmv后的运动向量生成第2预测图像，把第1以及第2预测图像的加算平均作为各个信息的预测图像使用。
在图4(B)中，图像区域预测用1个运动向量vfi预测由图像区域图像组成的宏块。16×8预测把由图像区域图像组成的宏块分割为上下16×8的2个区域，并分别用各个运动向量vfi，upper以及vfi，lower预测。双起点预测进行把帧构造编码的情况下的规则适用到图像区域的预测。
在运动向量映射单元7中，与以上的MPEG-2运动预测方式对应，生成用于MPEG-4编码的运动向量。在此实施例1中，按照以下步骤选定在MPEG-4编码中利用的运动向量。
(2-1)INTER4V方式用运动向量候补的选定(步骤ST1)
根据其预测的性质，把被定义为MPEG-2的宏块的单位的运动向量向下换算为分辨率转换后的运动向量的数值范围，唯一地确定与MPEG-2的2×2宏块的区域对应的4个运动向量，把这些运动向量作为用于MPEG-4的INTER4V方式的运动向量候补。
所谓INTER4V方式把由在帧图像区域上定义的16×16象素组成的宏块区域分割为4个8×8象素块，是分别用各自的运动向量进行预测的方式。与图3(B)的情况相当。关于本步骤，根据以下的规则选定用于INTER4V方式的运动向量候补。
○帧构造编码的情况
[帧预测的情况]
把在水平方向和垂直方向上将运动向量vfr转换为1/2的运动向量作为候补。
[图像区域预测的情况]
把在水平方向上将上图像区域的运动向量vtf转换为1/2的运动向量作为候补。
[双起点预测的情况]
把在水平方向上将用于上图像区域的运动向量v以及αv+dmv的平均值转换为1/2的运动向量作为候补。
○图像区域构造编码的情况
以下，只抽出在上图像区域的预测中使用的向量。
[图像区域预测的情况]
把将运动向量vfi在水平方向上转换为1/2，在垂直方向上转换为1/4的运动向量作为候补。
[16×8预测的情况]
对运动向量vfi，upper和vfi，lower进行平均，把在水平方向和垂直方向上转换为1/2的运动向量作为候补。
[双起点预测的情况]
把将运动向量v以及αv+dmv在水平方向上转换为1/2，在垂直方向上转换为1/4的运动向量作为候补。
(2-2)INTER方式对应运动向量候补的选定(步骤ST2)
从上述已确定的4个运动向量中，确定用于MPEG-4的INTER方式的运动向量。所谓INTER方式是用1个运动向量预测由在帧图像区域上定义的16×16象素组成的宏块区域的方式。与图3(A)的情况相当。
这可以考虑例如用在B.Shen等，“Adaptive Motion-VectorResampling for Compressed Video Downsampling”，IEEETransactions on Circuits And Systems for Video Technology，vol.9，no.6，Sep.1999中揭示的方法确定。
以上通过(1-1)，(1-2)选定的INTER用、INTER4V用运动向量候补作为运动向量映射信息11被输入MPEG-4编码器单元10。
(3)编码方式判定
因为根据上述(2)选定应该在MPEG-4的INTER以及INTER4V中利用的运动向量的候补，所以作为剩余的编码方式的可能性，在INTRA方式或者SKIP方式中，选择编码效率最好的方式。作为其结果，确定最终的编码方式和运动向量。在编码参数判定单元10B中执行此处理。
在此方式判定处理中，作为判定基准使用以下公式所示的速率失真成本Jm。
(m*,vm*)=argminm∈MJm]]>
Jm＝αmEm+λRvm
在该公式中，m是编码方式种类，vm是方式m情况下的运动向量，M是方式种类的集合(M＝(INTRA，SKIP，INTER，INTER4V))，αm是根据方式m确定的常数，Em是方式m使用时的预测误差评价值，Rvm是运动向量为vm时的运动向量符号量，λ是正的常数，m*、vm*是本评价的结果被选定的编码方式和运动向量。进而，在此(3)的编码方式判定时，也可以只基于预测误差评价值、运动向量编码量的某一方。
作为Em，涉及SKIP、INTER、INTER4V方式，例如可以用输入信号9与使用运动向量vm从运动补偿单元10A得到的预测图像候补之间的差分绝对值和等定义。进而，假设SKIP的情况下的运动向量vm是零，Rvm也是零。为了用同样的评价式进行INTRA方式评价，作为INTRA方式的Em，把输入信号9中的宏块内的亮度信号平均值当作预测图像候补，可以使用从输入信号9中减去它的差分的绝对值和。进而，Em的构成也可以是不仅亮度信号，还加上色差成分(Cb，Cr成分)定义。
因为在大多的情况下，MPEG-2以及MPEG-4的编码对象影像的颜色成分采样比多使用Y∶Cb∶Cr＝4∶2∶0(对于亮度成分16×16象素区域，是8×8象素区域的Cb，Cr成分对应的情况)，所以其构成可以是和上述INTRA方式的亮度成分的事例一样，例如把Cb、Cr各自的8×8区域的平均值(DC成分)看作预测图像候补，加入从输入信号9的Cb、Cr各成分中减去该平均值的差分绝对值和。由此，可以不仅评价考虑了亮度图案的相似度，而还评价考虑了颜色的相似度的运动向量，可以抑制因容易引起注意的颜色偏差引起的劣化。
另外，在INTRA方式中，因为一方面运动向量的符号量Rvm是零，另一方面需要编码的DCT系数多，所以可以用权重αm预先变更对Em的评价的权重。由此，可以模拟地进行考虑了INTRA方式的DCT系数编码量的加算部分的方式判定。
进而，对Em的评价的加权不仅可以是权重αm的乘算，也可以用偏离值0m的加算实现。
另外，作为λ值例如可以使用在Gary J.Sullivan and ThomasWiegand，“Rate-Distortion Optimization for Video Compression”，IEEE Signal Processing Magazine，vol.15，no.6，pp.74-90，Nov.1988.中揭示的以下的值。其中，Qp是编码对象宏块的量化步骤参数。
λ=0.85*Qp2]]>
在图2中，为了方便，把m定义为计数器，用m的循环处理的形式记述上述处理。当根据从编码方式推测单元8输出的编码方式设定信息12判断为有INTER方式的评价价值的情况下，初始化m以及成本评价值min_J，开始处理(步骤ST3)。
经过是否是m＝3(INTRA)的判定(步骤ST4)，当是INTRA的情况下，计算该宏块内的亮度值的平均值(步骤ST5)。否则，使用根据运动向量映射信息11确定的运动向量vm，利用运动补偿单元10B得到预测图像候补(步骤ST6)。在步骤ST5或者步骤ST6的结果与用输入信号9表示的编码对象宏块的亮度信号之间计算差分绝对值和，把它作为上述Em计算成分Jm(步骤ST7)。在步骤ST8、ST9中，对成为成本最小的方式m进行候补更新，在步骤ST10中增加m，在步骤ST11中直至循环结束继续上述处理。
通过以上的步骤，在步骤ST0中判定为有INTER方式的利用价值的情况下，在MPEG-4编码中，把可以取得的全部的编码方式作为对象进行最佳方式选择，并且选定随之的运动向量。
在以往技术中，虽然揭示了上述(1)所述那样的运动向量的候补选定，但其结果得到的运动向量自身的编码量成本、直至对MPEG-4编码的作用都未被评价。特别当进行低速率的MPEG-4编码的情况下，难以忽视运动向量的编码量的大小，但通过使用上述判定规范，可以在INTER、INTER4V的运动向量候补中，选择产生最佳符号量和预测精度的转换的向量。
另外，由于INTRA、SKIP也用同样的评价尺度评价，因而在同一判定规范中可以一并确定应该在MPEG-4编码中使用的运动向量和编码方式。
④.MPEG-4编码处理
以上的结果，在MPEG-4编码器10中，以再利用从输入压缩数据1中抽出的运动向量信息、编码方式信息的形式，输入运动向量映射信息11、编码方式设定信息12，在作为分辨率转换后的MPEG-2译码图像的输入信号9的编码中使用。这些信息在编码参数判定单元10B中，被利用于以MPEG-4的各宏块为单位在编码中使用的编码方式以及运动向量的确定。
其结果，当INTER、INTER4V的某一方式的情况下，在运动补偿单元10A中生成预测图像10C，取与输入信号9的差分生成预测余差信号，该信号经由DCT单元10D、量化单元10E用可变长编码单元10J排列成MPEG-4视频流的形式。
在INTRA方式的情况下，输入信号9自身在被DCT、量化后被可变长编码。在SKIP方式的情况下，通过只把表示该宏块是SKIP的标志(not_coded)在位流上多路复用来进行编码。
量化后的预测余差信号经由反量化单元10F、反DCT单元10G返回预测余差信号译码值10H，在和预测图像10C加算后，为了在以后的帧的MC中使用而被存储在帧存储器10M中。
进而，可变长编码单元10J在其内部包含AC、DC成分的预测处理、用于DCT系数的扫描宽度编码的扫描处理。
另外，可变长编码单元10J的输出因为在缓冲后被传送或者记录，所以编码控制单元10L实施基于缓冲占有量10K的编码控制。在此，主要以按照光栅扫描顺序组合多个宏块的单位、以通过切断帧内的与周边图像区域的依存关系而在错误的早期恢复中使用的视频分组和宏块等的单位，进行确定量化步骤参数(Qp)10N的处理。确定的量化步骤参数10N在被输入到量化单元10E、反量化单元10F的同时，还被输入用于上述λ计算的编码参数判定单元10B。
从以上所述可知，如果采用本实施例1，则因为通过从MPEG-2影像数据到MPEG-4影像数据进行转换动作的代码转换器，一边再利用MPEG-2数据中的运动向量和编码方式的信息，一边确定在MPEG-4编码中的最佳编码方式以及运动向量，所以可以以少的计算量提高代码转换影像的品质。
特别是在本实施例1中，因为简化运算负荷大的运动向量检测处理，所以与以往的单纯运动向量再利用方法相比，可以提高从MPEG-2向MPEG-4的影像代码转换品质。
进而，虽然未详细叙述，但如果采用本构成，则通过使编码控制单元10L中的量化步骤参数(Qp)10N的确定处理或者帧和视频分组、宏块等的设定单位与以上③叙述的MPEG-2的运动向量、编码方式信息再利用的方针密切合作，可以进一步改善编码效率。
另外，在以上叙述中，是以MPEG-4简单配置文件为前提的，但本构成的代码转换器可以适用于MPEG-4高级简单配置文件或在ITU H.263中记载于Annex F上的支持运动预测选择的情况等以MPEG-4简单配置文件为基准的所有的多方式编码方式。
实施例2
在本实施例2中，说明分辨率转换单元6不仅作为空间分辨率转换单元，还具有作为时间分辨率转换单元功能，进行由间隔采样运动预测的影像传播的P帧产生的时间分辨率(帧速率)的转换的实施例。进而，分辨率转换单元6也可以作为空间分辨率转换单元以及时间分辨率转换单元发挥功能，当然也可以不具有空间分辨率转换单元功能而只具有时间分辨率转换单元功能。
图5是展示本发明的实施例2的影像代码转换器(影像数据转换装置)的构成图。进而，本实施例2的代码转换器的构成因为和图1所示的实施例1的代码转换器的内部构成一样，而分辨率转换单元6以及运动向量映射单元7的动作和上述实施例1不同，所以详细说明和上述实施例1不同的动作。
以下说明有关动作。
①.输入MPEG-2视频流的译码处理
和上述实施例1动作相同。
②.分辨率转换处理
MPEG-2译码图像5在分辨率转换单元6中，通过基于规定的下采样滤波器的象素间隔采样，缩小为纵横1/2的空间分辨率。进而，根据从MPEG-4编码单元10通知的编码帧指示信息13，控制对MPEG编码单元10的输入信号9的输入帧速率。
在本实施例2中，假设其构成不仅是在上述实施例1中叙述的B帧的间隔采样处理，还以编码帧指示信息13的指示顺序进行P帧的间隔采样。
编码帧指示信息13当MPEG-4编码单元10以固定帧速率进行编码的情况下，表示此编码帧速率值，当MPEG-4编码单元10以可变帧速率进行编码的情况下，表示成为编码对象的帧的显示时刻信息，或者来自此前的MPEG-4编码帧的帧数偏离信息等。
③.运动向量映射以及编码方式选择处理
以下说明作为此实施例2的特征点的运动向量映射处理以及编码方式选择处理。
本处理通过图5所示的运动向量映射单元7、编码方式推测单元8以及作为MPEG-4编码单元10的构成要素的编码参数判定单元10的合作执行。
图6是展示影像代码转换器中的运动向量映射和编码方式判定处理的流程图。
MPEG-2译码图像5和MPEG-4编码单元输入信号9因为空间分辨率是纵横1/2，所以假设以MPEG-2的2×2个宏块，即，以MPEG-4的1个宏块为单位执行以下说明的处理步骤(参照图3)。
1)事前的强制编码方式判定
首先，在编码方式推测单元8中，调查图3所示的MPEG-2的2×2个宏块内的编码方式的分布状态。
图7是说明编码方式推测单元8的MPEG-2编码方式的监视动作的说明图。
如图7所示，在本实施例2中根据编码帧指示信息13，在此前成为了MPEG-4编码对象的帧以后，直至成为现在编码对象的帧之前的帧间隔采样期间，进行MPEG-2编码方式的监视(步骤ST12、ST13)。MPEG-2的4个宏块全部成为INTRA方式的情况只要有1次，就把在MPEG-4编码中要使用的转换后的编码方式强制设置为INTRA方式。
另一方面，当4个宏块全部变为SKIP方式的情况下，在此前成为MPEG-4编码对象的帧以后，直至成为现在编码对象的帧之前，在帧间隔采样期间，对于SKIP始终连续的情况，将在MPEG-4编码中要使用的编码方式强制设置为SKIP，当有SKIP一次也没有的事例的情况下，则研究INTER方式的可能性。但是，进行帧间隔采样期间的MPEG-2编码方式的监视只对P帧进行，I帧仍然作为I帧不进行间隔采样而进行MPEG-4编码，使MPEG-2编码方式的监视复位(步骤ST14，ST15)。对于强制成为INTRA或者SKIP的情况，运动向量全部设置为0，跳过以后的步骤。
因而，在从编码方式推测单元8输出的编码方式设定信息12中，有强制INTRA方式、强制SKIP方式或者INTER方式的这3种可能的选择分支(步骤ST0)。
其结果，只对被判断为研究INTER方式的可能性的情况，根据以下的步骤(2)以后的处理，再次确定在取得的MPEG-4编码方式中在编码效率的意义上最佳的方式。
(2)运动向量候补的选定
在上述(1)中当判断为有INTER方式的利用价值的情况下，如图8所示根据编码帧指示信息13，在此前成为了MPEG-4编码对象的帧以后，直至成为现在编码对象的帧之前的帧间隔采样期间，进行MPEG-2运动向量的监视(步骤ST12、ST13)。根据监视的结果得到的MPEG-2运动向量，确定在MPEG-4编码单元10中使用的运动向量的候补。
在运动向量映射单元7中实施本处理。根据上述(1)的结果，在本处理中，原则上作为进行帧间隔采样的期间的MPEG-2的编码方式考虑SKIP方式或者INTER方式产生的情况。因而，使用以下的规则。
规则1：通过用下式累计作为帧速率转换的结果的存在于被间隔采样的帧的同一空间位置上的宏块的运动向量求得编码对象宏块的运动向量候补。
vMPEG4=ΣkS(vkMPEG2)]]>
在此，vMPEG4是MPEG-4编码对象宏块的运动向量候补，k是作为帧速率转换结果的被间隔采样的帧的计数器，S(*)是与分辨率一致的运动向量的换算，vkMPEG2是与MPEG-4编码对象宏块区域对应的MPEG-2的运动向量。其中，在vMPEG4中有INTER、INTER4V这2种，如在上述实施例1的2-(2)中所述那样，首先在求出INTER4V的运动向量候补后，确定INTER运动向量(步骤ST1，ST2)。
规则2：S(vkMPEG2)考虑随着交错编码的帧、图像区域向量的不同，根据上述实施例1中的2-(1)的规则进行换算处理。
规则3：在帧计数器k的某一时刻，当产生SKIP方式的情况下，将要累计的运动向量vkMPEG2设为零。
规则4：在I帧中一边监视MPEG-2运动向量一边复位上述运动向量累计(步骤ST14，ST15)。
(3)编码方式判定
根据上述(2)，因为选定了应该在MPEG-4的INTER以及INTER4V中利用的运动向量的候补，所以作为剩余的编码方式的可能性，在INTRA、SKIP中，选择编码效率最好的方式(步骤ST3～ST11)。作为其结果，确定最终的编码方式和运动向量。在编码参数判定单元10B中执行此处理。以下，编码参数判定单元10B中的处理以上述实施例1的(3)为基础。但是，在运动预测中使用的参照图像使用在成为现在的编码对象前被经MPEG-4编码的帧的局部译码图像。
通过以上的步骤，如果采用本实施例2，则即使在执行伴随P帧的间隔采样的时间分辨率的代码转换(帧速率转换)时，也可以把在MPEG-4编码中取得的全部的编码方式作为对象选定最佳的编码方式以及随着此编码方式的运动向量。
特别是在本实施例2中，即使在进行P帧间隔采样的代码转换器中，因为简化了计算负荷大的运动向量检测处理，所以与以往的单纯运动向量再利用方法相比，可以提高从MPEG-2向MPEG-4的影像代码转换品质。
进而，在上述中，是以MPEG-4简单配置文件为前提说明，但本构成的代码转换器也可以适用于MPEG-4高级单纯配置文件、ITUH.263中记载于Annex F上的支持运动预测选择的情况等以MPEG-4单纯配置文件为基准的所有的多方式编码方式。本发明可以适用于把MC+DCT影像编码方式作为对象的所有代码转换中。
如上所述，本发明的影像数据转换装置以及影像数据转换方法适合于在进行基于各种国际标准的影像压缩·解压缩方式的视频压缩数据的各种转换时，需要只以少量的计算量提高转换代码影像的品质的场合。