图像编码装置以及图像解码装置 技术领域 本发明涉及对图像进行编码并输出编码数据的图像编码装置以及对通过该图像 编码装置所编码的码数据进行解码的图像解码装置。
背景技术 图像编码技术应用于从电视接收机至可进行图像处理的便携式电话等身边的多 种视频设备中。
在图像编码技术领域中， 一般将图像数据 ( 图像信息 ) 分割为多个块， 并以分割的 块单位来进行编码。 在块单位的编码中， 进行以下处理， 即进行与输入信号接近的预测信号 的生成、 输入信号与预测信号的差分即残差信号的计算、 所计算出的残差信号的变换、 通过 变换而获得的变换系数的量化、 所量化的变换系数的扫描 (scan)、 所量化·扫描的变换系 数的可变长编码等的编码处理。
在该可变长编码的处理中， 除变换系数之外， 也对表示预测信号的生成方法的信 息进行编码。
在预测信号的生成方法中存在有 ： 利用对象块周围的再生图像来生成的画面内预 测、 以及利用已编码 / 解码后的帧的再生图像来生成的画面间预测。
在画面内预测中， 存在有 DC 预测、 水平预测、 垂直预测等多个预测模式， 且将表示 利用哪一个预测模式的信息作为标记进行编码。
另外， 在画面间预测中， 通过标记来对用于确定预测中所用的参照帧的帧 ID、 以及 帧内的位置和运动矢量进行编码。
另外， 在本说明书， 将表示从多个方法 ( 模式 ) 的候补中选择出的方法的信息称为 “标记” 。作为标记的编码方法， 有如下的方法等， 例如， 画面内预测中的预测模式以 (2) 的 方法， 画面间预测中的运动矢量作为与预测矢量之间的差分以 (3) 的方法进行编码。
(1) 直接进行编码的方法。
(2) 对表示预测是否命中的信息和预测不中的情况的识别用的信息进行编码的方 法。
(3) 对与预测值之间的差分进行编码的方法。
从预先准备的多个方法 ( 模式 ) 中选择最佳的方法， 对模式识别用的标记进行编 码的手法是一般的手法， 除了预测模式以外， 还在扫描方法、 变换方法、 可变长编码表等中 也利用。
另外， 标记的码量变大的情况下， 也有对标记进行编码反而导致编码效率降低的 情形， 已知有如下技术， 即： 不显式地对标记进行编码， 而利用已编码 / 解码的信息来决定 要应用的模式。
在专利文献 1 中公开了不显式地对表示扫描方法的标记进行编码而利用预测图 像来决定的技术。 例如， 对预测图像的水平方向的边缘与垂直方向的边缘进行比较， 如与垂 直方向的边缘相比较多地含有水平方向的边缘， 则利用将水平方向优先的扫描方法， 如与
水平方向的边缘相比较多地含有垂直方向的边缘， 则利用将垂直方向优先的扫描方法。
在视频编码装置中， 生成用于判定是该垂直方向的边缘多还是水平方向的边缘多 的判定式并将其存储于编码流内， 在视频解码装置中， 利用通过存储于编码流内的判定式 所判定的扫描方法来进行解码。
在专利文献 2 中公开了不显式地对表示变换方法的标记进行编码而利用已解码 的编码数据来决定变换方法的技术。即， 基于编码数据内的量化参数、 编码模式、 运动矢量 的个数信息来决定变换方法。
非专利文献 1 是削减画面间预测的标记即运动矢量的码量的技术， 对解码后的变 换系数进行逆量化， 并通过获取由逆变换而解码的残差信号与参照帧内的块之间的匹配来 估计运动矢量， 由此， 削减标记的码量。
在先技术文献
专利文献
专利文献 1 ： JP 特开 2006-211304 号公报
专利文献 2 ： JP 特开 2003-204550 号公报
非专利文献 非专利文献 1 ： 谷田隆一及其他 (NTT)， “关于利用图像匹配的预测矢量决定方 法 - 研讨 ( 画像マツチングを用いた予測ベクトル決定方法に関する—検討 )” ， 2008 年图 像编码专题讨论会， P5-10
发明概要
发明所要解决的课题
在上述专利文献 1、 专利文献 2 中， 不显式地对表示扫描方法以及变换方法的标记 进行编码而利用了所估计的模式。 但是， 在这些的方法中， 与显式地对标记进行编码的方法 不同， 通过估计所决定的模式也有不适当的情形， 在该情况下将导致码量增加。
另外， 尽管变换系数的特征 ( 例如， 变换系数的个数 ) 与切换模式的情况下的效果 之间存在规定的关系， 但专利文献 1、 专利文献 2 的方法中， 没有有效地利用这种性质。
例如， 在变换系数的个数较多的情况下， 扫描顺序切换的效果较大， 但这种性质没 有得到有效利用。 另外， 变换系数的个数的不同， 扫描方法以及预测方法的估计的易命中程 度也不同， 但由于不根据变换系数的特征来变更估计方法， 所以该性质也没有得到有效利 用。
另外， 非专利文献 1 中， 通过利用对象块的变换系数的信息来进行运动矢量的估 计， 由此， 计算出精度高的预测矢量， 进而削减运动矢量的码量。该技术虽考虑了变换系数 的特征， 但利用了残差信号的运动矢量估计仅在变换系数特别多的情况下有效果。
另外， 由于是利用根据变换系数所获得的信息并以解码装置进行匹配， 故运算负 荷极高。
即， 在现有的编码技术中， 由于没有利用变换系数的特征来进行模式的估计， 故模 式的估计精度低且编码效率低。
另外， 由于没有利用变换系数的特征来决定模式， 所以即使在模式切换的效果较 大的情况下， 由于模式限制为所估计的 1 个从而导致编码效率降低。
另外， 即使在模式切换的效果较小的情况下， 由于对用于识别所使用的模式的标
记进行编码从而导致编码效率降低。 发明内容 本发明是考虑了上述那样的实际情况而开发的， 其目的在于提供一种利用变换系 数的特征以谋求模式的估计精度的提高和编码效率的提高的图像编码装置以及图像解码 装置。
解决课题的手段
为了解决上述课题， 本发明的图像编码装置用于生成编码数据， 其具备对输入信 号进行块化并以该块单位来生成所述输入信号的预测信号的预测部 ； 对所述输入信号和所 述预测信号的残差信号进行变换并计算出变换系数的变换部 ； 对所述变换系数进行量化的 量化部 ； 将所述量化后的变换系数进行一维排列的扫描部 ； 以及对所扫描的所述变换系数 进行编码的可变长编码部， 由以下的 (1) 至 (3) 的任意一构成来形成。
(1) 本发明的图像编码装置具备 ： 变换系数评价部， 其基于所述变换系数的特征 来计算评价值 ； 模式估计部， 其根据所述评价值， 来估计所述预测部或者所述变换部或者所 述扫描部中所利用的模式 ； 模式限制部， 其根据所述评价值， 对所述预测部或者所述变换部 或者所述扫描部中所利用的可选择模式的范围进行限定 ； 以及模式选择部， 其从所述可选 择模式的范围内存在的规定的模式中， 选择编码成本为最小的模式， 所述模式选择部一边 切换所述预测部或者所述变换部或者所述扫描部中所利用的所述规定的模式， 一边使所述 预测部、 所述变换部、 所述量化部、 所述扫描部、 所述可变长编码部对所述输入信号进行动 作， 利用由所述变换系数评价部计算出的评价值， 来选择编码成本为最小的模式， 所述可变 长编码部在所限制的所述模式的个数为多个的情况下， 对用于识别所述预测部或者所述变 换部或者所述扫描部中所利用的模式的标记进行编码。
(2) 本发明的图像编码装置具备 ： 变换系数评价部， 其基于所述变换系数的特征 来计算评价值 ； 模式限制部， 其根据所述评价值， 对所述预测部或者所述变换部或者所述扫 描部中所利用的可选择模式的范围进行限定 ； 以及模式选择部， 其从所述可选择模式的范 围内存在的规定的模式中， 选择编码成本为最小的模式， 所述模式选择部一边切换所述预 测部或者所述变换部或者所述扫描部中所利用的所述规定的模式， 一边使所述预测部、 所 述变换部、 所述量化部、 所述扫描部、 所述可变长编码部对所述输入信号进行动作， 利用由 所述变换系数评价部计算出的评价值， 来选择编码成本为最小的模式， 所述可变长编码部 对用于识别所述预测部或者所述变换部或者所述扫描部中所利用的模式的标记进行编码。
(3) 本发明的图像编码装置具有 ： 变换系数评价部， 其基于所述变换系数的特征 来计算评价值 ； 模式估计部， 其根据所述评价值， 来估计所述预测部或者所述变换部或者 所述扫描部中所利用的模式 ； 以及模式选择部， 其从规定的模式中选择编码成本为最小的 模式， 所述模式选择部一边切换所述预测部或者所述变换部或者所述扫描部中所利用的所 述规定的模式， 一边使所述预测部、 所述变换部、 所述量化部、 所述扫描部、 所述可变长编码 部对所述输入信号进行动作， 利用由所述变换系数评价部计算出的评价值， 来选择编码成 本为最小的模式， 所述可变长编码部在所估计的所述模式与所选择的所述模式相同的情况 下， 对表示利用所估计的所述模式的信息进行编码， 另外， 在所估计的所述模式与所选择的 所述模式不同的情况下， 对用于识别所述预测部或者所述变换部或者所述扫描部中所利用
的模式的标记和表示不利用所估计的所述模式的信息进行编码。
另外， 本发明的图像解码装置中， 针对对输入信号进行块化并以该块单位将实施 变换并量化后的变换系数进行一维地排列并编码后的编码数据， 通过逆扫描部进行逆扫 描， 通过逆量化部进行逆量化， 通过逆变换部进行逆变换， 并根据由此得到的残差信号和由 预测部根据已解码的信号所预测的预测信号， 来对所述编码数据进行解码， 其由以下的 (4) 至 (6) 的任意一构成来形成。
(4) 本发明的图像解码装置具有 ： 可变长解码部， 其根据所述编码数据， 对变换系 数以及用于识别所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式的标记 进行解码 ； 变换系数评价部， 其基于所述变换系数的特征来计算评价值 ； 模式估计部， 其根 据所述评价值， 来估计所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式 ； 模式限制部， 其根据所述评价值， 对所述预测部或者所述逆变换部或者所述逆扫描部中所 利用的可选择模式的范围进行限定 ； 以及模式解码部， 其在所限制的所述模式的个数为 1 个的情况下， 将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为由所 述模式估计部估计出的模式， 另外， 在所限制的所述模式的个数为多个的情况下， 将所述预 测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为通过所述标记识别的模式， 利用由所述模式解码部所解码的模式， 使所述预测部或者所述逆变换部或者所述逆扫描部 进行动作， 对所述编码数据进行解码。 (5) 本发明的图像解码装置具有 ： 可变长解码部， 其根据所述编码数据， 对变换系 数以及用于识别所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式的标记 进行解码 ； 变换系数评价部， 其基于所述变换系数的特征来计算评价值 ； 模式限制部， 其对 所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式的范围进行限定 ； 模式解 码部， 其在所限定的所述模式的个数为 1 个的情况下， 将所述预测部或者所述逆变换部或 者所述逆扫描部中所利用的模式设为由所述模式限制部限定的范围内的模式， 另外， 在所 限定的所述模式的个数为多个的情况下， 将所述预测部或者所述逆变换部或者所述逆扫描 部中所利用的模式设为通过所述标记识别的模式， 利用由所述模式解码部解码的模式， 使 所述预测部或者所述逆变换部或者所述逆扫描部进行动作， 对所述编码数据进行解码。
(6) 本发明的图像解码装置具有 ： 可变长解码部， 其根据所述编码数据， 对变换系 数、 表示是否利用所估计的模式的信息、 以及用于识别所述预测部或者所述逆变换部或者 所述逆扫描部中所利用的模式的标记进行解码 ； 变换系数评价部， 其基于所述变换系数的 特征来计算评价值 ； 模式估计部， 其根据所述评价值来估计所述预测部或者所述逆变换部 或者所述逆扫描部中所利用的模式 ； 以及模式解码部， 其在表示利用所估计的模式的信息 被解码的情况下， 将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为 由所述模式估计部估计出的模式， 另外， 在表示不利用所估计的模式的信息被解码的情况 下， 将所述预测部或者所述逆变换部或者所述逆扫描部中所利用的模式设为通过所述标记 识别的模式， 利用由所述模式解码部解码的模式， 使所述预测部或者所述逆变换部或者所 述逆扫描部进行动作， 对所述编码数据进行解码。
另外， 在上述的 (1) 至 (3) 的图像编码装置或者上述 (4) 至 (6) 的图像解码装置 中， 所述变换系数评价部的评价值为 ： 在表示是否有零以外的变换系数的值、 零以外的变换 系数的个数、 变换系数的零所连续的长度、 量化后的变换系数的大小、 对变换系数进行编码
时的编码成本、 变换系数的偏差、 基于量化后的变换系数的大小而计算出的编码效率以及 表示最低阶数的变换系数是否为 0 的值中的任意一个 ； 利用这些值从规定的函数所计算出 的值 ； 或者模式估计或者模式限定中所使用的组合。
而且， 在上述的 (1) 或 (2) 的图像编码装置或者在上述 (4) 或 (5) 的图像解码装 置中， (7) 与所述评价值为规定的值以下的情况相比， 所述模式限定部在所述评价值大于规 定的值的情况下， 将可选择模式的范围设定得较小 ； 或者 (8) 所述模式限定部具有比第一 规定值大的第二规定值， 并与在所述评价值比所述第一规定值大且为所述第二规定值以下 的情况下的可选择模式的范围相比， 将在所述评价值为所述第一规定值以下的情况以及所 述评价值比所述第二规定值大的情况下的可选择模式的范围设定得较小。
另外， 在上述的 (1) 或 (3) 的图像编码装置或者在上述 (4) 或 (6) 的图像解码装 置中， 所述模式估计部在所述评价值为规定的值以下的情况下， 基于已再生完成的块的模 式或者已再生完成块的像素值来估计模式， 在所述评价值比规定的值大的情况下， 利用规 定的模式。
发明效果
根据本发明， 由于根据变换系数的特征来限制模式的可选择的选项， 所以削减了 模式的表现中所需的标记的码量且提高了编码效率。
另外， 由于根据变换系数的特征来估计模式， 故既提高了模式的估计精度也提高 了编码效率。 附图说明 图 1 是表示本发明的实施方式 1 所涉及的图像编码装置的构成的框图。
图 2 是用于说明本发明的实施方式 1、 2 的扫描方法的图。
图 3 是表示本发明的实施方式 1、 2 中的基于出现频度来估计模式的模式估计部的 构成的框图。
图 4 是表示本发明的实施方式 1、 2 中的基于出现频度来估计模式的模式估计部的 他的构成的框图。
图 5 是用于说明基于出现频度来生成扫描方法的方法的图。
图 6 是用于说明本发明的实施方式 1、 5 所涉及的模式限制部的图。
图 7 是用于说明本发明的实施方式 1 所涉及的模式选择部的动作的流程图。
图 8 是用于说明现有编码数据的构成的图。
图 9 是用于说明本发明的编码数据的构成的图。
图 10 是用于说明本发明的实施方式 1 所涉及的变形例 1 的模式选择部的动作的 流程图。
图 11 是用于说明本发明的实施方式 1 所涉及的变形例 2 的模式选择部的动作的 流程图。
图 12 是表示本发明的实施方式 2 所涉及的图像解码装置的构成的框图。
图 13 是用于说明本发明的实施方式 2 所涉及的图像解码装置的动作的流程图。
图 14 是用于说明本发明的实施方式 2 所涉及的变形例 3 的动作的流程图。
图 15 是用于说明本发明的实施方式 2 所涉及的变形例 4 的动作的流程图。
图 16 是表示本发明的实施方式 3 所涉及的图像编码装置的构成的框图。
图 17 是表示本发明的实施方式 3、 4 中的基于出现频度来估计模式的模式估计部 的构成的框图。
图 18 是用于说明本发明的实施方式 3 所涉及的模式选择部的动作的流程图。
图 19 是表示本发明的实施方式 4 所涉及的图像解码装置的构成的框图。
图 20 是表示本发明的实施方式 5 所涉及的图像编码装置的构成的框图。
图 21 是用于说明方向预测和块预测的图。
图 22 是用于说明函数预测和匹配预测的图。
图 23 是用于说明本发明的实施方式 5、 6 所涉及的模式估计部的动作的流程图。
图 24 是用于说明本发明的实施方式 5、 6 所涉及的模式估计部的其他动作的流程 图。
图 25 是用于说明本发明的实施方式 5 所涉及的模式选择部的动作的流程图。
图 26 是用于说明本发明的实施方式 5 所涉及的模式选择部的其他动作的流程图。
图 27 是表示本发明的实施方式 6 所涉及的图像解码装置的构成的框图。
图 28 是用于说明本发明的实施方式 6 所涉及的图像解码装置的其他动作的流程 图。 具体实施方式 以下， 参照附图， 对本发明所涉及的实施的方式进行说明。
另外， 实施方式 1 以及 2 是涉及选择扫描模式的情况下的图像编码装置以及图像 解码装置， 实施方式 3 以及 4 涉及选择变换模式的情况下的图像编码装置以及图像解码装 置， 实施方式 5 以及 6 涉及选择预测模式的情况下的图像编码装置以及图像解码装置。
在该情况下， 关于选择对象以外的模式， 设为进行了预先确定。
本发明不仅适用于这样的分别对扫描模式、 变换模式、 预测模式进行选择的情形， 也同样适用于以任意的组合对模式进行选择的情形。
( 实施方式 1)
在实施方式 1 中， 关于选择扫描模式并编码的情况进行说明。在该情况下， 变换方 式、 量化方式是预先确定的。
( 图像编码装置 100 的构成 )
图 1 是表示本发明的实施方式 1 所涉及的图像编码装置 100 的构成的框图。在图 1 中， 图像编码装置 100 具备预测部 111、 变换部 112、 量化部 113、 扫描部 114、 可变长编码 部 115、 逆量化部 116、 逆变换部 117、 帧存储器 118、 变换系数评价部 121、 模式选择部 122、 模式估计部 123、 模式限制部 124、 减法部 101、 加法部 102。图中的标号， 103 表示从变换部 112 输出的变换系数， 104 表示从量化部 113 输出的量化完成变换系数， 105 表示从扫描部 114 输出的扫描完成变换系数， 106 表示从可变长编码部 115 输出的被进行可变长编码后的 变换系数的信息， 例如， 表示码量。
( 图像编码装置 100 的动作 )
图像编码装置 100 将所输入的图像分解成块， 针对各块， 首先， 使模式选择部 122 进行动作， 其后使变换部 112、 量化部 113、 扫描部 114、 可变长编码部 115、 变换系数评价部
121、 模式估计部 123、 模式限制部 124 进行动作来选择扫描模式， 并将所选择的扫描模式送 往扫描部 114、 可变长编码部 115。
其次， 相对于所输入的图像， 利用所选择的扫描模式来执行现有的编码处理。
另外， 由于预测部 111、 变换部 112、 量化部 113、 扫描部 114、 可变长编码部 115、 逆 量化部 116、 逆变换部 117、 帧存储器 118、 减法部 101、 加法部 102 进行现有的编码处理， 所 以， 以下仅简单说明。
预测部 111 生成输入信号的预测信号。
减法部 101 根据输入信号与预测信号的差分取得残差信号。
变换部 112 针对残差信号通过 DCT 变换等来计算变换系数。
量化部 113 对变换系数进行量化。所量化的变换系数一方面通过扫描部 114 进行 一维地排列， 通过可变长编码部 115 进行编码。所量化的变换系数另一方面通过逆量化部 116 进行逆量化， 通过逆变换部 117 进行逆变换， 来再生残差信号。
所再生的残差信号与预测信号通过加法部 102 进行相加， 再生局部解码块。所再 生的局部解码块存储于帧存储器 118 中。
其次， 关于本发明所涉及的构成要素 ( 变换系数评价部 121、 模式选择部 122、 模式 估计部 123、 模式限制部 124) 以及上述的现有构成要素中的追加功能进行说明。 图 2 是用于说明本发明中所利用的扫描方法的图。图 2 表示 4×4 的变换系数， 图 中的 0 至 15 的值表示变换系数的按位置所扫描的顺序。
图 2(B) 所示的垂直优先扫描对于不为零的变换系数集中在垂直方向上那样的具 有横向的风格的块有效， 相反， 图 2(C) 所示的水平优先扫描对于不为零的变换系数集中在 水平方向上那样的具有纵向的风格的块有效。图 2(A) 的锯齿形扫描是既不为垂直优先也 不为水平优先的扫描。
扫描部 114 利用从锯齿形扫描、 垂直优先扫描、 水平优先扫描中所选择的任意一 种扫描方法 ( 以下， 扫描模式 )。扫描模式的选择是由模式选择部 122 来进行。
另外， 并不将扫描模式仅限于这 3 种， 如后述的那样， 也可以利用基于出现概率的 扫描等其他的扫描模式。在本实施方式 1 中， 对用于识别扫描模式的模式编号进行设定， 将 锯齿形扫描设为 “1” ， 将垂直方向优先设为 “2” ， 将水平方向优先设为 “3” 。将利用其他的扫 描模式的情况下的模式编号设为 “0” 。
( 变换系数评价部 121 的说明 )
变换系数评价部 121 通过预先设定的评价方法， 基于变换系数的信息来计算表示 其特征的评价值 xC。
对变换系数评价部 121 的输入根据评价方法不同而不同。在评价是取决于码量的 情况下， 输入 106 的码量。在取决于扫描方法的情况下， 输入 105 的扫描后的变换系数。在 取决于量化方法的情况下， 输入 104 的量化完成变换系数。在取决于变换方法的情况下， 输 入 103 的变换系数。
评价值 xC 的计算方法有各种各样的方法， 以下对主要的计算方法进行说明。
( 方法 A)
将对象块内的零以外的变换系数的个数 nC 作为评价值 xC。
( 方法 A′ )
将一维地排列的变换系数中 0 连续的变换系数的长度 ( 为 0 的变换系数排得越长 其为越大的值 )LC 作为评价值 xC。
例如， LC 是表示一维地排列的变换系数中 0 的变换系数所连续的个数的最大值。 另外， LC 是表示一维地排列的变换系数中， 0 的变换系数的最后的连续以外的情况下的、 0 的变换系数所连续的个数的最大值。
( 方法 B)
将量化后的变换系数的大小 mC 作为评价值 xC。
例如， mC 为量化后的变换系数的绝对值最大值， 或者， 量化后的变换系数的绝对值 的和， 或者， 量化后的变换系数的平方和等。
( 方法 C)
将对对象块内的变换系数进行编码的情况下的码量 rC 作为评价值 xC。
( 方法 D)
将变换系数的偏差 vC 作为评价值 xC。
例如， vC 为对象块内的变换系数的方差， 或者， 对象块内的变换系数的标准偏差 等。 ( 方法 E)
将基于量化后的变换系数的大小 mC 和零以外的变换系数的个数 nC 所计算出的编 码效率 eC 作为评价值 xC。
对变换系数进行逆量化、 逆变换后获得的信号为残差信号， 但如能以较少的 nC 表 现更多的残差的能量， 则认为该方法编码效率高， eC 用于表现该效率。
eC 的计算方法有多种， 例如为 mC/nC 等。
( 方法 E′ )
另外， 可以取代零以外的变换系数的个数 nC 而利用变换系数的码量 rC 来计算编 码效率 eC， 例如为 mC/rC 等。
另外， mC 的评价方法是方法 B 中说明的方法， 只要是将变换系数进行逆量化、 逆变 换所获得的残差信号的能量相关的方法即可。
另外， 用于计算 eC 的函数 ( 输入为 mC、 nC、 rC) 也可不依据上述说明， 只要随 mC 单 调增加， 随 nC、 rC 单调减少的函数， 就可任意。
( 方法 F)
将表示是否存在零以外的变换系数 ( 零以外的变换系数的个数 nC 不为 0) 的 cbp(Coded Block Pattern) 的值 fC 作为评价值 xC。
fC ＝ 0(nC 为 0 的情况 )
fC ＝ 1(nC 为 0 以外的情况 )
( 方法 G)
将表示最低阶数的变换系数是否为零的值 dC 作为评价值 xC。 在 DCT 变换、 哈德曼 变换 (Hadamard transform) 中， 最低阶数的变换系数成为 DC 系数。
dC ＝ 0( 最低阶数的变换系数为零的情况 )
dC ＝ 1( 最低阶数的变换系数为零以外的情况 )
另外， 可以利用以方法 A 至方法 G 所说明的多个值 nC、 lC、 mC、 rC、 vC、 eC、 fC、 dC 来
计算的式， 例如将 (nC+vC) 作为评价值 xC。
( 模式估计部 123 的说明 )
模式估计部 123 根据从变换系数评价部 121 输出的评价值 xC， 来估计扫描模式， 并 作为模式估计信号而输出。
在变换系数的个数较小的情况下等， 用于表示变换系数的特征的评价值 xC 较小 的情况下， 残差信号较小， 即， 表示预测信号与原图像较好地吻合。
在通过画面内预测来求取预测图像的情况下， 考虑编码对象块与周围的块相似。
在进行画面间预测的情况下， 认为 ： 编码对象块与其周围的块进行较大不同的运 动时预测不中， 除此以外， 在画面间预测中， 编码对象块与其周围的块在一定程度上相似。 另外， 认为编码对象块与预测图像的生成中利用的参照帧的块相似。
这样， 可认为编码对象块与其周围的块间 ( 或者， 参照帧的块 ) 具有相同的性质， 能够根据已编码的周围的块 ( 或者参照帧的块 ) 来高精度地估计模式。
相反地， 在评价值 xC 较大的情况下， 与已编码的周围块之间的差异较大， 难以进 行模式的估计。
模式估计部 123 基于该性质， 在表示变换系数的特征的评价值 xC 较小的情况下， 将上方的块的扫描模式与左方的块的扫描模式中的优先顺位高的扫描模式作为模式估计 信号， 在评价值 xC 较大的情况下， 将锯齿形扫描作为模式估计信号。在此， 优先顺位为锯齿 形扫描、 垂直优先扫描、 水平优先扫描的顺序。在本实施方式的情况下， 按照优先顺位高的 顺序来分配模式编号， 所以， 仅通过选择模式编号小的模式， 就能够选择优先顺位的高的模 式。
另外， 关于用于判定表示变换系数的特征的评价值 xC 是否较小的阈值， 通过以下 那样的实验来确定。
首先， 准备多个测试图像， 并确定多个规定的阈值。 通过对一个测试图像选择某确 定的一个阈值并按照顺序进行编码， 来对全部的测试图像、 全部的阈值的组合进行编码。
其次， 利用编码结果， 基于序列全体的码量、 以及相对于序列全体的局部解码图像 与输入图像的残差来计算 RD 成本。
接下来， 按照阈值的每一个， 通过对所利用的测试图像进行平均来计算相对于阈 值的平均 RD 成本。
最后， 通过选择平均 RD 成本为最小的阈值， 能够确定最佳的阈值参数。
(RD 成本的说明 )
RD 成本是基于失真量 D、 码量 R 以及规定的常数 λ 所计算出的成本， 通过以下的 式 (1) 来求取。
RD 成本＝ D+λR… (1)
在此， λ 是用于取得失真量 D 与码量 R 之间的平衡的值， 通常由量化参数的值来 确定。
失真量 D 是在选择的编码模式中， 进行逆量化、 逆变换， 并通过与预测信号的和来 生成局部解码图像， 将局部解码图像与输入图像之间的绝对值差分和 ( 或者差分平方和 ) 作为失真量 D。码量 R 是基于编码模式的码量与变换系数的码量的和所计算出的。
该 RD 成本在失真量 D 较小的情况或者码量 R 较小的情况下成为较小的值， 通过在预先计算出多个编码模式中的 RD 成本的基础上， 选择 RD 成本最小的编码模式并进行编码， 由此， 能够在抑制码量 R 的同时减小失真量 D 的意义上以最佳的编码模式进行编码。另外， 作为选择编码模式的情况下所利用的编码成本， 除 RD 成本以外， 也能够利用失真量 D、 码量 R 等。
一般而言， 在残差信号中， 由于在横方向有边缘的情况比在纵方向有边缘的情况 要多， 故利用上述的顺序 ( 锯齿形扫描、 垂直优先扫描、 水平优先扫描的优先顺位 )， 但也可 以是 ： 按每序列、 按每帧、 按多个块的每组， 在进行编码的报头信息中， 对扫描顺序的优先顺 序进行编码， 并以适当的单位进行变更。
另外， 关于扫描模式的估计， 也可以适用其他的方法。例如， 考虑利用对已编码的 零以外的变换系数在每一位置的出现频度 ( 或者， 出现概率 ) 来进行计算的方法， 以下示出 了 2 种方法。
图 3 是表示利用了基于出现频度的估计方法的模式估计部 123 的构成的框图。在 图 3 中， 模式估计部 123 由存储出现频度的频度存储部 1001、 对出现频度进行测量的频度测 量部 1002、 对出现频度的偏差进行评价的频度评价部 1003、 决定模式估计信号的模式估计 信号决定部 1004 构成。
频度存储部 1001 存储变换系数的位置的个数相当 ( 图 2 的例中， 4×4 个 ) 的整数 值。以下， 以 (x， y) 表示变换系数的位置的情况下， 保持的值 ( 频度 ) 以 M(x， y) 表示。
频度测量部 1002 在帧头部或者片头部的情况下， 将频度存储部 1001 的全部的频 度 M(x， y) 初始化为零。在对变换系数进行编码的情况下， 相对于全部的变换系数的位置， 其位置的变换系数只要为零以外， 频度存储部 1001 中保持的频度 M(x， y) 则递增 1。
频度评价部 1003 对频度存储部 1001 的值进行评价， 而输出表示出现频度怎样地 集中的值。例如， 计算出表示出现位置在水平方向集中的评价值 H、 表示在垂直方向集中的 评价值 V， H 为规定的常数以上且 H ＞ V 则输出 “3” ， V 为规定的常数以上且 V ＞ H 则输出 “2” ， 以上哪种均不是则输出 “1” 。
模式估计信号决定部 1004 根据频度评价部 1003 的输出来决定模式估计信号。例 如， 为 1 时， 将锯齿形扫描作为模式估计信号， 为 2 时， 将垂直扫描作为模式估计信号， 为3 时， 将水平扫描作为模式估计信号。
通过以上的方法， 能够根据已编码的零以外的变换系数的每一位置的出现频度来 进行扫描模式的估计。
图 4 是表示利用了基于出现频度的估计方法的模式估计部 123 的其他的构成的框 图。在图 4 中， 模式估计部 123 由频度存储部 1001、 频度测量部 1002、 根据出现频度来生成 扫描顺序的扫描顺序生成部 1103、 决定模式估计信号的模式估计信号决定部 1104 构成。 频 度存储部 1001 和频度测量部 1002 如已说明的那样， 故省略说明。
扫描顺序生成部 1103 按照频度存储部 1001 中所存储的出现频度的从大到小的顺 序， 来对变换系数的位置进行排列。所排列的变换系数的位置能够作为扫描模式来利用。
例如， 图 5 是表示生成这样的扫描模式的方法的图， 图 5(A) 表示每一个变换系数 的出现频度， 图 5(B) 将出现频度从高到低的顺序作为扫描顺序的扫描模式。
模式估计信号决定部 1104 将表示模式的类别的信号、 以及表示具体模式的内容 的信号作为模式估计信号而输出。例如， 模式类别是编号 0( 如上所述， 在为锯齿形扫描、 垂直优先扫描、 水平优先扫描以外的模式时将编号设为 0)， 将表示扫描模式的内容的信息设 为由扫描顺序生成部 1103 生成的扫描顺序 ( 对位置信息进行了排列的信号 )。
( 模式限制部 124 的说明 )
模式限制部 124 根据从变换系数评价部 121 输出的评价值 xC， 对可选择的扫描模 式进行限制， 并作为模式限制信号进行输出。模式限制信号是表示可选择的扫描模式的个 数和可选择的扫描模式的范围的信号。然而， 在可选择的扫描模式为 1 个的情况下， 无需可 选择的扫描模式的范围， 仅可选择的扫描模式的个数即可。
越是对可选择的扫描模式进行限制， 则越能削减用于识别扫描模式的标记的码 量， 尤其是， 在可选择的扫描模式为 1 个的情况下， 无需标记的编码。
能够通过扫描模式的切换来削减码量的情况有 ： 增大成为零的变换系数的偏重， 即， 使成为零的变换系数按照更长地进行连续的方式偏重的情况、 以及使成为零的变换系 数偏重在扫描顺序的后半的情况。
由此， 较之对象块中零以外的变换系数的个数 nC 特别少的情况， 反而在 nC 特别多 的情况下， 扫描模式的切换的效果较小。
另外， 在码量 rC 较小的情况下， 当利用标记从较多的选项中进行扫描模式的切换 时， 与码量 rC 相比， 标记的码量变大， 作为整体， 有导致码量增加的可能性。 由此， 在码量 rC 特别小的情况下， 将选项的个数设得较少例如设为 1 个为好。 其次， 以下针对与变换系数的大小 mC、 偏差 vC、 编码效率 eC、 cbp 的 fC、 dC 的关系 进行说明。
在量化后的变换系数的大小 mC 为较大的情况下， 由于将较大的变换系数先进行 编码将得到更高的编码效率， 这样地变更扫描顺序的效果较大。由此， 与 mC 较小的情况相 比， 要较多地设定选项。
在偏差 vC 较大的情况下， 也有将较大的变换系数先进行编码的效果， 所以比 vC 较 小的情况相比将选项设定得更多。编码效率高的情况下也较多地设定扫描顺序的选项。
在 cbp 的 fC 为零的情况下， 将选项设为零。
在最低阶数的变换系数 dC 较大的情况下， 即使为通常的锯齿形扫描的情况， 也能 够获得对较大的变换系数先编码的效果， 所以， 与 dC 较小的情况相比， 较少地设置选项。
图 6 是用于说明模式限制部 124 的动作的图。如图 6(A) 所示的一个方法中， 变换 系数的评价值 xC 比规定的值 THX0 要小的情况下， 将可选择的扫描模式的个数限制为 1 个。 在为规定的值 THX0 以上的情况下， 将可选择的扫描模式的个数设为 N 个 (N ＞ 1)。
在其他的方法中， 如图 6(B) 所示， 在变换系数的评价值 xC 比规定的值 THX0 要小 的情况下， 将可选择的扫描模式的个数限制为 1 个。在为规定的值 THX0 以上且比其他的规 定的值 THX1 要小的情况下， 将可选择的扫描模式的数设为 N1 个 (N1 ＞ 1)。在为规定的值 THX1 以上的情况下， 将可选择的扫描模式的个数设为 N2 个。
在可选择的扫描模式的个数为比 1 个要大的情况下， 除可选择的扫描模式的个数 外， 还将模式编号的列表作为可选择的扫描模式的范围而进行输出。在此， 为 2 个时， 输出 表示模式编号的 1、 2， 为 3 个时， 输出 1、 2、 3。
另外， 模式估计部 123 和模式限制部 124 也可利用不同的变换系数的评价值 xC。 即， 可以是 ： 在模式估计部 123 中利用码量 rC， 在模式限制部 124 中利用变换系数的个数 nC
这样的构成。
另外， 规定的值 THX0、 THX1 通过以下那样的实验来确定。
首先， 准备多个测试图像， 确定规定的值 THX0、 THX1 的数种组合 ( 阈值参数 )。通 过对一个测试图像选择某确定的一个阈值参数， 并按照顺序进行编码， 由此， 对于全部的测 试图像、 全部的阈值参数的组合进行编码。
其次， 利用编码结果， 基于序列全体的码量、 相对于序列全体的局部解码图像和输 入图像的残差来计算出 RD 成本。
接下来， 按照每一个阈值参数， 通过由所利用的测试图像进行平均， 来计算出相对 于阈值参数的平均 RD 成本。
最后， 通过选择平均 RD 成本为最小的阈值参数， 能够确定最佳的阈值参数。
另外， 进行模式限制的情况下的所限制的扫描模式由以下那样的实验来确定。
首先， 准备多个测试图像， 设置已追加了对所选择的扫描模式的个数进行计数的 装置的图像编码装置。该图像编码装置是不进行模式限制而进行动作的装置， 不需要是在 本说明书中说明的图像编码装置， 可以是现有中某图像编码装置。
利用不进行该模式选择的图像编码装置， 对准备好的全部的测试图像进行编码。 其次， 相对于所选择的个数， 计算出利用测试图像进行了平均的值。模式限制部 124 中所利用的扫描模式按照所选择的个数从多到少的顺序， 设为 N 个的扫描模式。关于 N 个的个数， 其利用以下这样的值， 即， 按照扫描模式的每一个， 计算出所选择的选择率， 从选 择率高的模式起对 M 个的选择率进行合计的情况下的累计选择率的值超过规定的比率 ( 例 如， 50％ ) 时的最初的 M 的值。
( 模式选择部 122 的说明 )
模式选择部 122 基于模式估计部 123 以及模式限制部 124 的输出值来选择扫描模 式。利用图 7 的流程图， 对模式选择部 122 的动作进行说明。( 另外， 以下的说明的左端的 带括弧的记号， 例如， (S1001) 等与图 7 的处理框对应。)
(S1001) 通过预测部 111 生成预测信号。
(S1002) 通过减法部 101 根据预测信号与输入信号的差分来生成残差信号。
(S1003) 通过变换部 112 对残差信号进行变换。
(S1004) 通过量化部 113 对变换系数进行量化。
(L1001) 使控制变量 k 从 1 至 3 进行变化， 反复执行以下的 S1005 ～ S1013。其后 进入 S1014。另外， 在利用基于出现概率的扫描模式的情况下， 将该模式编号设为 0， 相对于 控制变量 k ＝ 0， 1， 2， 3 进行以下的处理。
(S1005) 通过扫描部 114 以与控制变量 k 对应的扫描模式 ( 模式编号 k 的扫描模 式 ) 进行扫描。
(S1006) 通过可变长编码部 115 进行量化， 进行所扫描的变换系数的可变长编码。
(S1007) 通过变换系数评价部 121 获得用于表示变换系数的特征的评价值 xC。
(S1008) 根据变换系数评价部 121 的评价值 xC， 通过模式估计部 123 对扫描模式 进行估计， 获得模式估计信号。
(S1009) 根据变换系数评价部 121 的评价值 xC， 通过模式限制部 124 对可选择的 扫描模式进行限制， 获得模式限制信号。
(S1010) 参照模式控制信号， 针对与控制变量 k 对应的扫描模式是否可选择进行 判定。在为可选择的情况下进入 S1011， 在不可选择的情况下进入 S1013。
(S1011) 通过可变长编码部 115 对标记进行编码。
(S1012) 利用根据失真量 D 和码量 R 所计算出的 RD 成本来计算成本。将码量 R 设 为变换系数的码量和标记的码量。
(S1013) 按照该扫描模式不被选择的方式， 将与控制变量 k 对应的成本设为最大 值。
(S1014) 选择成本为最小的扫描模式， 向扫描部 114 以及可变长编码部 115 输出。
通过这样的动作， 根据变换系数的特征， 估计扫描模式， 另外根据该评价值 xC 来 限制可选择的扫描模式， 所以， 能够选择最佳的扫描模式。
( 可变长编码部 115 的说明 )
可变长编码部 115 在对通过扫描部 114 而一维地排列的量化变换系数进行编码的 同时， 通过模式限制部 124 将可选择的扫描模式限制为 1 个的情况下， 不将扫描模式作为标 记进行编码。另外， 在通过模式估计部 123 所估计的扫描模式与所选择的扫描模式为相同 的情况下， 将表示模式估计信号是否被利用的值作为 1 进行编码， 不将所选择的扫描模式 作为标记进行编码。
另外， 没有通过模式限制部 124 将可选择的扫描模式限制为 1 个的情况或者模式 估计信号 ( 所估计的模式 ) 与所选择的扫描模式为不同的情况下， 将表示模式估计信号是 否被利用的值作为 0 而编码， 对所选择的用于识别扫描模式的标记进行编码。
另外， 在通过模式选择部 122 选择扫描模式的期间内通过可变长编码部 115 进行 的编码是用于测量码量的临时的编码， 编码数据不向外部输出而丢弃。
另外， 关于标记的编码方法， 还有对所选择的扫描模式与模式估计信号的差分进 行编码的方法。
( 本发明的编码数据 )
在本发明中， 通过变换系数的特征来判定编码数据中是否存在标记。 由此， 编码数 据需要按照与变换系数的码相比， 标记的码位于后面的位置的方式来构成， 或者， 按照与用 于表示变换系数的特征的码相比， 标记的码位于后面的位置的方式来构成。
图 8 是表示现有的编码数据的构成的图， 图 9 是表示本发明的编码数据的构成的 图。图 9 的标记是扫描方法的标记、 变换方法的标记或者预测方法的标记。现有技术如图 8 所示， 接着标记， 对变换系数进行了编码， 而在本发明中， 如图 9(A) 所示， 接着变换系数， 对 标记进行了编码。另外， 在无需标记的编码的情况下， 不存在标记。除此以外， 能够采取图 9(B) 至 (E) 的构成。
图 9(B) 将变换系数分成两部分以上， 对其一部分在标记之前进行编码， 对剩余部 分在标记之后进行编码。作为分成两部分的方法， 例如， 将低频成分设为前半， 将高频成分 设为后半的方法， 另外， 例如有 ： 将表示不为零的变换系数的位置的信息 ( 位序 ) 设为前半， 将不为零的变换系数的值设为后半的方法。 也可以从不为零的变换系数的位置取得不为零 的变换系数的个数的信息。
图 9(C) 表示将用于表示变换系数的特征的信息在标记之前进行编码， 将变换系 数在标记之后进行编码。 作为变换系数的特征， 有 cbp、 变换系数的个数、 表示对变换系数进行可变长编码的表的标记等。
图 9(D) 表示图 9(C) 的变换系数的特征为 cbp 的情况。
图 9(E) 表示将变换系数的位序在标记之前进行编码， 将变换系数的级别在标记 之后进行编码的构成。
变换系数通常划分为表示变换系数的位置的位序、 以及表示变换系数的大小的级 别而被进行编码。例如， 在扫描顺序， 对成为 (1、 2、 0、 0、 -4、… ) 的变换系数进行编码的情 况下， 作为位序和级别的组， 按顺序对 (0， 1)、 (0， 2)、 (2， -4)、…进行编码。
以上， 在已说明的图像编码装置 100 中， 通过利用变换系数的特征， 根据扫描模式 的切换是否为有效， 来对可选择的扫描模式的选项进行限制， 所以， 能够削减模式识别用的 标记的码量， 以高的编码效率进行编码。
另外， 由于根据变换系数的特征来改变扫描模式的估计方法， 能够提高扫描模式 的估计精度， 而且能够削减标记的码量且提高编码效率。
在上述的实施方式 1 中， 对具备模式估计部 123 和模式限制部 124 的两者的构成 进行了说明， 作为变形例， 也可考虑仅具备模式估计部 123 而不具备模式限制部 124 的构 成、 以及不具备模式估计部 123 而仅具备模式限制部 124 的构成。
( 变形例 1)
( 仅具备模式估计部 123 的构成 )
图 10 是用于说明不具备模式限制部 124 而具备模式估计部 123 的变形例 1 的模 式选择部 122 的动作的流程图。
在该情况下的模式选择部 122 的动作是与利用图 7 所说明的情形基本相同， 但没 有 S1009 的获得模式限制信号的动作、 S1010 的判定 / 分支的动作、 以及没有 S1013 的按照 扫描模式不被选择的方式来设定成本的动作这些点不同。
( 变形例 2)
( 仅具备模式限制部 124 的构成 )
图 11 是用于说明不具备模式估计部 123 而具备模式限制部 124 的变形例 2 的模 式选择部 122 的动作的流程图。
在该情况下的模式选择部 122 的动作是与利用图 7 所说明的情形基本相同， 但没 有 S1008 的获得模式估计信号的动作， 这一点不同。
另外， 先前说明的模式限制部 124 在可选择的扫描模式的个数为比 1 个大的情况 下， 除可选择的扫描模式的个数外， 还将模式编号的列表作为可选择的扫描模式的范围进 行输出而动作， 但在本变形例 2 的情况下， 即使在可选择的扫描模式的个数为 1 个的情况 下， 也输出可选择的扫描模式的范围 ( 在此为 1 个， 故为扫描模式 )。
( 实施方式 2)
实施方式 2 的图像解码装置是对实施方式 1 的图像编码装置 100 所生成的编码数 据进行解码的装置。
( 图像解码装置 200 的构成 )
图 12 是表示本发明的实施方式 2 所涉及的图像解码装置 200 的构成的框图。在 图 12 中， 图像解码装置 200 具备 ： 可变长编码解码部 201、 逆扫描部 202、 预测部 111、 逆量 化部 116、 逆变换部 117、 帧存储器 118、 变换系数评价部 121、 模式估计部 123、 模式限制部124、 模式解码部 222、 加法部 102。另外， 在上述构成中， 对于与实施方式 1 相同的构成要素 赋予相同的符号， 并省略其说明。
( 图像解码装置 200 的动作 )
输入至图像解码装置 200 的编码数据首先被输入到可变长编码解码部 201 中。可 变长编码解码部 201 通过编码数据的可变长解码， 对表示预测方法的信号和所变换·量化 后的残差信号即变换系数进行解码。将所解码的变换系数输出给变换系数评价部 121 以及 逆扫描部 202。
变换系数评价部 121 对变换系数的特征进行评价， 将评价值 xC 输出给模式估计部 123、 模式限制部 124。
模式估计部 123 根据评价值 xC 对扫描模式进行估计， 并作为模式估计信号向模式 解码部 222 输出。
模式限制部 124 根据评价值 xC 对可选择的扫描模式进行限制， 将模式限制信号向 可变长编码解码部 201、 模式解码部 222 输出。
可变长编码解码部 201 接收模式限制信号， 且在需要标记的解码的情况下， 从通 过模式限制信号所限制的可选择的扫描模式中， 对用于识别 1 个扫描模式的标记进行解 码， 并输出给模式解码部 222。
模式解码部 222 利用模式估计信号、 模式限制信号、 标记来对扫描模式进行解码。
逆扫描部 202 通过解码的扫描模式， 对于逆变换所需的排列， 重排变换系数。经逆 扫描的变换系数通过逆量化部 116 进行逆量化， 通过逆变换部 117 进行逆变换， 再生残差信 号。所再生的残差信号与预测信号通过加法部 102 进行相加， 再生局部解码块。将所再生 的局部解码块存储于帧存储器 118 中。
( 模式解码部 222 的说明 )
模式解码部 222 利用模式限制信号、 模式估计信号、 标记对扫描模式进行解码。通 过模式限制信号而将扫描模式限制为 1 个的情况下或者表示模式估计信号是否被利用的 值为 “1” 的情况下， 设为由模式估计信号指定的扫描模式。
另外， 在通过模式限制信号而扫描模式为多个的情况下或者表示模式估计信号是 否被利用的值为 “0” 的情况下， 设为标记所指示的扫描模式。
图 13 是用于说明本发明的实施方式 2 所涉及的图像解码装置 200 的动作的流程 图。
(S1101) 通过可变长编码解码部 201 对变换系数进行解码。其中， 如图 9 的 (B) 至 (E) 那样， 变换系数的特征与变换系数被分割而进行编码的情况下， 对变换系数的特征或者 变换系数的一部分进行解码。
(S1102) 通过变换系数评价部 121 来计算出变换系数的评价值 xC。
(S1103) 通过模式估计部 123， 并根据变换系数的评价值 xC 来估计扫描模式。
(S1104) 通过模式限制部 124， 并根据变换系数的评价值 xC 进行可选择的扫描模 式的限制。
(S1105) 在将扫描模式限制为 1 个的情况下， 判定为无需进行标记的解码， 进入 S1107。在需进行标记解码的情况下， 进入 S1106。
(S1106) 对标记进行解码。例如， 在表示是否利用模式估计信号的值为 “0” 的情况下， 进而对追加的标记进行解码。或者对扫描模式与模式估计信号的差分进行解码。
(S1107) 在将扫描模式限制为 1 个的情况下， 或者， 表示模式估计信号是否被利用 的值为 “1” 的情况下， 作为使用所估计的扫描模式的扫描模式来进行解码。在除此以外的 情况下， 利用追加的标记， 从可选择模式中， 对使用的扫描模式进行解码。或者基于模式估 计信号的差分， 对使用的扫描模式进行解码。
(S1108) 通过可变长编码解码部 201， 对变换系数是否解码完成进行判定。在通过 S1101 对变换系数的特征或者变换系数的一部分进行了解码的情况下， 进入 S1109， 如所有 的变换系数解码完成， 则进入 S1110。例如， 通过 S1101 而 cbp 被解码且 cbp 为 “0” 的情况 下， 进入 S1110。
(S1109) 通过可变长编码解码部 201， 对余下的变换系数进行解码。
(S1110) 通过逆扫描部 202 对变换系数进行逆扫描。
(S1111) 通过逆量化部 116 进行变换系数的逆量化。
(S1112) 通过逆变换部 117 进行逆变换， 并对残差信号进行解码。
(S1113) 通过预测部 111 生成预测信号。
(S1114) 通过加法部 102 来求取预测信号与残差信号的和， 生成再生信号。
以上， 在已说明的图像解码装置 200 中， 由于通过利用变换系数的特征， 根据扫描 模式的切换是否有效来对可选择的扫描模式的选项进行限制， 所以， 能削减模式识别用的 标记的码量， 能够针对以高的编码效率所编码的编码数据进行解码。
另外， 由于根据变换系数的特征来改变扫描模式的估计方法， 所以， 能够提高扫描 模式的估计精度， 而且能够对削减了标记的码量的编码数据进行解码。
在上述的实施方式 2 中， 说明了具备模式估计部 123 和模式限制部 124 的两者的 构成， 作为变形例例如有具备模式估计部 123 而不具备模式限制部 124 的构成， 以及不具备 模式估计部 123 而具备模式限制部 124 的构成。
( 变形例 3)
( 仅具备模式估计部 123 的构成 )
图 14 是用于说明不具备模式限制部 124 而具备模式估计部 123 的变形例 3 的图 像解码装置 200 的动作的流程图。
在该情况下的模式选择部 122 的动作与利用图 13 所说明的情形基本相同， 但没有 S1104 的获取模式限制信号的动作以及 S1105 的判定、 分支这些点不同。另外， 在是否利用 模式估计信号的值为 “1” 的情况下， 利用所估计的模式进行解码， 在值为 “0” 的情况下利用 以标记所指定的模式进行解码。
( 变形例 4)
( 仅具备模式限制部 124 的构成 )
图 15 是用于说明不具备模式估计部 123 而具备模式限制部 124 的变形例 4 的图 像解码装置 200 的动作的流程图。
在该情况下的模式选择部 122 的动作是与利用图 13 所说明的情形基本相同， 但在 没有 S1103 的获取模式估计信号这一点上不同。
另外， 在该情况下的模式限制部 124 即使在可选择的扫描模式的个数为 1 个的情 况下， 也输出可选择的扫描模式。( 实施方式 3)
在实施方式 3 中， 对选择变换模式并编码的情况进行说明。在该情况下， 将量化方 式、 扫描方式设为预先确定的方式。
( 图像编码装置 300 的构成 )
图 16 是表示本发明的实施方式 3 所涉及的图像编码装置 300 的构成的框图。在 图 16 中， 图像编码装置 300 具备 ： 预测部 111、 变换部 112、 量化部 113、 扫描部 114、 可变长 编码部 115、 逆量化部 116、 逆变换部 117、 帧存储器 118、 变换系数评价部 121、 模式选择部 322、 模式估计部 323、 模式限制部 324、 减法部 101、 加法部 102。另外， 上述构成中， 对于与 实施方式 1 相同的构成要素赋予相同的标号， 并省略其说明。
( 图像编码装置 300 的动作 )
图像编码装置 300 将所输入的图像分解成块， 针对各块， 首先， 使模式选择部 322 进行动作， 使变换部 112、 量化部 113、 扫描部 114、 可变长编码部 115、 变换系数评价部 121、 模式估计部 323、 模式限制部 324 进行动作来选择变换模式， 将所选择的变换模式发送给变 换部 112、 逆变换部 117、 可变长编码部 115。
其次， 对所输入的图像， 利用所选择的变换模式来执行现有的编码处理。
另外， 变换部 112 所利用的变换方法在本实施方式中设为 DCT 变换、 2 维 KLT 变换、 1 维 KLT 变换。KLT 变换是与 DCT 变换相同的线形正交变换。其中， DCT 变换是基于离散余 弦基底的基底， 而 KLT 变换利用按照利用实际图像而能量预先集中在小数的变换系数的方 式所计算出的基底。
2 维 KLT 变换将水平方向的 KLT 变换与垂直方向的 KLT 变换串行地进行。
1 维 KLT 变换对以块单位 1 维地重排的数值列进行 1 次的 KLT 变换。另外， 并不限 于 DCT 变换、 KLT 变换， 也可以利用离散正弦变换的 DST 变换、 小波 (wavelet) 变换、 加博尔 (Gabor) 变换、 斜变换等。
在本实施方式中， 对于表示变换方法 ( 变换模式 ) 的模式编号， 将 DCT 变换设为 “1” 、 将 2 维 KLT 变换设为 “2” ， 将 1 维 KLT 变换设为 “3” 。
( 模式估计部 323 的说明 )
模式估计部 323 根据从变换系数评价部 121 输出的评价值 xC 来估计变换模式， 并 作为模式估计信号而输出。
在用于表示变换系数的特征的评价值 xC 较小的情况下， 认为基于周围而利用块 的信息所进行的估计会命中， 将上方的块与左方的块中的优先度高的一方的模式编号作为 模式估计信号。一般 KLT 变换与 DCT 变换相比编码效率高， 2 维变换与 1 维变换相比编码效 率高， 所以， 按照 2 维 KLT 变换、 DCT 变换、 1 维 KLT 变换的顺序进行选择。
另外， 在评价值 xC 较大的情况下， 认为预测难命中， 所以， 不进行利用了周围的块 的信息的预测， 固定地将表示 DCT 变换的模式编号 (1) 作为模式估计信号。
另外， 还有这样的方法， 即， 利用已被编码的块的变换模式的出现频度来确定模式 估计信号的方法。
图 17 是表示利用了基于出现频度的估计方法的模式估计部 323 的构成的框图。 在 图 17 中， 模式估计部 323 由用于存储所使用的变换模式的变换模式存储部 1201、 变换模式 测量部 1202、 用于评价变换模式的频度的变换模式频度评价部 1203、 用于决定模式估计信号的模式估计信号决定部 1204 构成。
变换模式存储部 1201 按照块的每个位置来存储所使用的变换模式的类别。按照 块的每个位置 (x， y) 来存储所使用的变换模式的类别 T(x， y)。
变换模式测量部 1202 在帧头部或者片头部的情况下将变换模式存储部 1201 的全 部的类别 T(x， y) 初始化为零。另外， 在对变换系数进行编码的情况下， 将所使用的变换模 式的值存储在 T(x， y) 中。
变换模式频度评价部 1203 参照变换模式存储部 1201 的变换模式的类别 T(x， y)， 对变换模式的出现频度进行评价。例如， 参照编码对象块的周围的块的 T(x， y)， 对各变换 模式的出现次数累计， 输出通过累计而出现频度变得最大的变换模式的值。
模式估计信号决定部 1204 将表示变换模式的类别的信号、 以及表示具体的变换 模式的内容的信号作为模式估计信号而进行输出。例如， 将模式类别设为编号 “0” ( 在上述 的 DCT 变换、 2 维 KLT 变换、 1 维 KLT 变换以外的变换方法时， 将模式编号设为 “0” )， 表示模 式的内容的信息设为从变换模式频度评价部 1203 输出的出现频度最大的变换模式。
( 模式限制部 324 的说明 )
模式限制部 324 根据通过变换系数评价部 121 所获得的评价值 xC， 对可选择的变 换模式进行限制， 并作为模式限制信号而输出。 变换模式的切换是为了在使较多的能量集中在较少的变换系数的情况下， 以及能 使成为零的变换系数的个数较多的情况下谋求编码效率的提高。 在变换系数的个数特别小 的情况或者变换系数集中于 DC 成分的情况下， 使用哪种变换模式均不会有较大的差。
例如， 在零以外的变换系数的个数 nC 较小的情况、 变换系数的码量 rC、 最低阶数 的变换系数 dC 为零的情况下， 与变换系数的码量相比， 标记的码量变大， 所以， 如评价值 xC 为规定的值以下， 则将可选择的变换模式限制为 1 个。
除此以外， 在评价值 xC 比规定的值大的情况下， 将可选择的变换模式设为 3 个， 将 表示可选择的变换模式的范围的模式编号 1、 2、 3 作为模式限制信号而输出。另外， 还有将 可选择的变换模式的个数设为其以上 ( 例如 4 个 )， 将表示可选择的变换模式的范围的模式 编号设为 0、 1、 2、 3 的方法。
( 模式选择部 322 的说明 )
模式选择部 322 基于模式估计部 323 以及模式限制部 324 的输出值来选择变换模 式。利用图 18 的流程图对模式选择部 322 的动作进行说明。
(S1201) 通过预测部 111 生成预测信号。
(S1202) 通过减法部 ( 残差算出部 )101， 根据预测信号与输入信号的差分来生成 残差信号。
(L1201) 使控制变量 k 从 1 至 3 进行变化， 反复执行以下的 S1203 ～ S1213。其后 进入 S1214。另外， 在利用基于出现概率的变换模式的情况下， 将基于出现概率的变换模式 的模式编号 0 加入处理对象， 对控制变量 k ＝ 0、 1、 2、 3 进行以下的处理。
(S1203) 通过变换部 112 以表示与控制变量 k 对应的模式的变换模式 ( 模式编号 k 的变换模式 ) 来对残差信号进行变换。
(S1204) 通过量化部 113 对变换系数进行量化。
(S1205) 通过扫描部 114 进行扫描。
(S1206) 通过可变长编码部 115 对经量化、 扫描的变换系数进行可变长编码。
(S1207) 通过变换系数评价部 121 来获得用于表示变换系数的特征的评价值 xC。
(S1208) 根据变换系数评价部 121 的评价值 xC， 通过模式估计部 323 来估计变换 模式， 获得模式估计信号。
(S1209) 根据变换系数评价部 121 的评价值 xC， 通过模式限制部 324 对可选择的 变换模式进行限制， 获得模式限制信号。
(S1210) 参照模式控制信号， 对与控制变量 k 对应的变换模式是否可选择进行判 定。在为可选择的情况下进入 S1211， 在不可选择的情况下进入 S1213。
(S1211) 通过可变长编码部 115 对标记进行编码。
(S1212) 利用 RD 成本来计算成本。将码量 R 设为变换系数的码量和标记的码量。
(S1213) 按照该变换模式不被选择的方式， 将与控制变量 k 对应的成本设为最大 值。
(S1214) 选择成本为最小的变换模式， 并输出给变换部 112、 逆变换部 117 以及可 变长编码部 115。
以上， 在说明的图像编码装置 300 中， 通过利用变换系数的特征， 根据变换模式的 切换是否有效来对可选择的变换模式的选项进行限制， 所以， 能够削减模式识别用的标记 的码量， 且能以高的编码效率进行编码。
另外， 由于根据变换系数的特征来改变变换模式的估计方法， 所以， 能够提高变换 模式的估计精度， 进而能够削减标记的码量， 提高编码效率。
另外， 在上述的实施方式 3 中， 说明了具备模式估计部 323 和模式限制部 324 的两 者的构成， 但与实施方式 1 同样， 也可以是具备模式估计部 323 而不具备模式限制部 324 的 构成， 或者是具备模式限制部 324 而不具备模式估计部 323 的构成。
( 实施方式 4)
实施方式 4 的图像解码装置对实施方式 3 的图像编码装置 300 所生成的编码数据 进行解码。
( 图像解码装置 400 的构成 )
图 19 是表示本发明的实施方式 4 所涉及的图像解码装置 400 的构成的框图。在 图 19 中， 图像解码装置 400 具备 ： 可变长编码解码部 201、 逆扫描部 202、 预测部 111、 逆量 化部 116、 逆变换部 117、 帧存储器 118、 变换系数评价部 121、 模式解码部 422、 模式估计部 323、 模式限制部 324、 加法部 102。 另外， 在上述构成中， 对于与实施方式 1、 实施方式 2 以及 实施方式 3 相同的构成要素赋予相同的标号， 并省略其说明。
( 图像解码装置 400 的动作 )
输入至图像解码装置 400 的编码数据首先被输入到可变长编码解码部 201。可变 长编码解码部 201 通过编码数据的可变长解码， 对表示预测方法的信号和经变换·量化的 残差信号即变换系数进行解码。所解码的变换系数被输出给变换系数评价部 121 以及逆扫 描部 202。
变换系数评价部 121 基于变换系数的特征来计算评价值 xC， 并将评价值 xC 输出给 模式估计部 323、 模式限制部 324。
模式估计部 323 根据评价值 xC 来估计变换模式， 并作为模式估计信号而输出给模式解码部 422。
模式限制部 324 根据评价值 xC 对可选择的变换模式进行限制， 作为模式限制信号 而输出给可变长编码解码部 201、 模式解码部 422。
可变长编码解码部 201 接收模式限制信号， 在需进行标记的解码的情况下， 从通 过模式限制信号而限制的可选择的变换模式中， 对 1 个用于识别变换模式的标记进行解 码， 并输出给模式解码部 422。
模式解码部 422 利用模式估计信号、 模式限制信号、 标记对变换模式进行解码。
逆扫描部 202 对于逆变换所需的排列， 重排变换系数。经逆扫描的变换系数通过 逆量化部 116 进行逆量化， 利用通过模式解码部 422 所解码的变换模式， 通过逆变换部 117 进行逆变换， 来再生残差信号。所再生的残差信号与预测信号通过加法部 102 进行相加， 来 再生局部解码块。所再生的局部解码块存储于帧存储器 118 中。
( 模式解码部 422 的说明 )
模式解码部 422 利用模式限制信号、 模式估计信号、 标记来对变换模式进行解码。 在通过模式限制信号而将变换模式限制为 1 个的情况或者在表示是否利用模式估计信号 的值为 “1” 的情况下， 设为由模式估计信号所指定的变换模式。
另外， 在通过模式限制信号而变换模式为多个的情况或者在表示是否利用模式估 计信号的值为 “0” 的情况下， 设为由标记所指示的变换模式。
图像解码装置 400 的动作与上述的图 13 的流程图所示的动作相同， 但在本实施方 式中， 将图 13 中的扫描模式置换为变换模式， 在 S1112 进行的逆变换以 S1107( 模式解码部 422) 所解码的变换模式来进行。
以上， 在已说明的图像解码装置 400 中， 由于通过利用变换系数的特征并根据变 换模式的切换是否有效对可选择的变换模式的选项进行限制， 所以， 能够削减模式识别用 的标记的码量， 且能够针对以高的编码效率所编码的编码数据进行解码。
另外， 由于根据变换系数的特征来改变变换模式的估计方法， 所以， 变换模式的估 计精度较高， 而且， 能够对已削减了标记的码量的编码数据进行解码。
在上述的实施方式 4 中， 说明了具有模式估计部 323 和模式限制部 324 的两者的 构成， 作为变形例， 与实施方式 2 相同地， 也可以是具备模式估计部 323 而不具备模式限制 部 524 的构成或具备模式限制部 324 而不具备模式估计部 323 的构成。
( 实施方式 5)
在实施方式 5 中， 对选择预测模式进行编码的情况进行说明。在该情况下， 预先确 定变换方式、 量化方式、 扫描方式。
( 图像编码装置 500 的构成 )
图 20 是表示本发明的实施方式 5 所涉及的图像编码装置 500 的构成的框图。在 图 20 中， 图像编码装置 500 具备 ： 预测部 111、 变换部 112、 量化部 113、 扫描部 114、 可变长 编码部 115、 逆量化部 116、 逆变换部 117、 帧存储器 118、 变换系数评价部 121、 模式选择部 522、 模式估计部 523、 模式限制部 524、 减法部 101、 加法部 102。另外， 在上述构成中， 针对 与实施方式 1 以及实施方式 3 相同的构成要素赋予相同的标号， 并省略其说明。
( 图像编码装置 500 的动作 )
图像编码装置 500 将所输入的图像分解成块， 针对各块， 首先， 使模式选择部 522进行动作后， 使变换部 112、 量化部 113、 扫描部 114、 可变长编码部 115、 变换系数评价部 121、 模式估计部 523、 模式限制部 524 进行动作来选择预测模式， 将所选择的预测模式发送 给预测部 111、 可变长编码部 115。
其次， 针对所输入的图像， 利用所选择的变换模式来执行现有的编码处理。
( 画面内预测的说明 )
图 21 是用于说明画面内预测的图。画面内预测利用对象块的周围的再生完成图 像来预测对象块的像素值。
图 21(A) 是表示方向预测 ( 线预测、 1 维预测 ) 的图。方向预测是通过将与对象 块邻接的块的已被再生的像素的像素值在特定的方向进行延长来进行的。图 21(A) 中示出 了表示画面内预测的方向的箭头与数字。该数字是用于识别预测模式的模式编号 0 ～ 8 的 值。虽未图示， 在画面内预测中除方向预测外还有 DC 预测。DC 预测的模式编号为 “2” 。
图 21(B) 是表示块预测 ( 面预测、 2 维预测 ) 的图。块预测是从对象块的周围的再 生图像中切出块， 来预测对象块的像素值， 将模式编号设为 “9” 。将所切出的块称为 “参照 块” 。
在对对象块进行编码的时刻点， 且在参照块中存在未再生区域的情况下， 利用与 未再生区域邻接的再生图像的像素值进行插值 ( 插入 )。 在图 21(B) 中， 图中以斜线以及纵 线所示的区域为参照块， 且有参照块与对象块相重合的区域 ( 图中， 纵线区域 )， 该区域成 为未再生区域。
块预测中， 将可变长编码部 115 中用于表示参照块的位置的位置矢量 ( 与画面间 预测的运动矢量相当 ) 作为模式识别用的标记进行编码。
( 模式估计部 523 的说明 )
模式估计部 523 根据通过变换系数评价部 121 所获得的评价值 xC 来估计预测模 式， 并作为模式估计信号而输出。
预测模式的估计方法有函数预测和匹配预测， 函数预测用在方向预测的预测模式 的估计中， 匹配预测用在方向预测、 块预测的两者的模式估计中。
预测模式由表示预测模式的类别的信号 ( 模式编号 ) 以及表示预测模式的内容的 信号构成， 模式估计信号由该 2 个构成。
另外， 在方向预测的情况下， 由于仅通过模式编号来确定内容， 所以， 无需表示预 测模式的内容的信号。 在块预测的情况下， 作为表示预测模式的内容的信号， 利用表示参照 块的位置的位置矢量。以下， 将模式编号 m(m 为 0 至 10 的整数 ) 的预测模式称为预测模式 m。
图 22 是用于说明画面内模式的模式估计方法 ( 函数预测和匹配预测 ) 的图。
图 22(A) 是根据对象块的周围的块的预测模式来估计对象块的预测模式， 称为函 数预测。在该方法中， 根据位于对象块的左方的块的预测模式与位于对象块的上方的块的 预测模式， 来确定用于决定估计模式的函数并将该函数的输出设为预测模式。
该函数按照发生概率从高到低的顺序， 在从模式编号小的一方起排列预测模式的 情况下， 将小的一方的模式编号进行输出。在该情况下， 能够进行概率高的预测模式的预 测。另外， 在相似的预测方法排列在附近的情况下， 也可利用预测模式的编号的平均。
另外， 左方的块或者上方的块的任意一个为块预测或画面间预测等方向预测以外的预测模式的情况下， 将利用了方向预测的块的预测模式作为模式估计信号。 另外， 左方的 块、 上方的块均未利用方向预测的情况下， 将 “0” ( 预测模式 0) 作为模式估计信号。
图 22(B)、 图 22(C) 是用于说明利用匹配预测来估计预测模式的方法的图。图 22(B) 中， 表示对方向预测的预测模式进行估计的方法， 图 22(C) 表示对块预测的预测模式 进行估计的方法。
匹配预测从已再生区域中分离出 2 个区域， 通过选择在区域间的绝对值差分和为 最小的区域来进行估计。
在对方向预测的预测模式进行估计的情况下的 2 个区域， 如图 22(B) 所示那样， 按 照方向预测的每个模式来进行确定。
在此， 按照每一预测模式， 计算将已编码的 2 个区域间的像素值的绝对值差分和 除以其和中所使用的像素数而得到的值 ( 归一化绝对值差分和 D)， 并且将归一化绝对值差 分和 D 为最小的预测模式设为模式估计信号。
另外， 在归一化绝对值差分和 D 的计算中所利用的 2 个区域是按照与预测模式对 应的每一方向， 利用与对象块邻接的像素区域和将该区域向预测方向的反方向延长的远侧 的像素区域间。
另外， 在预测模式 2(DC 预测 ) 中， 由于没有与预测模式对应的方向， 故不能确定 2 个区域。由此， 不进行与预测模式 2 对应的 D 的计算， 在通过除此以外的预测模式所计算出 的全部的归一化绝对值差分和 D 小于规定的值的情况下， 将预测模式 2 作为模式估计信号。
另外， 利用已编码的区域的像素值来估计预测模式的方法并不限于上述， 也可利 用既存的其他方法。
图 22(B) 按照从上至下的顺序分别示出了求取预测模式 0、 预测模式 1、 预测模式 4 的归一化绝对值差分和 D 的方法。
例如， 在预测模式 0 中， 在对象块的上方邻接的块中， 利用与对象块邻接的区域 ( 斜线区域 ) 以及在预测模式 0 的方向 ( 垂直方向 ) 上延长的位于远端的区域 ( 纵线区域 ) 间来计算出归一化绝对值差分和 D。
在方向预测中存在预测模式 0 至预测模式 8 的 9 种方向， 在此， 可以不利用所有的 方向， 而限制在易进行估计的方向 ( 预测模式 )( 例如， 仅垂直方向的预测模式 0 和水平方 向的预测模式 1)。
其次， 图 22(C) 是用于说明匹配预测中求取块预测的预测模式的方法的图。
该方法中， 对与对象块邻接的逆 L 字型的像素值和从再生图像中切取相同的逆 L 字型而获得的像素值进行比较， 来求取该绝对值差分和为最小的块的位置矢量。该方法也 称为模板匹配。
图 23 是用于说明根据从变换系数评价部 121 所输出的评价值 xC 来估计预测模式 的模式估计部 523 的动作的流程图。
(S1301) 在评价变换系数而输出的评价值 xC 为规定值 TH 以下的情况下进入 S1302， 在比规定值 TH 大的情况下进入 S1303。
(S1302) 基于已编码完成的周围的像素值， 利用匹配预测来估计预测模式。
(S1303) 基于周围的块的预测模式， 利用函数预测来估计预测模式。
( 模式估计部 523 的其他的动作 )图 24 是用于说明模式估计部 523 的其他的动作的流程图。 (L1401) 使控制变量 k 从 0 至 8 进行变化， 反复执行以下的 S1401。 其后进入 S1402。 (S1401) 基于与控制变量 k 对应的已编码完成的 2 个区域， 计算出归一化绝对值差分和 D。 (S1402) 按照像素间相关从大至小的顺序分配选择顺序。 即， 按照以归一化绝对值 差分和 D 从小至大的顺序来选择预测模式的方式来设定选择顺序。
(S1403) 通过函数预测来估计预测模式。 即， 在与对象块的左方邻接的块的预测模 式以及与上方邻接的块的预测模式中， 选择在 S1402 中确定的选择顺序高的预测模式 ( 模 式编号小的一方的模式 )。
( 模式估计部 523 的其他的动作 )
模式估计部 523 也可以利用画面间预测来生成预测信号。
在该情况下， 用于表示变换系数的特征的评价值 xC 较小时， 利用块匹配来估计运 动矢量。
相反地， 在评价值 xC 较大时， 利用编码对象块周围的左方的块、 上方的块、 右上方 的块的运动矢量的中位数来估计运动矢量。中位数的计算按照矢量的每个单元 ( 分别为 X 方向矢量、 Y 方向矢量 ) 来进行。
此时的模式估计信号为表示模式的类别是画面间预测的预测模式 10 以及表示模 式的内容的运动矢量 ( 以及帧 ID、 块的位置 )。
例如， 在零以外的变换系数的个数 nC 较小的情况下， 估计为预测良好地命中。在 该情况下， 由于认为对象块与周围的像素值的特征相似， 所以， 利用对象块的已再生完成的 像素值， 通过匹配预测能够预测适当的运动矢量。
相反地， 在 nC 较大的情况下， 认为对象块与周围的像素值的特征存在差异， 利用 已再生完成的像素值也不能够进行良好的预测。在该情况下， 仅采用其利用了相邻接的块 的预测模式的函数预测。同样的切换方法与零以外的变换系数的个数 nC 无关地， 也可适用 于变换系数评价部 121 所获得的其他的评价值。
( 模式限制部 524 的说明 )
模式限制部 524 根据变换系数评价部 121 所获得的评价值 xC， 对可选择的预测模 式进行限制， 并作为模式限制信号而输出。将模式限制信号设为可选择的预测模式的个数 与可选择的预测模式的范围。其中， 可选择的预测模式为 1 个的情况下， 无需可选择的预测 模式的范围， 仅可选择的预测模式的个数即可。
在零以外的变换系数的个数 nC 较小的情况下， 由于预测良好地命中的情形多， 可 将预测模式的个数限制得较少。
另外， 相反地， 在 nC 较大的情况下， 由于意味着预测不中， 所以认为在预测模式中 使用较多的码量是没有效率的。
图 6 是用于说明模式限制部 524 的图。如图 6(A)、 图 6(B) 所示那样， 根据变换系 数的评价值 xC 和规定的值 THX0、 THX1， 将可选择的预测模式的个数限制为 1 个或者 N 个 (N ＞ 1) 或者 1 个、 N1 个、 N2 个。
在可选择的预测模式的个数为比 1 个要大的情况下， 除可选择的预测模式的个数 外， 将可选择的预测模式的编号作为模式限制信号而输出。例如， 在可选择的预测模式为 N
个的情况下， 作为可选择的预测模式的范围， 将模式编号的列表， 即， 从模式编号 0 至模式 编号 N-1 的模式编号进行输出。
( 模式选择部 522 的说明 )
模式选择部 522 基于模式估计部 523 以及模式限制部 524 的输出值来选择预测模 式。利用图 25 的流程图， 对模式选择部 522 的动作进行说明。
(L1501) 使控制变量 k 从 0 至 8 进行变化， 反复执行以下的 S1501 ～ S1513。其后 进入 S1514。
在模式估计部 523 中利用匹配预测的情况下， 将表示块预测的模式编号 9 加入为 处理对象， 对控制变量 k ＝ 0… 9 进行处理。K 为 9 的情况下， 进一步在规定的搜索范围使 位置矢量进行变化， 反复执行以下的 S1501 ～ S1513。在此， 将位置矢量的搜索范围限定为 匹配预测中所获得的位置矢量 ( 或者其周边 ) 时， 能够削减运算量。
另外， 在利用画面间预测的情况下， 将其作为模式编号 10 而加入， 反复进行以下 的 S1501 ～ S1513。
(S1501) 通过预测部 111 以与控制变量 k 对应的预测方法 ( 模式编号 k 的预测模 式 ) 来生成预测信号。例如， k 为 0 ～ 8 的情况下， 利用模式编号 k 所示的方向预测， k为9 的情况下利用块预测。k 为 10 的情况下利用画面间预测。
(S1502) 通过减法部 ( 残差算出部 )101， 基于预测信号与输入信号的差分来生成 残差信号。
(S1503) 通过变换部 112 对残差信号进行变换。
(S1504) 通过量化部 113 对变换系数进行量化。
(S1505) 通过扫描部 114 进行扫描。
(S1506) 通过可变长编码部 115， 对经量化、 扫描的变换系数进行可变长编码。
(S1507) 通过变换系数评价部 121 来获得用于表示变换系数的特征的评价值 xC。
(S1508) 根据变换系数评价部 121 的评价值 xC， 通过模式估计部 523 来估计预测 模式， 获取模式估计信号。
(S1509) 根据变换系数评价部 121 的评价值 xC， 通过模式限制部 524 对可选择的 预测模式进行限制， 获得模式限制信号。
(S1510) 参照模式限制信号， 针对与控制变量 k 对应的预测模式是否可选择进行 判定。在为可选择的情况下进入 S1511， 在为不可选择的情况下进入 S1513。
(S1511) 通过可变长编码部 115 对标记进行编码。
(S1512) 利用 RD 成本来计算成本。将码量 R 设为变换系数的码量和标记的码量。
(S1513) 按照该预测模式不被选择的方式， 将与控制变量 k 对应的成本设为最大 值。
(S1514) 选择成本为最小的预测模式， 并输出给预测部 111 以及可变长编码部 115。
( 可变长编码部 115 的说明 )
对实施方式 5 的可变长编码部 115 中的标记的编码方法进行说明。
在所选择的预测模式为方向预测的情况下， 对表示模式估计信号是否被利用的值 进行编码， 以及在未利用与模式估计信号对应的预测模式的情况下， 对用于选择模式估计信号以外的预测模式的标记进行编码。
关于表示上述模式估计信号是否被利用的值， 如与模式估计信号对应的预测模式 不是所选择的预测模式， 将其值设为 “1” ， 在利用模式估计信号的情况下设为 “0” 。
另外， 在所选择的预测模式为块预测的情况下， 对所选择的预测模式与模式估计 信号的差分进行编码。在块预测的情况下， 表示预测模式的信息为矢量， 所以， 预测模式间 的差分为矢量 ( 差分矢量 )。差分矢量按照水平方向、 垂直方向的顺序进行编码。
以上， 在已说明的图像编码装置 500 中， 通过利用变换系数的特征， 并根据预测模 式的切换是否有效来限制可选择的预测模式的选项， 所以， 能够削减模式识别用的标记的 码量， 以高的编码效率进行编码。
另外， 由于根据变换系数的特征来改变预测模式的估计方法， 所以预测模式的估 计精度高， 而且， 削减标记的码量且提高了编码效率。
( 模式选择部 522 的其他的动作的说明 )
图 26 是用于说明模式选择部 522 的其他的动作的流程图。图 26 的动作例是图 25 的动作的特殊例。
该例为 ： 在变换系数的评价中利用 cbp(Coded Block Pattern)， 在 cbp 为 0 的情 况下， 模式估计部 523 通过匹配预测来估计预测模式， 另外， 在模式限制部 524 中， 将可选择 的预测模式限制为 1 个。
(S1601) 通过模式估计部 523 来估计 cbp ＝ 0 的情况下的预测模式。本实施方式 中， 由于 cbp ＝ 0， 所以利用匹配预测。
(S1602) 通过模式估计部 523 来限制 cbp ＝ 0 的情况下的预测模式。由于 cbp ＝ 0， 所以限制为 1 个。
(S1603) 通过预测部 111， 利用 S1601 中所估计的预测模式来生成预测信号。
(S1604) 对用于识别变换系数的特征、 变换系数、 预测模式的标记进行编码。在此 由于 cbp ＝ 0， 故仅对 cbp 进行编码， 无需变换系数的特征的编码。且由于预测模式被限制 为 1 个， 故也无需模式识别用的标记的编码。
(S1605) 利用 RD 成本来计算成本。
(L1601) 使控制变量 k 从 0 至 8 进行变化， 反复执行以下的 S1606 ～ S1616。其后 进入 S1617。
(S1606) 通过模式估计部 523 来估计 cbp ≠ 0 的情况下的预测模式。在本实施方 式中， 利用函数预测。
(S1607) 通过模式估计部 523 对 cbp ≠ 0 的情况下的模式进行限制。在此， 限制为 预测模式 0 至预测模式 8。
(S1608) 通过预测部 111， 以与控制变量 k 对应的模式所示的预测方法 ( 模式编号 k 的预测模式 ) 来生成预测信号。
(S1609) 通过减法部 ( 残差算出部 )101， 基于预测信号与输入信号的差分， 生成残 差信号。
(S1610) 通过变换部 112、 量化部 113、 扫描部 114， 对残差信号进行变换、 量化、 扫 描。
(S1611) 通过变换系数评价部 121， 来计算出变换系数的评价值 xC。在此， 将 cbp设为评价值 xC。
(S1612) 在 cbp 为 0 的情况下进入 S1613。在 cbp 为零以外的情况下， 进入 S1614。
(S1613) 在 cbp ＝ 0 的情况下， 许可零以外的变换系数的个数为 0 的变换系数的编 码的情况下， 进入 S1614。否则进入 S1616。
另外， 在 cbp ＝ 0 的情况下， 许可零以外的变换系数的个数为 0 的变换系数的编码 的情况是指， 在对 cbp ＝ 1 进行编码后， 能够生成连 1 个变换系数也不进行编码的编码数据 的情况。例如， 在行程编码的变换系数中， 将变换系数的值＝ 0 确定为最后的数据的情况 下， 如将最初的变换系数编码为变换系数的值＝ 0， 则能够生成这样的编码数据。
(S1614) 通过可变长编码部 115， 对变换系数的特征 (cbp)、 变换系数、 预测模式识 别用标记进行编码。
(S1615) 利用基于失真量 D 和码量 R 所计算出的 RD 成本来计算成本。码量 R 是基 于对变换系数的特征 (cbp)、 经量化扫描的残差信号、 预测模式识别用标记进行了可变长编 码的情况下的码量而计算出的。
(S1616) 按照该预测模式不被选择的方式， 将与该控制变量 k 对应的成本设定为 最大值。
(S1617) 选择成本为最小的预测方法， 输出给预测部 111 以及可变长编码部 115。
以上， 通过已说明的方法， 根据变换系数的特征， 尤其是根据 cbp 是否为 0 来进行 模式的估计。cbp 为 0 这样的能够基于周围的已编码完成的像素来高精度地估计模式的情 况下， 以利用已编码完成的像素值的匹配预测来估计模式， 所以， 能够以高估计精度来估计 预测方法。
另外， 由于将该情况下的可选择的预测模式限制为 1 个， 所以， 能够将表示预测模 式的标记的码量设为 0。由此， 能够使编码效率提高。
另外， 在上述的实施方式 5 中说明了具备模式估计部 523 和模式限制部 524 的两 者的构成， 但也可以是与实施方式 1 相同地， 具备模式估计部 523 而不具备模式限制部 524 的构成或者具备模式限制部 524 而不具备模式估计部 523 的构成。
( 实施方式 6)
实施方式 6 的图像解码装置对实施方式 5 的图像编码装置 500 中生成的编码数据 进行解码。
( 图像解码装置 600 的构成 )
图 27 是表示本发明的实施方式 6 所涉及的图像解码装置 600 的构成的框图。在 图 27 中， 图像解码装置 600 具备 ： 可变长编码解码部 201、 逆扫描部 202、 预测部 111、 逆量 化部 116、 逆变换部 117、 帧存储器 118、 变换系数评价部 121、 模式解码部 622、 模式估计部 523、 模式限制部 524、 加法部 102。 另外， 在上述构成中， 针对与实施方式 1、 实施方式 2 以及 实施方式 5 相同的构成要素赋予相同的标号， 并省略其说明。
( 图像解码装置 600 的动作 )
输入至图像解码装置 600 中的编码数据首先被输入到可变长编码解码部 201 中。 可变长编码解码部 201 通过编码数据的可变长解码， 对经变换、 量化后的残差信号即变换 系数进行解码。解码的变换系数向变换系数评价部 121 以及逆扫描部 202 输出。
变换系数评价部 121 基于变换系数的特征来计算评价值 xC， 并将评价值 xC 输出给模式估计部 523、 模式限制部 524。
模式估计部 523 根据评价值 xC 来估计预测模式， 并作为模式估计信号向模式解码 部 622 输出。
模式限制部 524 根据评价值 xC 对可选择的预测模式进行限制， 并作为模式限制信 号而向可变长编码解码部 201、 模式解码部 622 输出。
可变长编码解码部 201 接收模式限制信号， 在需进行标记解码的情况下， 从通过 模式限制信号而限制的可选择的预测模式中， 对用于识别 1 个预测模式的标记进行解码， 并输出给模式解码部 622。
模式解码部 622 利用模式估计信号、 模式限制信号、 标记来对预测模式进行解码。
逆扫描部 202 对于逆变换所需的排列， 重排变换系数。经逆扫描的变换系数通过 逆量化部 116 进行逆量化， 通过逆变换部 117 进行逆变换， 来再生残差信号。
预测部 111 根据解码后的预测信号， 参照帧存储器 118 中所存储的解码完成的图 像， 以所解码的预测模式来生成预测信号。加法部 102 通过预测信号与所再生的残差信号 的相加来生成局部解码块， 并存储于帧存储器 118 中。
( 模式解码部 622 的说明 )
模式解码部 622 利用模式限制信号、 模式估计信号、 标记来对预测模式进行解码。 通过模式限制信号而将预测模式限制为 1 个的情况或者表示模式估计信号是否被利用的 值为 “1” 的情况下， 设为模式估计信号所指定的预测模式。
另外， 通过模式限制信号而将预测模式限制为多个的情况下或者表示模式估计信 号是否被利用的值为 “0” 的情况下， 设为标记所指示的预测模式。
图像解码装置 600 的动作与上述的图 13 的流程图中所示的动作相同， 但在本实施 方式中， 将图 13 中的扫描模式置换为预测模式， 在 S1112 中进行的逆变换是以 S1113( 模式 解码部 422) 所解码的预测模式来进行的。
以上， 在已说明的图像解码装置 600 中， 通过利用变换系数的特征， 并根据预测模 式的切换是否有效来限制可选择的预测模式的选项， 由此， 能够削减模式识别用的标记的 码量， 能够对以高的编码效率所编码的编码数据进行解码。
另外， 由于根据变换系数的特征来改变预测模式的估计方法， 能够提高预测模式 的估计精度， 而且， 能够对已削减了标记的码量的编码数据进行解码。
( 图像解码装置 600 的其他动作的说明 )
图 28 是用于说明图像解码装置 600 的其他的动作的流程图。
(S1701) 通过可变长编码解码部 201 对 cbp 进行解码。
(S1702) 在 cbp 为零以外的情况下进入 S1703， 在为 “0” 的情况下进入 S1709。
(S1703) 通过模式估计部 523 对 cbp 为 “0” 以外的情况下的预测模式进行估计， 通 过模式限制部 524 对预测模式进行限制。
另外， 关于 cbp 为 “0” 以外的情况下的预测模式的估计， 利用在实施方式 5 中说明 的方法， 但在此利用方向预测。
(S1704) 通过模式解码部 622 对预测模式进行解码。
(S1705) 通过可变长编码解码部 201 对变换系数进行解码。
(S1706) 通过逆扫描部 202 对变换系数进行逆扫描。(S1707) 通过逆量化部 116 进行变换系数的逆量化。
(S1708) 通过逆变换部 117 进行逆变换， 再生残差信号， 进入 S1710。
(S1709) 通过模式估计部 523 对 cbp 为 “0” 的情况下的预测模式进行估计， 通过模 式限制部 524 将预测模式限制为 1 个。由于预测模式限制为 1 个， 所以选择所估计的预测 模式。另外， 将残差信号设为 0。
另外， 关于 cbp 为 “0” 的情况下的预测模式的估计， 利用在实施方式 5 中说明的方 法。
(S1710) 通过预测部 111， 基于解码后的预测模式来生成预测信号。
(S1711) 通过加法部 102 所获得的预测信号与残差信号的和， 来生成再生信号。
以上， 根据已说明的上述动作， 通过变换系数的特征， 尤其 cbp 是否为 “0” 来估计 预测模式， 从而能够提高预测模式的估计精度以及提高编码效率。而且在 cbp 为 “0” 的情 况下将可选择的预测模式限制为 1 个， 不对标记进行解码， 由此， 能够削减表示预测模式的 标记的码量， 能够以高的编码效率对所编码的编码数据进行解码。
另外， 在上述的实施方式 6 中， 说明了具备模式估计部 523 和模式限制部 524 的两 者的构成， 也可以是与实施方式 2 相同地， 具备模式估计部 523 而不具备模式限制部 524 的 构成或者具备模式限制部 524 而不具备模式估计部 523 的构成。 另外， 本发明并不限于上述的实施方式， 在不脱离本发明的要旨的范围内能够进 行各种变形、 修正。
标号说明
100、 300、 500… 图像编码装置， 111… 预测部， 112… 变换部， 113… 量化部， 114… 扫描部， 115… 可变长编码部， 116… 逆量化部， 117… 逆变换部， 118… 帧存储器， 101… 减法 部 ( 残差算出部 )， 102…加法部， 121…变换系数评价部， 122、 322、 522…模式选择部， 123、 323、 523… 模式估计部， 124、 324、 524… 模式限制部， 1001… 频度存储部， 1002… 频度测量 部， 1003… 频度评价部， 1004… 模式估计信号决定部， 1103… 扫描顺序生成部， 1104… 模式 估计信号决定部， 1201…变换模式存储部， 1202…变换模式测量部， 1203…变换模式频度评 价部， 1204… 模式估计信号决定部， 200、 400、 600… 图像解码装置， 201… 可变长编码解码 部， 202…逆扫描部， 222、 422、 622…模式解码部。