动态图像压缩装置、动态图像解码装置、图像压缩装置、图像解码装置、拍摄装置以及程序.pdf

动态图像压缩装置包括获取部、图像变换部、以及压缩处理部。获取部获取使多个帧与拍摄顺序相关联的RAW动态图像，所述多个帧中不同的3个颜色成分的像素按照2行2列的颜色排列周期性配置。图像变换部在关注的帧中将与奇数行的第一颜色成分对应的第一像素组和与偶数行的第一颜色成分对应的第二像素组分别分离，并将包括第一像素组的第一图像和包括第二像素组的第二图像交替地排列在时间轴方向上。压缩处理部对第一图像和第二图像进行图像间预测编码压缩。

1.  一种动态图像压缩装置，其特征在于，包括：
获取部，其获取使多个帧与拍摄顺序相关联的RAW动态图像，所 述多个帧中不同的3个颜色成分的像素按照2行2列的颜色排列周期性 配置；
图像变换部，其将关注的帧中、与奇数行的第一颜色成分对应的第 一像素组和与偶数行的所述第一颜色成分对应的第二像素组分别分离， 并将包括所述第一像素组的第一图像和包括所述第二像素组的第二图 像交替地排列在时间轴方向上；以及
压缩处理部，其对所述第一图像和所述第二图像进行图像间预测编 码压缩。

2.  根据权利要求1所述的动态图像压缩装置，其特征在于，
所述压缩处理部在所述第一图像和所述第二图像之间进行运动补 偿预测。

3.  根据权利要求2所述的动态图像压缩装置，其特征在于，
所述压缩处理部对图像进行块分割，并且按每一块适当地变换而执 行像素插补处理或像素偏移处理，所述像素插补处理是在所述第一图像 和所述第二图像之间通过预测源图像中的多个像素的插补值对预测目 标图像的关注像素的值进行预测的处理，所述像素偏移处理是在所述第 一图像和所述第二图像之间根据在预测源图像中位于不同位置的像素 的值对预测目标图像的关注像素的值进行预测的处理。

4.  根据权利要求1所述的动态图像压缩装置，其特征在于，
所述图像变换部在所述第一图像中还包括与所述第一颜色成分不 同的第二颜色成分的像素组，将所述第一像素组和所述第二颜色成分的 像素组按照在水平方向上分离的方式重新排列，生成所述第一图像，
所述图像变换部在所述第二图像中还包括与所述第一颜色成分和 所述第二颜色成分不同的第三颜色成分的像素组，将所述第二像素组和 所述第三颜色成分的像素组按照在水平方向上分离的方式重新排列，生 成所述第二图像。

5.  根据权利要求4所述的动态图像压缩装置，其特征在于，
所述图像变换部将所述第一图像中的所述第一像素组的区域和所 述第二图像中的所述第二像素组的区域配置于在空间方向上共同的位 置。

6.  根据权利要求5所述的动态图像压缩装置，其特征在于，
所述压缩处理部在所述第一图像和所述第二图像之间进行运动补 偿预测时，将从相同的帧分离的所述第一图像和所述第二图像的运动矢 量的探索范围设定为小于从不同的帧分离的所述第一图像和所述第二 图像的运动矢量的探索范围。

7.  根据权利要求4所述的动态图像压缩装置，其特征在于，
所述图像变换部将所述第一图像中的所述第一像素组的区域和所 述第二图像中的所述第二像素组的区域配置在水平方向上的相反的位 置。

8.  根据权利要求7所述的动态图像压缩装置，其特征在于，
所述压缩处理部在所述第一图像和所述第二图像之间进行运动补 偿预测时，进行与所述第一像素组的区域和所述第二像素组的区域的位 置相应的位置校正，并且将从相同的帧分离的所述第一图像和所述第二 图像的运动矢量的探索范围设定为小于从不同的帧分离的所述第一图 像和所述第二图像的运动矢量的探索范围。

9.  根据权利要求6或8所述的动态图像压缩装置，其特征在于，
所述压缩处理部将所述第一像素组的区域和所述第二像素组的区 域中的所述运动矢量的探索范围设定为从基准的像素在空间方向上相 差1像素的范围。

10.  根据权利要求1所述的动态图像压缩装置，其特征在于，
所述图像变换部按照以下方式进行重新排列：在所述第一图像和所 述第二图像的一方图像中还包括与所述第一颜色成分不同的第二颜色 成分的像素组、以及与所述第一颜色成分和所述第二颜色成分不同的第 三颜色成分的像素组，
所述图像变换部使得在所述第一图像和所述第二图像的另一方图 像中包括与所述第二颜色成分的像素组和所述第三颜色成分的像素组 对应的虚拟数据。

11.  根据权利要求1至10中的任一项所述的动态图像压缩装置，其 特征在于，
所述动态图像压缩装置还包括控制部，所述控制部将表示所述第一 图像和所述第二图像的像素排列的附带数据与压缩后的动态图像数据 相关联地进行记录。

12.  一种拍摄装置，其特征在于，包括：
拍摄部，其对RAW动态图像进行拍摄；以及
权利要求1所述的动态图像压缩装置。

13.  一种程序，其特征在于，使计算机执行以下处理：
获取处理，获取使多个帧与拍摄顺序相关联的RAW动态图像，所 述多个帧中不同的3个颜色成分的像素按照2行2列的颜色排列周期性 配置；
图像变换处理，将关注的帧中、与奇数行的第一颜色成分对应的第 一像素组和与偶数行的所述第一颜色成分对应的第二像素组分别分离， 并将包括所述第一像素组的第一图像和包括所述第二像素组的第二图 像交替地排列在时间轴方向上；以及
压缩处理，对所述第一图像和所述第二图像进行图像间预测编码压 缩。

14.  一种图像压缩装置，其特征在于，包括：
获取部，其获取二维状地配置有多个颜色成分的像素的RAW图像；
分离部，其将所述RAW图像内的第一颜色成分分离为第一图像和 第二图像；以及
压缩处理部，其基于所述第一图像和所述第二图像的图像间的差量 对所述第一图像进行压缩处理。

15.  一种动态图像解码装置，其特征在于，包括：
获取部，其获取压缩RAW动态图像数据，所述压缩RAW动态图 像数据是关于不同的3个颜色成分的像素按照2行2列的颜色排列周期 性配置的多个帧，将与各帧的奇数行的第一颜色成分对应的第一像素组 和与偶数行的所述第一颜色成分对应的第二像素组分别分离，并且将包 括所述第一像素组的第一图像和包括所述第二像素组的第二图像交替 地排列在时间轴方向上并进行图像间预测编码压缩而得到的；
解码处理部，其对所述压缩RAW动态图像数据进行解码；以及
图像变换部，其按照所述颜色排列来重新排列被解码的RAW动态 图像数据的所述第一图像和所述第二图像。

16.  根据权利要求15所述的动态图像解码装置，其特征在于，
所述解码处理部对图像进行块分割，并且按每一块适当地变换而执 行像素插补处理或像素偏移处理，所述像素插补处理是在所述第一图像 和所述第二图像之间通过所述第一图像和所述第二图像的一方图像中 的多个像素的插补值求出另一方图像中的关注像素的值的处理，所述像 素偏移处理是在所述第一图像和所述第二图像之间根据在所述一方图 像中位于不同位置的像素的值求出所述另一方图像中的关注像素的值 的处理。

17.  根据权利要求15或16所述的动态图像解码装置，其特征在于，
所述获取部与所述压缩RAW动态图像数据一起获取表示所述第一 图像和所述第二图像的像素排列的附带数据，
所述图像变换部使用所述附带数据并按照所述颜色排列来重新排 列所述第一图像和所述第二图像。

18.  一种图像解码装置，其特征在于，包括：
获取部，其获取压缩RAW动态图像数据，所述压缩RAW动态图 像数据是将二维状地配置有多个颜色成分的像素的RAW图像内的第一 颜色成分分离为第一图像和第二图像，并基于所述第一图像和所述第二 图像的图像间的差量对所述第一图像进行压缩处理而得到的；
解码处理部，其对所述压缩RAW动态图像数据进行解码；以及
图像变换部，其按照预定的颜色排列来重新排列被解码的RAW动 态图像数据的所述第一图像和所述第二图像。

19.  一种程序，其特征在于，使计算机执行以下处理：
获取处理，获取压缩RAW动态图像数据，所述压缩RAW动态图 像数据是关于不同的3个颜色成分的像素按照2行2列的颜色排列周期 性配置的多个帧，将与各帧的奇数行的第一颜色成分对应的第一像素组 和与偶数行的所述第一颜色成分对应的第二像素组分别分离，并且将包 括所述第一像素组的第一图像和包括所述第二像素组的第二图像交替 地排列在时间轴方向上并进行图像间预测编码压缩而得到的；
解码处理，对所述压缩RAW动态图像数据进行解码；以及
图像变换处理，按照所述颜色排列来重新排列被解码的RAW动态 图像数据的所述第一图像和所述第二图像。

动态图像压缩装置、动态图像解码装置、图像压缩装置、图像解码装置、拍摄装置以及程序
技术领域
本发明涉及动态图像压缩装置、动态图像解码装置、图像压缩装置、 图像解码装置、拍摄装置以及程序。
背景技术
关于动态图像的摄影，提出了具有RAW动态图像的摄影模式的摄 影装置，所述RAW动态图像的摄影模式对从拍摄元件输出的图像在相 机内不进行显像处理就进行记录。在该RAW动态图像的记录中，还提 出有从拜耳阵列(Bayer array)分离各种颜色成分并对每一种颜色成分 进行压缩编码。
现有技术文献
专利文献
专利文献1：日本特开2011-41144号公报
发明内容
发明所要解决的问题
然而，拜耳阵列的两个相同颜色成分具有较高的相关性。因此，如 果利用该相关性，则能够进一步提高RAW动态图像的压缩编码的效率。
用于解决问题的手段
作为本发明的一个例子的动态图像压缩装置包括获取部、图像变换 部、以及压缩处理部。获取部获取将多个帧与拍摄顺序相关联的RAW 动态图像，所述多个帧中不同的3个颜色成分的像素按照2行2列的颜 色排列周期性配置。图像变换部将关注的帧中、与奇数行的第一颜色成 分对应的第一像素组和与偶数行的第一颜色成分对应的第二像素组分 别分离，并将包括第一像素组的第一图像和包括第二像素组的第二图像 交替地排列在时间轴方向上。压缩处理部对第一图像和第二图像进行图 像间预测编码压缩。
作为本发明的其他例子的图像压缩装置包括获取部、分离部、以及 压缩处理部。获取部获取二维状地配置有多个颜色成分的像素的RAW 图像。分离部将RAW图像内的第一颜色成分分离为第一图像和第二图 像。压缩处理部基于第一图像和第二图像的图像间的差量对第一图像进 行压缩处理。
作为本发明的其他例子的动态图像解码装置包括获取压缩RAW动 态图像数据的获取部、解码处理部、以及图像变换部。压缩RAW动态 图像数据是关于不同的3个颜色成分的像素按照2行2列的颜色排列周 期性配置的多个帧，将与各帧的奇数行的第一颜色成分对应的第一像素 组和与偶数行的所述第一颜色成分对应的第二像素组分别分离，并且将 包括所述第一像素组的第一图像和包括所述第二像素组的第二图像交 替地排列在时间轴方向上并进行图像间预测编码压缩而得到的。解码处 理部对压缩RAW动态图像数据进行解码。图像变换部按照颜色排列来 重新排列被解码的RAW动态图像数据的第一图像和第二图像。
作为本发明的其他例子的图像解码装置包括获取压缩RAW动态图 像数据的获取部、对压缩RAW动态图像数据进行解码的解码处理部、 以及图像变换部。压缩RAW动态图像数据是将二维状地配置有多个颜 色成分的像素的RAW图像内的第一颜色成分分离为第一图像和第二图 像，并基于第一图像和第二图像的图像间的差量对第一图像进行压缩处 理而得到的。图像变换部按照预定的颜色排列来重新排列被解码的RAW 动态图像数据的第一图像和第二图像。
附图说明
图1是表示第一实施方式的电子相机的构成例子的图。
图2的(a)-(d)是表示拜耳阵列中的各颜色像素的排列例子的图。
图3是表示压缩处理部的构成例子的图。
图4是表示解码处理部的构成例子的图。
图5是表示RAW动态图像记录模式下的电子相机的动作的流程图。
图6是表示作为编码对象的RAW图像的例子的图。
图7的(a)-(d)是表示通过第一动作例子中的RAW图像的颜色 成分的重新排列而生成的图像的图。
图8是表示RAW图像全部是1帧的情况的运动补偿预测的例子的 图。
图9是表示RAW图像是1帧、P帧的情况的运动补偿预测的例子 的图。
图10是表示RAW图像是1帧、P帧、B帧的情况的运动补偿预测 的例子的图。
图11是表示RAW图像是1帧、P帧、B帧的情况的运动补偿预测 的例子的图。
图12是表示基于像素插补处理的像素值的预测例子的图。
图13是表示基于像素插补处理的像素值的预测例子的图。
图14是表示基于像素插补处理的像素值的预测例子的图。
图15是表示基于像素偏移处理的像素值的预测例子的图。
图16是表示基于像素偏移处理的像素值的预测例子的图。
图17是表示基于像素偏移处理的像素值的预测例子的图。
图18是表示基于像素偏移处理的像素值的预测例子的图。
图19是表示基于像素偏移处理的像素值的预测例子的图。
图20是表示基于像素偏移处理的像素值的预测例子的图。
图21是表示基于像素偏移处理的像素值的预测例子的图。
图22是表示基于像素偏移处理的像素值的预测例子的图。
图23是表示基于像素偏移处理的像素值的预测例子的图。
图24是表示基于像素偏移处理的像素值的预测例子的图。
图25是表示基于像素偏移处理的像素值的预测例子的图。
图26的(a)、(b)是表示通过第二动作例子中的RAW图像的颜色 成分的重新排列而生成的图像的图。
图27的(a)、(b)是表示通过第二动作例子的变形例1中的RAW 图像的颜色成分的重新排列而生成的图像的图。
图28的(a)、(b)是表示通过第二动作例子的变形例2中的RAW 图像的颜色成分的重新排列而生成的图像的图。
图29的(a)、(b)是表示通过第三动作例子中的RAW图像的颜色 成分的重新排列而生成的图像的图。
图30的(a)、(b)是表示通过第三动作例子的变形例中的RAW图 像的颜色成分的重新排列而生成的图像的图。
图31是表示通过RAW动态图像记录模式压缩了的RAW动态图像 的解码动作的例子的流程图。
图32是表示第二实施方式中的动态图像解码装置的构成例子的图。
具体实施方式
〈第一实施方式的说明〉
图1是表示作为拍摄装置、动态图像压缩装置、动态图像解码装置 的一个例子的第一实施方式的电子相机的构成例子的图。
第一实施方式的电子相机100具有动态图像摄影功能，并且作为动 态图像摄影模式之一而具有RAW动态图像记录模式。RAW动态图像记 录模式下的电子相机100对数字显像处理前的RAW形式的动态图像 (RAW动态图像)进行压缩编码并记录。另外，数字显像处理是指将 未加工的RAW图像变换为与照片相当的图像的图像处理。作为一个例 子，数字显像处理包括颜色插补处理、灰度变换处理、白平衡调整处理、 颜色变换处理。
电子相机100具有拍摄光学系统101、拍摄元件102、信号处理部 103、图像处理引擎104、第一存储器105、第二存储器106、记录I/F107、 显示器108、以及操作部109。这里，信号处理部103、第一存储器105、 第二存储器106、记录I/F107、显示器108、以及操作部109分别与图像 处理引擎104连接。另外，操作部109是接收用户的操作(例如动态图 像摄影的指示、模式切换的指示等)的开关。
拍摄光学系统101由例如包括变焦透镜、聚焦透镜的多个透镜构成。 另外，为简单起见，在图1中通过一个透镜图示了拍摄光学系统101。
拍摄元件102是对基于通过了拍摄光学系统101的光束而形成的被 摄体的成像进行拍摄(摄影)的设备。拍摄元件102的输出与图像处理 引擎104连接。上述拍摄元件102既可以是依次扫描方式的固态成像元 件(例如CCD)，也可以是XY寻址方式的固态成像元件(例如CMOS)。
这里，在拍摄元件102的受光面上呈矩阵状排列有多个受光元件(像 素)。并且，分别使不同颜色成分的光透过的多种彩色滤光片按照预定 的颜色排列而配置在拍摄元件102的像素中。因此，拍摄元件102的各 个像素通过彩色滤光片的颜色分解而输出与各颜色成分对应的电信号。 例如，在第一实施方式中，红色(R)、绿色(G)、蓝色(B)的彩色滤 光片按照2行2列的拜耳阵列周期性地配置在受光面上。作为一个例子， 在拍摄元件102的像素排列的奇数行交替地排列有G、B的像素，在像 素排列的偶数行交替地排列有R、G的像素。并且，在像素排列的整体 中，绿色像素配置成方格图案。由此，拍摄元件102能够在拍摄时获取 彩色的图像。在本说明书的说明中，有时将奇数行的绿色像素表示为G1， 将偶数行的绿色像素表示为G2。另外，拜耳阵列中的各颜色像素的排列 图案不限于上述例子，也可以是奇数行配置红色像素、偶数行配置蓝色 像素。另外，图2的(a)-(d)表示拜耳阵列中的各颜色像素的排列例 子。
信号处理部103对从拍摄元件102输入的图像信号依次进行模拟信 号处理(相关双采样、黑电平校正等)、A/D转换处理、数字信号处理(缺 陷像素校正等)。从信号处理部103输出的图像(RAW图像)的数据输 入到图像处理引擎104。
图像处理引擎104是综合控制电子相机100的动作的处理器。例如， 图像处理引擎104使用从拍摄元件102输入的图像信号来执行自动对焦 (AF)、自动曝光(AE)的控制。
另外，图像处理引擎104具有显像处理部111、图像变换部112、压 缩处理部113、以及解码处理部114。显像处理部111对RAW图像执行 上述数字显像处理。
图像变换部112在RAW动态图像记录模式中基于像素的颜色成分 将RAW动态图像的各帧分别分离为多个图像。例如，图像变换部112 按照颜色来分离RAW动态图像的1帧的像素并将其重新排列。并且， 图像变换部112例如分离为包括与奇数行的绿色成分(G1)对应的第一 像素组的第一图像、以及包括与偶数行的绿色成分(G2)对应的第二像 素组的第二图像。另外，后面将详细地说明第一图像和第二图像的例子。
另外，图像变换部112在RAW动态图像记录模式中将上述第一图 像和第二图像交替地排列在时间轴方向上并输出。另外，图像变换部112 在对通过RAW动态图像记录模式压缩了的动态图像数据进行解码时， 重新排列第一图像和第二图像而解码为原来的RAW图像。
压缩处理部113将动态图像的各帧分割为预定尺寸的块(block)单 位，并使用运动补偿预测来对动态图像的数据进行压缩编码。另外，RAW 动态图像记录模式下的压缩处理部113对由图像变换部112排列在时间 轴方向上的第一图像和第二图像进行图像间预测编码压缩。另外，后面 将详细地说明压缩处理部113的构成例子。
解码处理部114对由压缩处理部113进行了压缩编码的动态图像的 数据进行编码。另外，后面将详细地说明编码处理部114的构成例子。
另外，图像处理引擎104所包括的显像处理部111、图像变换部112、 压缩处理部113、以及解码处理部114的功能块能够通过任意的处理器、 存储器、以及其他的LSI来硬件化地实现，也可通过加载于存储器的程 序等来软件化地实现。
第一存储器105在图像处理的前步骤或后步骤来暂时地存储图像的 数据。例如，第一存储器105是作为易失性存储介质的SDRAM (Synchronous Dynamic Random Access Memory)。另外，第二存储器106 存储由图像处理引擎104执行的程序和在该程序中使用的各种数据。例 如，第二存储器106是闪速存储器等非易失性存储器。
记录I/F107具有用于连接非易失性存储介质110的连接器。并且， 记录I/F107对与连接器连接的存储介质110执行动态图像的数据的写入 /读出。存储介质110是硬盘、或内置有半导体存储器的存储卡等。另外， 作为存储介质110的一个例子，在图1中图示了存储卡。
显示器108是显示各种图像的显示设备。例如，显示器108在图像 处理引擎104的控制下执行动态图像摄影时的取景器(viewfinder)显示、 已摄影的动态图像的再现显示。
接下来，参照图3来说明压缩处理部113的构成例子。在图3中， 通过功能块示出了压缩处理部113的各部分，所述功能功通过硬件和软 件的协作来实现。
这里，作为执行运动补偿预测的图像压缩编码方式，例如公知有由 ISO/IEC13818-2规定的MPEG-2等。在上述图像压缩编码方式中，使用 I图(picture)、P图、B图在帧内或帧间执行压缩编码。I图是通过仅在 画面内完成的编码获得的画面内编码图像。P图是通过使用最多1个参 照图像的预测编码获得的画面间预测编码图像。B图是通过使用最多2 个参照图像的预测编码获得的画面间双预测编码图像。
压缩处理部113具有第一存储部11、减法运算部12、正交变换部 13、量化部14、编码部15、逆量化部16、逆正交变换部17、加法运算 部18、第二存储部19、预测信息生成部20、以及预测部21。
第一存储部11存储从图像变换部112输出的第一图像和第二图像。 将存储在第一存储部11中的第一图像和第二图像作为成为编码对象的 图像按照输入顺序输出给减法运算部12。另外，从第一存储部11依次 消除完成了编码的图像。
减法运算部12在生成P图或B图时将输入的原图像与由预测部21 生成的后述的预测值之间的差量信号(预测误差量值)输出。另外，减 法运算部12在生成I图时将所输入的原图像的信号原样输出。
正交变换部13在生成I图时对通过(through)减法运算部12而输 入了的原图像的信号进行正交变换。另外，正交变换部13在生成P图 或B图时对上述差量信号进行正交变换。
量化部14将从正交变换部13输入的块单位的频率系数(正交变换 系数)转换为量化系数。量化部14的输出分别输入到编码部15及逆量 化部16。
编码部15对量化系数和运动矢量等的预测信息进行可变长度编码， 并将动态图像的编码位流(bit stream)输出到外部。
逆量化部16以块为单位对量化系数进行逆量化并对频率系数进行 解码。逆正交变换部17对由逆量化部16解码了的频率系数进行逆正交 变换并对预测误差量值(或原图像的信号)进行解码。
加法运算部18将被解码了的预测误差量值和由预测部21生成的后 述的预测值相加。然后，将从加法运算部18输出的图(picture)的解码 值(参照图像)存储在第二存储部19中。另外，将在之后的运动补偿 预测中不参照的图像从第二存储部19中依次消除。
预测信息生成部20使用第二存储部19的参照图像来生成用于预测 作为编码对象的图像的预测信息(运动矢量等)。将预测信息输出给预 测部21和编码部15。
预测部21输出基于预测信息和参照图像以块为单位预测了作为编 码对象的图像的预测值。将该预测值输出给减法运算部12和加法运算 部18。
另外，在对某块进行运动补偿预测的情况下，如果作为编码对象的 图像与预测值完全一致，则仅将预测信息数据化。另外，在作为编码对 象的图像与预测值部分一致的情况下，将与预测信息的差量的图像数据 化。另外，在作为编码对象的图像全部偏离了预测值的情况下，将块整 体的图像全部数据化。
接下来，参照图4来说明解码处理部114的构成例子。在图4中， 以通过硬件和软件的协作实现的功能块示出了解码处理部114的各部 分。另外，解码处理部114的功能块也可以与压缩处理部113的相同名 称的功能块共有化。
解码处理部114具有编码解码部31、逆量化部32、逆正交变换部 33、加法运算部34、第一存储部35、第二存储部36、以及预测部37。
编码解码部31对输入的动态图像的编码位流进行解码，并输出量化 系数和运动矢量等的预测信息。另外，将被解码了的量化系数输入到逆 量化部32，并将被解码了的预测信息输入到预测部37。
逆量化部32以块为单位对量化系数进行逆量化并对频率系数进行 解码。逆正交变换部33对由逆量化部32解码了的频率系数进行逆正交 变换，并对预测误差量值(或原图像的信号)进行解码。
加法运算部34将被解码了的预测误差量值和由预测部37生成了的 预测值相加，由此以块为单位输出被解码了的图像。然后，将从加法运 算部34输出的图像的解码值分别输入到第一存储部35和第二存储部 36。
第一存储部35存储解码了的第一图像和第二图像，直至将第一图像 和第二图像输出给图像变换部112。另外，将完成了向图像变换部112 的输出的图像从第一存储部35中依次消除。另外，第二存储部36将图 像的解码值作为参照图像进行存储。另外，将在之后的运动补偿预测中 不参照的图像从第二存储部36中依次消除。
预测部37将基于预测信息和参照图像以块为单位预测了作为解码 对象的图像的预测值输出给加法运算部34。
(RAW动态图像记录模式下的第一动作例子)
以下，说明第一实施方式中的RAW动态图像记录模式下的第一动 作例子。图5是表示RAW动态图像记录模式下的电子相机的动作的流 程图。另外，图5的处理例如在RAW动态图像摄影模式启动时通过由 图像处理引擎104执行程序而开始。另外，第一实施方式下的电子相机 例如以30fps的帧频来执行动态图像的摄影。
步骤#101：图像处理引擎104驱动拍摄元件102使其对图像进行拍 摄。将从拍摄元件102输出的图像信号经由信号处理部103的信号处理 输入到图像处理引擎104。由此，图像处理引擎104获取构成RAW动 态图像的1帧的、作为编码对象的RAW图像的数据。另外，图6是表 示作为编码对象的RAW图像的例子的图。另外，在以下的说明中，通 过H来表示RAW图像的水平方向像素数，通过V来表示RAW图像的 垂直方向像素数。
步骤#102：图像变换部112对输入了的作为编码对象的RAW图像 进行颜色成分的重新排列。
图7的(a)-(d)是表示通过第一动作例子中的RAW图像的颜色 成分的重新排列而生成的图像的图。第一动作例子中的图像变换部112 将RAW图像分离为G1、B、R、G2这4个颜色成分。然后，图像变换 部112根据颜色排列的位置重新排列分离后的G1像素、B像素、R像 素、G2像素。由此，从1个RAW图像生成G1图像、B图像、R图像、 G2图像这4个图像。G1图像是第一图像的一个例子，G2图像是第二图 像的一个例子。另外，G1图像、B图像、R图像、G2图像分别为RAW 图像的1/4的图像尺寸(V/2×H/2)。
这里，第一动作例子中的图像变换部112在向压缩处理部113输出 动态图像时，将G1图像和G2图像交替地排列在时间轴方向上并通过一 个信道(channel)输出。另外，第一动作例子中的图像变换部112在向 压缩处理部113输出动态图像时，分别通过不同的信道输出B图像、R 图像。
步骤#103：压缩处理部113对从作为编码对象的RAW图像生成的 多个图像分别进行压缩编码。
这里，第一动作例子中的压缩处理部113对依次生成的B图像进行 图像间预测编码压缩，生成B成分的动态图像数据。同样地，压缩处理 部113对依次生成的R图像进行图像间预测编码压缩，生成R成分的动 态图像数据。B图像、R图像的单体可以看作是黑白图像，在图像内与 相邻像素的相关性也高。因此，压缩处理部113能够分别高效地将B图 像和R图像作为动态图像进行压缩。
另外，第一动作例子中的压缩处理部113对交替排列在时间轴方向 上的G1图像和G2图像进行图像间预测编码压缩，生成G成分的动态 图像数据。
G1图像、G2图像各自的单体与B图像、R图像同样地可以看作是 黑白图像。另外，G1图像、G2图像是将一个RAW图像的相同颜色像 素分离为奇数列和偶数列并进行再排列得到的。从相同的RAW图像分 离得到的G1图像、G2图像均是对相同时刻的被摄体进行拍摄而得到的 图像，虽然会产生由于颜色排列中的像素位置的差异而导致的图案的偏 移，但是图像间的相关性非常高。另外，由于从时间轴方向上处于前后 的两个RAW图像分离的G1图像、G2图像是对基本相同的被摄体进行 拍摄而得到的可能性也很高，因此图像间的相关性高。因此，在第一动 作例子中，关于交替地排列在时间轴方向上的G1图像和G2图像，对图 像进行块分割并进行每一块的像素插补或者进行适当地转换像素偏移 的图像间预测编码压缩，由此进一步提高了RAW动态图像的压缩编码 的效率。
对图像进行块分割并进行每一块的像素插补或者进行适当地转换像 素偏移的图像间预测编码压缩例如可以通过应用运动补偿预测编码而 容易地完成。
这里，在对第一图像、第二图像进行图像间预测编码压缩时，压缩 处理部113如下进行运动补偿预测即可。在以下的说明中，将作为I图 的RAW图像称为I帧，将作为P图的RAW图像称为P帧，将作为B 图的RAW图像称为B帧。另外，在图8至图11中，将从第n个RAW 图像分离的第一图像表示为“n-1”，将从第n个RAW图像分离的第二 图像表示为“n-2”。
图8表示了RAW图像全部为I帧时的运动补偿预测的例子。在图8 的例子中，压缩处理部113对各个第一图像进行画面内编码压缩。另外， 压缩处理部113参照从相同的RAW图像分离出的第一图像(I图)并使 用第一图像的解码值以各个块进行运动补偿预测。由此，对第二图像进 行图像间预测编码压缩。另外，在I帧的情况下，第一图像为I图，第 二图像为P图。
图9表示了RAW图像为I帧、P帧时的运动补偿预测的例子。由于 I帧的运动补偿预测与图8的例子相同，因此省略重复的说明。
在图9的例子中，在P帧的第一图像的运动补偿预测中，分别从1 帧前的RAW图像分离出的第一图像(I图/P图)或第二图像(P图)成 为参照图像的候选。另外，在P帧的第二图像的运动补偿预测中，从1 帧前的RAW图像分离出的第二图像(P图)或从相同的RAW图像分离 出的第一图像(P图)成为了参照图像的候选。在压缩P帧的各图像的 情况下，压缩处理部113从参照图像的候选中按每一块选择一个参照图 像，并使用该参照图像的解码值来进行各块的运动补偿预测。另外，在 P帧的情况下，第一图像和第二图像均为P图。
图10、图11表示了RAW图像为I帧、P帧、B帧时的运动补偿预 测的例子。由于I帧的运动补偿预测与图8的例子相同，因此省略重复 的说明。
如图10所示，在P帧的第一图像的运动补偿预测中，分别与I帧对 应的第一图像(I图)或第二图像(P图)成为参照图像的候选。另外， 在P帧的第二图像的运动补偿预测中，I帧的第二图像(P图)或P帧 的第一图像(P图)成为参照图像的候选。在压缩P帧的各图像的情况 下，压缩处理部113从参照图像的候选中按每一块选择一个参照图像， 并使用该参照图像的解码值来进行各块的运动补偿预测。另外，在P帧 的情况下，第一图像和第二图像均为P图。
另外，如图11所示，在B帧的第一图像、第二图像的运动补偿预 测中，(1)从在过去侧与B帧最近的I帧(或P帧)分离出的第一图像 或第二图像中的一个、以及(2)从在未来侧与B帧最近的I帧(或P 帧)分离出的第一图像或第二图像中的一个分别成为参照图像的候选。 在压缩B帧的各图像的情况下，压缩处理部113从参照图像的候选中按 每一块选择过去和未来的各一个参照图像，并使用两个参照图像的解码 值来进行各块的运动补偿预测。
另外，从RAW图像的相同的颜色排列提取的G1像素和G2像素在 第一图像和第二图像中分别配置在相同的像素位置。但是，如上所述， 在第一图像和第二图像之间会产生由于颜色排列中的像素位置的差异 而导致的图案的偏移。因此，在第一图像和第二图像之间进行运动补偿 预测时，优选的是，压缩处理部113的预测信息生成部20考虑颜色排列 中的像素位置的差异如以下的(A)、(B)那样来进行G1、G2成分间的 预测。该G1、G2成分间的预测以作为编码对象的图像的块为单位来独 立地进行。
这里，关于以下的(A)、(B)的说明，在图12-图25中，通过圆圈 来表示RAW图像中的G1像素、G2像素的排列。另外，在图12-图25 中，通过框线来表示一个颜色排列的范围(第一图像和第二图像的样本 点)。另外，在第一图像和第二图像之间，将预测源像素的参照像素的 位置相对于预测目标图像的关注像素的位置的位置偏移称为运动矢量 MV[x，y]。运动矢量MV通过向右的偏移而增加x，通过向左的偏移而 减小x。同样，运动矢量MV通过向下的偏移而增加y，通过向上的偏 移而减小y。在以下的说明中，说明预测源图像为第一图像、预测目标 图像为第二图像的例子，两者的关系也可以反过来。
(A)基于像素插补处理的预测
图12、图13是表示基于像素插补处理的像素值的预测例子的图。 在像素插补处理中，在第一图像和第二图像之间，通过预测源图像的多 个像素的插补值对预测目标图像的关注像素的值进行预测。
图12、图13表示了通过与关注像素相邻的预测源图像(第一图像) 的4像素(G1a-G1d)的平均值求出预测目标图像(第二图像)的关注 像素G2x的值的例子。在图12、图13的情况下，由于通过4个相邻像 素的平均来预测关注像素的像素值，因此能够抑制预测源图像的解码值 所包含的编码失真。
在图12的例子中，在颜色排列的左上配置有G1像素，在颜色排列 的右下配置有G2像素。在图12的情况下，虽然像素G1a和像素G2x 属于相同的样本点，但是关注像素(G2x)由于插补而受到像素G1b-G1d 的影响。因此，预测源图像的参照像素的范围相对于关注像素(G2x) 的位置向右偏移0.5像素，向下偏移0.5像素。因此，图12的例子中的 运动矢量MV为[0.5，0.5]。
另外，在图13的例子中，在颜色排列的右上配置有G1像素，在颜 色排列的左下配置有G2像素。在图13的情况下，虽然像素G1b和像素 G2x属于相同的样本点，但是关注像素(G2x)由于插补而受到像素G1a、 G1c、G1d的影响。因此，预测源图像的参照像素的范围相对于关注像 素(G2x)的位置向左偏移0.5像素，向下偏移0.5像素。因此，图13 的例子中的运动矢量MV为[-0.5，0.5]。
上述基于图像插补处理的运动补偿预测在图案的变化较小的块中被 选择的概率高。由于动态图像中还包括很多无运动的部分，因此在第一 图像和第二图像的压缩编码中，选择图12、图13的预测的频率也变高。 因此，编码部15在基于图像插补处理的运动补偿预测的情况下也可以 分配最短的编码来提高压缩效率。
例如，在第一动作例子的第一图像和第二图像的压缩编码中，编码 部15在图12的情况下也可以向基于运动矢量MV[0.5，0.5]的运动补偿 预测分配最短的编码。另外，在第一动作例子的第一图像和第二图像的 压缩编码中，编码部15在图13的情况下也可以向基于运动矢量 MV[-0.5，0.5]的运动补偿预测分配最短的编码。
上述预测值的计算方法依赖于所应用的编码方式。因此，基于像素 插补处理的预测不限于图12、图13的例子。例如，也可以如图14那样， 通过基于预测源图像(第一图像)的16个G1像素的插补值(例如16 个G1成分的平均值或加权平均值)来求出预测目标图像(第二图像) 的关注像素G2x的值。另外，图14的例子中的运动矢量MV为[0.5，0.5]。
(B)基于像素偏移处理的预测
图15-图25是表示基于像素偏移处理的像素值的预测例子的图。在 像素偏移处理中，在第一图像和第二图像之间，根据在预测源图像中处 于不同位置的像素的值来对预测目标图像的关注像素的值进行预测。
图15-图18是在颜色排列的左上配置有G1像素、在颜色排列的右 下配置有G2像素的情况。
在图15的情况下，根据在RAW图像中位于右上的像素G1b的值来 对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图15 的情况下，预测源图像的参照像素(G1b所属的样本点)相对于预测目 标图像中的关注像素(G2x所属的样本点)的位置向右偏移1像素。因 此，图15的例子中的运动矢量MV为[1，0]。
在图16的情况下，根据在RAW图像中位于左下的像素G1c的值来 对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图16 的情况下，预测源图像的参照像素(G1c所属的样本点)相对于预测目 标图像中的关注像素(G2x所属的样本点)的位置向下偏移1像素。因 此，图16的例子中的运动矢量MV为[0，1]。另外，如图15、图16那 样的运动补偿预测在包括从左下向右上的斜向边缘的图案的块中被选 择的概率高。
在图17的情况下，根据在RAW图像中位于左上的像素G1a的值来 对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图17 的情况下，预测源图像的参照像素(G1a所属的样本点)与预测目标图 像中的关注像素(G2x所属的样本点)的位置相同。因此，图17的例子 中的运动矢量MV为[0，0]。
在图18的情况下，根据在RAW图像中位于右下的像素G1d的值来 对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图18 的情况下，预测源图像的参照像素(G1d所属的样本点)相对于预测目 标图像中的关注像素(G2x所属的样本点)的位置向右偏移1像素并向 下偏移1像素。因此，图18的例子中的运动矢量MV为[1，1]。另外， 如图17、图18那样的运动补偿预测在包括从右下向左上的斜向边缘的 图案的块中被选择的概率高。
另一方面，图19-图22是在颜色排列的右上配置有G1像素、在颜 色排列的左下配置有G2像素的情况。
在图19的情况下，根据在RAW图像中位于右上的像素G1b的值来 对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图19 的情况下，预测源图像的参照像素(G1b所属的样本点)与预测目标图 像中的关注像素(G2x所属的样本点)的位置相同。因此，图19的例子 中的运动矢量MV为[0，0]。
在图20的情况下，根据在RAW图像中位于左下的像素G1c的值来 对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图20 的情况下，预测源图像的参照像素(G1c所属的样本点)相对于预测目 标图像中的关注像素(G2x所属的样本点)的位置向左偏移1像素并向 下偏移1像素。因此，图20的例子中的运动矢量MV为[-1，1]。另外， 图19、图20那样的运动补偿预测在包括从左下向右上的斜向边缘的图 案的块中被选择的概率较高。
在图21的情况下，根据在RAW图像中位于左上的像素G1a的值来 对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图21 的情况下，预测源图像的参照像素(G1a所属的样本点)相对于预测目 标图像中的关注像素(G2x所属的样本点)的位置向左偏移1像素。因 此，图21的例子中的运动矢量MV为[-1，0]。
在图22的情况下，根据在RAW图像中位于右下的像素G1d的值来 对预测目标图像(第二图像)的关注像素G2x的值进行预测。在图22 的情况下，预测源图像的参照像素(G1d所属的样本点)相对于预测目 标图像中的关注像素(G2x所属的样本点)的位置向下偏移1像素。因 此，图22的例子中的运动矢量MV为[0，1]。另外，如图21、图22那 样的运动补偿预测在包括从右下向左上的斜向边缘的图案的块中被选 择的概率较高。
在图15-图22中，说明了将相对于关注像素在RAW图像中以倾斜 45度相邻的参照像素用于预测的例子，但是不限于上述例子。作为其他 的例子，说明图23-图25。另外，图23-图25是在颜色排列的左上配置 有G1像素、在颜色排列的右下配置有G2像素的情况。
图23表示了根据2个属于右侧的颜色排列的像素G1f的值对预测 目标图像(第二图像)的关注像素G2x的值进行预测的例子。图23的 例子中的运动矢量MV为[2，0]。
图24表示了根据属于左下的颜色排列的像素G1g的值对预测目标 图像(第二图像)的关注像素G2x的值进行预测的例子。图24的例子 中的运动矢量MV为[1，1]。另外，如图23、图24那样的运动补偿预 测在包括从左下向右上以大约18.4度(＝tan^-1(1/3))倾斜的边缘的图案 的块中被选择的概率较高。
图25表示了根据1个属于右侧的颜色排列的像素G1g和2个属于 右侧的颜色排列的像素G1f的平均值对预测目标图像(第二图像)的关 注像素G2x的值进行预测的例子。图25的例子中的运动矢量MV为[1.5， 0]。另外，如图25那样的运动补偿预测在包括从左下向右上以大约26.6 度(＝tan^-1(1/2))倾斜的边缘的图案的块中被选择的概率较高。
压缩处理部113在包括斜向边缘的图案的块中，根据边缘的角度和 方向来选择基于图15-图25的像素偏移处理的预测。由此，能够减小第 一图像和第二图像的预测误差，能够更高效地进行编码。
在#103中，通过图12-图14所示的图像插补处理、图15-图22的 像素偏移处理，压缩处理部113能够使运动矢量的探索范围成为从关注 像素的位置在空间方向上±1像素的范围。另外，根据图23-图25的像 素偏移处理，压缩处理部113能够使运动矢量的探索范围成为从关注像 素的位置在空间方向上±2像素的范围。
另外，如果与从不同的RAW图像分离的第一图像和第二图像的运 动补偿预测相比，在从相同的RAW图像分离的第一图像和第二图像的 运动补偿预测中，能够应用上述像素插补处理和像素偏移处理的频率变 高。因此，在从相同的RAW图像分离的第一图像和第二图像的运动补 偿预测中，压缩处理部113能够通过像素插补处理和像素偏移处理将运 动矢量的探索范围设定得较窄，从而能够抑制运算负荷。
步骤#104：图像处理引擎104经由记录I/F107将被压缩编码了的 图像的数据(#103)记录在存储介质110中。
步骤#105：图像处理引擎104判断是否接收到了结束动态图像摄影 的指示。在满足上述条件的情况下(是的情况下)，处理转移到#106。 另一方面，在不满足上述条件的情况下(否的情况下)，返回到#101， 图像处理引擎104重复上述动作。通过从#101到#105的否的情况下 的循环，对依次获取的RAW图像的帧在颜色成分的更换后进行压缩编 码，在记录介质上记录动态图像。
步骤#106：图像处理引擎104生成RAW动态图像的附带数据。上 述附带数据包括原RAW图像的图像尺寸和颜色排列的图案、基于图像 变换部112的图像的重新排列的方式(第一图像和第二图像的像素排列、 图像尺寸)等、以及用于压缩了的RAW动态图像的解码的信息。
然后，#106中的图像处理引擎104在包括被压缩了的RAW动态图 像数据的压缩RAW动态图像文件的头(head)区域记录上述附带数据。 以上说明了图5的流程图。
另外，以下说明的RAW动态图像记录模式的各动作例子均是上述 第一动作例子的变形例，与图像变换部112中的RAW图像的重新排列 (#102)不同。因此，在以下的动作例子的说明中，根据图5的流程 图来说明与第一动作例子不同的部分，与上述第一动作例子重复的说明 均省略。
(RAW动态图像记录模式下的第二动作例子)
图26的(a)、(b)是表示通过第二动作例子中的RAW图像的颜色 成分的重新排列而生成的图像的图。
在第二动作例子的情况下，#102中的图像变换部112将RAW图像 分离为G1、B、R、G2这4个颜色成分。图像变换部112通过像素的重 新排列，从1个RAW图像生成分别包括2个颜色成分的第一图像和第 二图像。并且，#102中的图像变换部112在向压缩处理部113输出动 态图像时，将第一图像和第二图像交替地排列在时间轴方向上并通过1 个信道输出。
这里，第二动作例子中的第一图像是从RAW图像的G1像素、B像 素生成的(图26的(a))。在该第一图像中，G1像素、B像素以在水平 方向上分离的状态配置。在第一图像的左侧，与RAW图像中的颜色排 列的位置相应地排列有G1像素，构成了G1成分的黑白图像。另外，在 第一图像的右侧，与RAW图像中的颜色排列的位置相应地排列有B像 素，构成了B成分的黑白图像。
第二动作例子中的第二图像是从RAW图像的G2像素、R像素生成 的(图26的(b))。在该第二图像中，G2像素、R像素以在水平方向上 分离的状态配置。在第二图像的左侧，与RAW图像中的颜色排列的位 置相应地排列有G2像素，构成了G2成分的黑白图像。另外，在第二图 像的右侧，与RAW图像中的颜色排列的位置相应地排列有R像素，构 成了R成分的黑白图像。另外，第二动作例子中的第一图像和第二图像 的水平方向上的图像尺寸与RAW图像相同，垂直方向上的图像尺寸是 RAW图像的1/2。
另外，在第二动作例子的情况下，#103中的压缩处理部113对交 替地排列在时间轴方向上的第一图像和第二图像进行图像间预测编码 压缩，生成被压缩了的动态图像的数据。关于第一图像和第二图像的左 侧部分的压缩，压缩处理部113与上述第一动作例子的G1图像和G2 图像的情况同样地进行图像间预测编码压缩即可。另外，第一图像的右 侧部分和第二图像的右侧部分是不同的颜色成分。因此，压缩处理部13 的图像间预测编码在不同的帧的第一图像的右侧部分间或者不同的帧 的第二图像的右侧部分间、即相同的颜色成分间会有效地发挥功能。但 是，在相同的帧的第一图像的右侧部分和第二图像的右侧部分之间、即 不同的颜色成分间，与画面内编码的压缩大致等价。
在上述第二动作例子的情况下，关于第一图像的G1成分和第二图 像的G2成分的压缩，能够获得与第一动作例子中的G1图像和G2图像 的图像间预测编码压缩大致相同的效果。
另外，在使第一图像和第二图像的水平方向上的图像尺寸与RAW 图像相同、并使第一图像和第二图像的垂直方向上的图像尺寸为RAW 图像的1/2的情况下，容易应用于与交替地压缩动态图像的奇偶场(field) 的场间预测编码压缩对应的压缩处理装置。另外，还容易应用于与压缩 动态图像的左右视点图像的二视点间预测编码压缩对应的压缩处理装 置。
另外，图27的(a)、(b)是表示通过第二动作例子的变形例1中的 RAW图像的颜色成分的重新排列而生成的图像的图。在图27的例子中， 在第二图像的右侧排列有G2像素、在第二图像的左侧排列有R像素这 一点与图26的例子不同。
在图27的情况下，#103中的压缩处理部13在第一图像和第二图 像之间进行G1、G2成分的运动补偿预测时，考虑G1像素的区域和G2 像素的区域的位置偏移来在x方向上进行H/2的量的位置校正即可。例 如，压缩处理部113向运动矢量MV赋予[-H/2，0]的偏移(offset)即可。 由此，能够获得与上述图26的情况大致相同的效果。
另外，图28的(a)、(b)是表示通过第二动作例子的变形例2中的 RAW图像的颜色成分的重新排列而生成的图像的图。在图28的例子中， 第一图像和第二图像的水平方向上的图像尺寸是RAW图像的1/2，垂直 方向上的图像尺寸与RAW图像相同。并且，在图28的第一图像中，G1 像素、B像素以在垂直方向上分离的状态配置。在第一图像的上侧，与 RAW图像中的颜色排列的位置相应地排列有G1像素，在第一图像的下 侧，与RAW图像中的颜色排列的位置相应地排列有B像素。另外，在 图28的第二图像中，G2像素、R像素以在垂直方向上分离的状态配置。 在第二图像的上侧，与RAW图像中的颜色排列的位置相应地排列有G2 像素，在第二图像的下侧，与RAW图像中的颜色排列的位置相应地排 列有R像素。在图28的例子中，也能够获得与上述图26的情况大致相 同的效果。
(RAW动态图像记录模式下的第三动作例子)
图29的(a)、(b)是表示通过第三动作例子中的RAW图像的颜色 成分的重新排列而生成的图像的图。
在第三动作例子的情况下，#102中的图像变换部112将RAW图像 分离为G1、B、R、G2这4个颜色成分。图像变换部112与第一动作例 子同样地从1个RAW图像生成G1图像、B图像、R图像、G2图像这 4个图像。并且，图像变换部112将这些图像组化而生成所谓的4:4:4形 式的动态图像帧。
在图29的例子中，图像变换部112在第一场的组中包括G1图像、 B图像、R图像。另外，图像变换部112在第二场的组中包括G2图像， 为了与4:4:4形式相符还包括与B图像、R图像对应的虚拟数据。并且， 图像变换部112将上述第一场和第二场交替地排列在时间轴方向上并输 出。
在第三动作例子的情况下，#103中的压缩处理部113分别对第一 场的G1图像、B图像、R图像进行帧内压缩。另外，压缩处理部113 与上述第一动作例子同样地参照G1图像对第二场的G2图像进行图像间 预测编码压缩即可。
在第二动作例子的情况下，关于第二图像的图像间预测编码压缩， 能够获得与第一动作例子的情况大致相同的效果。另外，根据图29的 结构，只要解码第一场的G1图像、B图像、R图像，就能够在不解码 第二场的情况下简单地再现动态图像。
另外，图30的(a)、(b)是表示通过第三动作例子的变形例中的 RAW图像的颜色成分的重新排列而生成的图像的图。在图30的例子中， 图像变换部112在第一场的组中包括G1图像、B图像、虚拟数据。另 外，图像变换部112在第二场的组中包括G2图像、R图像、虚拟数据。 在该图30的例子中，关于第二图像的图像间预测编码压缩，也能够得 到与第一动作例子的情况大致相同的效果。
(RAW动态图像的解码动作例子)
以下，参照图31的流程图来说明在RAW动态图像记录模式下被压 缩了的RAW动态图像的解码动作的例子。另外，图31的处理通过由图 像处理引擎104执行程序而开始。另外，在图31的例子中，将通过RAW 动态图像记录模式生成的压缩RAW动态图像文件被记录在存储介质 110中为前提。
步骤#201：图像处理引擎104参照通过上述RAW动态图像记录模 式下生成的压缩RAW动态图像文件中的、头区域中包括的附带数据。 由此，图像处理引擎104获取原RAW图像的图像尺寸和颜色排列的图 案、基于图像变换部112的图像的重新排列的方式(第一图像和第二图 像的像素排列、图像尺寸)等信息。
步骤#202：图像处理引擎104从存储介质110获取压缩RAW动态 图像文件中作为解码对象的图像的数据。
步骤#203：图像处理引擎104对通过#202获取的图像进行解码处 理。#203的解码处理是RAW动态图像记录模式下的#103的压缩编码 的逆处理。
例如，通过被解码了的预测误差量值和参照图像的预测值的相加对 使用运动补偿预测而被压缩了的图像以块为单位进行解码。另外，在包 括G1成分的第一图像和包括G2成分的第二图像的解码中，应用上述像 素插补处理和像素偏移处理来进行图像的解码。
步骤#204：图像变换部112基于从上述附带数据获得的信息来执行 通过#203被解码了的图像的重新排列。#204的重新排列处理是RAW 动态图像记录模式下的#102的逆处理。图像变换部112从交替地排列 在时间轴方向上的第一图像和第二图像获取1帧的量的G1像素和G2 像素。并且，图像变换部112重新排列G1、B、R、G2像素，并对压缩 前的RAW图像的1帧进行复原。另外，将被复原了的压缩前的RAW图 像例如保存在存储介质110或电子相机100内的存储器中。
步骤#205：图像处理引擎104判断压缩RAW动态图像文件的全部 帧的解码是否完成。
在满足上述条件的情况下(是的情况下)，图像处理引擎104结束图 32的流程图的处理。由于RAW图像处于各颜色成分按照拜耳阵列配置 成马赛克状的状态，因此在再现动态图像的情况下，用户需要对RAW 图像进行显像处理。另外，在RAW动态图像的情况下，由于在摄影后 用户能够自由地进行显像处理，因此图像表现的自由度大幅地提高。
另一方面，在不满足上述条件的情况下(否的情况下)，返回到#202， 图像处理引擎104重复上述动作。通过#201到#205的否的情况下的 循环，依次对压缩前的RAW动态图像的各个帧进行复原。以上说明了 图31。
〈第二实施方式的说明〉
图32是表示第二实施方式的动态图像解码装置的构成例子的图。第 二实施方式中的动态图像解码装置是安装有对上述压缩RAW动态图像 文件进行解码的程序的计算机。
图32所示的计算机201具有数据读入部202、存储装置203、 CPU204、存储器205、输入输出I/F206、以及总线207。数据读入部202、 存储装置203、CPU204、存储器205、以及输入输出I/F206经由总线207 相互连接。并且，输入设备208(键盘、指向设备等)和显示器209分 别经由输入输出I/F206与计算机201连接。另外，输入输出I/F206接收 来自输入设备208的各种输入并向显示器209输出显示用的数据。
数据读入部202在从外部读入上述压缩RAW动态图像文件的数据 和程序时使用。数据读入部202例如是从能够拆装的存储介质获取数据 的读入设备(光盘、磁盘、光磁盘的读入装置等)、遵照公知的通信标 准与外部的装置进行通信的通信设备(USB接口、LAN模块、无线LAN 模块等)。
存储装置203例如是硬盘、非易失性半导体存储器等存储介质。在 该存储装置203中存储有上述程序、以及执行程序所需的各种数据。另 外，也可以在存储装置203中存储从数据读入部202读入的压缩RAW 动态图像文件的数据等。
CPU204是综合控制计算机201的各部分的处理器。该CPU204通 过执行程序而作为第一实施方式的显像处理部111、图像变换部112、解 码处理部114发挥功能。
存储器205暂时存储程序中的各种运算结果。该存储器205例如是 易失性的SDRAM。
这里，在第二实施方式的动态图像解码装置中，从数据读入部202 或存储装置203获取压缩RAW动态图像文件，CPU204执行图31的流 程图的各处理。在该第二实施方式中，也能够得到与第一实施方式中的 RAW动态图像的解码动作例子大致相同的效果。
〈实施方式的补充事项〉
(补充1)：在上述实施方式中进行压缩编码时，B像素值、R像素 值也可以置换为与对应的颜色排列中的G像素值之间的差量值。
(补充2)：另外，在上述实施方式中，既可以根据ISO/IEC14496-10 规定的、一般称为AVC(Advanced Video Coding:高级视频编码)的方式 对动态图像进行编码，也可以根据至少包括场间预测编码或者相当于二 视点间预测编码的运动补偿预测在内的其他编码方式对动态图像进行 编码。
(补充3)：再有，进行动态图像压缩的动态图像的各帧的图像信号 既可以是保持拍摄元件的输出灰度的图像信号，也可以是变换为更小的 灰度、即量化后的图像信号。
例如，也可以通过均匀量化或低值的量化误差小的加权量化对拍摄 元件的输出为每样本14bit的图像信号变换为每样本10bit的图像信号 后，由动态图像压缩装置进行动态图像压缩。动态图像压缩装置既可以 通过预定的特性来进行量化，也可以通过根据图像规格、图像内容而决 定的特性来进行量化。
另一方面，动态图像解码装置可以通过在对压缩了的动态图像的数 据进行解码后基于动态图像压缩前的量化特性进行逆量化来对压缩前 的图像信号进行复原。另外，表示上述动态图像压缩前的量化特性的信 息例如可以随附于动态图像的数据而由动态图像压缩装置记录于图像 文件的头区域等，或者可以随附于压缩了的动态图像的数据由动态图像 压缩装置传送给后级的装置。例如，在上述情况下，作为表示量化特性 的信息，分别记录或传送表示是否是预定的标准的量化特性的字符、表 示预定的多个量化特性中的一个的字符、表示用于解码的逆量化输入输 出特性的表信息等即可。
通过上述详细的说明，实施方式的特征和优点应当已经明确。其意 图在于使权利要求的范围在不脱离其精神和权利范围的范围内涉及至 上述实施方式的特征和优点。另外，只要是本领域技术人员，就应当能 够容易地想到所有的改进和变更，不意图将具有发明性的实施方式的范 围限定于上述内容，也可以是包括在实施方式所公开的范围内的适当的 改进物和等同物。
附图标记说明
100  电子相机
101  拍摄光学系统
102  拍摄元件
103  信号处理部
104  图像处理引擎
105  第一存储器
106  第二存储器
107  记录I/F
108  显示器
109  操作部
110  存储介质
111  显像处理部
112  图像变换部
113  压缩处理部
114  解码处理部
201  计算机
202  数据读入部
203  存储装置
204  CPU
205  存储器
206  输入输出I/F
207  总线
208  输入设备
209  显示器