视频处理设备、方法及系统以及视频再现设备和方法.pdf

本发明涉及一种视频处理设备，包括一个其配置成生成第二移动图像的图像生成单元，所述第二移动图像被配置为具有与具有第一图像质量的第一移动图像相同的内容、具有被配置为高于第一图像质量的质量的第二图像质量、并且具有相应于第一移动图像的部分区域的尺寸；以及一个其配置成生成再现信息的再现信息生成单元，所述再现信息被配置为在以第二移动图像取代第一移动图像的一部分之后用于同时再现第一移动图像和第二移动图像。

1.  一种视频处理设备，包含：
图像生成单元，配置成生成第二移动图像，所述第二移动图像被配置为具有与具有第一图像质量的第一移动图像相同的内容、具有被配置为高于第一图像质量的质量的第二图像质量、并且具有相应于第一移动图像的部分区域的尺寸；以及
再现信息生成单元，配置成生成再现信息，所述再现信息被配置为在第一移动图像的一部分被替换为第二移动图像之后被用于同时再现第一移动图像和第二移动图像。

2.  根据权利要求1所述的视频处理设备，其中，图像生成单元根据再现信息生成单元所生成的再现信息决定第二移动图像的一个区域。

3.  根据权利要求2所述的视频处理设备，其中，在同时再现第一移动图像和第二移动图像的期间，图像生成单元为被配置为包括所决定区域的像素组以第二图像质量生成具有与所决定区域的移动图像相同内容的移动图像。

4.  根据权利要求2所述的视频处理设备，其中，图像生成单元以第二图像质量生成具有与所决定区域的移动图像相同内容的移动图像，并且为所决定区域之外的区域生成无效像素。

5.  根据权利要求4所述的视频处理设备，其中，在同时再现第一移动图像和第二移动图像期间，图像生成单元为被配置成包括所决定区域的像素组以用于所决定区域的第二图像质量生成具有与所决定区域的移动图像相同内容的移动图像，并且为所决定区域之外的区域生成无效像素。

6.  根据权利要求2所述的视频处理设备，其中，图像生成单元为被划分成作为所决定区域的多个区域的块中的预定块以第二图像质量生成具有与所决定区域的移动图像相同内容的移动图像。

7.  根据权利要求1所述的视频处理设备，其中，图像生成单元为其中在第一移动图像的再现期间第一移动图像的内容的识别被增强的区域生成第二移动图像。

8.  根据权利要求7所述的视频处理设备，其中，所述区域为第一移动图像中的区域，该区域包括人的面貌。

9.  根据权利要求7所述的视频处理设备，其中，所述区域为第一移动图 像中的区域，该区域显示文本信息。

10.  根据权利要求1所述的视频处理设备，其中，图像生成单元基于再现信息，根据其配置成用作第二移动图像的基础的第三移动图像自动地生成第二移动图像。

11.  一种视频再现设备，包含：
图像获取单元，配置成获取第一移动图像、第二移动图像以及再现信息，所述第一移动图像被配置为具有第一图像质量，所述第二移动图像被配置为具有与第一移动图像相同的内容、具有被配置为比第一图像质量高的质量的第二图像质量、并且具有与第一移动图像的部分区域对应的尺寸，并且所述再现信息用于在第一移动图像的一部分被第二移动图像替换之后同时再现第一移动图像和第二移动图像；以及
图像组合单元，被配置为基于图像获取单元所获取的再现信息在第一移动图像的一部分被第二移动图像替换之后致使第一移动图像和第二移动图像同时再现。

12.  根据权利要求11所述的视频再现设备，其中，图像组合单元包括图像抽取单元，所述图像抽取单元的配置成从第二移动图像抽取将被第一移动图像的一部分替代的区域。

13.  根据权利要求12所述的视频再现设备，其中，图像组合单元获取再现信息和第二移动图像，再现信息包括关于图像抽取单元所抽取的区域的信息。

14.  根据权利要求11所述的视频再现设备，其中，图像获取单元从与被配置成传输第二移动图像的设备不同的设备获取第一移动图像。

15.  根据权利要求11所述的视频再现设备，其中，图像获取单元从与被配置成传输第二移动图像的设备相同的设备获取第一移动图像。

16.  一种视频处理方法，包含：
生成第二移动图像，所述第二移动图像被配置为具有与具有第一图像质量的第一移动图像相同的内容、具有被配置为比第一图像质量高的质量的第二图像质量、并且具有与第一移动图像的部分区域对应的尺寸；以及
成生成再现信息，所述再现信息在第一移动图像的一部分被替换为第二移动图像之后被用于同时再现第一移动图像和第二移动图像。

17.  一种视频再现方法，包含：
获取第一移动图像、第二移动图像以及再现信息，所述第一移动图像被配置为具有第一图像质量，所述第二移动图像被配置为具有与第一移动图像相同的内容、具有被配置为比第一图像质量高的质量的第二图像质量、并且具有与第一移动图像的部分区域对应的尺寸，并且所述再现信息用于在第一移动图像的一部分被第二移动图像替换之后同时再现第一移动图像和第二移动图像；以及
基于获取步骤所获取的再现信息在第一移动图像的一部分被第二移动图像替换之后致使第一移动图像和第二移动图像同时再现。

18.  一种视频处理系统，包含：
视频处理设备；以及
视频再现设备，
其中，视频处理设备包括：
图像生成单元，配置成生成第二移动图像，所述第二移动图像被配置为具有与具有第一图像质量的第一移动图像相同的内容、具有被配置为高于第一图像质量的质量的第二图像质量、并且具有相应于第一移动图像的部分区域的尺寸；以及
再现信息生成单元，配置成生成再现信息，所述再现信息被配置为在第一移动图像的一部分被替换为第二移动图像之后被用于同时再现第一移动图像和第二移动图像，以及
其中，视频再现设备包括：
图像获取单元，配置成从视频处理设备至少获取第二移动图像和再现信息，以及
图像再现单元，被配置为基于图像获取单元所获取的再现信息在第一移动图像的一部分被第二移动图像替换之后同时再现第一移动图像和第二移动图像。

视频处理设备、方法及系统以及视频再现设备和方法
技术领域
本发明专利涉及一种视频处理设备、视频再现设备、视频处理方法、视频再现方法、以及视频处理系统。
背景技术
现有提出了许多用于再现图像质量再现移动图像的技术。例如，JP2010-11448A等公开了一种通过分析所再现移动图像的单一单位的被编码信息和像素信息来提高所再现移动图像的质量的技术。另外，JP2010-193117A等公开了一种通过在多个不同移动图像上进行帧内插提高所再现移动图像的质量的技术。
发明内容
当经由网络接收从服务器分布的移动图像，并且在客户机终端中加以再现时，所再现移动图像的质量取决于客户机终端的处理能力、屏面尺寸、或者网络的传输率。因此，如果客户机终端不具有足够的处理能力，则难以再现具有高图像质量的移动图像，而且如果网络的传输率不高，即使希望使用客户机终端的足够的处理能力以高质量再现移动图像，也难以再现具有高质量的图像。所以，当客户机终端的处理能力和网络的传输率不充分时，难以增强用户的观看感受。
于是，可望本发明专利提供一种甚至当客户机终端的处理能力和网络的传输率不充分时，也能够增强用户的观看感受的新型与改进的视频处理设备、视频再现设备、视频处理方法、视频再现方法、以及视频处理系统。
根据本发明专利的一个实施例，提供了一种视频处理设备，包含：图像生成单元，配置成生成第二移动图像，所述第二移动图像被配置为具有与具有第一图像质量的第一移动图像相同的内容、具有被配置为高于第一图像质量的质量的第二图像质量、并且具有相应于第一移动图像的部分区域的尺寸；以及再现信息生成单元，配置成生成再现信息，所述再现信息被配置为在第 一移动图像的一部分被替换为第二移动图像之后被用于同时再现第一移动图像和第二移动图像。
根据本发明专利的一个实施例，提供了一种视频再现设备，包含：图像获取单元，配置成获取第一移动图像、第二移动图像以及再现信息，所述第一移动图像被配置为具有第一图像质量，所述第二移动图像被配置为具有与第一移动图像相同的内容、具有被配置为比第一图像质量高的质量的第二图像质量、并且具有与第一移动图像的部分区域对应的尺寸，并且所述再现信息用于在第一移动图像的一部分被第二移动图像替换之后同时再现第一移动图像和第二移动图像；以及图像组合单元，被配置为基于图像获取单元所获取的再现信息在第一移动图像的一部分被第二移动图像替换之后致使第一移动图像和第二移动图像同时再现。
根据本发明专利的一个实施例，提供了一种视频处理方法，包含：生成第二移动图像，所述第二移动图像被配置为具有与具有第一图像质量的第一移动图像相同的内容、具有被配置为比第一图像质量高的质量的第二图像质量、并且具有与第一移动图像的部分区域对应的尺寸；以及成生成再现信息，所述再现信息在第一移动图像的一部分被替换为第二移动图像之后被用于同时再现第一移动图像和第二移动图像。
根据本发明专利的一个实施例，提供了一种视频再现方法，包含：获取第一移动图像、第二移动图像以及再现信息，所述第一移动图像被配置为具有第一图像质量，所述第二移动图像被配置为具有与第一移动图像相同的内容、具有被配置为比第一图像质量高的质量的第二图像质量、并且具有与第一移动图像的部分区域对应的尺寸，并且所述再现信息用于在第一移动图像的一部分被第二移动图像替换之后同时再现第一移动图像和第二移动图像；以及基于获取步骤所获取的再现信息在第一移动图像的一部分被第二移动图像替换之后致使第一移动图像和第二移动图像同时再现。
根据本发明专利的一个实施例，提供了一种视频处理系统，包含视频处理设备以及视频再现设备。视频处理设备包括：图像生成单元，配置成生成第二移动图像，所述第二移动图像被配置为具有与具有第一图像质量的第一移动图像相同的内容、具有被配置为高于第一图像质量的质量的第二图像质量、并且具有相应于第一移动图像的部分区域的尺寸；以及再现信息生成单元，配置成生成再现信息，所述再现信息被配置为在第一移动图像的一部分 被替换为第二移动图像之后被用于同时再现第一移动图像和第二移动图像。视频再现设备包括：图像获取单元，配置成从视频处理设备至少获取第二移动图像和再现信息；以及图像再现单元，被配置为基于图像获取单元所获取的再现信息在第一移动图像的一部分被第二移动图像替换之后同时再现第一移动图像和第二移动图像。
根据以上所描述的本发明专利的一个实施例，能够提供一种甚至当客户机终端的处理能力和网络的传输率不充分时，也能够增强用户的观看感受的新型与改进的视频处理设备、视频再现设备、视频处理方法、视频再现方法、以及视频处理系统。
附图说明
图1描述了根据本发明专利一个实施例的移动图像再现系统1的一个总配置实例；
图2描述了根据本发明专利一个实施例的内插移动图像生成单元120的一个功能配置实例；
图3描述了根据本发明专利一个实施例的内插移动图像传输单元130的一个功能配置实例；
图4描述了包括在根据本发明专利一个实施例的再现设备200中的内插单元210的一个功能配置实例；
图5为描述根据本发明专利一个实施例的内插移动图像生成单元120的一个操作实例的流程图；
图6为描述根据本发明专利一个实施例的内插移动图像传输单元130的一个操作实例的流程图；
图7为描述根据本发明专利一个实施例的内插移动图像传输单元130的另一个操作实例的流程图；
图8为描述包括在根据本发明专利一个实施例的再现设备200中的内插单元210的一个操作实例的流程图；
图9为描述包括在根据本发明专利一个实施例的再现设备200中的内插单元210的另一个操作实例的流程图；
图10描述了再现移动图像传输单元110、内插移动图像生成单元120、以及内插移动图像传输单元130所保存的移动图像数据组；
图11描述了所生成移动图像和被内插移动图像的放大与缩小过程；
图12描述了根据本发明专利一个实施例的实例1的内插单元210的一个功能配置实例；
图13为描述根据实例1的内插移动图像生成单元120的一个操作实例的流程图；
图14为描述根据实例1的内插移动图像生成单元120的所述操作实例的流程图；
图15为描述根据实例1的内插移动图像生成单元120的所述操作实例的流程图；
图16为描述包括在根据实例1的内插单元210中的内插处理部件218的一个操作实例的流程图；
图17描述了根据实例1的内插移动图像v12的内插区域的图像尺寸和移动图像屏面的改变的一个实例；
图18描述了内插移动图像v12的移动图像屏面和内插区域的坐标之间的关系；
图19描述了当内插单元210从内插移动图像v12的移动图像屏面抽取内插区域的图像时所执行的一个过程；
图20为描述根据实例2的内插移动图像生成单元120的一个操作实例的流程图；
图21为描述根据实例2的内插移动图像生成单元120的所述操作实例的流程图；
图22为描述根据实例2的内插移动图像生成单元120的所述操作实例的流程图；
图23为描述根据实例2的内插单元210的一个操作实例的流程图；
图24描述了根据实例2的内插移动图像v12的移动图像屏面和内插区域之间的关系的一个实例；
图25为描述当把实例2的内容施用于实例1时所执行的内插移动图像生成单元120的一个操作实例的流程图；
图26描述了当把实例2的内容施用于实例1时所展现的效果；
图27描述了根据本发明专利一个实施例的实例3的内插移动图像生成单元120的一个功能配置实例；
图28描述了根据本发明专利所述实施例的实例3的内插移动图像传输单元130的一个功能配置实例；
图29描述了根据本发明专利所述实施例的实例3的内插单元210的一个功能配置实例；
图30描述了根据本发明专利所述实施例的实例3的内插移动图像生成单元120的一个操作实例；
图31描述了根据本发明专利所述实施例的实例3的内插单元210的一个操作实例；
图32描述了实例3的操作梗概；
图33描述了实例3的另一操作梗概；以及
图34描述了实例3的另一操作梗概。
具体实施方式
以下，将参照附图详细描述本发明专利的优选实施例。注意，在本说明书与附图中，将使用相同的参照数字表示那些具有基本相同功能与结构的结构图元，而且省略了对这些结构图元的重复解释。
将按下列次序进行描述。
＜1.本发明专利的一个实施例＞
［概述］
［总配置实例］
［被内插移动图像生成单元的功能配置实例］
［被内插移动图像传输单元的功能配置实例］
［内插单元的功能配置实例］
［被内插移动图像生成单元的操作实例］
［被内插移动图像传输单元的操作实例］
［内插单元的操作实例］
［结论］
＜2.实例1＞
＜3.实例2＞
＜4.实例3＞
＜5.结论＞
＜1.本发明专利的一个实施例＞
［概述］
在详细描述本发明专利一个实施例之前，将给出本发明专利的概述。
再现移动图像的移动图像再现设备的显示屏面的分辨率已变得越来越高。另一方面，存在着通过网络流、广播波、以及其它传输媒体分布的移动图像的分辨率始终不适合移动图像再现设备的所显示屏面的分辨率的问题。
即使当移动图像再现设备的显示分辨率为所谓的HD、4K、或者2K时，例如，也需要使用高编码率的分辨率对移动图像进行编码，以在维持其质量的同时对移动图像进行编码与传输。无论有线传输还是无线传输，都存在着这样一些情况：其中，由于通信线传输率的原因，难以按如此高的编码率实时地传输所编码的移动图像。
另外，还存在着这样的一种情况：其中，移动图像再现设备具有不充分的解码能力，在这样的情况下，需要花费时间对按高编码率编码的移动图像进行解码。在这一情况下，按低编码率接收以低分辨率传输的移动图像，然后加以放大，以适合移动图像再现设备显示屏面的尺寸。而且，当在诸如写字板的设备或者配有大屏面的电视机中再现移动图像，即再现诸如在针对一段广播或者针对移动设备的移动图像流（分布于主要配有小屏面的设备）中降低了其针对移动设备的分辨率或者编码率的内容的移动图像时，按相同的方式放大和显示移动图像。如果在大尺寸屏面上放大和再现适合于小尺寸屏面的所再现图像，则所再现图像的质量劣化。
对于这一问题，存在着这样一种技术：通过在移动图像再现设备中分析所接收的所再现图像，并且在其上进行向上转换计算，降低针对某一屏面放大时移动图像的劣化程度。然而，对于小屏面，在基于主要具有少量信息的移动图像的计算中，存在对图像质量改进的限制，计算过程成为再现设备上的一个负担，或者必须安装一个用于计算的独立电路。
另一方面，这样的一种移动图像流系统已广泛得以使用：其中，提供在Internet上的多个移动图像分布服务器针对一段移动图像内容准备按多种图像尺寸提供的、并且按多个编码率进行编码的移动图像文件组，再现设备选择一个具有符合传输率或者再现能力的图像尺寸和编码率的移动图像文件。
然而，在所述流系统中，预先决定了可以选择的图像尺寸和编码率，因 此不能够指定任意图像尺寸或者编码率。例如，当分布服务器提供具有1Mbps、3Mbps、以及5Mbps传输率的移动图像文件以及移动图像再现设备的传输率为4Mbps时，如果移动图像再现设备选择和接收3Mbps的移动图像，则所述设备可以再现具有最高图像质量的移动图像，但不使用1Mbps的传输频带。
如果使屏面的部分区域提供高图像质量，当放大和再现针对小尺寸屏面再现的移动图像时，存在着许多其中不能够增强用户观看感受的情况。例如，如果使图像中的可以提高其识别的一个区域（例如，体育广播中的一个球或者运动员、电影中演员的面部等）、或者仅移动图像中被认为是重要的一个区域具有高图像质量，则在许多情况下可以增强用户的观看感受。
因此，根据本发明专利的一个实施例，一个服务器生成具有高图像质量的一个部分屏面的移动图像，其中，仅把屏面的部分区域设置为具有高图像质量。在本实施例中，把这样的具有高图像质量的一个部分屏面的移动图像称为“内插移动图像”。所述服务器把所生成的内插移动图像传输于移动图像再现设备。当放大和再现一个具有低图像质量的移动图像时，把具有高图像质量的一个部分屏面的内插移动图像与其合成，并且同时加以再现。在本实施例中，把放大和再现具有低图像质量的移动图像时所执行的合成具有高图像质量的一个部分屏面的内插移动图像的过程称为“内插处理”。在以下所描述的本发明专利的一个实施例中，可以通过使屏面的部分区域具有高图像质量增强用户的观看感受，甚至是当放大和再现具有低图像质量的移动图像时。
移动图像的分布侧预先创建具有高分辨率的高质量移动图像，并且按高编码率对它们进行编码，然后把所述图像作为用作将加以分布的再现移动图像（具有低图像质量）的基础的原始移动图像加以保存。移动图像的分布侧考虑到移动图像再现设备的通信频带或者能力，从而能够根据具有高图像质量的移动图像创建和分布其分辨率或者编码率为低的所再现移动图像。
具有高图像质量的原始移动图像以及所分布和所再现移动图像为具有相同移动图像内容、不同图像尺寸、以及基于相同内容的编码率的图像项（移动图像文件等）。于是，把两个移动图像设置为具有相同的内容名（标题等）或者相同的内部管理标识符，以将它们互相关联。用户可以根据两个移动图像的内容名（标题等）认出：就同样内容而言，所再现移动图像（具有低图像质量）和具有高图像质量的原始移动图像被互相关联，移动图像再现设备 可以使用内部管理标识符把两个移动图像加以关联。
以上，描述了本发明专利的梗概。以下，将描述根据本发明专利一个实施例的移动图像再现系统的一个总配置实例。
［总配置实例］
图1描述了根据本发明专利一个实施例的移动图像再现系统1的一个总配置实例。以下，将参照图1描述根据本发明专利所述实施例的移动图像再现系统1的总配置实例。
如图1中所示，把根据本发明专利所述实施例的移动图像再现系统1配置为包括再现移动图像传输单元110、内插移动图像生成单元120、内插移动图像传输单元130、以及再现设备200。再现移动图像传输单元110、内插移动图像生成单元120、以及内插移动图像传输单元130为移动图像分布侧的部件，可以把所述部件提供在同一设备中，也可以经由一条诸如网络的传输路径将它们互相连接。当经由诸如网络的传输路径将这些部件互相连接时，传输路径可以相同也可以不同。例如，可以把再现移动图像传输单元110、内插移动图像生成单元120、以及内插移动图像传输单元130全部在同一网络或者在不同的传输路径上互相连接，以使再现移动图像传输单元110和再现设备200之间的传输路径为广播波，内插移动图像传输单元130和再现设备200之间的传输路径为网络。
在以下所提供的描述中，把再现移动图像传输单元110、内插移动图像生成单元120、以及内插移动图像传输单元130设置为经由诸如图1中所示的网络的传输路径互相连接，然而，本发明专利并不局限于这一实例。
图10描述了再现移动图像传输单元110、内插移动图像生成单元120、以及内插移动图像传输单元130所保存的移动图像数据组。将参照图10中所示的移动图像数据组描述再现移动图像传输单元110、内插移动图像生成单元120、以及内插移动图像传输单元130。
再现移动图像传输单元110经由诸如网络或者广播波的传输路径把再现移动图像v10传输于再现设备200。把再现移动图像v10传输于所有客户机，并且将其配置为将在客户机中加以再现的移动图像文件。再现设备200可以接收、再现、或者存储从再现移动图像传输单元110传输的再现移动图像v10。
内插移动图像生成单元120保存其内容与再现移动图像v10的内容相同， 并且质量高于再现移动图像v10的质量的高质量移动图像v11。注意，质量高意味着图像尺寸大或者编码率高。把高质量移动图像v11配置为一个其内容与再现移动图像v10的内容相同，并且诸如图像尺寸或者编码率的质量高的移动图像文件。高质量移动图像v11是一个用作再现移动图像v10的基础的移动图像。可以由用户，也可以在系统中，根据显示名、内部管理标识符等把所再现移动图像和高质量移动图像加以关联。内插移动图像生成单元120决定再现设备200中将加以再现的移动图像中的一个内插区域，从高质量移动图像v11抽取内插区域，并且生成一个内插移动图像v12和内插信息i10。例如，内插移动图像生成单元120可以为分布移动图像的服务提供商或者提供在网络上的服务器设备所提供的移动图像创作设备。
内插移动图像v12为一个从高质量移动图像v11的移动图像屏面通过抽取获得的移动图像文件，仅为一个可以使用其提高对再现移动图像v10的内容的识别的区域或者一个被视为重要的区域的内插区域，换句话说，为高质量移动图像v11的一个部分屏面的一个移动图像。把内插移动图像v12配置为一个通过从高质量移动图像v11帧图像抽取由以下将加以描述的内插指令单元121所保存的信息所指示的内插区域的一个部分图像，并且将该部分图像编码为帧图像所获得的移动图像文件。
内插信息i10为本发明专利再现信息的一个实例。内插信息i10为内插移动图像生成单元120所生成的信息，并且将其配置为一个其中针对每一个帧表示原始高质量移动图像v11的移动图像屏面中内插移动图像v12的每一个帧图像的坐标、宽度、以及高度的文件。根据以下将加以描述的内插指令单元121所保存的信息生成内插信息i10。另外，在内插信息i10中，也可以记录原始高质量移动图像v11的总图像尺寸。
对于一段移动图像内容（再现移动图像v10和高质量移动图像v11），可以创建多段内插移动图像v12和内插信息i10。例如，对于为一段移动图像内容的体育移动图像，可能存在多段内插移动图像v12和内插信息i10，例如，用于内插运动员A的一个区域的内插移动图像v12和内插信息i10以及用于内插运动员B的一个区域的内插移动图像v12和内插信息i10。在这一方式下，通过为一个移动图像内容项创建所述多段内插移动图像v12和内插信息i10，用户可以选择其最喜欢的运动员的一或多段内插移动图像v12和内插信息i10，并且在再现设备200中再现移动图像。另外，例如，可以把用于内插一 个其中显示文本信息（例如，得分）的区域的内插移动图像v12和内插信息i10设计为针对一个为一段移动图像内容的体育移动图像加以生成。
把内插移动图像生成单元120配置为包括内插指令单元121，如图1中所示。内插指令单元121保存指示应该把高质量移动图像v11的屏面的哪一部分指定为内插区域的信息。高质量移动图像v11的屏面为具有与再现移动图像v10和高质量移动图像v11相同内容以及在图像尺寸和编码率而言为高质量的屏面。在内插指令单元121所保存的信息中，针对每一个帧列举了每一个被指示为内插区域的帧图像中一个区域的坐标、宽度、以及高度。例如，内插指令单元121所保存的信息可以为再现再现移动图像v10的用户或者分布再现移动图像v10的分布服务提供商方面的人（例如，为编辑再现移动图像v10的编辑，或者，如果再现移动图像v10为体育移动图像，为对体育比赛进行解说的体育解说员）所指示的区域以及移动图像的时间，并且将其变为一个计算机文件，也可以为一个通过移动图像识别自动检测的区域，并且将其变为一个计算机文件。可以把内插指令单元121所保存的信息作为内插信息i10提交于内插移动图像传输单元130。
图1描述了执行移动图像识别的移动图像分析单元300。移动图像分析单元300通过移动图像识别，决定每一个帧的内插区域，并且把所决定的内插区域的信息传送于内插指令单元121。
内插移动图像传输单元130保存内插移动图像生成单元120所生成的内插移动图像v12和内插信息i10，并且经由诸如网络的传输路径把移动图像和所述信息传输于再现设备200。例如，内插移动图像传输单元130可以为网络上的服务器设备。
再现设备200接收和再现从再现移动图像传输单元110传输的再现移动图像v10。另外，再现设备200还接收从内插移动图像传输单元130传输的内插移动图像v12和内插信息i10，并且在再现再现移动图像v10时使用内插信息i10，通过用内插移动图像v12取代移动图像的一部分再现再现移动图像v10。
如图1中所示，再现设备200包括内插单元210和再现单元220。内插单元210从再现移动图像传输单元110接收再现移动图像v10，并且还从内插移动图像传输单元130接收内插移动图像v12和内插信息i10。内插单元210使用再现移动图像v10上的内插移动图像v12，致使再现移动图像v10的 一个内插区域具有高质量，从而生成被内插移动图像v13。再现单元220再现内插单元210所生成的被内插移动图像v13。把再现单元220所再现的被内插移动图像v13显示在显示屏面（未在图中加以显示）上。
可以把内插单元210和再现单元220设置在再现设备200的内部，如图1中所示，也可以在诸如网络的传输路径上将它们互相连接。
以上，已经参照图1描述了根据本发明专利一个实施例的移动图像再现系统1的总配置实例。以下，将描述根据本发明专利一个实施例的内插移动图像生成单元120的一个功能配置实例。
［内插移动图像生成单元的功能配置实例］
图2描述了根据本发明专利一个实施例的内插移动图像生成单元120的一个功能配置实例。以下，将参照图2描述根据本发明专利一个实施例的内插移动图像生成单元120的所述功能配置实例。
如图2中所示，把根据本发明专利一个实施例的内插移动图像生成单元120配置为包括内插指令单元121、解码单元122、内插信息处理单元123、帧图像抽取单元124、以及编码单元125。
内插指令单元121保存指示应该把高质量移动图像v11的屏面的哪一部分设置为内插区域，如以上所描述的。如果需要的话，把内插指令单元121所保存的信息适当地提交于内插信息处理单元123。
解码单元122对所编码的高质量移动图像v11进行解码。当对高质量移动图像v11进行解码时，解码单元122把高质量移动图像v11的每一个帧的时间信息和图像尺寸传送于内插信息处理单元123，并且把高质量移动图像v11的移动图像屏面的帧图像传送于帧图像抽取单元124。
内插信息处理单元123根据内插指令单元121所保存的信息针对高质量移动图像v11的每一个帧，决定抽取内插移动图像v12的坐标（内插移动图像v12的移动图像屏面的坐标）及其尺寸，并且把坐标和尺寸的信息传送于帧图像抽取单元124。另外，内插信息处理单元123还根据内插指令单元121所保存的信息生成内插信息i10。把内插信息处理单元123所生成的内插信息i10提交于内插移动图像传输单元130。
帧图像抽取单元124从解码单元122所给出的高质量移动图像v11的一个所解码的帧图像抽取内插信息处理单元123指示的一个区域的一个像素组 （一个部分图像），并且把该像素组设置为内插移动图像屏面的一个帧图像。把帧图像抽取单元124所抽取的内插移动图像屏面的帧图像提交于编码单元125。
编码单元125对帧图像抽取单元124所抽取的内插移动图像屏面的帧图像进行编码，并且生成内插移动图像v12。把编码单元125所生成的内插移动图像v12提交于内插移动图像传输单元130。
内插移动图像生成单元120可以使用具有图2中所示配置的内插移动图像v12，根据用于内插再现移动图像v10的高质量移动图像v11和内插信息i10生成内插移动图像v12。
以上，已经参照图2描述了根据本发明专利所述实施例的内插移动图像生成单元120的所述功能配置实例。以下，将描述根据本发明专利一个实施例的内插移动图像传输单元130的一个功能配置实例。
［内插移动图像传输单元的功能配置实例］
图3描述了根据本发明专利所述实施例的内插移动图像传输单元130的一个功能配置实例。以下，将参照图3描述根据本发明专利所述实施例的内插移动图像传输单元130的所述功能配置实例。
如图3中所示，把根据本发明专利所述实施例的内插移动图像传输单元130配置为包括接收单元131、内插记录单元132、内插列表管理单元133、以及传输单元134。
接收单元131接收内插移动图像生成单元120所生成的内插移动图像v12和内插信息i10。当接收到内插移动图像生成单元120所生成的内插移动图像v12和内插信息i10时，接收单元131把所接收的内插移动图像v12和内插信息i10提交于内插记录单元132。
内插记录单元132把从接收单元131所提交的内插移动图像v12和内插信息i10相关联地加以保存。内插记录单元132还保存一对儿内插移动图像v12和内插信息i10涉及哪一移动图像内容的信息。当断定所述内插移动图像v12和内插信息i10对儿涉及哪一移动图像内容的信息时，使用内插移动图像生成单元120在内插信息i10中所描述的移动图像内容的一个标识符，如以下将加以描述的。图3描述了内插记录单元132所保存的内插管理信息的一个实例。移动图像内容X包括用于内插运动员A和运动员B的信息，移动图 像内容Y包括用于内插汽车a的内插管理信息。在所述内插管理信息中，把内插移动图像v12与内插信息i10相关联。
内插列表管理单元133根据来自再现设备200的内插单元210的询问，返回相应于内插记录单元132所保存的内插移动图像组的移动图像内容的一个列表。另外，当内插单元210指定移动图像内容时，内插列表管理单元133返回内插记录单元132所保存的内插移动图像v12和内插信息i10对儿的一个列表。
在图3中所示的实例中，内插列表管理单元133根据来自再现设备200的内插单元210的询问返回作为相应于内插记录单元132所保存的内插移动图像组的移动图像内容的一个列表的内容x和内容y。另外，在图3中所示的实例中，当在再现设备200中指定内容X时，内插列表管理单元133返回作为内容X中所呈现的内插移动图像v12和内插信息i10对儿的一个列表的“运动员A”和“运动员B”。而且，当再现设备200指示内插移动图像v12和内插信息i10对儿时，内插列表管理单元133指示传输单元134传输内插移动图像v12和内插信息i10对儿。
传输单元134从内插记录单元132获取内插列表管理单元133指示其传输的内插移动图像v12和内插信息i10对儿，并且将所述对儿传输于再现设备200。
内插移动图像传输单元130可以把根据用于使用内插移动图像v12内插再现移动图像v10的高质量移动图像v11和再现移动图像v10生成的内插移动图像v12传输于具有图3中所示配置的再现设备200。
以上，已经参照图3描述了根据本发明专利所述实施例的内插移动图像传输单元130的功能配置实例。以下，将描述包括在根据本发明专利一个实施例的再现设备200中内插单元210的一个功能配置实例。
［内插单元的功能配置实例］
图4描述了包括在根据本发明专利所述实施例的再现设备200中的内插单元210的所述功能配置实例。以下，将参照图4描述包括在根据本发明专利所述实施例的再现设备200中的内插单元210的所述功能配置实例。
如图4中所示，把包括在根据本发明专利一个实施例的再现设备200中的内插单元210配置为包括接收部件211、212、以及213、内插移动图像选 择部件214、解码部件215和216、时间控制部件217、以及内插处理部件218。
接收部件211、212、以及213为本发明专利的图像获取单元的一个实例。接收部件211、212、以及213分别接收再现移动图像v10、内插移动图像v12、以及内插信息i10。从再现移动图像传输单元110传输再现移动图像v10，从内插移动图像传输单元130传输内插移动图像v12和内插信息i10。把接收部件211接收的再现移动图像v10提交于解码部件215，把接收部件212接收的内插移动图像v12提交于解码部件216，以及把接收部件213接收的内插信息i10提交于内插处理部件218。
在图4中所示的实例中，把接收部件211、212、以及213描述为独立的构成部件，然而，本发明专利并不局限于这一实例。也可以把接收部件211、212、以及213作为一个构成部件加以提供。
内插移动图像选择部件214从内插移动图像传输单元130获取相应于从再现移动图像传输单元110所接收的再现移动图像v10的内插移动图像的一个列表，并且决定用于再现移动图像v10的内插的内插移动图像v12和内插信息i10。把内插移动图像选择部件214所决定的内插移动图像v12和内插信息i10传输于内插移动图像传输单元130。
解码部件215和216分别针对每一个帧对处于编码的状态的再现移动图像v10和内插移动图像v12进行解码，然后输出帧图像（像素组）。解码部件215和216向内插处理部件218输出再现移动图像v10和内插移动图像v12的帧图像。另外，解码部件215和216还输出再现移动图像v10和内插移动图像v12的帧图像帧时间（帧序号）。
在内插处理部件218中所执行的内插处理期间，时间控制部件217使用从解码部件215和216所获取的帧时间（帧序号）信息进行控制，以使再现移动图像v10的帧时间与内插移动图像v12的帧时间相匹配。
内插处理部件218为本发明专利图像合成单元的一个实例。内插处理部件218使用内插移动图像v12执行再现移动图像v10的内插处理。内插处理部件218从时间控制部件217取出从对再现移动图像v10进行解码的解码部件215所接收的再现移动图像v10的帧图像的当前帧的帧时间以及从对内插移动图像v12进行解码的解码部件216所接收的内插移动图像v12的帧图像。另外，内插处理部件218还从接收部件213所接收的内插信息i10获取所述帧时间的一个内插区域的坐标，并且组合处于再现移动图像v10的帧图像的 坐标位置的内插移动图像v12的帧图像。然后，内插处理部件218输出通过使用内插移动图像v12制作再现移动图像v10的移动图像屏面的一个高质量部分区域（内插区域）所获得的被内插移动图像v13。
可以在再现设备200的屏面上再现被内插移动图像v13，通过由编码单元230将其编码为移动图像将其存储在传输与记录单元240中，或者将其传输于另一个设备。
内插单元210可以通过图4中所示配置执行内插处理，其中，使用用于内插再现移动图像v10的内插移动图像v12和内插信息i10、以高质量的内插移动图像v12内插再现移动图像v10的一部分。内插单元210可以通过执行其中向高质量内插移动图像v12内插再现移动图像v10的一部分的内插处理增强用户的观看感受。
以上，已经参照图4描述了包括在根据本发明专利所述实施例的再现设备200中内插单元210的所述功能配置实例。以下，将描述根据本发明专利一个实施例的内插移动图像生成单元120的一个操作实例。
［内插移动图像生成单元的操作实例］
图5为描述根据本发明专利所述实施例的内插移动图像生成单元120的所述操作实例的流程图。图5中所示的流程图为针对生成内插移动图像v12和内插信息i10时根据本发明专利所述实施例的内插移动图像生成单元120的所述操作实例。以下，将参照图5描述根据本发明专利所述实施例的内插移动图像生成单元120的所述操作实例。
首先，内插移动图像生成单元120对（所编码的）高质量移动图像v11进行解码，从而生成一个所解码的帧图像（步骤S101）。帧图像为其中设置了一个屏面的像素组的数据。
当在步骤S101中生成高质量移动图像v11的帧图像时，内插移动图像生成单元120的内插指令单元121接下来获取被指示为所解码的帧图像中的一个内插区域的信息（步骤S102）。例如，用户可以看到帧图像，然后指示内插区域的坐标、宽度、以及高度。此处，“用户”可以包括再现再现移动图像v10的用户、来自分布再现移动图像v10的分布服务提供商的人（例如，为编辑再现移动图像v10的编辑，或者，如果再现移动图像v10为体育移动图像，为对体育比赛进行解说的体育解说员）等。另外，可以把用户事先指示 的或者通过移动图像识别过程自动抽取内插区域所获得的区域的信息按行形式存储在一个文件中，其中，所述行包括内插区域的帧时间（帧序号）、坐标、宽度、以及高度。当生成内插移动图像时，读取指示为内插区域的信息，并且获取相应于每一个所解码的帧的帧时间（帧序号）的内插区域的信息。
例如，移动图像分析单元300可以通过使用面部识别、移动体识别、透视识别等技术分析高质量移动图像v11，自动地决定内插区域。另外，可以把用户（再现再现移动图像v10的用户、来自分布再现移动图像v10的分布服务提供商的人等）的指定与移动图像分析单元300对移动图像的分析相结合。存在着跟踪用户指示的对象的移动的移动图像分析技术。使用跟踪对象的移动的移动图像分析技术，例如，当用户指示体育比赛的移动图像中的运动员时，移动图像分析单元300可以跟踪所指示的运动员的移动，并且可以把通过跟踪所获得的一个区域设置为内插区域。
内插指令单元121把根据用户（再现再现移动图像v10的用户、来自分布再现移动图像v10的分布服务提供商的人等）的指定或者图像识别的结果所生成的内插区域的信息（坐标、宽度、以及高度）提交于内插信息处理单元123。内插信息处理单元123把从内插指令单元121传送的内插区域的信息传送于帧图像抽取单元124。
接下来，内插移动图像生成单元120从帧图像抽取单元124中所解码的高质量移动图像v11的帧图像抽取内插指令单元121所指定的（坐标、宽度、以及高度的）区域的像素组（步骤S103）。
当在步骤S103中从高质量移动图像v11的帧图像抽取所指定的（坐标、宽度、以及高度的）区域的像素组时，内插移动图像生成单元120接下来把所抽取的像素组设置为内插区域的帧图像，令编码单元125对帧图像进行编码，然后把帧图像写入一个文件，从而生成内插移动图像v12（步骤S104）。
在步骤S104的编码期间，可以把编码率决定为低于原始高质量移动图像v11的编码率。在移动图像的通常的编码中，如果图像尺寸（屏面中像素的面积，或者数目）小，则需要维持相同图像质量的编码率可以低。因此，例如，可以根据高质量移动图像v11与内插区域的帧图像的尺寸（面积）的比率决定编码率。例如，如果面积比率为10:1，则编码单元125可以按高质量移动图像v11的编码率的10%的编码率进行编码。另外，编码单元125还可以使用表面系统的S/N比特征决定编码率。
而且，内插移动图像生成单元120致使内插信息处理单元123把高质量移动图像v11的帧图像上的内插区域的帧时间（帧序号）和坐标、宽度、以及高度的信息记录在文件中，从而记录了内插信息i10（步骤S105）。
通过内插移动图像生成单元120重复图5中所示的操作系列至高质量移动图像v11的最后一个帧，生成通过从高质量移动图像v11和内插信息i10仅抽取内插区域所获得的内插移动图像v12，内插信息i10中记录了应该把内插移动图像v12设置其中的每一个帧中的坐标。在其顶部，在内插信息i10中，也可以记录高质量移动图像v11的整个图像尺寸、移动图像内容的标题和标识符、以及有关内插移动图像的内插名和内插标识符的信息。如以上所描述的，与移动图像内容一样，把高质量移动图像v11和再现移动图像v10互相关联。于是，通过使用作内插移动图像v12的基础的高质量移动图像v11的标题和标识符包括在内插信息i10中，可以把所生成的内插移动图像v12与将内插的再现移动图像v10相互关联。另外，当针对一段移动图像内容创建多个内插移动图像v12和多段内插信息i10时，用户可以通过使内插移动图像v12的内插名和内插标识符包括在内插信息i10中，选择内插移动图像。
以上，已经参照图5描述了根据本发明专利所述实施例的内插移动图像生成单元120的所述操作实例。以下，将描述根据本发明专利一个实施例的内插移动图像生成单元120的操作实例。
［内插移动图像传输单元的操作实例］
图6和7为描述根据本发明专利所述实施例的内插移动图像传输单元130的操作实例的流程图。图6和7中所示的流程图针对把内插移动图像v12和内插信息i10传输于再现设备200时根据本发明专利所述实施例的内插移动图像传输单元130的操作实例。以下，将参照图6和7描述根据本发明专利所述实施例的内插移动图像传输单元130的操作实例。
首先，将描述把内插移动图像v12和内插信息i10的一个列表传输于再现设备200时执行的内插移动图像传输单元130的一个操作实例。内插移动图像传输单元130的内插列表管理单元133从再现设备200的内插单元210接收一个对内插移动图像v12和内插信息i10的请求（步骤S111）。从再现设备200所接收的请求包括一个用于表示移动图像内容的内容标识符。
当在步骤S111中从内插单元210接收到所述请求时，内插列表管理单元 133指定从再现设备200所传输的内容标识符，并且从内插记录单元132获取所保存的内插移动图像v12和内插信息i10的列表（步骤S112）。把内插移动图像v12和内插信息i10的列表包括在内插名和内插标识符的行中。
当在步骤S112中从内插记录单元132获取到内插移动图像v12和内插信息i10的列表时，内插列表管理单元133把所获取的列表返回至再现设备200的内插单元210（步骤S113）。
以下，将描述把内插移动图像v12和内插信息i10传输于再现设备200时所执行的内插移动图像传输单元130的另一个操作实例。已经接收到内插移动图像v12和内插信息i10的列表的内插单元210决定应该获取哪一内插移动图像v12和内插信息i10，指定内插标识符，然后请求内插移动图像v12和内插信息i10向内插移动图像传输单元130的传输。内插列表管理单元133接收从内插单元210所传输的传输内插移动图像v12和内插信息i10的请求（步骤S121）。
当在步骤S121中接收到所述传输请求时，内插列表管理单元133指定传输单元134中的内插单元210已经指定的内插标识符，然后指示内插移动图像v12和内插信息i10的传输（步骤S122）。
当在以上所描述的步骤S122中内插列表管理单元133指示内插移动图像v12和内插信息i10的传输时，传输单元134指定针对内插记录单元132当内插区域，并且获取内插移动图像v12和内插信息i10的文件，然后把所获取的文件传输于内插单元210（步骤S123）。
内插移动图像传输单元130可以通过执行图6和7中所示的操作把使用内插移动图像v12根据用于内插再现移动图像v10的高质量移动图像v11和内插信息i10所生成的内插移动图像v12传输于再现设备200。
以上，已经参照图6和7描述了根据本发明专利所述实施例的内插移动图像传输单元130的操作实例。以下，将描述包括在根据本发明专利一个实施例的再现设备200中的内插单元210的操作实例。
［内插单元的操作实例］
图8和9为描述包括在根据本发明专利所述实施例的再现设备200中的内插单元210的操作实例的流程图。图8和9中所示的流程图针对使用内插移动图像v12执行再现移动图像v10的内插处理时包括在根据本发明专利所 述实施例的再现设备200中的内插单元210的操作实例。以下，将参照图8和9描述包括在根据本发明专利所述实施例的再现设备200中的内插单元210的操作实例。
当再现设备200的用户决定了在再现设备200中将加以再现的再现移动图像v10时（步骤S131）时，内插移动图像选择部件214决定相应于所决定的再现移动图像v10的内插移动图像v12和内插信息i10（步骤S132）。内插移动图像选择部件214指定针对内插移动图像传输单元130的再现移动图像v10的内容标识符，并且获取内插移动图像传输单元130所保存的内插移动图像v12和内插信息i10的列表。内插移动图像选择部件214根据所获取的列表决定将用于内插处理的内插移动图像v12。例如，通过显示内插移动图像选择部件214所获取的内插名的一个列表，以允许用户从所获取的列表选择一个内插名，决定将在内插处理中使用的内插移动图像v12。内插移动图像选择部件214请求所决定的内插移动图像v12和内插信息i10向内插移动图像传输单元130的传输。
当内插移动图像传输单元130根据所述请求传输了内插移动图像v12和内插信息i10时，内插单元210使用所传输的内插移动图像v12和内插信息i10执行从再现移动图像传输单元110传输的再现移动图像v10的内插处理（步骤S133）。图9为描述步骤S133的内插处理的细节的流程图。
接收再现移动图像v10的接收部件211把所接收的再现移动图像v10提交于解码部件215，并且令解码部件215对再现移动图像v10进行解码。接收内插移动图像v12的接收部件212把所接收的内插移动图像v12提交于解码部件216，并且令解码部件216对内插移动图像v12进行解码。接收内插信息i10的接收部件213把所接收的内插信息i10提交于内插处理部件218。
对再现移动图像v10进行解码的解码部件215对再现移动图像v10的一个帧进行解码，从而生成所解码的帧图像（步骤S141）。另外，解码部件215还把此次所解码的帧的帧时间（帧序号）传送于时间控制部件217。
对内插移动图像v12进行解码的解码部件216对内插移动图像v12的一个帧进行解码，从而生成所解码的帧图像（步骤S144）。另外，解码部件216还把此次所解码的帧的帧时间（帧序号）传送于时间控制部件217。
时间控制部件217比较再现移动图像v10和内插移动图像v12的帧时间（步骤S142和S145）。如果帧时间与比较再现移动图像v10和内插移动图像 v12的帧时间的结果相同，则时间控制部件217把帧时间传送于内插处理部件218。另一方面，当帧时间与比较再现移动图像v10和内插移动图像v12的帧时间的结果不相同时，时间控制部件217令帧的解码重复，直至帧时间变为相同。例如，时间控制部件217参照较晚帧时间（较高帧序号）遗弃具有较早帧时间（较低帧序号）的移动图像的帧图像。然后，时间控制部件217指示解码部件215和216执行下一个帧的解码，并且重复比较过程，直至输出具有与参照帧时间（较晚帧时间）的时间相同时间的所解码的帧图像。
如果再现移动图像v10和内插移动图像v12的帧时间相同，则内插处理部件218放大或者缩小再现移动图像v10和内插移动图像v12的所解码的帧图像，以使所解码的帧图像适合以下将加以描述的标准图像尺寸（步骤S143和S146）。内插处理部件218决定每一个所解码的帧图像的量值，以使再现移动图像v10的所解码的帧图像的尺寸与用作内插移动图像v12的基础的高质量移动图像v11的尺寸变为与标准图像尺寸相同。内插处理部件218可以从内插信息i10获取用作内插移动图像v12的基础的高质量移动图像v11的尺寸。
图11描述了步骤S143和S146中的放大与缩小过程。如图11中所示，内插处理部件218放大或者缩小再现移动图像v10和内插移动图像v12的所解码的帧图像，以使所解码的帧图像适合标准图像尺寸。
例如，假设标准图像尺寸为移动图像的显示屏面尺寸，而且，就屏面尺寸而言，关系所再现移动图像屏面<显示屏面<原始高质量移动图像屏面成立。在这一情况下，对于每一个屏面尺寸的宽度和高度，针对标准图像尺寸（此处，为移动图像的显示屏面的尺寸）设置宽度BW×高度BH，针对再现移动图像屏面尺寸设置宽度PW×高度PH，针对原始高质量移动图像屏面尺寸设置宽度HW×高度HH。例如，假设所再现移动图像屏面的宽度PW为640个像素，其高度PH为360个像素，标准图像尺寸的宽度BW为1280个像素，其高度BH为720个像素，以及原始高质量移动图像屏面尺寸的宽度HW为1920个像素，其高度HH为1080个像素。另外，针对内插移动图像屏面尺寸设置宽度MW×高度MH。
在这样的情况下，内插处理部件218把再现移动图像v10的帧图像放大至显示屏面尺寸。在以上所描述的实例中，由于就宽度和高度而言，像素的数目相差两倍（BW=PX×2，BH=PH×2），所以内插处理部件218通过在两个 位置上垂直和水平排列再现移动图像v10的帧图像的每一个像素，把再现移动图像v10的帧图像放大至显示屏面尺寸。
另一方面，内插处理部件218缩小内插移动图像v12的帧图像。按用作内插移动图像v12的基础的高质量移动图像v11的图像尺寸与显示屏面尺寸之间的比率设置缩小的量值。在以上所描述的实例中，垂直与水平像素的数目之间的比率为高质量移动图像屏面尺寸：标准图像尺寸=3:2（换句话说，BW=HW×2/3，BH=HH×2/3）。于是，内插处理部件218通过把垂直和水平像素的数目减少为2/3缩小内插移动图像v12的帧图像。例如，当内插移动图像v12的帧图像的宽度MW为192个像素以及高度MH为108个像素时，内插处理部件218分别把内插移动图像v12的帧图像的宽度缩小至128个像素，把其高度缩小至72个像素。
通过放大或者缩小帧图像，如以上所描述的，内插处理部件218可以按标准图像尺寸（BW×BW的图像尺寸中的面积）的相同坐标轴上的像素行处理再现移动图像v10的帧图像和内插移动图像v12的帧图像。
接下来，内插处理部件218从内插信息i10获取相应于从时间控制部件217给出的帧时间的内插区域的坐标、宽度、以及高度信息。如以上所描述的，针对内插信息中的每一帧时间描述了内插坐标，但坐标、宽度、以及高度为就原始高质量移动图像v11的图像尺寸而言的值。因此，内插处理部件218按与步骤S143和S146相同的方式把每一帧时间的内插坐标的值改变为标准图像尺寸的坐标、宽度、以及高度（步骤S147）。如以上所描述的，例如，当高质量移动图像v11小的图像尺寸和标准图像大的垂直与水平像素的数目的比率为3:2时，如果高质量移动图像v11中的内插区域的坐标[x,y]为[90,60]时，内插处理部件218把标准图像尺寸上的内插区域的坐标设置为通过把内插区域的坐标值乘以2/3获得的[60,40]。
接下来，内插处理部件218在再现移动图像v10的帧图像上执行内插移动图像v12的帧图像的覆盖描绘（像素的重写）（步骤S148）。把覆盖描绘在再现移动图像v10的帧图像上的内插移动图像v12的帧图像的坐标设置为通过把内插信息i10的相应帧时间的坐标转换为标准图像尺寸上的坐标所获得的坐标。由于进行量值改变和坐标转换旨在使再现移动图像v10的帧图像、内插移动图像v12的帧图像、以及内插坐标全都变为相同标准图像尺寸上的图像（像素组）和像素坐标，所以内插处理部件218能够处理以上按像素组 和相同坐标上的坐标位置描述的再现移动图像v10的帧图像、内插移动图像v12的帧图像、以及内插坐标。
内插单元210可以通过使用用于内插内插移动图像v12和再现移动图像v10的内插信息i10执行图8和9中所示的过程，执行使用内插移动图像v12内插一部分再现移动图像v10的内插处理。内插单元210可以通过执行使用高质量内插移动图像v12内插所述一部分再现移动图像v10的内插处理增强用户的观看感受。
［结论］
在如以上所描述的根据本发明专利所述实施例的移动图像再现系统1中，其中再现移动图像v10为低质量的的显示屏面的部分区域（例如，在体育广播的情况下，其识别在广播的移动图像中应该加以提高的运动员的面貌、得分显示等的一个区域，或者在移动图像中其被视为重要的一个区域）被内插有高质量的内插移动图像v12。通过使用高质量的内插移动图像v12内插低质量的再现移动图像v10，根据本发明专利所述实施例的移动图像再现系统1可以增强用户的观看感受。
由于根据本发明专利所述实施例的移动图像再现系统1仅传输包括从高质量移动图像v11而不是从整个原始高质量移动图像v11所抽取的一个内插区域部分的内插移动图像v12，所以移动图像识别系统可以减少内插移动图像v12的信息量，并且可以降低编码率（传输率）。另外，由于在根据本发明专利所述实施例的移动图像再现系统1中可以把再现设备200配置为能够在未被配置为具有对再现移动图像v10进行上变换的运算操作负载和专用运算操作电路的情况下对坐标执行运算操作以及对图像进行组合，甚至是在再现设备200的处理能力不强的情况下，所以能够在不使再现设备200上过载的情况下，在再现设备200中内插再现移动图像v10。
在以上所描述的实例中，预先生成内插移动图像v12和内插信息i10，并且作为一个文件将它们存储在内插移动图像生成单元120中。本发明专利并不局限于这一实例。可以把内插移动图像v12和内插信息i10设置为能够动态地加以生成。
例如，再现设备200的再现单元220可以配有包括在内插移动图像生成单元120中的内插指令单元121。将示范性地描述其中用户指示一个内插于 再现移动图像v10的内插区域，同时观看再现移动图像v10的情况。内插指令单元121把内插区域的坐标、宽度、以及高度和再现单元220中所再现的再现移动图像v10的内插屏面的图像尺寸传输于内插移动图像生成单元120。针对从再现设备200所接收的内插区域的宽度、以及高度，内插移动图像生成单元120对也从再现设备200接收的内插屏面的尺寸进行坐标转换，将其转换为相应于再现移动图像v10的高质量移动图像v11的屏面的尺寸。这一过程是以上所描述的步骤S143和S146的坐标转换的逆转换。然后，内插移动图像生成单元120从高质量移动图像v11抽取所指定的一个区域（或者转换之后的一个区域），从而生成内插移动图像v12，其还经由内插移动图像传输单元130把内插移动图像传输于内插单元210。
另外，例如，将示范性地描述其中分布商在使用现场摄像机等的实时分布过程中实时指示内插区域的情况。在这一情况下，实时移动图像（由现场摄像机等生成的）相应于以上所描述的高质量移动图像v11（原始移动图像）。尽管移动图像的分布商按小图像尺寸以低分布编码率传输再现移动图像v10，但分布商针对现场摄像机移动图像实时生成的移动图像帧向内插移动图像生成单元120指示一个作为内插区域的、可望观看者对其加以关注的区域。每次内插移动图像生成单元120从现场摄像机接收移动图像文件时，内插移动图像生成单元从所指示的区域抽取帧图像，并且把帧图像设置为内插移动图像v12的帧图像，然后把帧图像和其内插信息i10传输于内插移动图像传输单元130。内插移动图像传输单元130把内插移动图像v12的帧和再现移动图像v10实时地传输于内插单元210。
为了在接收相应于再现屏面的内插移动图像v12的过程中减少内插单元210的延迟，可以通过令再现移动图像传输单元110和内插移动图像传输单元130互相配合以匹配移动图像的传输时间，或者通过把再现移动图像传输单元110和内插移动图像传输单元130安装在同一设备中，使再现移动图像v10和内插移动图像v12的传输时间相匹配。另外，在诸如现场摄像机等的实时分布的实例中，可以通过把从现场摄像机接收移动图像的内插移动图像生成单元120与再现移动图像传输单元110相集成，或者把内插移动图像生成单元120与内插移动图像传输单元130相集成，把内插移动图像的帧的生成与传输加以组合。
另外，在以上所描述的实例中，当内插单元210的内插移动图像选择部 件214决定一个内插移动图像时，指示用户从内插列表选择一个内插移动图像，然而，本发明专利并不局限于这一实例。例如，使用网络上非常流行的内插目标、观看者的偏好分析、内插目标的过去选择倾向等，内插移动图像选择部件214可以自动地选择内插目标，或者推荐一个可建议的内插目标。例如，内插移动图像选择部件214可以把观看者多次选择的运动员A自动地选择为内插目标，或者把运动员A作为可建议的内插目标加以推荐。
对于为内插移动图像v12的抽取源的高质量移动图像v11，例如，可以使用移动图像分布商保存的原始高质量移动图像（高质量移动图像的原始剪辑），如以上所描述的。另一方面，存在着其中不存在高质量移动图像的这样的原始剪辑的情况。例如，诸如个人制作的隐私内容的移动图像，或者过去制作的移动图像，不具有高质量移动图像的原始剪辑。在这一情况下，可以把不具有高质量移动图像的原始剪辑的移动图像传输于，并且存储在内插移动图像生成单元120中。另外，例如，使用以上所描述的JP2010-11448A中所公开的单一移动图像的高图像质量操作和上变换技术，可以使内插移动图像生成单元120生成高质量移动图像v11，并且可以把高质量移动图像v11设置为内插移动图像v12的一个抽取源。
在这一情况下，把针对高图像质量过程的高负载运算操作或者具体电路赋予内插移动图像生成单元120而不是再现设备200。于是，即使当不存在高质量移动图像的原始剪辑，也可以减小再现设备200上的负载或者降低开销，如果把针对高图像质量过程的高负载运算操作或者具体电路赋予内插移动图像生成单元120，则可以把具有高性能的昂贵的高图像质量电路设置在内插移动图像生成单元120中。另外，由于仅内插移动图像生成单元120可以执行针对高图像质量的运算操作，并且把所生成的高质量移动图像v11存储在内插移动图像生成单元120中，所以仅可一次执行针对高图像质量的运算操作。
应该加以注意的是，对于移动图像的网络传输，公开了一种自动调整按MPEG-DASH（Dynamic Adaptive Streaming on HTTP（HTTP上的动态自适应流）；作为ISO/IEC23009-1发表的）中传输路径的传输率传输的移动图像的编码率的技术。可以把MPEG-DASH的技术施用于本发明专利。
例如，可以按多个编码率对内插移动图像v12进行编码，并且可以通过分段将其设置为一个文件组，在内插移动图像v12的传输中可以使用 MPEG-DASH的技术。另外，当使用MPEG-DASH调整再现移动图像v10和内插移动图像v12两者的传输率，可以设置两者传输率的上限和下限，以调整两种移动图像的传输率。
例如，考虑这样一种情况：其中，以5Mbps的传输频带开始移动图像的传输，再现移动图像v10（从再现移动图像传输单元110传输的）的传输率为4Mbps，内插移动图像v12的传输频带为其余的1Mbps。在这一情况下，假设再现移动图像v10的传输率与内插移动图像v12的传输率的比率为4:1。在MPEG-DASH中，测量移动图像传输期间的实际率，并且根据实际率调整移动图像的传输率。在这一情况下，再现设备200通过合计两种移动图像的实际传输率对实际传输率求和，把实际传输率的总和的4/5设置为再现移动图像v10的传输率的上限，把实际传输率的总和的1/5设置为内插移动图像v12的传输率的上限，从而可以调整两种移动图像的传输率。
另外，以下将给出的描述包括改变作为内插移动图像v12传输的内插区域的尺寸的方案。例如，存在着这样一种情况：其中，尽管内插移动图像屏面的总尺寸不改变，然而，由于内插区域的面积，嵌入在屏面中的内插区域的像素量增加，或者将加以传输的内插移动图像组（所划分的第二移动图像组）的数目增加。换句话说，由于内插区域的尺寸，将加以传输的内插移动图像v12的信息量增加。
在所述方案的情况下，当再现设备200分配再现移动图像v10和内插移动图像v12的比率时，在其中内插区域具有小尺寸期间，再现设备可以降低内插移动图像v12的比率，并且在其中内插区域具有大尺寸期间，可以提高所述比率。
另外，在MPEG-DASH中，提供在移动图像接收侧的、负责决定移动图像传输率（换句话说，选择加以获取的移动图像文件）的内插单元210获取内插信息i10。由于当使用内插信息i10时内插单元210预先知道未来移动图像时间内插区域的尺寸，所以可以根据内插区域的尺寸，预先进行内插移动图像v12的比率的分配。
＜2.实例1＞
［概述］
在以上所描述的实施例中，把内插区域的图像原样设置为移动图像屏面。 在这一情况下，当然把内插区域的图像尺寸视为可针对内插移动图像v12的每一个帧加以改变。换句话说，把将在再现屏面中被内插的再现移动图像v10的内插区域的尺寸被视为可频繁加以改变。当内插一个其中显示体育内容中某一具体运动员的移动图像屏面的区域时，例如，内插区域随运动员的移动变小或者变大。
另一方面，大多数移动图像编码方案和解码过程不处理不针对每一个帧改变尺寸（移动图像屏面的尺寸）的移动图像。因此，将描述一个实例，该实例假设了这样一种情况：为了实现其中仅把内插区域设置为移动图像屏面的内插移动图像v12，针对每一个帧改变内插区域的尺寸。
图17描述了根据实例1的内插移动图像v12的内插区域的图像尺寸和移动图像屏面的改变的一个实例。在实例1中，假设内插移动图像v12的移动图像屏面的宽度和高度为图17中所示所有帧的内插区域组中移动图像屏面的最大宽度（MW）和最大高度（MH）。
如图17中所示，例如，当高质量移动图像v11的帧0的内插区域的尺寸为50×100，帧1的内插区域的尺寸为70×150，帧2的内插区域的尺寸为100×80时，帧2的内插区域的宽度100为最大宽度（MW），帧1的内插区域的高度150为最大高度（MH）。于是，在本实例中，对于内插移动图像v12的移动图像屏面的图像尺寸，把宽度MW固定为100，把高度MH固定为150。把帧的内插区域的图像尺寸限制为100×150。
即使通过把所有帧的内插区域组中具有最大宽度（MW）和最大高度（MH）的区域设置为内插区域改变帧的内插区域的尺寸，也把内插移动图像v12的移动图像屏面的图像尺寸始终固定为100×150，并且可以在现存移动图像编码方案和解码过程中加以处理。另外，在本实施例中，还通过把所有帧的内插区域组中具有最大宽度（MW）和最大高度（MH）的区域设置为内插区，生成能够包括所有内插区域组的一个最小区域的内插移动图像v12。
通过固定内插移动图像v12的移动图像屏面的图像尺寸，如以上所描述的，每一个帧的内插区域的图像尺寸不同于内插移动图像v12的移动图像屏面的图像尺寸。于是，在本实例中，独立于内插移动图像v12的移动图像屏面的图像尺寸管理每一个帧的内插区域的图像尺寸。为了独立于内插移动图像v12的移动图像屏面的图像尺寸管理每一个帧的内插区域的图像尺寸，在本实例中，把所述两个尺寸写入内插信息i10。
例如，内插移动图像生成单元120在内插信息i10的头部中描述内插移动图像v12的移动图像屏面的尺寸（MW×MH）。由于在所有帧上固定内插移动图像v12的移动图像屏面的尺寸，并且不改变所述尺寸，所以不必针对每一个帧描述所述尺寸。由于可以在每一个帧中改变内插区域的位置和尺寸，所以针对每一个帧描述其尺寸。当内插单元210对内插移动图像v12进行解码时，解码部件216通常把所解码的帧图像的尺寸作为信息加以返回，因此，也可以从所解码的帧图像获取内插移动图像v12的移动图像屏面的尺寸。在这一情况下，在内插信息i10中可以仅描述内插区域的尺寸。
以下，将描述内插移动图像v12的移动图像屏面和内插区域的坐标。图18描述了内插移动图像v12的移动图像屏面和所内插区域的坐标之间的关系。应该加以注意的是，所述坐标指的是高质量移动图像v11的移动图像屏面上内插移动图像v12的移动图像屏面的内插区域的左上角的坐标。
假设高质量移动图像v11的图像尺寸为宽度HW×高度HH，并且假设内插移动图像v12的图像尺寸为宽度MW×高度MH。另外，还假设每一个帧的内插区域的左上坐标为[x,y]，并且假设内插区域的图像尺寸为宽度DW×高度DH。
如图18中所示，假设把内插区域定位在高质量移动图像v11的移动图像屏面的右下部分。例如，针对高质量移动图像v11的移动图像屏面的尺寸，假设HW为1920，假设HH为1080，假设内插区域的坐标[x,y]为[1850,1000]，对于内插区域的尺寸，假设DW为50，假设DH为70。在这一情况下，内插区域的右下坐标[x+DW,y+DH]为[1900,1070]，它们包括在高质量移动图像v11的移动图像屏面中。
内插移动图像屏面的尺寸不同于内插区域的尺寸，然而，如果把内插移动图像v12的移动图像屏面的坐标[x,y]设置为[1850,1000]，如图18中所示，则存在着其中内插区域溢出高质量移动图像v11的移动图像屏面的情况。如果在所述实例中内插移动图像v12的移动图像屏面的图像尺寸为100×150，如以上所描述的，并且从坐标[1850,1000]抽取100×150个图像，则右下坐标[x+MW,y+MH]为[1950,1150]，从而图像溢出高质量移动图像v11的屏面尺寸（HW=1920，HH=1080）。
作为上述情况中所采取的一种方法，例如，内插单元210使将作为内插移动图像v12的移动图像屏面加以抽取的图像的坐标偏至左上侧，然后抽取 所述图像，以使该图像不溢出高质量移动图像v11的移动图像屏面。此处，假设在左上侧将加以抽取的图像的坐标为抽取坐标[xx,yy]。例如，内插单元210把抽取坐标[xx,yy]设置为[HW-MW,HH-MH]=[1820,930]，以使内插移动图像v12的移动图像屏面的右下角与高质量移动图像v11的移动图像屏面的右下边界相适，然后把所述坐标设置为所述帧的内插移动图像v12的移动图像屏面的坐标。在这一情况下，由于内插移动图像v12的移动图像屏面的坐标[xx,yy]与内插区域的坐标[x,y]不同，所以最好分别管理两组坐标。于是，在内插信息i10中，除了内插区域的坐标[x,y]之外，还针对每一个帧描述了包括内插区域的内插移动图像v12的移动图像屏面的坐标[xx,yy]（当从高质量移动图像v11的帧图像抽取像素值时所设置的坐标）。
在图18的实例中，把内插区域的坐标[x,y]和包括内插区域的内插移动图像v12的移动图像屏面的坐标[xx,yy]标在高质量移动图像v11的移动图像屏面的坐标轴上，然而，本发明专利并不局限于这一实例。作为另一种方法，可以把内插移动图像v12的移动图像屏面的坐标描述为高质量移动图像v11的移动图像屏面上的坐标（[1820,930]），并且可以把内插区域的坐标描述为内插移动图像v12的移动图像屏面中的坐标（[30,70]）。
如以上所描述的，在本实例中，通过把内插移动图像v12的移动图像屏面的图像尺寸设置为具有可以包括整个内插区域的最大宽度MW×最大高度MH，可以固定内插移动图像v12的移动图像屏面的图像尺寸，并且可以把所有帧的内插区域包括在其中。因此，由于内插区域的图像尺寸不同于内插移动图像v12的移动图像屏面的图像尺寸，在本实例中，在内插信息i10中描述了两者的尺寸，以能够管理两者尺寸，或者在内插单元210中的解码期间获取内插移动图像v12的移动图像屏面的图像尺寸。
另外，由于内插移动图像v12的移动图像屏面的图像尺寸不同于内插区域的尺寸，所以可能出现其中内插移动图像v12的移动图像屏面溢出高质量移动图像v11的移动图像屏面的情况，如图18中所示，于是，可以通过调整内插移动图像v12的移动图像屏面的坐标，把本实例设计为不使内插移动图像v12的移动图像屏面溢出高质量移动图像v11的移动图像屏面。因此，由于内插区域的图像尺寸不同于内插移动图像v12的移动图像屏面的图像尺寸，在本实例中，在内插信息i10中描述了两者的坐标，以能够管理两者坐标。
内插单元210根据内插信息i10中所描述的内插区域以及内插移动图像v12的移动图像屏面的坐标和尺寸信息从内插移动图像v12的移动图像屏面抽取内插区域的图像。图19描述了当内插单元210从内插移动图像v12的移动图像屏面抽取内插区域的图像时所执行的一个过程。
首先，内插单元210根据内插移动图像v12的图像屏面的坐标和内插区域的坐标之间的差决定将从内插移动图像v12的移动图像屏面抽取的内插区域的图像的坐标。在图19中所示的实例中，内插单元210认为内插移动图像v12的移动图像屏面为一个从高质量移动图像v11的移动图像屏面上的坐标[1820,930]所抽取的图像，而且内插区域位于高质量移动图像v11的移动图像屏面上的坐标[1850,1000]处。因此，内插单元210断定通过对内插移动图像的帧3进行解码所获得的帧图像中的坐标[30,70]为内插区域的坐标。然后，内插单元210通过把坐标[30,70]设置为左上坐标抽取内插区域的尺寸为（50×70）的图像。最后，内插单元210把内插区域的坐标和尺寸从高质量移动图像v11的移动图像屏面上的坐标和尺寸转换为标准图像的坐标和尺寸，然后执行内插移动图像v12与再现移动图像v10的一个组合过程。
［内插单元的功能配置实例］
以下，将描述用于执行实例1的内插单元210的一个功能配置实例。图12描述了根据本发明专利一个实施例的实例1的内插单元210的所述功能配置实例。具体地讲，图12描述了包括在内插单元210中的内插处理部件218的一个功能配置实例。
如图12中所示，把根据本发明专利所述实施例的实例1的内插处理部件218包括图像放大率改变部分301和304、内插坐标计算部分302、内插区域抽取部分303、以及帧图像组合部分305。
图像放大率（magnification）改变部分301和304通过放大或者缩小解码部件215和216解码的帧图像（像素组）改变量值。如以上本发明专利所述实施例中所描述的，图像放大率改变部分301和304把再现移动图像v10的帧图像和内插移动图像v12的帧图像的量值改变为标准图像尺寸。
内插坐标计算部分302把原始高质量移动图像v11的移动图像屏面上内插移动图像v12中的内插区域的坐标和图像尺寸（宽度和高度）的值转换为标准图像尺寸，或者根据内插处理部件218所获取的内插信息i10决定一个 将从内插移动图像v12的移动图像屏面抽取的内插区域。
内插区域抽取部分303从通过对内插移动图像进行解码所获得的所解码的帧图像抽取内插区域的图像。帧图像组合部分305根据内插坐标计算部分302所计算的量值改变之后的内插坐标把再现移动图像v10的帧图像与内插区域抽取部分303所抽取的内插区域的图像加以组合。
以上，已经描述了根据实例1的内插处理部件218的所述功能配置实例。以下，将描述根据实例1的内插移动图像生成单元120的一个操作实例。
［内插移动图像生成单元的操作实例］
图13～15为描述根据实例1的内插移动图像生成单元120的所述操作实例的流程图。应该加以注意的是，根据实例1的内插移动图像生成单元120的配置与图2中所示的配置相同。以下，将参照图13～15描述根据实例1的内插移动图像生成单元120的所述操作实例。
内插指令单元121接收内插指令的输入（步骤S201）。内插指令单元121获取针对高质量移动图像v11各个帧的内插指令的信息，并且按文件、数据库、内存等形式保存所有帧的内插指令。内插指令的信息包括内插区域的帧时间、以及（左上）坐标和尺寸（宽度和高度）。
当内插指令单元121接收到内插指令的输入时，内插信息处理单元123根据向内插指令单元121的信息输入决定内插移动图像v12的移动图像屏面的尺寸（宽度MW和高度MH）（步骤S202）。
图14中的流程图详细描述了图13的步骤S202中的内插信息处理单元123的操作。首先，内插信息处理单元123把内插移动图像v12的移动图像屏面的整个尺寸（宽度MW和高度MH）初始化为0（步骤S211）。
然后，内插信息处理单元123获取一个内插区域组的最大宽度和高度。如图17中所示，获取内插区域组的最大宽度和高度。当获取了内插区域组的最大宽度和高度时，内插信息处理单元123从内插指令单元121获取一个帧的一个被指示内插的区域（步骤S212）。把被指示内插的区域的宽度设置为DW，把其高度设置为DH。把被指示内插的区域的区域设置为DW，将其高度设置为DH。接下来，内插信息处理单元123把DW的值与MW的值加以比较，把DH的值与MH的值加以比较，并且分别把较大的一个设置为MW和MH（步骤S213）。换句话说，如果MW<DW，则把MW更新为DW，如 果MH<DH，则把MH更新为DH。内插信息处理单元123重复步骤S212和213的过程，直至达到高质量移动图像v11的最后一个帧。
在重复步骤S212和213的过程直至达到最后一个帧之后最终所获得的MW和MH为所有帧的内插区域组中最大的宽度和高度。内插信息处理单元123把MW和MH设置为内插移动图像v12的移动图像屏面的尺寸，并且把所述尺寸记录在内插信息i10中（步骤S214）。
将返回图13进行描述。当在步骤S202中决定了内插移动图像v12的移动图像屏面的尺寸时，则帧图像抽取单元124根据内插移动图像v12的移动图像屏面的尺寸从高质量移动图像v11的每一个帧图像抽取一个内插图像（步骤S203）。
图15中所示的流程图详细描述了图13的步骤S203的过程。解码单元122决定高质量移动图像v11的一个帧，并且把所解码的帧图像提交于帧图像抽取单元124。另外，解码单元把所解码的帧图像的时间（帧序号）和帧的图像尺寸（宽度HW和高度HH）提交于内插信息处理单元123（步骤S221）。
内插信息处理单元123从内插指令单元121获取相应于所解码的帧的时间的垂直区域指示信息（步骤S222）。此处，把被指示的内插区域的左上坐标（在高质量移动图像v11的移动图像屏面上）设置为[x,y]，把宽度设置为DW，把高度设置为DH。
接下来，内插信息处理单元123把将从高质量移动图像v11的帧图像加以抽取的图像的坐标[xx,yy]决定为内插移动图像v12的移动图像屏面（步骤S223）。决定加以抽取的图像的坐标[xx,yy]，如图18中所示的。当从内插区域指示坐标[x,y]抽取内插移动图像v12的移动图像屏面的尺寸MW×MH时，内插移动图像v12的移动图像屏面的右下坐标为[x+MW,y+MH]。内插信息处理单元123把内插移动图像v12的移动图像屏面的右下坐标与高质量移动图像v11的移动图像屏面的尺寸HW×HH加以比较。当所抽取的区域的右端的坐标[x+MW]处于HW内时，xx=x，当所述坐标超过HW时，xx=HW-MW。另外，当所抽取的区域的右端的坐标[y+MW]处于HH内时，yy=y，当所述坐标超过HH时，yy=HH-MH。
接下来，帧图像抽取单元124获取步骤S223中所决定的坐标[xx,yy]和内插移动图像v12的移动图像屏面的尺寸MW×MH，然后，从根据移动图像屏面的坐标和尺寸所决定的高质量移动图像v11的帧图像抽取一个区域的像 素组（步骤S224）。
接下来，编码单元125把步骤S224中帧图像抽取单元124所抽取的像素组编码为移动图像，从而生成内插移动图像v12（步骤S225）。将省略对用于生成内插移动图像v12所进行的编码的详细描述，因为图5的步骤S204中覆盖了这一描述。
另外，作为所述帧的内插信息，内插信息处理单元123记录帧时间（帧序号）、指示为内插区域的坐标[x,y]、内插区域的尺寸DW×DH、帧图像抽取单元124从其抽取内插信息i10中的图像的坐标（内插移动图像v12的移动图像屏面的坐标[xx,yy]）（步骤S225）。
重复步骤S2210～S225的过程直至达到高质量移动图像v11的最后一个帧图像。
通过执行如图13～15中所示的操作，内插移动图像生成单元120决定可以包括其尺寸改变的整个内插区域组的内插移动图像v12的移动图像屏面的尺寸，并且通过把尺寸信息记录在内插信息i10中，根据高质量移动图像v11生成移动图像屏面尺寸的内插移动图像v12。然后，内插移动图像生成单元120调整将针对每一个帧加以抽取的图像的坐标（内插移动图像v12的移动图像屏面的坐标），以使所述图像不溢出高质量移动图像v11的移动图像屏面，并且把原始内插坐标以及内插移动图像v12的移动图像屏面的所抽取的图像的尺寸和坐标记录为内插信息。经由诸如网络的传输通路把内插移动图像生成单元120所生成的内插移动图像v12和内插信息i10传输于内插移动图像传输单元130。
以上，已经描述了根据实施例1的内插移动图像生成单元120的所述操作实例。由于根据实例1的内插移动图像传输单元130的操作与图6和7中所示的操作实例相同，所以此处将省略对其的详细描述。以下，将描述包括在根据实例1的内插单元210中的内插处理部件281的一个操作实例。以下，将描述包括在根据实例1的内插单元210中的操作实例。
［内插处理部件的操作实例］
图16为描述包括在根据实例1的内插单元210中的内插处理部件218的所述操作实例的流程图。以下，将参照图16描述包括在根据实例1的再现设备200中的内插处理部件218的所述操作实例。
图16描述了图8的步骤S233的内插处理的细节。对再现移动图像v10进行解码的解码部件215对再现移动图像v10的一个帧进行解码，从而生成一个所解码的帧图像（步骤S231）。另外，解码部件215还把此次所解码的帧的帧时间（帧序号）传送于时间控制部件217。
对内插移动图像v12进行解码的解码部件216对内插移动图像v12的一个帧进行解码，从而生成一个所解码的帧图像（步骤S233）。另外，解码部件216还把此次所解码的帧的帧时间（帧序号）传送于时间控制部件217。
时间控制部件217对所述时间进行匹配，以使再现移动图像v10的帧时间和内插移动图像v12的帧时间同步（步骤S231和S233）。
当时间控制部件217使再现移动图像v10的帧时间和内插移动图像v12的帧时间同步时，则内插区域抽取部分303从内插移动图像v12的帧图像抽取内插区域的一个图像（步骤S234）。如图19中所示，进行内插区域的图像的抽取。
内插区域抽取部分303从目标帧时间的内插信息获取内插移动图像v12的坐标[xx,yy]。所述坐标为内插移动图像生成单元120从高质量移动图像v11的帧图像抽取像素的帧图像和内插移动图像v12的帧图像抽取像素时所获得的坐标。例如，假设所述坐标为[xx:1820,yy:930]。
另外，内插区域抽取部分303还从目标帧时间的内插信息获取内插区域的坐标[x,y]。所述坐标为内插移动图像生成单元120中针对其指示内插的区域的坐标。例如，假设所述坐标为[x:1850,y:1000]。
当把内插移动图像v12的移动图像屏面左上侧设置为基点时将加以抽取的内插移动图像v12的内插区域的坐标为[x-xx,y-yy]，就以上所描述的实例而言，得到坐标[x-xx,y-yy]=[30,70]
接下来，内插区域抽取部分303从目标帧时间的内插信息获取内插区域的尺寸（宽度DW和高度DH）。例如，DW=50和DH=70。
最后，内插区域抽取部分303从内插移动图像v12的左上坐标（在以上所描述的实例中为（[30,70]）按内插区域的尺寸（DW=50和DH=70）抽取一个像素组。
当内插区域抽取部分303抽取内插区域的图像时，图像放大率改变部分301和304放大或者缩小再现移动图像v10和内插移动图像v12的所解码的帧图像，以适合标准图像尺寸（步骤S232和S235）。由于步骤S232和S235 中所执行的过程与图9的步骤S143和S146中所执行的过程相同，所以省略了对它们的详细描述。
当图像放大率改变部分301和304放大或者缩小再现移动图像v10和内插移动图像v12的所解码的帧图像时，图像放大率改变部分304还使用与步骤S232和S235的方法相同的方法，把每一个帧时间的内插坐标的值改变为标准图像尺寸的坐标、宽度、以及高度（步骤S236）。然后，帧图像组合部分305在再现移动图像v10的帧图像上执行内插移动图像v12的帧图像的覆盖描绘（重写像素）（步骤S237）。
通过执行如以上所描述的操作，包括在根据实例1的内插单元210中的内插处理部件218可以在仅将其内插区域设置为移动图像屏面的内插移动图像v12上执行与再现移动图像v10的移动图像屏面的内插组合。
通过在仅将其内插区域设置为移动图像屏面的内插移动图像v12上执行与再现移动图像v10的移动图像屏面的内插组合，内插移动图像v12的移动图像屏面具有其中不包括除所有帧的整个内插区域组之外的区域，而包括所有帧的整个内插区域组的最小图像尺寸。在实例1中，可以把内插移动图像屏面的像素量缩小至最小。另外，即使当针对每一个帧改变内插区域的尺寸时，也不改变内插移动图像v12的移动图像屏面的尺寸，于是，可以使用现存的移动图像编码过程和解码过程。
在实例1中，由于内插移动图像v12仅包括内插区域，不包括内插处理不需要的区域，所以内插移动图像v12的移动图像屏面可以小于高质量移动图像v11的图像尺寸。通常，在所述移动图像编码方案中，当图像的尺寸减小时，可以降低维持同样移动图像质量（如原始高质量移动图像v11）所需的编码率，从而可以降低内插移动图像v12的编码率。因此，在实例1中，内插移动图像v12的编码率能够低于传输整个高质量移动图像v11时的编码率。另外，由于内插移动图像v12的图像尺寸小，所以也抑制了内插单元210上内插移动图像v12的解码过程的负担。
在移动设备和用户设备中，例如，存在着其上仅安装一个硬件解码器的设备。当把实例1施用于这样的设备时，例如，所述硬件解码器对再现移动图像v10进行解码，可以令具有小尺寸的内插移动图像v12经历称为软件解码（例如，通过CPU的运算操作的解码）的解码过程。由于内插移动图像v12的图像尺寸小，所以可以按软件解码对内插移动图像v12进行解码。
另外，在以上所描述的实例中，已经描述了其中在一个再现移动图像v10的内插操作期间提供一个内插移动图像v12的情况，然而，如以上所描述的本发明专利所述实施例中所描述的，对于一个再现移动图像v10，可能同时存在多个内插移动图像v12。例如，对于名为“体育X”的移动图像内容的再现移动图像v10，可以使用称为“运动员A”和“运动员B”的两个内插移动图像执行内插处理。在这一情况下，内插单元210的内插移动图像选择部件214使用用户的指令、用户偏好的分析、网络的普及等，通过自动判断，请求“运动员A”和“运动员B”两者的内插移动图像v12以及内插信息i10向内插移动图像传输单元130的传输。根据对所述多个内插移动图像v12以及内插信息i10的接收，内插单元210同时处理“运动员A”和“运动员B”的内插移动图像v12。另外，内插单元210还可以在从两个内插移动图像v12获得的内插移动图像上进行与再现移动图像v10的移动图像屏面的内插组合。
＜3.实例2＞
［概述］
以下，将描述本发明专利所述实施例的实例2。在实例1中，由于仅在内插区域上聚焦内插移动图像v12的移动图像屏面，所以当对于一个再现移动图像v10存在所述多个内插区域（例如，“运动员A”和“运动员B”的两个内插区域）时，针对每一个内插区域划分内插移动图像v12。为此，当针对所述一个再现移动图像v10处理所述多个内插区域时，内插单元210针对每一个内插区域对内插移动图像v12进行一次解码。
在以下所描述的实例2中，多个内插区域的图像将落入一个内插移动图像v12中。因此，如果对内插移动图像v12进行一次解码，内插单元210可以抽取内插区域的所有图像。
图24描述了根据实例2的内插移动图像v12的移动图像屏面和内插区域之间的关系的一个实例。
在实例2中，把内插移动图像v12的移动图像屏面的图像尺寸设置为与原始高质量移动图像v11的移动图像屏面的图像尺寸相同。通过把内插移动图像v12的移动图像屏面的图像尺寸设置为与原始高质量移动图像v11的移动图像屏面的图像尺寸相同，在内插移动图像v12中，确保了一个包括所有内插区域的原始高质量移动图像v11的移动图像屏面的区域。
接下来，当创建内插移动图像v12的每一个帧图像时，内插移动图像生成单元120设置与内插区域的部分一样多的相应于高质量移动图像v11的帧图像的区域的像素组。此处，其中设置了像素值的坐标为高质量移动图像v11的移动图像屏面上的坐标（换句话说，为内插移动图像v12的移动图像屏面上的坐标）。内插移动图像生成单元120使用无效像素填充除内插移动图像帧的内插区域之外的区域。
在实例2中，无效像素指的是具有一个预定的像素值，以当在内插单元210中的内插图像的抽取期间将它们遗弃。例如，可以选择亮度+颜色-差（YCbCr等）的值范围中的一个值、RGBA(RGB+α)的透明度的最大值、或者不出现于所有帧的像素的一个值，也可以把一个特定的像素值决定为无效像素的值。把无效像素的值固定为不改变的一个值。
因此，把内插移动图像v12的帧图像形成为一个其中仅把从高质量移动图像v11的相应区域所获取的有效像素组设置在内插区域中的帧图像，并且使用无效像素填充除内插区域之外的区域。另外，作为内插信息i10，描述了帧中与内插区域的数目一样多的矩形内插区域的坐标。在图24中的实例中，在某一帧中设置了3个内插区域，在内插信息i10中也描述3个矩形内插区域的坐标。不仅把内插区域的坐标、宽度、以及高度施用于原始高质量移动图像v11的移动图像屏面，也施用于内插移动图像v12的移动图像屏面。其原因在于，在本实例中，把内插移动图像v12的移动图像屏面的图像尺寸设置为与原始高质量移动图像v11的移动图像屏面的图像尺寸相同。
当对内插移动图像v12进行编码时，内插移动图像生成单元120可以维持图像的质量，尽管其图像尺寸与高质量移动图像v11相同（在图24的实例中，为1920×1080），而且编码的编码率低于高质量移动图像v11的编码率。其原因在于，由于在帧图像中无效像素部分具有固定的值，相邻宏块和帧之间没有变化，因此编码之后的信息量明显降低。编码之后的大多数信息仅为其图像改变的内插区域部分的信息。于是，即使根据其中内插区域的像素值的总数目在所有帧中一个帧中的内插区域的最大面积决定编码率，也能够维持所编码的移动图像的质量。
在图24的实例中，例如，在3个内插区域中，正方形内插区域具有200×100=20000个像素，三角形内插区域具有150×200/2=15000个像素，圆形内插区域具有80×80×π=大约20000个像素，3个内插区域的像素的总和为 大约55000个像素。由于原始高质量移动图像v11具有1920×1080=2073600个像素，所以内插区域的像素的比率为55000÷2073600=大约2.7%。
当按4Mbps对高质量移动图像v11进行编码时，例如，如果内插移动图像生成单元120按根据面积比率简单计算的4Mbps×2.7%=大约100Kbsp进行编码，可望内插移动图像v12具有与高质量移动图像v11一样的质量。另外，当由于降低的编码率而发现噪音时，内插移动图像生成单元120可以执行考虑到编码方案的S/N比特性的编码或者对编码率设置下限。由于有效像素的数目少，即使内插移动图像v12的移动图像屏面的图像尺寸与以上所描述的原始高质量移动图像v11相同，内插移动图像生成单元120也可以按考虑到有帧中效像素的数目（内插区域中的像素的数目）的低编码率对内插移动图像v12进行编码。
也将参照图24概要地描述内插单元210。
当抽取到内插区域的图像时，内插单元210首先对内插移动图像v12的一个帧进行解码。如以上所描述的，如果内插单元210对内插移动图像v12的一个帧进行解码，而不管内插区域的数目如何，则可以抽取所有内插区域的图像。
接下来，内插单元210根据内插信息i10从内插移动图像v12的帧图像抽取包括内插区域的矩形图像。把内插信息i10中所描述的坐标、宽度、以及高度施用于高质量移动图像v11的坐标和内插移动图像v12的移动图像屏面上的坐标。其原因在于，在本实例中，把内插移动图像v12的移动图像屏面的图像尺寸设置为与原始高质量移动图像v11的移动图像屏面的图像尺寸相同。换句话说，内插信息i10中所描述的坐标为其中令内插区域经历抽取的内插移动图像v12的移动图像屏面上的坐标以及其中在内插处理期间设置内插图像的坐标（高质量移动图像v11的移动图像屏面上的）。
然后，当无效像素包括在所抽取的矩形图像中时，内插单元210遗弃无效像素部分，接下来，仅针对其余有效像素执行与再现移动图像v10的移动图像屏面的内插组合。在这一方式下，通过从从内插移动图像v12抽取的矩形图像去除无效像素，在本实例中也可以表示非矩形内插区域，如图24中所示。例如，内插单元210可以按运动员的体形、人的面部等抽取内插图像。
以上，已经概要地描述了根据所述实施例的施例2。以下，将描述根据实例2的内插移动图像生成单元120的一个操作实例。
［内插移动图像生成单元的操作实例］
图20～图22为描述根据实例2的内插移动图像生成单元120的所述操作实例的流程图。注意，假设根据实例2的内插移动图像生成单元120的配置与图2中所示相同。以下，将参照图20～图22描述根据实例2的内插移动图像生成单元120的所述操作实例。
内插指令单元121接收内插指令的输入（步骤S301）。内插指令单元121获取相对高质量移动图像v11的各个帧的内插指令的信息，并且按文件、数据库、内存等形式保存所有帧的内插指令。内插指令的信息包括内插区域的帧时间、以及（左上）坐标和尺寸（宽度和高度）。在本实例中，可以输入针对一个帧的多个区域的内插指令。
当内插指令单元121接收到内插指令的输入时，内插信息处理单元123获取高质量移动图像v11的帧组中的一个帧中具有最大面积（最大像素数目）的内插区域，然后决定内插移动图像v12编码率（步骤S302）。
图21为步骤S302中所获取的帧中具有最大面积（最大像素数目）的内插区域时所执行的操作细节的流程图。
首先，内插信息处理单元123把最大内插面积初始化为0（步骤S311）。接下来，内插信息处理单元123从内插指令单元121获取一个帧的一个内插区域组（步骤S312）。
然后，内插信息处理单元123计算所述帧的每一个内插区域的面积（像素数目），并且把所述面积的总和设置为帧的内插区域面积（像素数目）（步骤S313）。应该加以注意的是，当内插区域之间存在重叠部分时，内插信息处理单元123最好不对重叠部分执行重复的计算。步骤S313中所获得的面积也称为内插面积。
接下来，内插信息处理单元123把最大内插面积与步骤S313中所获得的内插面积进行比较，如果步骤S313中所获得的内插面积大，则用步骤S313中所获得的内插面积的值更新最大内插面积（步骤S314）。
内插信息处理单元123重复步骤S312～S314中的过程，直至达到最后一个帧（步骤S315）。当完成所述过程，达到最后一个帧时，内插信息处理单元123根据最大内插面积、以及原始高质量移动图像v11的面积和编码率决定内插移动图像v12的编码率（步骤S316）。内插信息处理单元123可以使 用以上所描述的高质量移动图像v11的面积与最大内插面积的比率决定编码率，并且可以根据编码方案的S/N比非线性地计算编码率，也可以设置编码率的最低值。
将返回至图20进行描述。当决定了内插移动图像v12的编码率时，帧图像抽取单元124根据高质量移动图像v11生成内插移动图像v12（步骤S303）。
图22为描述在步骤S303中根据高质量移动图像v11生成内插移动图像v12时所执行的操作细节的流程图。
解码单元122对高质量移动图像v11的一个帧进行解码（步骤S321）。以宽度HW和高度HH设置高质量移动图像v11的图像尺寸。当解码单元122对高质量移动图像v11的一个帧进行解码时，则帧图像抽取单元124准备一个针对内插移动图像v12的帧缓冲器（步骤S322）。把包括宽度MW和高度MH的帧缓冲器的图像尺寸设置为与高质量移动图像v11的图像尺寸（宽度HW和高度HH）相同。另外，帧图像抽取单元124还在帧缓冲器中设置与针对所述帧所指示的内插区域的数目一样多的内插区域的像素组。
在准备好了帧缓冲器并且用无效像素加以填充之后，帧图像抽取单元124接下来获取一个其中从内插信息处理单元123指示内插的区域（步骤S323）。
当帧图像抽取单元124获取其中从内插信息处理单元123指示内插的区域时，从从步骤S321的解码过程所获得的高质量移动图像v11的帧图像抽取所指示的区域的一个像素组，然后将其设置在针对内插区域的帧缓冲器中（步骤S324）。假设所述设置的坐标、宽度、以及高度与高质量移动图像v11的坐标、宽度、以及高度相同。
帧图像抽取单元124针对针对所述帧所指示的每一个内插区域重复步骤S324的过程一次（步骤S325）。在帧图像抽取单元124针对针对所述帧所指示的每一个内插区域重复步骤S324的过程一次之后，编码单元125针对一个帧执行一个后过程，从而生成内插移动图像v12（步骤S326）。
在帧图像抽取单元124所产生的帧缓冲器中，把高质量移动图像v11的像素组设置在内插区域组中，并且把无效像素组设置在除内插区域组之外的区域中。编码单元125按步骤S302中所获得的编码率对帧缓冲器进行编码，从而生成内插移动图像v12。
内插信息处理单元123把有关帧的内插区域的信息记录在内插信息i10中。所记录的信息包括帧时间（或者帧序号）、以及矩形内插区域的坐标、宽 度、以及高度。所述值为有关高质量移动图像v11的移动图像屏面的值和有关内插移动图像v12的移动图像屏面的值。当一个帧中存在多个内插区域时，内插信息处理单元123把图24中所示的所述多个内插区域的信息作为内插信息i10加以记录。
重复步骤S321～S326中的过程，直至达到最后一个帧。
通过执行图20～22在中所示的操作，根据实例2的内插移动图像生成单元120可以创建其中把高质量移动图像v11的像素组设置在内插区域以及把无效像素设置在除内插区域之外的区域中的内插移动图像v12和其中针对一个帧描述一或多个像素组的信息的内插信息i10。把内插移动图像生成单元120所创建的内插移动图像v12和内插信息i10传输于内插移动图像传输单元130，并且将它们存储在内插移动图像传输单元130中。
以上，已经参照图20～22描述了根据施例2的内插移动图像生成单元120的所述操作实例。由于根据实例2的内插移动图像传输单元130的操作与图6和7中所示的操作实例相同，所以此处将省略对其的详细描述。以下，将描述根据实例2的21的一个操作实例。
［内插单元的操作实例］
图23为描述根据实例2的内插单元210的所述操作实例的流程图。应该加以注意的是，假设根据实例2的内插移动图像传输单元130的配置与图4中所示的配置相同。以下，将参照图23描述据实例2的内插单元210的所述操作实例。
图23描述了图8的步骤S133的内插处理的细节。对再现移动图像v10进行解码的解码部件215对再现移动图像v10的一个帧进行解码，从而生成一个所解码的帧图像（步骤S331）。另外，解码部件215还把此次所解码的帧的帧时间（帧序号）传送于时间控制部件217。
对内插移动图像v12进行解码的解码部件216对内插移动图像v12的一个帧进行解码，从而生成一个所解码的帧图像（步骤S333）。另外，解码部件216还把此次所解码的帧的帧时间（帧序号）传送于时间控制部件217。
时间控制部件217对所述时间进行匹配，以使再现移动图像v10的帧时间和内插移动图像v12的帧时间同步（步骤S331和S333）。
当时间控制部件217使再现移动图像v10的帧时间和内插移动图像v12 的帧时间同步时，则内插区域抽取部分303从内插移动图像v12的帧图像抽取内插区域的图像。执行内插区域的图像的抽取，如下。
内插区域抽取部分303从将加以抽取的帧的帧时间的内插信息获取内插区域的坐标[x,y]、宽度MW、以及高度MH，然后从内插移动图像v12的帧图像抽取所述区域的像素组（步骤S334）。
接下来，内插区域抽取部分303从所抽取的像素组（内插图像）中遗弃无效像素（步骤S335）。例如，如果将加以处理的图像的图像格式为具有阿尔法通道的图像格式，则内插区域抽取部分303把所抽取的像素组（内插图像）的透明度设置为最大。另外，如果将加以处理的图像的图像格式为不具有阿尔法通道的图像格式，例如，则在以后的内插合成期间跳过无效像素。
当内插区域抽取部分303抽取内插的图像时，图像放大率改变部分301和304放大或者缩小再现移动图像v10和内插移动图像v12的所解码的帧图像，以适合标准图像尺寸（步骤S332和S236）。由于步骤S332和S336中所执行的过程与图9的步骤S143和S146中所执行的过程相同，所以省略了对它们的详细描述。
当图像放大率改变部分301和304放大或者缩小了再现移动图像v10和内插移动图像v12的所解码的帧图像时，图像放大率改变部分304还按与步骤S332和S336相同的方式改变每一个帧时间的内插坐标的值，以适合标准图像尺寸的坐标、宽度、以及高度（步骤S337）。
针对将加以处理的所有帧的内插区域重复以上所描述的步骤S334和S337（步骤S338）。
帧图像组合部分305在再现移动图像v10的帧图像上执行已经根据标准图像尺寸的坐标系改变了其量值的内插移动图像v12的帧图像的覆盖描绘（重写的像素），其中，所述再现移动图像v10的帧图像为已经根据标准图像尺寸同样改变了其量值的帧图像（步骤S339）。当存在多个内插区域时，帧图像组合部分305执行与内插区域的数目一样多数目的覆盖描绘（像素的重写）。如针对步骤S335所描述的，依据帧图像的格式，帧图像组合部分305可以跳过步骤S339的描绘阶段中的无效像素，从而可以仅组合有效像素。
通过执行以上所描述的操作，包括在根据本发明专利实例2的内插单元210中的内插处理部件218可以在仅具有作为移动图像屏面的内插区域的内插移动图像v12上执行与再现移动图像v10的移动图像屏面的内插组合，甚 至是当一个帧具有多个内插区域时。
在实例2中，即使一个帧具有多个内插区域，也根据内插区域的面积将内插移动图像v12设置为1，其编码率可以低于高质量移动图像v11的编码率。例如，随着移动设备和用户设备硬件容量的提高，可以同时执行两个移动图像的硬件解码。把具有如此配置的设备配置为同时执行实例2的再现移动图像v10和内插移动图像v12的两个移动图像的硬件解码，从而可以使用多个内插区域内插再现移动图像v10，同时有效地使用硬件解码的组。
可以针对一段移动图像内容创建多个内插移动图像v12。例如，对于“体育X”的移动图像内容，也可以创建仅“运动员A”的内插移动图像v12，或者“运动员A和运动员B”的内插移动图像v12。当针对一段移动图像内容创建多个内插移动图像v12时，内插单元210的内插移动图像选择部件214可以通过列举内插名令用户选择内插移动图像v12，根据观看者的偏好或者Internet的普及，或者向用户推荐的内插移动图像自动地选择内插移动图像v12。
另外，在实例2中，还把所述多个内插区域包括在一个内插移动图像v12中，然而，内插单元210可以使用所述多个内插移动图像v12同时执行内插处理。例如，当体育移动图像的内容中存在10个运动员时，内插移动图像生成单元120预先创建多个包括具有2～3个运动员的内插区域组的内插移动图像。内插单元210可以在各组中“运动员A和运动员B”的内插移动图像v12以及“运动员M和运动员N”的内插移动图像v12上执行内插处理。
另外，在以上所描述的实例2中，把内插移动图像v12的每一个帧屏面上的内插区域的坐标、宽度、以及高度设置为内插信息i10中所描述的，然而也可以不提供内插信息i10。当不提供内插信息i10时，内插移动图像生成单元120仅生成内插移动图像v12，不生成内插信息i10。内插移动图像传输单元也仅保存内插移动图像v12，并且把内插移动图像传输于再现设备200。
另外，当不提供内插信息i10时，内插单元210的内插处理部件218扫描内插移动图像v12的所解码的帧图像的所有像素，然后仅抽取有效像素。当通过硬件从内插移动图像v12的帧图像抽取内插图像时，扫描所有像素和仅抽取有效像素有助于电路的简化与加速。另一方面，当通过程序从内插移动图像v12的帧图像抽取内插图像时，有关其像素应被抽取的模式的信息的预提供有助于过程的优化。可以由内插移动图像v12的屏面尺寸取代需要转换为标准图像尺寸的原始高质量移动图像v11的屏面尺寸。其原因在于，在 实例2中，原始高质量移动图像v11的屏面尺寸与内插移动图像v12的屏面尺寸相同。
如以上所描述的，通过使用所述多个内插区域填充内插移动图像v12以及使用无效像素填充除内插区域之外的区域，实例2的优点在于，尽管存在着所述多个内插区域，但对一个内插移动图像v12进行解码足以。特别是，如以上所描述的，当在能够同时对两个移动图像进行硬件解码的设备中执行内插处理时，可以利用这一优点。另外，在实例2中，也可以表示非矩形内插区域。尽管内插移动图像v12具有矩形形状，但由于在内插处理中遗弃了无效像素，所以用于内插的内插图像（在遗弃无效像素之后）可具有任意形状。例如，内插区域可以适合于运动员的体形，也可以适合作为面部识别结果的人的面部形状，因此，本实例能够执行更自然的内插处理。
注意，实例2的内容也适用于实例1。通过把实例2的内容施用于实例1，在实例1中，可以展现这样的效果：能够表示这样的非矩形内插区域，能够减少非内插区域的信息量，而且不必独立地管理内插移动屏面的坐标。
图26描述了当把实例2的内容施用于实例1时所展现的效果。通过把实例2的内容施用于实例1，根据本实例的移动图像再现系统1可以表示非矩形内插区域，如“帧0”所示。在实例1中，仅把一个内插区域设置为内插移动图像v12。通过把实例2的内容施用于实例1，根据本实例的移动图像再现系统1可以把无效像素设置在内插移动图像v12的移动图像屏面中，而且，在内插单元210的内插组合期间，能够在呈任意形状的内插区域上执行内插组合。
在图26的帧0的实例中，为了表示圆形内插区域，把一个包括圆形内插区域的矩形设置为内插移动图像v12的移动图像屏面，并且使用无效像素填充除了圆形内插区域的部分。通过把实例2的内容施用于实例1，根据本实例的移动图像再现系统1可以通过在内插单元210所执行的内插组合期间去除无效像素，在圆形内插区域上进行内插组合。
通过把实例2的内容施用于实例1，根据本实例的移动图像再现系统1可以减少非内插区域的信息量，如帧1所示。在实例1中，内插区域的图像尺寸针对每一个帧改变，另一方面，内插移动图像v12的移动图像屏面的图像尺寸固定，如图17中所描述的。为此，在实例1中，内插移动图像v12的移动图像屏面的图像尺寸为所有帧的内插区域组的最大宽度×最大高度。因 此，即使一个帧的内插区域的尺寸小，也把有关除所述小内插区域之外的区域的像素信息提供于内插移动图像v12的帧。
通过把实例2的内容施用于实例1，在根据本实例的移动图像再现系统1中的内插移动图像v12的每一个帧图像中，使用无效像素填充除帧的内插区域之外的区域，从而不改变无效像素部分的值，因此能够减少帧的移动图像编码期间的信息量。
在图26的帧1的实例中，内插移动图像v12的移动图像屏面具有为所有帧的最大宽度和最大高度的图像尺寸：MW=100和MH=100。当帧的内插区域具有小于上述图像尺寸的宽度50×高度60的尺寸时，根据本实例的移动图像再现系统1能够通过使用无效像素填充除内插区域之外的区域减少对帧进行编码时的信息量。
通过把实例2的内容施用于实例1，在根据本实例的移动图像再现系统1中，不必独立地管理内插移动图像屏面的坐标，如帧2所表示的。在实例1中，当把内插区域定位在高质量移动图像v11的移动图像屏面的右端或者左端时，如图18中所描述的，存在着这样一种情况：其中，由于内插移动图像v12的移动图像屏面的图像尺寸为固定的，内插移动图像v12的移动图像屏面溢出高质量移动图像v11的移动图像屏面。因此，为了通过令内插移动图像v12的移动图像屏面偏向左或上侧，而不使内插移动图像v12的移动图像屏面溢出高质量移动图像v11的移动图像屏面，与内插移动图像v12的移动图像屏面的内插区域的坐标相独立地管理所述内插区域的坐标。
通过把实例2的内容施用于实例1，在根据本实例的移动图像再现系统1中，可以共同管理内插移动图像v12的移动图像屏面和内插区域的坐标，同时通过使用无效像素填充溢出区域固定内插移动图像v12的移动图像屏面的图像尺寸，甚至是当内插移动图像v12的移动图像屏面溢出高质量移动图像v11的移动图像屏面时。
在图26的帧2的实例中，尽管内插移动图像v12的移动图像屏面的图像尺寸为MW=100×MH=100，但内插区域的坐标为[1840,1000]。如果按这一状态照原样抽取100×100的像素组，则内插移动图像v12的移动图像屏面溢出高质量移动图像v11的移动图像屏面。于是，根据本实例的移动图像再现系统1能够在不必使内插移动图像v12的移动图像屏面坐标偏离内插区域的坐标，并且参照高质量移动图像v11的移动图像屏面的像素组的情况下，仅 管理一种溢出区域（换句话说，仅管理除内插区域之外的区域）的坐标。
图25为描述当把实例2的内容施用于实例1时所执行的内插移动图像生成单元120的一个操作实例的流程图。图25描述了当从高质量移动图像v11抽取内插移动图像v12的移动图像屏面的图像时所执行的内插移动图像生成单元120的所述操作实例。
首先，解码单元122按与图15的步骤S221相同的方式对高质量移动图像v11的一个帧进行解码，并且把所解码的帧图像提交于帧图像抽取单元124。另外，还把所解码的帧图像的时间（或者帧序号）以及帧的图像尺寸（宽度HW和高度HH）提交于内插信息处理单元123（步骤S341）。
内插信息处理单元123从内插指令单元121获取相应于所解码的帧图像的时间的内插区域指示信息（步骤S342）。此处，把所指示的内插的区域（在高质量移动图像v11的移动图像屏面上）的左上部分的坐标设置为[x,y]，把其宽度设置为DW，把其高度设置为DH。
接下来，帧图像抽取单元124准备一个针对内插移动图像v12的移动图像屏面的帧缓冲器。帧缓冲器的宽度HW和高度HH为图13的步骤S202中所决定的图像尺寸。然后，使用无效像素填充帧缓冲器（步骤S343）。
接下来，帧图像抽取单元124从高质量移动图像v11抽取内插区域的像素组，并且将像素组设置在内插移动图像v12的帧缓冲器中（步骤S344）。帧图像抽取单元124抽取高质量移动图像上的具有坐标[x,y]以及尺寸（宽度DW×高度DH）的像素组。然后，帧图像抽取单元124从内插移动图像v12的移动图像屏面的帧缓冲器的坐标[0,0]开始设置所抽取的像素组。
于是，在内插移动图像v12的宽度MW×高度MH的移动图像屏面上，把有效像素设置在内插区域（宽度DW×高度DH）中，把无效像素设置在除内插区域之外的区域中，从而创建了其图像尺寸固定为宽度MW×高度MH的内插移动图像v12的移动图像屏面帧图像。
接下来，编码单元125对步骤S344中所生成的内插移动图像v12的移动图像屏面的帧图像进行编码（步骤S345）。根据所有帧的内插区域中的最大内插面积以及原始高质量移动图像的面积和编码率决定步骤S345中的编码率。如以上所描述的，编码单元125可以根据面积比率决定所述比率，可以根据编码方案的S/N比非线性地计算所述比率，也可以设置最低编码率。在实例1中使用了内插移动图像面积，但当把实例2施用于实例1时，可以使 用包括在移动图像屏面中的内插区域的面积，从而进一步降低了编码率。
另外，作为内插信息i10，描述了帧时间（或者帧序号）、以及内插区域的坐标[x,y]和尺寸DW×DH。由于内插移动图像v12的移动图像屏面的坐标与内插区域的左上坐标相同，所以，与实例1中不同，不能够独立地描述内插移动图像的坐标。
应该加以注意的是，可以不在内插信息i10中描述尺寸DW×DH。仅当从内插移动图像v12的移动图像屏面的帧图像遗弃无效像素时，内插处理部件218才可以抽取有效像素，而不管是否提供了有关尺寸的信息。当通过硬件执行从内插移动图像v12的帧图像的内插图像的抽取时，如在实例2中，像素的简单扫描可以简化电路，当通过软件进行抽取时，可以通过有关矩形的信息的预提供获得所述过程的优化。
如以上所描述的，通过把实例2施用于实例1，根据本实例的移动图像再现系统1可以表示非矩形内插区域，通过减少非内插区域的信息量提高编码效率，并且能够共同管理内插移动图像和内插区域的坐标。
＜4.实例3＞
［概述］
以下，将描述本发明专利所述实施例的移动图像再现系统1的另一个实例。在实例3中，不根据每一内插指令创建内插移动图像v12，例如，而是按贴片形状把高质量移动图像v11的屏面区域划分成多个区域，以预先准备一个划分屏面的移动图像组，其中，把每一个矩形贴片（所划分的屏面）设置为移动图像，并且把所述划分屏面的移动图像组设置为内插移动图像v12。接下来，根据内插指令，仅生成其中记录了针对每一个帧的内插区域的内插信息i10。内插单元210获取相应于内插区域的划分屏面的移动图像（内插移动图像v12）组，从划分屏面的移动图像组抽取内插区域的像素组，然后执行针对像素组的内插组合。
在实例3中，根据本发明专利所述实施例的移动图像再现系统1展现了这样的效果：内插移动图像的数目能够始终维持均匀，能够通过预先生成内插移动图像迅速获取相应于一个内插区域的内插移动图像v12，而不管内插指令如何。
图32～34描述了实例3的操作梗概。
内插移动图像生成单元120预先把高质量移动图像v11的屏面划分为多个部分屏面，如图32中所示，而不管内插指令存在与否。此处，为了便于描述，把每一个所划分的矩形部分屏面称为“贴片”。换句话说，内插移动图像生成单元120沿水平方向把高质量移动图像v11的屏面划分为TX个贴片，沿垂直方向把高质量移动图像v11的屏面划分为TY个贴片。
然后，内插移动图像生成单元120通过执行针对高质量移动图像v11的所有帧上的每一个贴片的移动图像编码，生成划分屏面的移动图像组，并且把划分屏面的移动图像组作为一组内插移动图像v12对待。如果把屏面划分为TX×TY，则内插移动图像生成单元120生成TX×TY个划分屏面的移动图像（内插移动图像），在相应于原始高质量移动图像v11的贴片区域中，每一个内插移动图像v12形成一个移动图像屏面。
例如，如果原始高质量移动图像v11的图像尺寸为1024×768，沿水平方向所划分的屏面的数目为4×沿垂直方向所划分的屏面的数目为3，如图32中所示，把高质量移动图像v11的移动图像屏面划分为4×3=12个贴片，因此，也生成了12个划分屏面的移动图像（=内插移动图像）。另外，沿水平方向每一个贴片的图像尺寸为1024/4=256，沿垂直方向为768/3=256，因此，划分屏面的移动图像（内插移动图像v12）组具有相应于每一个贴片区域的移动图像屏面，每一个移动图像的图像尺寸为每一个贴片的图像尺寸。
以下，为了便于描述，通过从左向右依次向贴片添加0，1，2，以及3和从上到下依次向贴片添加0，1，以及2为每一个贴片和划分屏面的移动图像（内插移动图像）编号。例如，左上侧的贴片（划分屏面的移动图像）为＜水平0，垂直0＞，右下侧的贴片（划分屏面的移动图像）为＜水平3，垂直2＞。
实例3与实例1和2的不同之处在于，通过把高质量移动图像v11的移动图像屏面划分为一个固定的数目获得所述内插移动图像v12组，并且可以由内插移动图像生成单元120独立地预先加以生成，而不管内插指令如何。
与以上所描述的实例相同，内插信息i10中描述了帧的帧时间（或者帧序号）的计数、内插坐标、宽度、以及高度。在实例3中，未提供专门针对内插信息i10以及与内插信息i10形成一个对儿的内插移动图像v12，以上所描述的划分屏面的移动图像组形成所述内插移动图像v12（的组）。尽管针对一段移动图像内容（高质量移动图像v11）存在多段内插信息i10，但仅提供 划分屏面的移动图像组的一个集合，并且在内插信息i10中共享所述信息。
另一方面，内插单元210从内插移动图像传输单元130获取有关包括内插移动图像v12和内插信息i10的划分屏面的移动图像组的信息。有关划分屏面的移动图像组的信息包括原始高质量移动图像v11的图像尺寸、水平和垂直划分的数目、每一划分屏面的移动图像的地址（例如，URL）等。根据从内插移动图像传输单元130所传输的信息，内插单元210可以识别哪一贴片属于屏面上的哪些坐标。
图33描述了当一个贴片包括一个完整内插区域时内插单元210所执行的一个组合过程。内插单元210从内插信息i10获取有关一个帧的（第0个帧）的内插区域的信息（坐标、宽度、以及高度）。例如，假设第0个帧的内插区域具有坐标[260,600]和宽度100、以及高度100，如图33中所示。内插单元210可以根据划分屏面的移动图像组的信息断定坐标[260,600]属于贴片＜1，2＞。另外，内插区域的右下角的坐标为[360,700]，并且落入贴片＜1，2＞的区域，于是，内插单元210意识到可以从贴片＜1，2＞的所划分的屏面获取内插区域的图像。
内插单元210从内插移动图像传输单元130获取贴片＜1，2＞的划分屏面的移动图像，对所获取的贴片＜1，2＞的划分屏面的移动图像进行解码，从而获得第0个帧的帧图像。贴片＜1，2＞为来自高质量移动图像v11的坐标[256,512]的具有256×512尺寸的一个区域。内插单元210抽取帧图像中坐标[260-256,600-512]中100×100的像素组。
图34描述了当一个内插区域跨越多个贴片时内插单元210所执行的一个组合过程。内插单元210从内插信息i10获取有关一个帧的（第1个帧）的内插区域的信息（坐标、宽度、以及高度）。例如，假设第1个帧的内插区域具有坐标[450,550]和宽度100、以及高度100的尺寸，如图34中所示。内插单元210可以根据划分屏面的移动图像组的信息断定内插区域的左上部分位于贴片＜1，2＞的区域中，但右下部分的坐标[550,650]位于贴片＜2，2＞的区域中。换句话说，内插区域跨越贴片＜1，2＞和贴片＜2，2＞。于是，内插单元210从内插移动图像传输单元130获取贴片＜1，2＞的划分屏面的移动图像和贴片＜2，2＞的划分屏面的移动图像。贴片＜2，2＞为来自原始高质量移动图像的坐标[512,512]的具有256×256尺寸的一个区域。
接下来。内插单元210对贴片＜1，2＞和贴片＜2，2＞的两个划分屏面 的移动图像进行解码，从而获得第1个帧的帧图像。如图34中所示，内插区域的左部分位于贴片＜1，2＞中，将考虑其中从坐标[450,550]抽取作为内插区域的具有宽度100和高度100的一个区域的情况。内插单元210可以抽取具有帧图像中坐标[内插区域的左坐标450-贴片的左坐标256，内插区域的上坐标550-贴片的上坐标512]=[194,38]以及宽度（贴片的右坐标512-内插区域的左坐标450）×高度100的尺寸的内插区域的左部分。另外，内插区域的右部分位于贴片＜2，2＞中，内插单元210可以抽取具有帧图像中坐标[0,38]以及宽度（内插区域的右坐标（450+100）-贴片的左坐标512）×高度100的尺寸的内插区域的右部分。内插单元210可以通过获取以上所描述的两个区域的像素组，并且并排连接所述像素组，根据来自两个贴片的帧图像生成内插区域的图像。在与再现移动图像v10的内插组合中内插单元210使用内插区域所生成的图像。
如以上所描述的，内插单元210根据内插区域的坐标、宽度、以及高度，使用所述针对内插信息i10任何部分的划分屏面的移动图像组获取一组相应于内插区域属于其的贴片的划分屏面的移动图像，而不是使用与内插信息i10成对儿的内插移动图像v12（专门针对内插信息i10的），然后，从帧图像抽取内插区域的像素值。
［内插移动图像生成单元的功能配置实例］
以下，将描述根据实例3的内插移动图像生成单元120的一个功能配置实例。图27描述了根据本发明专利所述实施例的实例3的内插移动图像生成单元120的所述功能配置实例。
与以上所描述的实例1和2中不同，在实例3中，预先，把高质量移动图像v11的移动图像屏面划分为指定数目的屏面，而不是根据每一内插指令创建内插移动图像v12，并且独立于这样的内插指令生成其中把每一个所划分的贴片设置为一个移动图像屏面的一组内插移动图像v12。如在以上所描述的实例1和2中，内插指令单元121生成内插信息i10，并且把每一个帧的内插区域的坐标和尺寸记录在其中。
于是，在实例3中，与以上所描述的实例1和2中不同，不从内插指令单元121向帧图像抽取单元124提供内插信息。另外，把根据实例3的内插移动图像生成单元120配置为包括一个取代帧图像抽取单元124的帧图像划 分单元126。帧图像划分单元126把高质量移动图像v11的移动图像屏面划分为指定数目的屏面。编码单元125对帧图像划分单元126所划分的高质量移动图像v11进行编码，从而获得了其中把每一个贴片设置为一个移动图像屏面的所述内插移动图像v12组。
［内插移动图像传输单元的功能配置实例］
以下，将描述根据实例3的内插移动图像传输单元130的所述功能配置实例。图28描述了根据本发明专利所述实施例的实例3的内插移动图像传输单元130的所述功能配置实例。
根据实例3的内插移动图像传输单元130的配置与根据以上所描述的实例1和2的内插移动图像传输单元130的配置不同。另一方面，内插记录单元132管理内插移动图像v12和内插信息i10的方式也不同。根据实例3的内插移动图像传输单元130的内插记录单元132管理与移动图像内容相关联的内插移动图像（划分屏面的移动图像）组v12′，而不是与内插信息i10成对儿的内插移动图像v12′。
对于［移动图像内容X］，例如，内插记录单元132与［移动图像内容X］相关联地管理和保存划分为总共12个的内插移动图像v12′的组，包括水平方向为4的TX×垂直方向的为3的TY。内插记录单元132还与［移动图像内容X］相关联地、与保存内插移动图像v12′的组并行地管理与［移动图像内容X］相关联的内插信息i10。
如图3中所示，例如，当存在［运动员A］的内插指令和［运动员B］的内插指令时，内插记录单元132管理和保存两个运动员的内插信息i10。把相应于每一个贴片的内插移动图像v12′的所划分的屏面的数目和所存储的位置（例如，URL等）添加于内插记录单元132所管理的信息。在内插单元210所执行的内插处理期间，把内插记录单元132所管理的信息提交于内插单元210。当选择相应于内插区域的内插移动图像v12′时，内插单元210也使用相应于每一贴片的内插移动图像v12′的所划分的屏面的数目和所存储的位置（例如，URL等）的信息。
［内插单元的功能配置实例］
以下，将描述根据实例3的内插单元210的一个功能配置实例。图29描 述了根据本发明专利一个实施例的实例3的内插单元210的所述功能配置实例。
根据实例3的内插单元210的配置与根据图4中所示的本发明专利所述实施例的内插单元210的配置不同。另一方面，内插处理部件218中所执行的过程的内容也不同。在实例3中，内插处理部件218′根据从内插信息i10获得的帧图像中的内插区域决定相应于内插区域的贴片的（一或多个）内插移动图像v12′、以及指示接收部件212的一个过程，以使内插移动图像传输单元130传输（一或多个）内插移动图像v12′。
［内插移动图像生成单元的操作实例］
以下，将描述根据实例3的内插移动图像生成单元120′的一个操作实例。图30描述了根据本发明专利所述实施例的实例3的内插移动图像生成单元120′的所述操作置实例。
解码单元122对高质量移动图像v11的一个帧进行解码（步骤S401）。假设高质量移动图像v11的图像尺寸为宽度HW×高度HH。另外，假设所划分的屏面的预先指定的数目为水平方向的TX×垂直方向的TY。假设通过屏面划分所得到的图像尺寸宽度为HW/TX=TW以及高度为HH/TY=TH。
当在步骤S401中解码单元122对高质量移动图像v11的一个帧进行解码时，则帧图像划分单元126把所解码的帧图像沿水平方向划分为TX个贴片，沿垂直方向划分为TY个贴片。帧图像划分单元126首先初始化贴片行的计算器y（例如，把所述值初始化为0）（步骤S402）。
接下来，帧图像划分单元126生成一个水平行的贴片。帧图像划分单元126初始化贴片列的计算器x（例如，把所述值初始化为0）（步骤S403）。
然后，帧图像划分单元126抽取贴片＜x，y＞的一个像素组。具体地讲，帧图像划分单元126从解码单元122在步骤S401中从坐标［x×TW，y×TH］所解码的高质量移动图像v11的帧图像抽取所述区域尺寸（宽度TW×高度TH）的像素组。当帧图像划分单元126抽取像素组时，则编码单元125把像素组编码为贴片＜x，y＞的划分屏面的移动图像（内插移动图像v12）（步骤S404）。
当编码单元125在步骤S404中进行解码时，则帧图像划分单元126把贴片列的计算器x增加1（步骤S405）。帧图像划分单元126判断x是否大于水 平划分的数目TX（步骤S406），当x不大于所述数目时，重复步骤S404和S405的过程，于是生成与一个水平行中一样多的划分屏面的移动图像（内插移动图像v12）的贴片。
当x大于水平划分的数目TX时，则编码单元125把贴片列的计算器y增加1（步骤S407）。帧图像划分单元126判断y是否大于垂直划分的数目TY（步骤S408），当y不大于所述数目时，所述过程返回至步骤S403。当y大于垂直划分的数目TY时，帧图像划分单元126完成针对帧图像的划分过程。内插移动图像生成单元120在所有帧上执行图30中所示的过程。
通过执行图30中所示的过程，内插移动图像生成单元120可以生成这样的划分屏面的移动图像（内插移动图像v12的组）：其中，把通过沿水平方向把高质量移动图像v11的移动图像屏面划分为TX个贴片以及沿垂直方向划分为TY个贴片所获得的贴片设置为移动图像屏面。另外，内插移动图像生成单元120还根据来自以上所描述的内插指令单元121的内插指令、与图30中所示的过程并行地生成内插信息i10。如以上所描述的，在实例3中，不生成与内插信息成对儿的内插移动图像v12。
以上，已经描述了描述根据实例3的内插移动图像生成单元120的所述操作实例。由于根据实例3的内插移动图像传输单元130的操作与图6和7中所示的操作实例相同，所以此处省略了对其的详细描述。以下，将描述根据实例3的内插单元210的一个操作实例。
［内插单元的操作实例］
以下，将描述根据本发明专利实例3的内插单元210的所述操作实例。图31描述了根据本发明专利所述实施例的实例3的内插单元210的所述操作置实例。
当接收部件211接收到再现移动图像v10时，解码部件215对再现移动图像v10进行解码，从而生成一个帧图像。解码部件215把帧图像的帧时间（帧序号）传输于内插坐标计算部分302（步骤S411）。内插坐标计算部分302决定相应于帧的内插区域的（一或多个）内插移动图像v12，并且请求对内插移动图像v12的获取（步骤S413）。决定相应于帧图像的内插区域的（一或多个）内插移动图像v12的方法如以上所述，但也可以采用以下将加以描述的方法。
当高质量移动图像v11的图像尺寸为HW×HH，所划分的屏面的数目为TX×TY时，内插坐标计算部分302查找水平和垂直贴片（内插移动图像v12）的数目以及图像尺寸TW×TH。另外，如果把贴片数目设置为＜tx，ty＞，则内插坐标计算部分302查找每一个贴片的左上坐标［tx×TW，ty×TH］。
当把内插区域的左上坐标设置为［x，y］以及把其尺寸设置为MW×MH时，内插区域的左上坐标设置为［x，y］，左下坐标为［x+MW，y］，左下坐标为［x，y+MH］，以及右下坐标为［x+MW，y+MH］。内插坐标计算部分302决定相应于内插区域的4个角的贴片组的贴片数目，然后还决定沿水平和垂直方向存在于贴片组中的另一个贴片组为包括此次内插区域的贴片组。
内插坐标计算部分302从内插移动图像传输单元130抽取相应于每一个贴片号的内插移动图像v12的位置（URL等），并且向接收部件212请求从所抽取的位置对（一或多个）内插移动图像v12的接收。
接下来，当接收部件212接收到从内插移动图像传输单元130传输的（一或多个）内插移动图像v12时，解码部件216对所接收的（一或多个）内插移动图像v12进行解码，然后把具有将加以处理的帧序号的内插移动图像v12的（一或多个）帧图像提交于内插处理部件218（步骤S414）。
时间控制部件217进行匹配，以使再现移动图像v10和内插移动图像v12的帧时间同步（步骤S411和S414）。
内插处理部件218从内插移动图像v12的（一或多个）帧图像抽取内插区域的像素组（步骤S415）。内插处理部件218中抽取内插移动图像v12的内插区域的像素组的方法如以上所述。
内插处理部件218针对内插移动图像v12的每一个帧决定在内插移动图像v12的帧图像中从其抽取像素的区域。将在每一个内插移动图像v12的移动图像屏面中抽取的区域的坐标为左上部分的［x-(tx×TW)，y-(ty×TH)］、右上部分的［x+MW-(tx×TW)，y-(ty×TH)］、左下部分的［x-(tx×TW)，y+MH-(ty×TH)］、以及右下部分的［x+MW-(tx×TW)，y+MH-(ty×TH)］。应该加以注意的是，就宽度而言，最低值为0，最高值为TW，就高度而言，最低值为0，最高值为TH，
内插处理部件218沿水平方向与/或垂直方向在一个缓冲器上连接和设置所抽取的像素组。
内插处理部件218重复步骤S413～S415的过程，直至达到内插移动图像 v12的末尾（最后一个帧）（步骤S416）。通过重复步骤所述过程直至达到内插移动图像v12的末尾，内插处理部件218能够生成从中抽取来自为一个所划分的屏面组的（一或多个）内插移动图像v12的内插区域的像素值的缓冲器。
至此所提到的坐标系（图像的坐标和尺寸）为基于高质量移动图像v11的移动图像屏面的坐标系，因此，图像放大率改变部分301和304把基于高质量移动图像v11的移动图像屏面的坐标系的值改变至基于标准图像尺寸的坐标系，从而转换了坐标（步骤S412和S417）。
当完成了量值的改变和坐标的转换时，帧图像组合部分305执行内插处理（内插移动图像v12向再现移动图像10的内插处理）（步骤S418）。
当根据实例3的内插单元210执行图31中所示的操作时，内插单元可以执行这样一个内插处理：其中，从为预先划分的部分屏面的一个移动图像组的内插移动图像v12的组抽取内插区域的像素组。
为了使实例3的过程高效运作，内插单元210可以进行内插移动图像v12的预读。在实例3中，存在着这样一种情况：其中，根据内插区域坐标的移动改变将加以获取的内插移动图像v12（的贴片的数目）。在这样一种情况下，可以使用内插单元210所获取的内插信息i10进行内插信息i10的预读。
通过进行内插信息i10的预读，内插单元210可以获取当前所处理的帧之前的帧时间（以下也将其称为“预读时间”）（例如，几秒）的一个内插区域，然后决定相应于所述区域的贴片数目的内插移动图像v12。如果还没有接收到内插移动图像v12，则通过事先给出一条接收指令，把内插移动图像设置为将加以接收，或者设置为通过给出一个搜索请求，并且跳过不必要的（沿内插移动图像v12正向设置的）帧加以接收。
内插单元210对所接收的内插移动图像v12的所编码的数据进行分析，然后把包括目标帧（预读时间的帧）的一个GOP（画面组）的引导部分放入接收缓冲器中。当移动图像再现时间达到预读时间时，内插单元210从GOP的引导部分开始进行解码，从而获取到目标帧图像。
在接收到内插移动图像v12之后，在不执行内插单元210的解码部件216的解码过程的情况下，内插单元210可以仅通过进行网络通信和对所编码的数据（GOP的引导部分等）的分析，例如搜索，执行预读过程。注意，如果存在内插单元210未使用的解码部件（除了解码部件216之外），则可以使用 所述尚未使用的解码部件抽取预先获取的内插移动图像v12的目标帧的图像。
在以上所描述的本发明专利的所述实施例中，已经描述了使用MPEG-DASH对内插移动图像v12的传输率的调整，然而，在实3例中，可以进一步改进使用MPEG-DASH对内插移动图像v12的传输率的调整。
在实例3中，可以把不同的传输率赋予所述多个将加以获取的一组内插移动图像v12（一组划分屏面的移动图像）。在实例3中，根据内插区域的坐标和尺寸获取所述多个贴片的内插移动图像v12的组，然而，不必为全部所述多个内插移动图像v12设置相同的编码率和传输率。
例如，可以在相应于内插区域的所述多个贴片的组中赋予重要性，以把具有高图像质量的高编码率赋予具有高重要度的贴片的内插移动图像v12，把具有低图像质量的低编码率赋予具有低重要度的贴片的内插移动图像v12。例如，可以使用贴片的面积与内插区域的屏面的比率决定贴片的重要度。
具体地讲，内插单元210可以通过赋予高编码率使包括大量内插区域的贴片的内插移动图像v12具有高图像质量，以及通过赋予低编码率使包括少量内插区域的贴片的内插移动图像v12具有低图像质量。另外，例如，把内插区域的中心设置为具有高重要度，并且把重要度设置为朝外侧降低。因此，内插单元210可以为接近中心的贴片的内插移动图像v12决定具有高图像质量的高编码率，为接近外侧的贴片的内插移动图像v12决定具有低图像质量的低编码率。
根据实例3，可以固定内插移动图像v12的数目。内插移动图像生成单元120生成预先划分为固定数目的屏面的内插移动图像v12，而不是针对每一条内插指令创建内插移动图像v12。因此，即使内插指令的数目增加，内插移动图像传输单元130所保存的内插移动图像v12的数目也可能不增加。于是，当使用实例3时，能够抑制在内插移动图像传输单元130中记录移动图像的容量。
根据实例3，可以预先创建内插移动图像v12，而不管内插指令如何。由于内插移动图像v12与内插指令相关，甚至是当添加了新的内插指令时，所以无需一个生成新内插移动图像v12的过程。
在大多数移动图像分布系统中，存在着这样一种倾向：抑制分配于存储容量的投资开销以及CPU和内存开销（CPU的等级和内存容量或者在云计算 虚拟机的情况下每CPU使用时间的收费）方面的投资。使用实例3的技术，即使内插指令的数目增加，也不执行生成内插移动图像v12的过程，因此能够抑制CPU和内存的开销。
根据实例3，能够迅速地获取相应于内插区域的内插移动图像v12。由于预先创建了内插移动图像v12，所以当再现设备200的用户指示一个内插区域时，例如，内插单元210可以根据所述指示迅速获取内插移动图像v12。换句话说，由于在内插移动图像生成单元120中无需生成内插移动图像v12的等待时间，所以，根据实例3，一个交互内插处理是可行的。
＜5.结论＞
如以上所描述的，根据本发明专利所述实施例的移动图像再现系统1能够通过使具有低图像质量的再现移动图像v10的一个部分图像具有高图像质量，增强用户的观看感受。
根据本发明专利所述实施例的移动图像再现系统1仅传输一个内插区域而不是传输具有高图像质量的整个移动图像。因此，可以通过使图像的一部分具有高图像质量同时抑制传输率以及使负载变低，增强用户的观看感受。
与其中通过分析一个单一移动图像执行针对高图像质量的运算操作的技术相比，在根据本发明专利所述实施例的移动图像再现系统1中，在再现设备200上不会产生针对高图像质量的运算操作所导致的负载，也无需针对高图像质量的专门的电路。另外，即使再现移动图像具有低图像质量和小信息量，也可以相应于根据相应于再现移动图像的高质量移动图像生成内插移动图像，因此不会影响针对高图像质量的再现设备200中所执行的内插处理。另外，与其中通过分析一个单一移动图像执行针对高图像质量的运算操作的技术相比，根据本发明专利所述实施例的移动图像再现系统1对作为与再现移动图像相分离的移动图像的内插移动图像进行编码，从而能够设置与再现移动图像相分离的内插移动图像的质量。根据本发明专利所述实施例的移动图像再现系统1不必针对再现设备200中所执行的针对高图像质量的运算操作对再现移动图像重新进行编码（成像创建）。
另外，根据本发明专利所述实施例的移动图像再现系统1能够在再现移动图像的传输期间有效地利用未占用的传输频带。当包括再现移动图像传输单元100的服务器提供了3种速率和图像尺寸的移动图像文件时，再现设备 200选择一个可用传输频带或者一个低于可用传输频带的频带的移动图像文件。在这样的情况下，传输频带中可能存在未用空间。根据本发明专利所述实施例的移动图像再现系统1利用足够的传输频带传输内插移动图像，从而能够使再现屏面中的一个重要的区域具有高图像质量。
而且，根据本发明专利所述实施例的移动图像再现系统1能够利用移动图像的分布商作为原始剪辑保存的高质量移动图像，并且能够降低高于传输整个高质量移动图像时的内插移动图像的传输率。另外，由于根据本发明专利所述实施例的移动图像再现系统1能够把内插移动图像的图像尺寸和编码率抑制在低水平，所以能够抑制内插处理侧的负载。
而且，根据本发明专利所述实施例的移动图像再现系统1还能够准备一组多个分别相应于一个再现移动图像的屏面中不同区域的内插移动图像。通过准备一组多个分别相应于一个再现移动图像的屏面中不同区域的内插移动图像，当一组多个再现设备在再现移动图像中内插不同区域时，可以传输所述多个再现设备所共享的再现移动图像，而且内插移动图像随每一再现设备的不同而不同。因此，优点在于：根据本发明专利所述实施例的移动图像再现系统1不必保存高图像质量的整个移动图像屏面，而且通过广播所述多个用于分布的再现设备所共享的再现移动图像，可以降低移动图像传输侧的移动图像数据的记录容量。另外，还具有另一个优点：通过广播所述多个用于分布的再现设备所共享的再现移动图像，根据本发明专利所述实施例的移动图像再现系统1能够提高传输效率。
通过采用以上所描述的实例1，根据本发明专利所述实施例的移动图像再现系统1能够把内插移动图像的编码率和传输率设置为所要求的最小程度，即通过设置其所要求的其中包括内插区域的最小图像尺寸进行这一设置。另外，通过设所要求的编码率和传输率，也可以缩减内插单元210所执行的内插处理（解码过程和针对帧图像的过程）。因此，通过采用以上所描述的实例1，根据本发明专利所述实施例的移动图像再现系统1可具有灵活的配置，其中，尽管仅存在一个硬件解码器，但能够这样地进行处理：把硬件解码器用于对再现移动图像进行解码，把软件解码器用于对内插移动图像进行解码。
通过采用以上所描述的实例1，根据本发明专利所述实施例的移动图像再现系统1能够把内插区域与内插移动图像一一关联，以有助于多个内插模式的组合。例如，当内插运动员A和运动员B时，可能需要一个用于内插运 动员A的内插移动图像A和一个用于内插运动员B的内插移动图像B，当内插运动员A和运动员C时，可能需要内插图像A和一个用于内插运动员C的内插移动图像C。
通过采用以上所描述的实例2，根据本发明专利所述实施例的移动图像再现系统1能够使多个内插区域的图像包括在一个内插移动图像屏面中。使多个内插区域的图像包括在一个内插移动图像屏面中，可以通过在内插处理期间由一个解码器对内插移动图像的解码，同时抽取多个内插区域的图像，即使存在所述多个内插区域，也不必针对每一个内插区域进行一次解码。另外，通过采用以上所描述的实例2，在根据本发明专利所述实施例的移动图像再现系统1中，内插移动图像的一次流化是可能的。而且，通过采用以上所描述的实例2，根据本发明专利所述实施例的移动图像再现系统1还能够按除矩形之外的形状表示内插区域。
另外，通过采用以上所描述的实例1和实例2，根据本发明专利所述实施例的移动图像再现系统1甚至是在实例1中也能够按除矩形之外的形状表示内插区域，并且可以减少内插移动图像编码之后内插移动图像的信息量。
通过采用以上所描述的实例3，在根据本发明专利所述实施例的移动图像再现系统1中，内插模式不会对一组内插移动图像（部分屏面的一组移动图像）产生影响，因此，能够在内插处理之前加以创建。在以上所描述的实例3中，只要不改变划分模式，内插移动图像的数目为固定的，不必针对每一个内插模式生成内插移动图像，而且可以仅创建内插信息。因此，通过采用以上所描述的实例3，在根据本发明专利所述实施例的移动图像再现系统1中即使内插模式的数目增加，也可以不增加内插移动图像传输单元130所保存的内插移动图像的数目，于是，抑制了移动图像文件存储区域的容量。
通过采用以上所描述的实例3，根据本发明专利所述实施例的移动图像再现系统1不必每次添加内插指令时都生成内插移动图像，因此，能够抑制分布移动图像的服务器的内存。通过采用以上所描述的实例3，根据本发明专利所述实施例的移动图像再现系统1预先创建内插移动图像，于是，如果创建一个新的内插模式（内插指令），则再现设备200迅速获取内插移动图像，并且执行内插组合。通过采用以上所描述的实例3，根据本发明专利所述实施例的移动图像再现系统1能够执行交互内插，因为无需等待内插移动图像生成单元120中生成内插移动图像的等待时间。
不必根据描述为序列图或者流程图的次序、按时间顺序执行本发明专利中所描述的各种装置所执行的处理过程中的相应步骤。例如，可以按与流程图中所描述的次序不同的次序执行各种装置所执行的处理过程中的相应步骤，也可以并行地执行这些步骤。
另外，可以创建一个计算机程序，使各种装置中的硬件（例如，CPU、ROM、以及RAM）实现等同于以上所描述的各种装置部分的功能。而且，还可以提供一个把这样的计算机程序存储在其上的存储媒体。另外，还可以通过配置作为硬件在功能结构图中所说明的各功能块，由硬件实现过程系列。
本领域技术人员将会意识到：可以依据设计要求和其它因素，对本发明进行多方面的修改、组合、子组合、以及变动，只要这些修改、组合、子组合、以及变动处于所附权利要求或者其等同要求的范围内即可。
另外，也可以将本技术配置如下。
（1）一种视频处理设备，包括：
图像生成单元，配置成生成第二移动图像，所述第二移动图像被配置为具有与具有第一图像质量的第一移动图像相同的内容、具有被配置为高于第一图像质量的质量的第二图像质量、并且具有相应于第一移动图像的部分区域的尺寸；以及
再现信息生成单元，配置成生成再现信息，所述再现信息被配置为在第一移动图像的一部分被替换为第二移动图像之后被用于同时再现第一移动图像和第二移动图像。
（2）根据（1）所述的视频处理设备，其中，图像生成单元根据再现信息生成单元所生成的再现信息决定第二移动图像的一个区域。
（3）根据（2）所述的视频处理设备，其中，在同时再现第一移动图像和第二移动图像的期间，图像生成单元为被配置为包括所决定区域的像素组以第二图像质量生成具有与所决定区域的移动图像相同内容的移动图像。
（4）根据（2）所述的视频处理设备，其中，图像生成单元以第二图像质量生成具有与所决定区域的移动图像相同内容的移动图像，并且为所决定区域之外的区域生成无效像素。
（5）根据（4）所述的视频处理设备，其中，在同时再现第一移动图像和第二移动图像期间，图像生成单元为被配置成包括所决定区域的像素组以用于所决定区域的第二图像质量生成具有与所决定区域的移动图像相同内容 的移动图像，并且为所决定区域之外的区域生成无效像素。
（6）根据（2）所述的视频处理设备，其中，图像生成单元为被划分成作为所决定区域的多个区域的块中的预定块以第二图像质量生成具有与所决定区域的移动图像相同内容的移动图像。
（7）根据（1）-（6）任何之一所述的视频处理设备，图像生成单元为其中在第一移动图像的再现期间第一移动图像的内容的识别被增强的区域生成第二移动图像。
（8）根据（7）所述的视频处理设备，所述区域为第一移动图像中的区域，该区域包括人的面貌。
（9）根据（7）或者（8）所述的视频处理设备，所述区域为第一移动图像中的区域，该区域显示文本信息。
（10）根据（1）-（9）所述的视频处理设备，其中，图像生成单元基于再现信息，根据其配置成用作第二移动图像的基础的第三移动图像自动地生成第二移动图像。
（11）一种视频再现设备，包括：
图像获取单元，配置成获取第一移动图像、第二移动图像以及再现信息，所述第一移动图像被配置为具有第一图像质量，所述第二移动图像被配置为具有与第一移动图像相同的内容、具有被配置为比第一图像质量高的质量的第二图像质量、并且具有与第一移动图像的部分区域对应的尺寸，并且所述再现信息用于在第一移动图像的一部分被第二移动图像替换之后同时再现第一移动图像和第二移动图像；以及
图像组合单元，被配置为基于图像获取单元所获取的再现信息在第一移动图像的一部分被第二移动图像替换之后致使第一移动图像和第二移动图像同时再现。
（12）根据（11）所述的视频再现设备，其中，图像组合单元包括图像抽取单元，所述图像抽取单元的配置成从第二移动图像抽取将被第一移动图像的一部分替代的区域。
（13）根据（12）所述的视频再现设备，其中，图像组合单元获取再现信息和第二移动图像，再现信息包括关于图像抽取单元所抽取的区域的信息。
（14）根据（11）-（13）任何之一所述的视频再现设备，图像获取单元从与被配置成传输第二移动图像的设备不同的设备获取第一移动图像。
（15）根据（11）-（13）任何之一所述的视频再现设备，图像获取单元从与被配置成传输第二移动图像的设备相同的设备获取第一移动图像。
（16）一种视频处理方法，包括：
生成第二移动图像，所述第二移动图像被配置为具有与具有第一图像质量的第一移动图像相同的内容、具有被配置为比第一图像质量高的质量的第二图像质量、并且具有与第一移动图像的部分区域对应的尺寸；以及
成生成再现信息，所述再现信息在第一移动图像的一部分被替换为第二移动图像之后被用于同时再现第一移动图像和第二移动图像。
（17）一种视频再现方法，包括：
获取第一移动图像、第二移动图像以及再现信息，所述第一移动图像被配置为具有第一图像质量，所述第二移动图像被配置为具有与第一移动图像相同的内容、具有被配置为比第一图像质量高的质量的第二图像质量、并且具有与第一移动图像的部分区域对应的尺寸，并且所述再现信息用于在第一移动图像的一部分被第二移动图像替换之后同时再现第一移动图像和第二移动图像；以及
基于获取步骤所获取的再现信息在第一移动图像的一部分被第二移动图像替换之后致使第一移动图像和第二移动图像同时再现。
（18）一种视频处理系统，包括：
视频处理设备；以及
视频再现设备，
其中，视频处理设备包括：
图像生成单元，配置成生成第二移动图像，所述第二移动图像被配置为具有与具有第一图像质量的第一移动图像相同的内容、具有被配置为高于第一图像质量的质量的第二图像质量、并且具有相应于第一移动图像的部分区域的尺寸；以及
再现信息生成单元，配置成生成再现信息，所述再现信息被配置为在第一移动图像的一部分被替换为第二移动图像之后被用于同时再现第一移动图像和第二移动图像，以及
其中，视频再现设备包括：
图像获取单元，配置成从视频处理设备至少获取第二移动图像和再现信息，以及
图像再现单元，被配置为基于图像获取单元所获取的再现信息在第一移动图像的一部分被第二移动图像替换之后同时再现第一移动图像和第二移动图像。
本申请要求2013年3月18日提出的日本优先专利申请JP2013-054995的权益，特将其全部内容并入此处，以作参考。