图像处理装置、图像处理方法和计算机程序.pdf

提供了图像处理装置和图像处理方法。该图像处理装置包括：组合单元，配置为对多个内容项的每一个获取其中由不同的画面配置编码相同的内容项的多个流的任一个，并在解码所述流之前组合所获取的流；以及流选择单元，配置为获取关于所述流的每一个的画面配置的信息，并使用获取的关于所述画面配置的信息，以由所述组合单元组合的流的每一个的画面配置都相同的方式，从所述多个流中选择关于所述内容项的每一个的流。

权利要求书1.  一种图像处理装置，包括组合单元，配置为对多个内容项的每一个获取其中由不同的画面配置编码相同的内容项的多个流的任一个，并配置为在解码所述流之前组合所获取的流；以及流选择单元，配置为获取关于所述流的每一个的画面配置的信息，并使用所获取的关于画面配置的信息，以由所述组合单元组合的流的每一个的画面配置都相同的方式，从所述多个流中选择关于所述内容项的每一个的流。2.  根据权利要求1所述的图像处理装置，其中，所述流选择单元依据通过其发送所述流的每一个的网络的状态来选择流。3.  根据权利要求2所述的图像处理装置，进一步包括：状况检测单元，配置为检测所述网络的状况中的改变，其中，所述流选择单元依据由所述状况检测单元检测到的改变来决定画面组的适当配置。4.  根据权利要求3所述的图像处理装置，其中，所述状况检测单元计算与通过所述网络分发的流的包丢失有关的信息，并且其中，所述流选择单元使用由所述状况检测单元计算出的信息决定所述画面组的适当配置。5.  根据权利要求3所述的图像处理装置，进一步包括：速率决定单元，配置为依据由所述状况检测单元进行的检测的结果决定所述流的获取速率，其中，所述速率决定单元以同步重现的流的画面配置相同的方式来决定获取速率。6.  根据权利要求1所述的图像处理装置，其中所述流选择单元从发送所述内容项的各个装置获取关于所述画面配置的信息。7.  根据权利要求6所述的图像处理装置，其中，当所述内容项的一个具有关于其他内容项不具有的画面配置的信息时，所述流选择单元从获取的关于画面配置的信息移除关于该画面配置的信息。8.  根据权利要求6所述的图像处理装置，其中，所述流选择单元从发送 内容项的各个装置获取关于画面配置的范围的信息，所述各个装置可以提供该画面配置的范围作为关于画面配置的信息。9.  一种图像处理方法，包括：对多个内容项的每一个获取其中在不同的条件下编码相同的内容项的多个流的任一个，并在解码流之前组合所获取的流；以及获取关于所述流的每一个的画面配置的信息，并使用所获取的关于画面配置的信息，以由组合步骤组合的流的每一个的画面配置都相同的方式，从所述多个流中选择关于所述内容项的每一个的流。10.  一种使得计算机执行以下的计算机程序：对多个内容项的每一个获取其中在不同的条件下编码相同的内容项的多个流的任一个，并在解码所述流之前组合所获取的流；以及获取关于所述流的每一个的画面配置的信息，并使用所获取的关于画面配置的信息，以由组合步骤组合的流的每一个的画面配置都相同的方式，从所述多个流中选择关于所述内容项的每一个的流。

说明书图像处理装置、图像处理方法和计算机程序
相关申请的交叉引用
本申请要求于2013年3月26日提交的日本优先权专利申请JP2013-064015号的权益，将其全部内容通过引用的方式合并于此。
背景技术
本公开涉及图像处理装置、图像处理方法和计算机程序。
由于已经发展了内容的数字化以及使能图像传输的基础设施，所以图像越来越普遍地通过网络分发。近年来，除了个人计算机之外，可与网络连接的越来越多的电视接收器已被用做接收器装置。因此，正变得可以在电视接收器上观看所分发的运动图像内容。
此外，近年来已经发展了云服务，使得已经通过网络向观众提供包括私人内容的各种信道。因此，对于多图像再现系统存在越来越多的需求，该多图像再现系统使能多个运动图像内容项的同步观看和运动图像内容项的容易取回以便观看。
存在如下系统：使用编码流信息进行多屏幕合成，以实现多个运动图像内容项的同步观看。在没有由客户端进行的复杂编码处理的情况下，将通过由服务器压缩而保存的多个编码流信息项转换为一个编码流信息项。使用编码流信息的多屏幕合成可以减少服务器进行的处理的负载、要使用的网络频带和由客户端进行的处理的负载。
发明内容
在进行上述使用编码流信息的多屏幕合成的技术中，要求如下假设：画面组（GOP）的配置在全部流中都相同。对于现有技术，不存在在保存客户端接收到的全部内容项中的相同GOP配置的同时改变GOP配置的机构。鉴于以上状况，一直要求在保存全部内容项中的相同GOP配置的同时改变GOP配置的技术。
因此，本公开的一个或多个实施例提供了图像处理装置、图像处理方法 和计算机程序，它们是新颖的和改进的，并且可以当使用编码流信息进行多屏幕合成时，在保存全部内容项中的相同GOP配置的同时改变GOP配置。
根据本公开的实施例，提供了包括以下的图像处理装置：组合单元，配置为对多个内容项的每一个获取多个流的任一个（其中以不同条件编码相同的内容项）并在解码该流之前组合所获取的流，以及流选择单元，配置为获取关于每一个流的画面配置的信息，并且使用所获取的关于画面配置的信息，以由组合单元组合的每一个流的画面配置都相同的方式，从多个流中选择关于每一个内容项的流。
根据本公开的另一实施例，提供了包括如下的图像处理方法：对多个内容项的每一个获取多个流的任一个（其中以不同条件编码相同的内容项）并在解码该流之前组合所获取的流，并且获取关于每一个流的画面配置的信息，并使用所获取的关于画面配置的信息，以由组合单元组合的每一个流的画面配置都相同的方式，从多个流中选择关于每一个内容项的流。
根据本公开的另一实施例，提供了使得计算机执行以下的计算机程序：对多个内容项的每一个获取多个流的任一个（其中以不同条件编码相同的内容项）并在解码该流之前组合所获取的流，并且获取关于流的每一个的画面配置的信息，并使用所获取的关于画面配置的信息，以由组合单元组合的每一个流的画面配置都相同的方式，从多个流中选择关于每一个内容项的流。
如上所述，根据本公开的一个或多个实施例，可以提供图像处理装置、图像处理方法和计算机程序，它们是新颖和改进的，并且可以当使用编码流信息进行多屏幕合成时，在保存全部内容项中的相同GOP配置的同时改变GOP配置。
附图标记
图1示出了根据本公开的实施例的图像处理系统1的整体配置示例；
图2示出了根据本公开的实施例的运动图像内容服务器2和3的功能配置示例；
图3示出了根据本公开的实施例的运动图像内容服务器2和3的功能配置示例；
图4示出了根据本公开的实施例的客户终端100的功能配置示例；
图5示出了流组合单元105中组合多个编码流的处理；
图6示出了流组合单元105中组合多个编码流的处理；
图7示出了已经在流组合单元105中组合的多个编码流的状态；
图8是示出根据本公开的实施例的客户终端100的操作示例的流程图；
图9A是示出根据本公开的实施例的客户终端100的操作示例的流程图；
图9B是示出根据本公开的实施例的客户终端100的操作示例的流程图；
图10A是示出根据本公开的实施例的客户终端100的操作示例的流程图；
图10B是示出根据本公开的实施例的客户终端100的操作示例的流程图；
图11A示出了客户终端100从运动图像内容服务器2和3获取的内容信息列表的示例；
图11B示出了从介质呈现描述（MPD）文件提取的部分；
图12示出了对于全部运动图像内容项共同的GOP配置的列表；
图13示出了在其他内容项中不存在的GOP配置的内容信息列表；
图14示出了内容获取列表c11的示例；
图15示出了内容获取列表c12的示例；
图16示出了内容获取列表c13的示例；
图17示出了内容获取列表c14的示例；
图18示出了传输状态确定单元108的配置示例；
图19示出了GOP配置信息决定单元109的配置示例；
图20示出了各个优先级的请求值与对于全部运动图像内容项共同的GOP配置对应的示例；
图21示出了GOP配置信息决定单元109的配置示例；并且
图22示出了速率信息决定单元110的配置示例。
具体实施方式
以下，本公开的优选实施例将参考附图详细描述。注意，在本说明书和附图中，具有基本相同功能和结构的结构元件用相同的附图标记表示，并省略这些结构元件的重复说明。
注意，将以如下顺序做出描述。
<1.本公开的实施例>
[整体配置示例]
[运动图像内容服务器的功能配置示例]
[客户终端的功能配置示例]
[客户终端的操作示例]
<2.结论>
<1.本公开的实施例>
[整体配置示例]
首先，将参考附图描述根据本公开的实施例的系统的整体配置示例。图1示出了根据本公开实施例的图像处理系统1的整体配置示例。将参考图1在以下描述根据本公开实施例的图像处理系统1的整体配置示例。
图1中所示的图像处理系统1具有这样的配置：其中，客户终端100通过诸如因特网之类的网络10从多个运动图像内容服务器2和3接收编码流信息，并且客户终端100组合多个运动图像内容项并同时重现所组合的运动图像内容项。
运动图像内容服务器2和3均保存转换为编码流的运动图像内容，将运动图像内容转换为编码流，并依据来自客户终端100的请求将编码流发送到客户终端100。在此实施例中，运动图像内容服务器2保存运动图像内容项A和运动图像内容项B。运动图像内容项A和B均可以为实时拍摄的运动图像内容项或已经预先拍摄的运动图像内容项。此外，运动图像内容服务器3保存运动图像内容项C和运动图像内容项D。运动图像内容项C和D均可以为实时拍摄的运动图像内容项或已经预先拍摄的运动图像内容项。无需多言，运动图像内容服务器所保存的运动图像内容项的种类和数量不限于以上示例。
例如，由H.264/高级视频编码（AVC）方案编码本实施例中的编码流。
客户终端100通过诸如因特网之类的网络10从运动图像内容服务器2和3接收多个编码流，组合多个编码流，并解码所组合的编码流。通过在合成之后解码多个编码流，客户终端100可以同时重现多个运动图像内容项。注意，可以由客户终端100执行或由具有显示屏幕并且有线或无线地连接到客户终端100的另一装置执行多个运动图像内容项的同时重现。
由客户终端100接收、组合并重现的运动图像内容项的每一个均假定为具有N个画面组（GOP）。运动图像内容项中的相同GOP使得客户终端100 能够组合多个编码流并解码所组合的编码流。
然而，同时，客户终端100可能无法组合具有不同GOP配置（即，形成包括至少一个I画面的画面集的不同数量的画面（画面配置））的运动图像内容项。
在现有技术中使用的AVC编码流信息中，可以任意地决定内容的GOP配置。此外，在很多情况中，由提供内容的服务器预先决定GOP配置。可以在这种环境中用来选择GOP配置的参考技术包括HTTP适配流化方案和MPEG-DASH(ISO/IEC23009-1)。这些技术使得能够依据客户端所需的内容的分辨率（尺寸）和网络的可用带宽来选择从服务器获取的内容。
通过使用这些技术，在技术上易于增加以与分辨率和内容速率的选择相同的方式选择GOP配置的配置。然而，现有技术不具有选择具有相同GOP配置的内容的任何机构，而具有相同GOP配置的内容是进行其中组合多个编码流然后解码所组合的编码流的多屏幕合成的条件。
在一些情况下，通过改变从服务器接收到的运动图像内容的GOP配置，客户端可以以最合适的状态重现运动图像内容。然而，当进行其中组合多个编码流然后解码所组合的编码流的多屏幕合成时，不易于改变运动图像内容的GOP配置。
在AVC编码流信息中，当考虑内容的可压缩性、在包丢失时在解码器中到再现的修复的时间、运动图像内容的切换速度等时，存在最适合各个状况的GOP配置。
例如，当缩短运动图像内容的GOP配置时，IDP画面的间隔被缩短。当IDP画面的间隔被缩短时，运动图像内容所消耗的网络频带增加。同时，在运动图像内容的GOP配置被缩短的情况下，当客户端在运动图像内容被切换到其他运动图像内容时重现运动图像内容的同时，切换时间可以缩短，因为IDP画面的间隔很短。
此外，在包丢失影响解码器的环境中（诸如UDP用做网络传送的情况），通过缩短GOP配置，变得可以在出现包丢失之后在短时间内重新开始重现图像。
相反，当拉长运动图像内容的GOP配置时，IDP画面的间隔被拉长。当IDP画面的间隔被拉长时，运动图像内容的编码效率增加。因此，当可用频带相同时，客户端可以以优选方式重现具有更长的GOP配置的运动图像 内容。
根据本公开的实施例的图像处理系统1可以在当使用编码流信息进行多屏幕合成时保存全部内容项中相同的GOP配置（画面配置）的同时改变GOP配置。
参考图1已经在上面描述了根据本公开的实施例的图像处理系统1的整体配置示例。接着，将描述根据本公开的实施例的运动图像内容服务器2和3的功能配置示例。
[运动图像内容服务器的功能配置示例]
如上所述，根据本公开的实施例的运动图像内容服务器2和3均可以保存实时运动图像内容和累积运动图像内容的任一个。因此，将描述在分发实时运动图像内容的情况和分发累积运动图像内容的情况下根据本公开的实施例的运动图像内容服务器2和3的功能配置示例。
图2示出了根据本公开的实施例的运动图像内容服务器2和3的功能配置示例。图2示出了当分发实时运动图像内容时运动图像内容服务器2和3的功能配置示例。
如图2所示，根据本公开的实施例的运动图像内容服务器2和3均包括控制单元11、已处理的编码流累积单元12、编码流发送单元15以及网络发送和接收单元16。
控制单元11控制运动图像内容服务器2和3中的每一个元件的操作。已处理的编码流累积单元12预先记录运动图像内容并累积所记录的编码流。在已处理的编码流累积单元12中累积的运动图像内容的所记录的编码流在控制单元11的控制下发送到编码流发送单元15。
在相同的片段中，使用H.264/AVC方案的编码流具有与基于上下文的自适应二进制算术编码（CABAC）、内部宏块（MB）预测、运动向量预测等的依赖关系。从顶部起在每一条水平线上进行编码，并在每一条水平线上从左侧进行编码。
已处理的编码流累积单元12累积运动图像内容的编码流的宏块，该宏块布置在水平方向上并作为相同片段记录。通过记录作为相同片段在水平方向上布置的宏块，在垂直方向上具有不同位置的各宏块之间的依赖关系在每一个运动图像内容项中消失。因而，即使当宏块的编码顺序不同时，通过在客户终端100中组合多个运动图像内容的编码流，经历了解码的多画面重现 图像变得与原始运动图像内容的图像相同。
编码流发送单元15使得网络发送和接收单元16在控制单元11的控制下，使用诸如传输控制协议（TCP）或实时传输协议（RTP）之类的协议发送在已处理的编码流累积单元12中累积的运动图像内容的编码流。
网络发送和接收单元16从网络10接收数据并向网络10发送数据。在此实施例中，网络发送和接收单元16在控制单元11的控制下，接收从编码流发送单元15发送的运动图像内容的编码流，并向网络10发送编码流。
图3示出了根据本公开的实施例的运动图像内容服务器2和3的功能配置示例。图3示出了例如当分发累积的运动图像内容时运动图像内容服务器2和3的功能配置示例。
如图3所示，根据本公开的实施例的运动图像内容服务器2和3均包括控制单元11、待处理的编码流累积单元13、编码流转换单元14、编码流发送单元15以及网络发送和接收单元16。
控制单元11控制运动图像内容服务器2和3中的每一个元件的操作。待处理的编码流累积单元13累积未经历上述记录的运动图像内容的编码流。在待处理的编码流累积单元13中累积的运动图像内容的编码流在控制单元11的控制下被发送到编码流转换单元14。
编码流转换单元14在控制单元11的控制下对运动图像内容的编码流进行上述记录。在记录运动图像内容的编码流之后，编码流转换单元14在控制单元11的控制下将运动图像内容的所记录的编码流发送到编码流发送单元15。
编码流发送单元15使得网络发送和接收单元16在控制单元11的控制下，使用诸如TCP或RTP之类的协议发送从编码流转换单元14发送的运动图像内容的编码流。网络发送和接收单元16从网络10接收数据并向网络10发送数据。在此实施例中，网络发送和接收单元16在控制单元11的控制下，接收从编码流发送单元15发送的运动图像内容的编码流，并向网络10发送接收到的编码流。
利用图2或图3中所示的配置，根据本公开实施例的运动图像内容服务器2和3可以向客户终端100发送适于客户终端100中的多个编码流的合成的编码流。
根据本公开实施例的运动图像内容服务器2和3可以保存关于相同的运 动图像内容在不同条件下编码的文件。即，根据本公开实施例的运动图像内容服务器2和3可以保存关于相同的运动图像内容具有不同分辨率、编码速率和GOP配置的文件。此外，根据本公开实施例的运动图像内容服务器2和3依据从客户终端100请求的条件或网络10的状态，从在不同条件下编码的文件之中选择一个文件，并流化分发该文件到客户终端100。
已经参考图2和图3描述了根据本公开实施例的运动图像内容服务器2和3的功能配置示例。接着，将描述根据本公开实施例的客户终端100的功能配置示例。
[客户端的功能配置示例]
图4示出了根据本公开实施例的客户终端100的功能配置示例。图4示出了具有用于简单组合并重现从运动图像内容服务器2和3发送的编码流的配置的客户终端100的示例。将参考图4在以下描述根据本公开实施例的客户终端100的功能配置示例。
如图4所示，根据本公开实施例的客户终端100包括控制单元101、网络发送和接收单元102、编码流分类单元103、内容缓存单元104a、104b、104c、...、104n、流组合单元105、AVC解码单元106、应用单元107、传输状态确定单元108、GOP配置信息决定单元109以及速率信息决定单元110。
控制单元101控制客户终端100中每一个元件的操作。网络发送和接收单元102在控制单元101的控制下从网络10接收数据并向网络10发送数据。在此实施例中，网络发送和接收单元102接收从运动图像内容服务器2和3发送的编码流。网络发送和接收单元102依据控制单元101的控制向编码流分类单元103输出接收到的编码流。因为网络发送和接收单元102可以同时地接收多个编码流，所以当接收多个编码流时，由后级的编码流分类单元103分类该多个编码流。
在运动图像内容单元中，编码流分类单元103分类网络发送和接收单元102已经接收到的编码流。如上所述，因为网络发送和接收单元102可以同时地接收多个编码流，所以当接收多个编码流时，编码流分类单元103分类运动图像内容单元中的多个编码流。例如，编码流分类单元103可以通过参考用于识别在接收到的编码流中包含的内容的信息而在运动图像内容单元中分类编码流。在分类运动图像内容单元中的编码流之后，编码流分类单元103向运动图像内容单元中的内容缓存单元104a、104b、104c、...、104n输 出所分类的编码流。
在运动图像内容单元中，内容缓存单元104a、104b、104c、...、104n均在运动图像内容单元中保存由编码流分类单元103分类的编码流。在运动图像内容单元中的各个内容缓存单元104a、104b、104c、...、104n中保存的编码流被输出到流组合单元105。
流组合单元105在控制单元101的控制下提取并组合在内容缓存单元104a、104b、104c、...、104n的每一个中在运动图像内容单元中保存的编码流。流组合单元105复写多个运动图像内容项的编码流的片段头部以组合多个编码流为一个。在组合多个编码流为一个之后，流组合单元105输出所组合的编码流到AVC解码单元106。
将描述流组合单元105中的合成处理的示例。流组合单元105从多个运动图像内容项的编码流中识别片段的网络抽象层（NAL）单元的数据长度I和片段的宏块的数量sx。然后，基于重现图像中数据长度I、宏块的数量sx以及多个运动图像内容项的布置，流组合单元105复写多个运动图像内容项的编码流的片段头部。
此外，流组合单元105从内容缓存单元104a、104b、104c、...、104n提供的多个运动图像内容项的每一个编码流中包括的画面参数集（PPS）的NAL单元中，获取代表可逆编码系统的可逆编码系统标志。这里，可逆编码系统的示例包括上下文自适应可变长度编码（CAVLC）和上下文自适应二进制算术编码（CABAC）。此外，可逆编码系统标志在代表CABAC时是1，而在代表CAVLC时是0。
基于可逆编码系统标志，流组合单元105针对其片段头部被复写的多个运动图像内容项的每一个编码流的片段数据进行预定处理。进一步，基于在重现图像中的多个运动图像内容项的布置，流组合单元105将包括已经经历了上述预定处理的片段数据的运动图像内容项的编码流和所复写的片段头部组合，由此生成用于重现多个运动图像内容项作为一个图像的重现图像的编码流。
AVC解码单元106在控制单元101的控制下解码已经由流组合单元105组合为一个的编码流。通过解码已经由流组合单元105组合为一个的编码流，AVC解码单元106可以生成并输出用于重现多个运动图像内容项为一个图像的重现图像。AVC解码单元106输出所解码的数据到应用单元107。
这里，将具体描述在流组合单元105中组合多个编码流的处理。图5示出了在流组合单元105中组合多个编码流的处理。图5示出了组合4个运动图像内容项运动图像内容项A到D的编码流的处理。图5示出了这样的示例：其中，流组合单元105组合运动图像内容项A的画面号PN为i的画面、运动图像内容项B的画面号PN为j的画面、运动图像内容项C的画面号PN为k的画面以及运动图像内容项D的画面号PN为l的画面。
由流组合单元105组合4个运动图像内容项A到D的编码流，随后从流组合单元105输出编码流作为完成了片段合成的一个画面。已经变为一个画面的编码流由AVC解码单元106解码，以作为各个运动图像内容项A到D的像素组从AVC解码单元106输出。
图6示出了在流组合单元105中组合多个编码流的处理。图6还示出了内容缓存单元104a、104b、104c和104d。当组合多个编码流时，流组合单元105布置所有编码流的GOP配置。即，如图6所示，进行合成以使得合成单元中的各画面是同样种类的画面（IDR画面或非IDR画面）。
图7示出了在流组合单元105中组合的多个编码流的状态。在流组合单元105中的画面单元中组合（片段组合）了4个运动图像内容项A到D的编码流之后，如图7所示，所组合的编码流从画面单元中的流组合单元105输出并发送到AVC解码单元106。
通过布置各种画面并以此方式解码从流组合单元105发送的所组合的编码流，AVC解码单元106可以生成具有各个运动图像内容项A到D的像素组的图像。
应用单元107执行由客户终端100执行的应用。应用单元107获取从AVC解码单元106输出的数据。应用单元107随后在控制单元101的控制下可以在显示屏幕上显示通过解码获得的图像，或传输图像到具有显示屏幕的另一装置。
传输状态确定单元108确定从运动图像内容服务器2和3到客户终端100的运动图像内容项的传输状态。传输状态确定单元108用作根据本公开实施例的状况检测单元的示例。具体地，传输状态确定单元108通过测量到内容缓存单元104a、104b、104c、...、104n的包丢失率或流入率来确定传输状态。在确定了从运动图像内容服务器2和3到客户终端100的运动图像内容项的传输状态之后，传输状态确定单元108发送确定结果到控制单元101。 传输状态确定单元108的详细配置将稍后描述。
GOP配置信息决定单元109决定GOP配置，以使得GOP配置在从运动图像内容服务器2和3分发并被流组合单元105组合的所有运动图像内容中变为相同。GOP配置信息决定单元109用作根据本公开实施例的流选择单元的示例。例如，基于客户终端100的用户设定的设置或传输状态确定单元108确定的传输状态，GOP配置信息决定单元109可以决定GOP配置以使得GOP配置在所有运动图像内容项中变为相同。此外，GOP配置信息决定单元109可以使用关于GOP配置的信息（由速率信息决定单元110决定的运动图像内容的分发速率准备）来决定GOP配置，而这将稍后描述。GOP配置信息决定单元109向控制单元101发送关于GOP配置的决定信息。将稍后描述GOP配置信息决定单元109的详细配置。
速率信息决定单元110决定从运动图像内容服务器2和3分发的运动图像内容项的分发速率。速率信息决定单元110基于客户终端100的用户设定的设置或传输状态确定单元108确定的传输状态，决定从运动图像内容服务器2和3分发的运动图像内容项的分发速率。速率信息决定单元110向控制单元101发送关于运动图像内容项的决定分发速率的信息。将稍后描述速率信息决定单元110的详细配置。
图18示出了传输状态确定单元108的配置示例。如图18所示，传输状态确定单元108包括包丢失测量单元111和流入速度测量单元112。
包丢失测量单元111计算流入内容缓存单元104a、104b、104c、...、104n的数据的丢失率，并且以百分比输出关于每一个缓存的包丢失率的信息。流入速度测量单元112计算流入内容缓存单元104a、104b、104c、...、104n的数据的流入速率，并且以bps为单位输出关于到每一个缓存的流入速率的信息。
利用图4所示的配置，根据本公开实施例的客户终端100可以在使用编码流信息进行多屏幕合成时在保存所有内容项中相同的GOP配置的同时改变GOP配置。
已经在上面描述了根据本公开实施例的客户终端100的功能配置示例。接着，将描述根据本公开实施例的已经在上面描述了100的操作示例。
[客户终端的操作示例]
图8到图10B均为示出根据本公开实施例的客户终端100的操作示例的 流程图。图8到图10B示出了客户终端100从运动图像内容服务器2和3接收多个编码流、组合画面并编码所组合画面，由此同时重现多个运动图像内容项的处理。此外，图8到图10B示出了当同时重现多个运动图像内容项时改变GOP配置的处理。将在以下参考图8到图10B描述根据本公开实施例的客户终端100的操作示例。
当从运动图像内容服务器2和3接收多个编码流时，客户终端100获取由运动图像内容服务器2和3保存的内容项的信息作为内容信息列表（步骤S101）。
图11A示出客户终端100从运动图像内容服务器2和3获取的内容信息列表的示例。图11A示出了对四个内容项A、B、C和D描述分辨率信息、速率信息、GOP配置信息以及内容URL的内容信息列表的示例。
将内容项A作为示例，内容信息列表示出准备了具有640宽×480高的分辨率、1Mbps或2Mbps速率和30、100、120和300的任一个的GOP配置的文件。
图11A中示出的内容信息列表还可以通过使用HTTP自适应流化方案、MPEG-DASH（ISO/IEC23009-1）技术上示出同样的对象。
图11B示出了从介质呈现描述（MPD）文件提取的部分，该文件在使用MPEG-DASH(ISO/IEC23009-1)时管理分发的内容项的对象。图11B示出了从MPD文件提取的部分，其中，描述了运动图像的压缩方案、图像尺寸、编码速率、GOP配置和储存文件的地方。
运动图像内容服务器2和3均预先保存如图11B所示做出描述的MPD文件。当客户终端100请求运动图像内容项的分发时，运动图像内容服务器2和3向客户终端100提供其中如图11B所示做出描述的MPD文件。客户终端100从运动图像内容服务器2和3获取其中如图11B所示做出描述的MPD文件，由此获取关于运动图像内容项的运动图像的压缩方案、图像尺寸、编码速率、GOP配置和储存文件的地方的信息。然后，客户终端100获取MPD文件，并且GOP配置信息决定单元109可以决定要被流组合单元105组合的全部运动图像内容项中相同的GOP配置。
尽管在此实施例中，运动图像内容服务器2和3保存具有预定GOP配置的运动图像内容项，但是本发明不限于此示例。例如，当GOP配置仅是50或200并且客户终端100请求具有100的GOP配置的运动图像内容项时， 运动图像内容服务器2和3可以转换所准备的运动图像内容的GOP配置并动态地生成具有100的GOP配置的运动图像内容项。运动图像内容服务器2和3可以向客户终端100提供描述了可以提供的GOP配置的范围的GOP配置信息。
在步骤S101中获取由运动图像内容服务器2和3保存的内容信息作为内容信息列表之后，客户终端100参考所获取的内容信息列表并决定对全部运动图像内容项相同的GOP配置（步骤S102）。
例如，当从运动图像内容服务器2和3获取图11A所示的内容信息列表时，客户终端100可以例如利用GOP配置信息决定单元109获取三个GOP配置（30、100和300）对内容项A到D共同的信息。图12示出当获取如图11A所示的内容信息列表时对运动图像内容项A到D共同的GOP配置的列表。GOP配置信息决定单元109可以根据内容信息列表生成图12所示的GOP配置信息列表811，其示出对全部内容项共同的GOP配置。
客户终端100可以从内容信息列表移除关于在其他内容项中不存在的GOP配置的信息。图13示出在其他内容项中不存在的、GOP配置的内容信息列表。因为图13中所示的GOP配置均不存在于其他内容项中，所以GOP配置难以在改变GOP配置的后续处理中使用。因而，客户终端100可以从内容信息列表移除图13所示的信息。
在步骤S102中决定对全部运动图像内容项共同的GOP配置之后，客户终端100依据用户偏好或应用的指示来选择共同的GOP配置之一作为初始GOP配置。
图19示出了GOP配置信息决定单元109的配置示例。图19中示出的GOP配置信息决定单元109具有使用简单的索引从对全部运动图像内容项共同的GOP配置中选择一个GOP配置的机构，以便具有在切换内容项的速度上或从诸如包丢失之类的错误状态中立即修复的优先级。
图19所示的GOP配置信息决定单元109包括GOP配置信息对应表121。GOP配置信息对应表121储存图12所示的GOP配置信息列表811，示出了对全部内容项共同的GOP配置。GOP配置信息对应表121与关于图19所示的每一个优先级的请求值关联地存储GOP配置信息列表811。
图20示出关于图19所示的各个优先级的请求值对应于对全部运动图像内容项共同的GOP配置的示例。图20所示的示例示出了做出映射以使得当 请求值在0和33之间时GOP配置是300，当请求值在34和66之间时GOP配置是100，并且当请求值在67和100之间时GOP配置是30。无需多言，关于各个优先级的请求值和对全部运动图像内容项共同的GOP配置之间的对应关系不限于此示例。
例如，当客户终端100的用户指定100作为切换内容项的优先级以便于立即切换内容项时，GOP配置信息决定单元109由于100作为优先级的指定可以决定30作为GOP配置。此外，当使用关于从错误立即修复的优先级的另一标准时，GOP配置信息决定单元109还可以以类似方式决定GOP配置。
关于切换内容项的优先级可以通过由应用单元107执行的应用指定。此外，关于切换内容项的优先级可以随着时间降低。
关于从错误修复的优先级可以通过由应用单元107执行的应用指定。此外，关于从错误修复的优先级可以基于内容缓存单元104a、104b、104c、...、104n的各个包丢失率来决定。
图21示出了GOP配置信息决定单元109的配置示例。图21示出了用于基于由传输状态确定单元108测量的内容缓存单元104a、104b、104c、...、104n的各个包丢失率输出关于从错误修复的优先级的GOP配置信息决定单元109的配置示例。
如图21所示，GOP配置信息决定单元109包括GOP改变确定单元122。GOP改变确定单元122接收由传输状态确定单元108测量的内容缓存单元104a、104b、104c、...、104n的各个包丢失率，并且基于所接收的包丢失率决定0到100之间的值作为关于从错误修复的优先级。
例如，GOP改变确定单元122接收内容缓存单元104a、104b、104c、...、104n的各个包丢失率，并且进一步接收平均比特率或一个HTTP直播流（HLS）片段以决定0与100之间的值作为关于从错误修复的优先级。
在决定初始GOP配置之后，客户终端100执行用于改变GOP配置的初始设置。在图8所示的示例中，客户终端100设置包丢失率的阈值作为改变GOP配置的索引（步骤S103）。包丢失率的阈值是用于增加或减少GOP配置的阈值。客户终端100可以指定两个包丢失率的阈值。通过指定两个包丢失率的阈值，客户终端100可以具有关于增加或减少GOP配置的滞后（hysteresis）。
在设置（多个）包丢失率的（多个）阈值作为改变GOP配置的索引之 后，客户终端100在获取各个运动图像内容项时决定在初始阶段的内容速率（步骤S104）。速率信息决定单元110可以在步骤S104决定内容速率。在可用网络频带未知的阶段，如在获取各个运动图像内容项时的初始阶段那样，在很多情况中适宜于选择最低值作为初始内容速率。
图11A所示的内容信息列表用于步骤S101到S104中的处理。客户终端100也对后续处理使用图11A中所示的内容信息列表。
在获取各个运动图像内容项时决定在初始阶段的内容速率之后，客户终端100创建对每一个内容项指定的初始内容获取列表（步骤S105）。例如，控制单元101可以创建内容获取列表。
图14示出了内容获取列表c11的示例。例如，假定各个内容项的GOP配置和内容速率通过步骤S101到S104中的处理，如图14中屏幕v11所示地决定。基于此确定，客户终端100根据图11A所示的内容信息列表创建图14中所示的内容获取列表c11。
在创建了对每一个内容项指定的初始内容获取列表c11之后，客户终端100基于此内容获取列表c11请求从运动图像内容服务器2和3获取运动图像内容项（步骤S106）。
在做出请求以基于内容获取列表从运动图像内容服务器2和3获取运动图像内容项之后，从运动图像内容服务器2和3分发基于此请求的运动图像内容项的编码流。客户终端100接收从运动图像内容服务器2和3分发的编码流，并且将接收到的编码流存储在内容缓存单元104a、104b、104c、...、104n。然后，客户终端100确定是否为解码定时（步骤S107）。当是解码定时时，客户终端100从内容缓存单元104a、104b、104c、...、104n提取画面数据（步骤S108），并且在合成之后，执行解码（步骤S109）。
在开始从运动图像内容服务器2和3获取运动图像内容项之后，客户终端100测量到内容缓存单元104a、104b、104c、...、104n的编码流的流入速率（步骤S110）。此外，客户终端100计算流入到内容缓存单元104a、104b、104c、...、104n的数据的包丢失率（步骤S111）。传输状态决定单元108测量流入速率并且计算包丢失率。
在测量到内容缓存单元104a、104b、104c、...、104n的编码流的流入速率并计算流入到内容缓存单元104a、104b、104c、...、104n的数据的包丢失率之后，客户终端100确定内容缓存单元104a、104b、104c、...、104n的任 一个的具体包丢失率是否高于或等于在步骤S103中设置的阈值达特定时间段（步骤S112）。传输状态确定单元108可以执行此确定。
作为步骤S112中的确定的结果，当包丢失率高于或等于阈值达特定时间段时，客户终端100执行GOP改变处理（步骤S113）。在步骤S113，客户终端100执行使得当前GOP配置更短的GOP改变处理。
在执行步骤S113中的GOP改变处理之后，客户终端100重置内容缓存单元104a、104b、104c、...、104n的包丢失率，而这是处理的目标（步骤S114）。
同时，作为步骤S112中确定的结果，当包丢失率不高于或等于阈值达特定时间段时，客户终端100确定内容缓存单元104a、104b、104c、...、104n的任一个的具体包丢失率是否低于在步骤S103中设置的阈值达特定时间段（步骤S115）。传输状态确定单元108可以执行此确定。
作为步骤S115中确定的结果，当包丢失率低于阈值达特定时间段时，客户终端100执行GOP改变处理（步骤S116）。在步骤S116，客户终端100执行使得当前GOP配置更长的GOP改变处理。
在执行步骤S116中的GOP改变处理之后，客户终端100重置内容缓存单元104a、104b、104c、...、104n的包丢失率，而这些包丢失率是处理的目标（步骤S117）。
同时，作为步骤S115中确定的结果，当包丢失率不低于阈值达特定时间段时，客户终端100确定内容缓存单元104a、104b、104c、...、104n的任一个是否具有低于内容获取列表的速率信息达特定时间段的流入速率（步骤S118）。传输状态确定单元108可以执行此确定。
作为步骤S118中确定的结果，当内容缓存单元具有低于内容获取列表的速率信息达特定时间段的流入速率时，客户终端100执行速率改变处理（步骤S119）。流入速率低于内容获取列表的速率信息的事实意味着客户终端100正在仅以低于运动图像内容服务器2和3指定的速率的速率接收编码流。因此，在步骤S119，客户终端100执行使得当前速率更低（下降）的速率改变处理。
在执行步骤S119中的速率改变处理之后，客户终端100重置到内容缓存单元104a、104b、104c...104n的流入速率，而这些流入速率是处理的目标（步骤S120）。
同时，作为步骤S118中确定的结果，当没有内容缓存单元具有低于内容获取列表的速率信息达特定时间段的流入速率时，客户终端100确定内容缓存单元104a、104b、104c、...、104n的任一个是否具有高于或等于内容获取列表的速率信息达特定时间段的流入速率（步骤S121）。传输状态确定单元108可以执行此确定。
作为步骤S121中的确定的结果，当内容缓存单元具有高于或等于内容获取列表的速率信息达特定时间段的流入速率时，客户终端100执行速率改变处理（步骤S122）。流入速率高于或等于内容获取列表的速率信息的事实意味着客户终端100正在以高于运动图像内容服务器2和3指定的速率的速率接收编码流。因此，在步骤S122，客户终端100执行使得当前速率更高（上升）的速率改变处理。
在执行步骤S122中的速率改变处理之后，客户终端100重置到内容缓存单元104a、104b、104c...104n的流入速率，而这些流入速率是处理的目标（步骤S123）。
同时，作为步骤S121中确定的结果，当没有内容缓存单元具有高于或等于内容获取列表的速率信息达特定时间段的流入速率时，客户终端100确定是否存在具有关于切换内容项的速度的优先级的请求作为用户请求或来自应用单元107执行的应用的请求（步骤S124）。控制单元101可以执行此确定。
作为步骤S124中确定的结果，当存在具有关于切换内容项的速度的优先级的请求时，客户终端100执行GOP改变处理（步骤S125）。在步骤S125，客户终端100执行使得当前GOP配置更短的GOP改变处理。
同时，作为步骤S124中确定的结果，当不存在具有关于切换内容项的速度的优先级的请求时，客户终端100确定是否存在关于从错误立即修复的优先级的请求作为用户请求或来自应用单元107执行的应用的请求（步骤S126）。控制单元101可以执行此确定。
作为步骤S126中确定的结果，当存在具有关于从错误立即修复的优先级的请求时，客户终端100执行GOP改变处理（步骤S127）。在步骤S127，客户终端100执行使得当前GOP配置更短的GOP改变处理。
同时，作为步骤S126中确定的结果，当不存在具有关于从错误立即修复的优先级的请求时，客户终端100确定是否存在增加运动图像内容项的速 率的请求作为用户请求或来自应用单元107执行的应用的请求（步骤S128）。控制单元101可以执行此确定。
作为步骤S128中确定的结果，当存在增加运动图像内容项的速率的请求时，客户终端100执行速率改变处理（步骤S129）。在步骤S129，客户终端100执行使得当前速率更高（上升）的速率改变处理。
同时，作为步骤S128中确定的结果，当不存在增加运动图像内容项的速率的请求时，客户终端100确定是否存在减少运动图像内容项的速率的请求作为用户请求或来自应用单元107执行的应用的请求（步骤S130）。控制单元101可以执行此确定。
作为步骤S130中确定的结果，当存在减小运动图像内容项的速率的请求时，客户终端100执行速率改变处理（步骤S131）。在步骤S131，客户终端100执行使得当前速率更低（下降）的速率改变处理。
为了获取运动图像内容项的后续，客户终端100依据GOP配置或速率中的改变来更新内容获取列表（步骤S132）。控制单元101可以更新该内容获取列表。在更新该内容获取列表之后，客户终端100重复从步骤S106中的处理的一系列处理。
图8到9B中示出的处理继续，直至客户终端100完成多个运动图像内容项的同时重现。
接着，将详细描述由客户终端100执行的GOP配置改变处理。图10A示出了根据本公开实施例的客户终端100的操作示例。图10A示出了由客户终端100执行的GOP配置改变处理的示例。
当改变GOP配置时，客户终端100首先确定是否做出了使得当前GOP配置更短的请求（此请求在图10A中称为“短请求”）（步骤S141）。控制单元101可以执行该确定。
作为步骤S141中的确定的结果，当做出使得当前GOP配置更短的请求（“短请求”）时，客户终端100选择比当前GOP配置更短并且具有来自内容信息列表的相同速率的GOP配置（步骤S142）。GOP配置信息决定单元109可以执行此选择。
同时，作为步骤S141中的确定的结果，当没有做出使得当前GOP配置更短的请求（无“短请求”）时，即，做出了使得当前GOP配置更长的请求（此请求称为“长请求”）时，客户终端100选择比当前GOP配置更长并且 具有来自内容信息列表的相同速率的GOP配置（步骤S143）。GOP配置信息决定单元109可以执行此选择。
在步骤S142或S143中依据请求而选择GOP配置之后，客户终端100更新内容获取列表以使得设置所选择的GOP配置（步骤S144）。
将描述GOP配置改变处理的具体示例。图15示出了内容获取列表c12的示例，其中使得GOP配置比图14所示的内容获取列表c11中的那些更长。
当内容信息列表是图14中所示的内容获取列表c11并做出了使得当前GOP配置更长的请求（“长请求”）时，客户终端100决定各个运动图像内容项的GOP配置，以使得设置比当前GOP配置更长并且具有相同速率的GOP配置。在此情况中，通过将GOP配置从30改变到300，可以使得GOP配置更长而不改变速率。因此，客户终端100更新内容获取列表中的对象，以使得对象从内容获取列表c11中的那些改变到内容获取列表c12中的那些。
依据内容获取列表到内容获取列表c12的改变，客户终端100基于内容获取列表c12请求运动图像内容服务器2和3的运动图像内容项。结果是，客户终端100同时重现具有图15中屏幕v12所示的GOP配置和内容速率的所组合的4个运动图像内容项。
图16示出了内容获取列表c13的示例，其中使得GOP配置比图15所示的内容获取列表c12中的那些更短。
当内容获取列表是图15所示的内容获取列表c12并做出了使得当前GOP配置更短的请求（“短请求”）时，客户终端100决定各个运动图像内容项的GOP配置，以使得设置比当前GOP配置更短并且具有相同速率的GOP配置。在此情况中，通过将GOP配置从30改变到100，可以使得GOP配置更短而不改变速率。因此，客户终端100更新对象，以使得对象从内容获取列表c12中的那些改变到内容获取列表c13中的那些。
依据内容信息列表到内容获取列表c13的改变，客户终端100基于内容获取列表c13请求运动图像内容服务器2和3的运动图像内容项。结果是，客户终端100同时重现具有图16中屏幕v13所示的GOP配置和内容速率的所组合的4个运动图像内容项。
接着，将详细描述客户终端100执行的速率改变处理。图10B示出了根据本公开实施例的客户终端100的操作示例。图10B示出了客户终端100执行的速率改变处理的示例。
当改变速率时，客户终端100首先获取与来自内容信息列表的当前GOP配置的速率相同的可选择速率（步骤S145）。在步骤S145中获取了可选择速率之后，客户终端100确定是否做出了使得当前速率更低的请求（此请求在图10B中称为“向下请求”）（步骤S146）。控制单元101可以执行此确定。
作为步骤S146中的确定的结果，当做出使得当前速率更低的请求（“向下请求”）时，客户终端100在来自内容信息列表的对应内容项中选择比当前速率低一级的速率（步骤S147）。速率信息决定单元110可以执行此选择。
同时，作为步骤S146中的确定的结果，没有做出使得当前速率更低的请求（无“向下请求”），即，做出了使得当前速率更高的请求（此请求称为“向上请求”），客户终端100在来自内容信息列表的对应内容项中选择比当前速率高一级的速率（步骤S148）。速率信息决定单元110可以执行此选择。
在依据步骤S147或S148中的请求来选择速率之后，客户终端100更新内容获取列表以使得设置所选择的速率（步骤S149）。
将描述速率改变处理的具体示例。图17示出了内容获取列表c14的示例，其中使得速率比图16所示的内容获取列表c13中的那些更高。
当内容信息列表是图16中所示的内容获取列表c13并做出了使得当前速率更高的请求（“向上请求”）时，客户终端100决定各个运动图像内容项的速率，以使得设置比当前速率高并且具有相同GOP配置的速率。在此情况中，通过选择图17所示的各个运动图像内容的速率，客户终端100可以增加速率而不改变GOP配置。因此，客户终端100更新对象，以使得对象从内容获取列表c13中的那些改变到内容获取列表c14中的那些。
依据内容信息列表到内容获取列表c14的改变，客户终端100基于内容获取列表c14请求运动图像内容服务器2和3的运动图像内容项。结果是，客户终端100同时重现具有图17中屏幕v14所示的GOP配置和内容速率的所组合的4个运动图像内容项。
这里，将描述速率信息决定单元110的配置示例。图22示出了速率信息决定单元110的配置示例。图22示出了用于基于由传输状态确定单元108测量的、到内容缓存单元104a、104b、104c、...、104n的流入速率而决定速率的速率信息决定单元110的配置示例。如图22所示，速率信息决定单元110包括速率改变确定单元131。
速率改变确定单元131接收由传输状态确定单元108测量的、到内容缓 存单元104a、104b、104c、...、104n的各个流入速率，并且确定各个运动图像内容项的速率是否要改变。例如，取决于到内容缓存单元104a、104b、104c、...、104n的各个流入速率，在一些情况中可以增加速率而无问题。在那些情况中，速率改变确定单元131决定各个运动图像内容项的速率，以使得GOP配置相同并使得速率高于当前速率。
在图22中示出的示例中，假定当前GOP配置是100，运动图像内容项A的当前速率是1Mbps，而运动图像内容项B的当前速率是256kbps。在此情况中，当确定运动图像内容项A和B的速率中的增加不引起问题时，速率改变确定单元131可以对于具有100的GOP配置的运动图像内容项A和B，从内容信息列表中选择比当前速率高了一级的速率。在图22所示的示例中，速率改变确定单元131可以选择2Mbps作为运动图像内容项A的速率而512kbps作为运动图像内容项B的速率。
速率改变确定单元131可以改变正在接收的仅一个或多个运动图像内容项，而非全部运动图像内容项的速率，同时保存GOP配置。例如，当在网络10的频带中没有空间时，速率改变确定单元131可以改变仅一个或多个运动图像内容项的速率，同时保存GOP配置，以使得速率的增加变小。同时，当在网络10的频带中存在空间时，速率改变确定单元131可以改变正在接收的全部运动图像内容项的速率，同时保存GOP配置。可替代地，速率改变确定单元131可以仅改变一个或多个运动图像内容项的速率，同时保存GOP配置，以使得速率的增加在具有空间的范围内变得尽可能大。
根据本公开实施例的客户终端100执行上述操作，以使得在使用编码流信息进行多屏幕合成时变得可以改变GOP配置同时保存全部内容项中的相同的GOP配置。此外，根据本公开实施例的客户终端100执行上述操作，以使得变得可以在保存全部内容项中相同的GOP配置的同时改变内容速率。
<2.结论>
如上所述，根据本公开的实施例，可以提供客户终端100，其组合多个编码流并解码所组合的编码流，由此同时地重现多个运动图像内容项。此外，根据本公开实施例的客户终端100可以在组合多个编码流时依据用户指令或编码流的接收状态来改变GOP配置或速率而同时保存全部内容项中相同的GOP配置。
通过在全部内容项中保存相同的GOP配置的同时缩短GOP配置，根据 本公开实施例的客户终端100可以缩短切换运动图像内容项的时间。此外，通过在全部内容项中保存相同的GOP配置的同时缩短GOP配置，根据本公开实施例的客户终端100可以缩短要从包丢失修复的时间。此外，通过在全部内容项中保存相同的GOP配置的同时加长GOP配置，根据本公开实施例的客户终端100可以增大编码效率并显示美丽的运动图像内容项。
在本说明书中由装置执行的处理中的各步骤不必须按在顺序图或流程图中描述的时间顺序执行。例如，装置执行的处理中的各步骤可以以不同于流程图中描述的顺序的顺序执行或者可以并行执行。
此外，可以创建如下计算机程序：使得合并在每一个装置中的诸如CPU、ROM或RAM之类的硬件以类似于上述装置中的结构的方式类似的方式工作。此外，可以提供具有在其上记录的计算机程序的记录介质。此外，通过配置在功能框图中示出的各个功能块为硬件，硬件可以实现一系列处理。
尽管本公开的优选实施例参考附图详细描述，但是本公开的技术范围不限于此。本领域技术人员应当明白，各种修改、组合、子组合和改变可以取决于设计要求和其他因素而出现，只要它们在所附权利要求及其等同的范围内。
另外，本技术还可以如下配置。
（1）
一种图像处理装置，包括
组合单元，配置为对多个内容项的每一个获取其中由不同画面配置编码相同的内容项的多个流的任一个，并在解码所述流之前组合所获取的流；以及
流选择单元，配置为获取关于所述流的每一个的画面配置的信息，并使用获取的关于所述画面配置的信息，以由所述组合单元组合的流的每一个的画面配置都相同的方式，从所述多个流之中选择关于所述内容项的每一个的流。
（2）
根据（1）所述的图像处理装置，其中，所述流选择单元依据通过其传送所述流的每一个的网络的状态选择所述流。
（3）
根据（1）或（2）所述的图像处理装置，进一步包括：
状况检测单元，配置为检测所述网络的状况中的改变，
其中，所述流选择单元依据由所述状况检测单元检测到的改变来决定画面集的适当配置。
（4）
根据（3）所述的图像处理装置，
其中，所述状况检测单元计算与通过所述网络分发的流的包丢失有关的信息，并且
其中，所述流选择单元使用由所述状况检测单元计算出的信息决定所述画面集的适当配置。
（5）
根据（3）或（4）所述的图像处理装置，进一步包括：
速率决定单元，配置为依据由状况检测单元进行的检测的结果决定所述流的获取速率，
其中，所述速率决定单元以同时重现的所述流的画面配置相同的方式来决定获取速率。
（6）
根据（1）到（5）的任一个所述的图像处理装置，其中所述流选择单元从传送所述内容项的各个装置获取关于所述画面配置的信息。
（7）
根据（6）所述的图像处理装置，其中，当所述内容项的一个具有其他内容项不具有的、关于画面配置的信息时，所述流选择单元从获取的关于所述画面配置的信息中移除关于所述画面配置的信息。
（8）
根据（6）或（7）所述的图像处理装置，其中，所述流选择单元从发送所述内容项的各个装置获取关于画面配置的范围的信息，所述各个装置可以提供该画面配置的范围作为关于画面配置的信息。
（9）
一种图像处理方法，包括：
对多个内容项的每一个获取其中在不同条件下编码相同的内容项的多个流的任一个，并在解码所述流之前组合所获取的流；以及
获取关于所述流的每一个的画面配置的信息，并使用获取的关于所述画 面配置的信息，以由所述组合单元组合的流的每一个的画面配置都相同的方式，从所述多个流中选择关于所述内容项的每一个的流。
（10）一种使得计算机执行以下的计算机程序：
对多个内容项的每一个获取其中在不同条件下编码相同的内容项的多个流的任一个，并在解码所述流之前组合所获取的流；以及
获取关于所述流的每一个的画面配置的信息，并使用获取的关于所述画面配置的信息，以由所述组合单元组合的流的每一个的画面配置都相同的方式，从所述多个流中选择关于所述内容项的每一个的流。