图像处理装置、图像处理方法和计算机程序.pdf

本发明提供了图像处理装置和图像处理方法。所述图像处理装置包括：内容获取单元，配置为同时获取通过网络分发的多个内容项；以及带宽决定单元，配置为使用每一个内容项相对于要由同时获取的全部的多个内容项使用的带宽的比率来决定分配给由所述内容获取单元获取的每一个内容项的频带。

权利要求书1.  一种图像处理装置，包括内容获取单元，配置为同时获取通过网络分发的多个内容项；以及带宽决定单元，配置为使用每一个内容项相对于要由同时获取的全部的多个内容项使用的带宽的比率，决定分配给由所述内容获取单元获取的每一个内容项的频带。2.  根据权利要求1所述的图像处理装置，其中，所述带宽决定单元通过使用在由所述内容获取单元获取的所述多个内容项显示在一个屏幕上时每一个内容项的显示面积比率，决定分配给每一个内容项的频带。3.  根据权利要求1所述的图像处理装置，进一步包括：带宽测量单元，配置为测量由所述内容获取单元获取的所述内容项的实际获取的带宽，其中，所述带宽决定单元以满足由所述带宽测量单元测量的所获取带宽的方式决定分配给每一个内容项的频带。4.  根据权利要求3所述的图像处理装置，其中所述带宽决定单元获得对每一个内容项实际获取的带宽与基于所述比率计算出的目标带宽之间的差异，并且改变具有最大差异的内容项的带宽。5.  根据权利要求4所述的图像处理装置，其中，所述带宽测量单元确定在所述多个内容项的流入速率之中是否存在高于或等于预先对每一个内容项指定的带宽的流入速率达预定时间段，并且其中，当在所述多个内容项的流入速率之中存在高于或等于预先对每一个内容项指定的带宽的流入速率达预定时间段时，所述带宽决定单元以更高带宽取代具有最大差异的内容项的带宽。6.  根据权利要求4所述的图像处理装置，其中，所述带宽测量单元确定在所述多个内容项的流入速率之中是否存在低于预先对每一个内容项指定的带宽的流入速率达预定时间段，并且其中，当在所述多个内容项的流入速率之中存在低于预先对每一个内容项指定的带宽的流入速率达预定时间段时，所述带宽决定单元以更低的带宽取代具有最大差异的内容项的带宽。7.  根据权利要求1所述的图像处理装置，其中所述带宽决定单元通过选择对相同的内容项准备的多个带宽之一来决定分配给每一个内容项的带宽。8.  根据权利要求1所述的图像处理装置，进一步包括：内容组合单元，配置为在解码之前组合由所述内容获取单元获取的所述多个内容项。9.  一种图像处理方法，包括：同时获取多个内容项，所述多个内容项通过网络分发；并且通过使用每一个内容项相对于要由同时获取的全部的多个内容项使用的带宽的比率，决定分配给在获取步骤中获取的每一个内容项的带宽。10.  一种使得计算机执行以下的计算机程序：同时获取多个内容项，所述多个内容项通过网络分发；并且通过使用每一个内容项相对于要由同时获取的全部的多个内容项使用的带宽的比率，决定分配给在获取步骤中获取的每一个内容项的带宽。

说明书图像处理装置、图像处理方法和计算机程序
相关申请的交叉引用
本申请要求于2013年3月26日提交的日本优先专利申请JP2013-064016号的权益，将其全部内容通过引用的方式合并在此。
技术领域
本公开涉及图像处理装置、图像处理方法和计算机程序。
背景技术
因为已经发展了内容数字化和使能图像传输的基础设施，所以越来越普遍地通过因特网分发图像。近年来，在个人计算机之外，与网络可连接的越来越多的电视接收器被用做接收器装置。因此，正变得可以在电视接收器上观看所分发的运动图像内容。
例如，JP2000-250505A公开了如下技术：其在从服务器获取运动图像内容并在诸如个人计算机或电视接收器之类的客户终端上显示时防止传输路径的频带的浪费性消耗。根据在JP2000-250505A中公开的技术，数据供应装置通过改变其分辨率为显示装置所要求的分辨率来提供图像数据，由此防止传输路径的频带的浪费性消耗。
作为相关技术的另一示例，存在基于超文本传输协议（HTTP）的自适应流化技术。自适应流化技术的示例包括Apple有限公司提出的HTTP直播流化技术和ISO作为标准提出的MPEG-Dash技术。这些技术包括这样的机构：其选择并提供内容的分辨率和内容速率，以便于处理诸如因特网之类的网络带宽的变化以及客户终端的显示分辨率的多样性。根据这些技术，通过向服务器发送关于所请求的运动图像内容的查询，客户终端可以预先获取关于要被提供的运动图像内容具有何种分辨率或比特率的信息。
此外，近年已经发展了云服务，以使得通过网络已经向观众提供了包括私人内容的各种信道。因此，对于多图像再现系统存在越来越多的需求，该多图像再现系统使能多个运动图像内容项的同时观看和运动图像内容项的 轻易取回以便观看。
发明内容
JP2000-250505A中公开的技术不期望传输路径的带宽改变的网络环境。因而，要重现的运动图像内容的分辨率中的改变不足以有效地防止频带的浪费性消耗。
此外，当在客户终端的一个屏幕上同时显示多个运动图像内容项时，与现有MEPG-Dash技术独立地决定所获取的内容项的比特率。因而，以尽可能高的比特率重现全部运动图像内容项。因此，高于所需的比特率可以分配给本足以以低比特率显示的运动图像内容项，或足够高的比特率无法分配给要求高比特率的运动图像内容项。
因此，根据本公开的一个或多个实施例，提供图像处理装置、图像处理方法和计算机程序，它们是新颖和改进的，并且可以当在屏幕上同时显示多个运动图像内容项时，在没有频带的浪费性消耗的情况下，高效重现多个运动图像内容项。
根据本公开的实施例，提供了包括以下的图像处理装置：内容获取单元，配置为同时获取通过网络分发的多个内容项；以及带宽决定单元，配置为使用每一个内容项相对于要由同时获取的多个内容项使用的带宽的比率来决定分配给由内容获取单元获取的每一个内容项的频带。
根据本公开的另一实施例，提供图像处理方法，包括同时获取通过网络分发的多个内容项，以及使用每一个内容项相对于要由同时获取的多个内容项使用的频带的比率来决定分配给在获取步骤中获取的每一个内容项的带宽。
根据本公开的另一实施例，提供使得计算机执行以下的计算机程序：同时获取通过网络分发的多个内容项，以及使用每一个内容项相对于要由同时获取的多个内容项使用的带宽的比率来决定分配给在获取步骤中获取的每一个内容项的带宽。
如上所述，根据本公开的一个或多个实施例，可以提供图像处理装置、图像处理方法和计算机程序，它们是新颖和改进的，并且可以当在屏幕上同时显示多个运动图像内容项时，在没有频带的浪费性消耗的情况下，高效重现多个运动图像内容项。
附图标记
图1示出了根据本公开的实施例的图像处理系统1的整体配置示例；
图2示出了内容信息列表的配置的概念图；
图3示出了客户终端100改变速率并获取片段的示例；
图4A示出了客户终端100使用自适应流化获取多个运动图像内容项的处理；
图4B示出了客户终端100使用自适应流化获取多个运动图像内容项的处理；
图4C示出了客户终端100使用自适应流化获取多个运动图像内容项的处理；
图5示出了根据本公开实施例的客户终端100的功能配置示例；
图6A示出了客户终端100使用自适应流化获取多个运动图像内容项的处理；
图6B示出了客户终端100使用自适应流化获取多个运动图像内容项的处理；
图6C示出了客户终端100使用自适应流化获取多个运动图像内容项的处理；
图7示出了在运动图像内容项的可用频带之间的比率的决定的示例；
图8示出了在运动图像内容项的可用频带之间的比率的决定的示例；
图9示出了内容获取列表的示例；
图10示出了目标速率的计算的示例；
图11示出了目标速率和差异速率的值；
图12示出了目标速率和差异速率的值；
图13示出了目标速率和差异速率的值；
图14示出了目标速率和差异速率的值；
图15示出了目标速率和差异速率的值；
图16示出了目标速率和差异速率的值；
图17示出了目标速率和差异速率的值；并且
图18示出了根据本公开实施例的客户终端100的功能配置示例。
具体实施方式
以下，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本相同功能和结构的结构要素用相同的附图标记标识，并省略这些结构要素的重复说明。
注意，将以如下顺序做出描述。
<1.本公开的实施例>
[整体配置示例]
[客户终端的功能配置示例]
[客户终端的操作示例]
[客户终端的修改示例]
<2.结论>
<1.本公开的实施例>
[整体配置示例]
首先，将参考附图描述根据本公开的实施例的系统的整体配置示例。图1示出了根据本公开实施例的图像处理系统1的整体配置示例。将参考图1在以下描述根据本公开实施例的图像处理系统1的整体配置示例。
图1示出的图像处理系统1具有这样的配置：其中，客户终端100通过诸如因特网之类的网络10从多个运动图像内容服务器2和3接收编码流信息，并且该客户终端100获取多个运动图像内容项并同时重现所获取的运动图像内容项。
运动图像内容服务器2和3均保存被转换为编码流的运动图像内容，转换运动图像内容为编码流，并依据来自客户终端100的请求发送编码流到客户终端100。在此实施例中，运动图像内容服务器2保存运动图像内容项A和运动图像内容项B。运动图像内容项A和B可以均为实时拍摄的运动图像内容项或已经预先拍摄的运动图像内容项。此外，运动图像内容服务器3保存运动图像内容项C和运动图像内容项D。运动图像内容项C和D可以均为实时拍摄的运动图像内容项或已经预先拍摄的运动图像内容项。无需多言，运动图像内容服务器所保存的运动图像内容项的种类和数量不限于以上示例。
例如，由H.264/高级视频编码（AVC）方案编码本实施例中的编码流。
客户终端100通过诸如因特网之类的网络10接收从运动图像内容服务 器2和3发送的编码流信息，并解码接收到的编码流。通过解码多个编码流，客户终端100可以同时重现多个运动图像内容项。注意，可以由客户终端100执行或由具有显示屏幕并且有线或无线地连接到客户终端100的另一装置执行多个运动图像内容项的同时重现。
在此实施例中，通过基于HTTP的自适应流化从运动图像内容服务器2和3向客户终端100分发运动图像内容。如上所述，为了处理网络10的带宽的变化和客户终端的显示分辨率的多样性，基于HTTP的自适应流化具有选择并提供运动图像内容的分辨率和内容速率的机构。
在运动图像内容的重现之前，客户终端100发送查询到运动图像内容服务器2和3。例如，当客户终端100发送由运动图像内容服务器2提供的关于运动图像内容项A的查询时，客户终端100可以获取如下事实：可以以如下比特率的任一个提供运动图像内容项A：当分辨率为320×240像素时1Mbps或2Mbps；当分辨率为1024×768像素时1Mbps、2Mbps或3Mbps。
将示出客户终端100通过发送查询到运动图像内容服务器2和3可以获得的信息的示例。图2示出了客户终端100通过发送查询到运动图像内容服务器2和3可以获得的内容信息列表的配置的概念图。
图2所示的内容信息列表CL包括运动图像内容项A的内容信息列表CL1和运动图像内容项B的内容信息列表CL2。
运动图像内容项A的内容信息列表CL1包括内容名称CL11、分辨率信息CL12a和CL12b、速率信息CL13a到CL13e以及片段信息CL14a和CL14b。
以类似的方式，运动图像内容项B的内容信息列表CL2包括内容名称CL21、分辨率信息CL22、速率信息CL23以及片段信息CL24。
尽管在图2中未示出，但是内容信息列表CL还包括示出对每一个运动图像内容项的每一个比特率而言内容的实体的文件存在的位置的信息。例如，示出内容的实体的文件所存在的位置的信息可以是文件的统一资源定位符（URL）。
通过从运动图像内容服务器2和3获得具有图2所示配置的内容信息列表CL，客户终端100可以获取关于为运动图像内容项A和B准备的分辨率和比特率的信息。此外，如图2所示，将每一个运动图像内容项管理为对于每一个分辨率和比特率的片段信息列表的形式。在将每一个运动图像内容项 划分为片段，即，分段为特定时间段的状态下管理此片段信息列表。
在使用MPEG-DASH(ISO/IEC23009-1)的情况下，运动图像内容服务器2和3均保存管理待分发的内容的主题的介质呈现描述（MPD）文件。在MPD文件中，描述运动图像压缩系统、图像尺寸、编码速率、存储运动图像内容的文件的地方。通过从运动图像内容服务器2和3获取MPD文件，客户终端100可以获取关于为运动图像内容项A和B准备的分辨率和比特率的信息。
在获取了具有图2所示的配置的内容信息列表CL的情况下，当具有高分辨率的运动图像内容项A要显示在屏幕上时，客户终端100选择具有1024×576像素的运动图像内容项A，并且当具有低分辨率的运动图像内容项A要显示在屏幕上时，客户终端100选择具有320×180像素的运动图像内容项A。这样的选择使得客户终端100不必转换运动图像内容项A的分辨率。此外，变得可以在从运动图像内容服务器2向客户终端100发送运动图像内容项A时防止网络10的频带的无用消耗。
此外，运动图像内容服务器2可以以多个比特率提供具有相同分辨率的内容；因此，客户终端100可以动态地估计客户终端100和运动图像内容服务器2之间的网络10的带宽，并且可以选择低于估计值的比特率的内容。
图3示出了客户终端100改变速率并获取片段的示例。当图3所示的内容信息列表CL1从运动图像内容服务器2获取时，客户终端100可以如图3所示改变速率并获取片段。
将更详细地描述图3所示的示例。客户终端100首先决定以1Mbps（是最低的比特率）开始运动图像内容项A的流化，并获取片段1M-#1。然后，根据获取片段的该状态，当确定网络10的频带有空间时，客户终端100以2Mbps（是第二低的比特率）获取片段2M-#2和片段2M-#3。当确定网络10的频带仍有空间时，客户终端100以4Mbps（是最高的比特率）获取片段4M-#4、…。
将运动图像内容划分为片段，以使得甚至在比特率不同的时候也可以重现内容而无不连续性，只要保持其顺序即可。运动图像内容以片段单元的这样的划分使得即使当网络10的频带变化时也可以缩短直到当客户终端100开始以小缓存尺寸无不连续性地流化或重现内容时为止的时间。
将描述使用自适应流化的客户终端100的运动图像内容的获取的概述。 图4A到4C均示出了客户终端100的操作示例的流程图，示出了客户终端100使用自适应流化获取多个运动图像内容项的处理。
如图4A所示，客户终端100执行通过对每一个运动图像内容项独立地使用自适应流化来获取多个运动图像内容项的处理。图4B和4C均示出了关注在步骤S11获取运动图像内容项的处理中的一个运动图像内容项的流程图。
客户终端100访问运动图像内容服务器2和3，并获取其中描述可获取运动图像内容的各条信息的内容信息列表（步骤S12）。在获取内容信息列表之后，客户终端100决定获取相关运动图像内容项N的初始速率（步骤S13）。在很多情况下，因为在此步骤网络10的可用频带未知，所以客户终端100期望地在可以选择的比特率之中选择最低的比特率。
在步骤S13决定获取运动图像内容项的初始速率之后，客户终端100创建用于获取运动图像内容项N的内容获取列表（步骤S14）。内容获取列表是指定内容项单元中分辨率、比特率和片段的列表。
在创建用于获取运动图像内容项N的内容获取列表之后，客户终端100向分发运动图像内容项N的运动图像内容服务器2和3请求在内容获取列表中描述的片段（步骤S15）。运动图像内容服务器2和3响应于来自客户终端100的请求向客户终端100发送该片段。客户终端100在缓存中保存所接收的片段。
已经从运动图像内容服务器2和3接收到运动图像内容项N的片段的客户终端100确定是否是所接收的片段的解码定时（步骤S16）。当是解码定时时，客户终端100提取在缓存中保存的片段（步骤S17），并执行解码（步骤S18）。
然后，客户终端100测量到保存片段的缓存的流入速率（步骤S19）。例如，客户终端100可以通过使用直到一个片段的接收完成为止的时间和该片段的大小，以bps为单位计算到缓存的流入速率作为比特率。然后，客户终端100确定到保存片段的缓存的流入速率是否低于内容获取列表的比特率信息达特定时间段（步骤S20）。因为在缓存的输出侧，解码器依据运动图像内容的比特率信息周期性地提取信息，所以关于缓存的流入侧的速度依据网络10的状态变化到高于或低于运动图像内容的比特率信息。
作为步骤S20的确定的结果，当到保持片段的缓存的流入速率低于内容 获取列表的比特率信息达特定时间段时，客户终端100重置所测量的缓存流入速率（步骤S21），并且确定是否可以选择甚至比内容获取列表的比特率更低的比特率（步骤S22）。当到缓存的流入缓慢时，客户终端100确定网络10不具有空间，并减小从运动图像内容服务器2和3获取运动图像内容的速率。
作为步骤S22中的确定的结果，当可以选择甚至比内容获取列表的比特率更低的比特率时，客户终端100选择低于当前比特率的比特率并更新内容获取列表（步骤S23）。
作为步骤S20中确定的结果，当到保存片段的缓存的流入速率不低于内容获取列表的比特率信息达特定时间段时，客户终端100然后确定到保存片段的缓存的流入速率是否高于或等于内容获取列表的比特率信息达特定时间段（步骤S24）。
作为步骤S24中确定的结果，当到保存片段的缓存的流入速率高于或等于内容获取列表的比特率信息达特定时间段时，客户终端100重置所测量的到缓存的流入速率（步骤S25），并且确定是否可以选择甚至比内容获取列表的比特率更高的比特率（步骤S26）。当到缓存的流入快速时，客户终端100确定网络10具有空间，并增大从运动图像内容服务器2和3获取运动图像内容的速率。
作为步骤S26中的确定的结果，当可以选择甚至比内容获取列表的比特率更高的比特率时，客户终端100选择高于当前比特率的比特率并更新内容获取列表（步骤S27）。
客户终端100更新内容获取列表以便于选择下一片段（步骤S28）。然后，客户终端100继续一系列处理直到当获取运动图像内容的处理完成时为止（步骤S29）。
以以上方式，在自适应流化中，可以处理网络10的带宽的变化以及客户终端100的显示分辨率的多样性。然而，当多个运动图像内容项要显示在客户终端100的屏幕上时，因为所获取的运动图像内容的比特率独立决定，所以全部运动图像内容项以尽可能高的比特率重现。
因此，当多个运动图像内容项要显示在客户终端100的屏幕上时，高于必需的比特率可以分配给本该足以以低比特率显示的内容项，或足够高的比特率无法分配给要求高比特率的内容项。
例如，将描述如下情况：其中，在通过网络10连接到具有10Mbps频带的运动图像内容服务器2和3的客户终端100中同时重现分别具有分辨率为320×240像素和分辨率为1280×1024像素的两个运动图像内容项。注意，可以由运动图像内容服务器2和3提供的运动图像内容的比特率假定为至少1Mbps并可以以1递增，最多到10Mbps。
在客户终端100在此条件下开始重现运动图像内容项的情况下，随着时间流逝，全部运动图像内容项的比特率在5Mbps处变得稳定。这是因为，用作HTTP之下的传输协议的传输控制协议（TCP）具有关于共享同一链路的多个连接均匀划分频带的本质。这还因为，客户终端100对每一个运动图像内容项独立地决定从运动图像内容服务器2和3获取的运动图像内容项的比特率。
通常，当将相对高的比特率分配给具有高分辨率的运动图像内容而将相对低的比特率分配给具有低分辨率的运动图像内容时，可以在内容质量方面获得令人满意的结果。
因此，例如，当可以以如下方式分配不同比特率时，变得可以为用户提供有效信息而没有频带的浪费性消耗：将2Mbps分配给具有320×240像素的低分辨率的运动图像内容项，而将8Mbps分配给具有1280×1024像素的高分辨率的运动图像内容项。
作为针对此情形的措施，通过对从应用到TCP层的每一个连接指定最大可用频带，例如，每一个运动图像内容项的比特率可以满足上述要求。然而，在很多系统中，将TCP封装在OS的内核中，以使得此措施在考虑封装时很难。
因此，下面将描述这样的客户终端100：当在屏幕上显示多个运动图像内容项时，可以有效地重现多个运动图像内容项并防止网络频带的浪费性消耗。
[客户终端的功能配置示例]
图5示出了根据本公开实施例的客户终端100的功能配置示例。图5示出了具有解码从运动图像内容服务器2和3发送的编码流并同时重现多个运动图像内容项的配置的客户终端100的示例。将参考图5在以下描述根据本公开实施例的客户终端100的功能配置示例。
如图5所示，根据本公开实施例的客户终端100包括控制单元101、网 络发送和接收单元102、编码流分类单元103、内容缓存单元104a、104b、104c...104n、传输状态确定单元107以及速率信息决定单元108。
控制单元101控制客户终端100中每一个要素的操作。网络发送和接收单元102在控制单元101的控制下从网络10接收数据并向网络10发送数据。在此实施例中，网络发送和接收单元102接收从运动图像内容服务器2和3发送的编码流。网络发送和接收单元102依据控制单元101的控制向编码流分类单元103输出所接收的编码流。因为网络发送和接收单元102可以同时接收多个编码流，所以当接收多个编码流时，在后级由编码流分类单元103分类该多个编码流。
在运动图像内容单元中，编码流分类单元103分类网络发送和接收单元102已经接收到的编码流。如上所述，因为网络发送和接收单元102可以同时接收多个编码流，所以当接收多个编码流时，编码流分类单元103分类在运动图像内容单元中的多个编码流。例如，编码流分类单元103可以通过参考用于识别在所接收的编码流中包含的内容的信息而在运动图像内容单元中分类编码流。在分类运动图像内容单元中的编码流之后，编码流分类单元103向运动图像内容单元中的内容缓存单元104a、104b、104c...104n输出所分类的编码流。
在运动图像内容单元中，内容缓存单元104a、104b、104c...104n均将由编码流分类单元103所分类的编码流保存在运动图像内容单元中。在运动图像内容单元中的各个内容缓存单元104a、104b、104c...104n中保存的编码流由解码器（未示出）以便解码。
传输状态确定单元107确定从运动图像内容服务器2和3到客户终端100的运动图像内容项的传输状态。具体地，传输状态确定单元107通过测量到内容缓存单元104a、104b、104c...104n的包丢失率或流入率来确定传输状态。在确定了从运动图像内容服务器2和3到客户终端100的运动图像内容项的传输状态之后，传输状态确定单元107发送确定结果到控制单元101。
速率信息决定单元108决定从运动图像内容服务器2和3分发的运动图像内容项的分发速率。速率信息决定单元108用作根据本公开实施例的带宽决定单元的示例。速率信息决定单元108例如基于客户终端100的用户设定的设置或传输状态确定单元107确定的传输状态，决定从运动图像内容服务器2和3分发的运动图像内容项的分发速率。速率信息决定单元108向控制 单元101发送关于运动图像内容项的所决定的分发速率的信息。
根据本公开实施例的客户终端100在处理多个运动图像内容项时不独立地执行多个运动图像内容项的处理。考虑所选择的运动图像内容项的总获取速率和全部缓存的状态，根据本公开实施例的客户终端100在决定要接收的运动图像内容项的比特率时，决定在可以由各个运动图像内容项使用的频带之间的比率。
根据本公开实施例的客户终端100以此方式决定在可以由各个运动图像内容项使用的频带之间的比率，由此高效地重现运动图像内容项并防止网络频带的浪费性消耗。
已经参考图5描述了根据本公开实施例的客户终端100的功能配置示例。接着，将描述根据本公开实施例的客户终端100的操作示例。
[客户终端的操作示例]
图6A到6C均为示出根据本公开实施例的客户终端100的操作示例的流程图。图6A到6C中示出的流程图均示出了客户终端100使用自适应流化获取多个运动图像内容项的处理。在获取多个运动图像内容项的此处理中，不像上述处理那样，通过考虑所选择的运动图像内容项的总获取速率和全部缓存的状态，决定在可以由各个运动图像内容项使用的频带之间的比率。根据本公开实施例的客户终端100的操作示例将在以下参考图6A到6C描述。
对每一个运动图像内容项独立地执行图4A到4C中所示的处理。相反，对全部运动图像内容项执行图6A到6C中所示的处理。如图6A所示，客户终端100对于全部运动图像内容项通过使用自适应流化来获取多个运动图像内容项的处理。图6B和6C均为示出了在步骤S101获取运动图像内容项的处理的流程图。
对于要接收的全部运动图像内容项，客户终端100访问运动图像内容服务器2和3，并获取其中描述了可获取运动图像内容的各条信息的内容信息列表（步骤S111）。例如，控制单元101可以执行此获取处理。
在步骤S111获取了内容信息列表之后，客户终端100决定要获取的各个运动图像内容项的可用频带之间的比率（步骤S112）。例如，速率信息决定单元108可以执行步骤S112中的处理。
将描述具体示例。图7示出了各个运动图像内容项的可用频带之间的比 率的决定的示例。图7示出了其中决定具有相同分辨率的运动图像内容项A到D的可用频带之间的比率的示例。假定做出了指令以使得将频带以4:3:2:1的比率分配给各个运动图像内容项，当可以由客户终端100使用的网络10的频带是10Mbps时，客户终端100决定可用带之间的比率，以使得将4Mbps、3Mbps、2Mbps、和1Mbps分别分配给运动图像内容项A、运动图像内容项B、运动图像内容项C和运动图像内容项D。此外，当可以由客户终端100使用的网络10的频带是20Mbps时，客户终端100决定可用带之间的比率，以使得将8Mbps、6Mbps、4Mbps、和2Mbps分别分配给运动图像内容项A、运动图像内容项B、运动图像内容项C和运动图像内容项D。
图8示出了在各个运动图像内容项的可用频带之间的比率的决定的示例。在图8所示的示例中，决定具有不同分辨率的运动图像内容项的可用频带之间的比率。在图8所示的示例中，当具有256×144的分辨率的运动图像内容项的可用频带是1时，客户终端100向具有1024×576分辨率的运动图像内容项分配16。在图8所示的示例中，客户终端100简单而直接地使用运动图像内容项之间的面积比率作为可用频带之间的比率。注意，例如当用户希望对焦在具有256×144的分辨率的一个运动图像内容项上时，客户终端100可以向该运动图像内容项分配2或更多。
在步骤S112决定获取的各个运动图像内容项的可用频带之间的比率之后，客户终端100决定获取各个运动图像内容项的初始比特率（步骤S113）。例如，速率信息决定单元108可以执行步骤S113中的处理。
如上所述，在很多情况下，因为在此步骤中网络10的可用频带未知，所以客户终端100期望从可以选择的比特率之中选择最低比特率。无需多言，客户终端100可以基于在步骤S112决定的比率来决定获取各个运动图像内容项的初始比特率，只要关于网络10的可用频带的信息能够预先获取即可。
在步骤S113决定获取各个运动图像内容项的初始比特率之后，客户终端100创建用于获取各个运动图像内容项的内容获取列表（步骤S114）。例如，控制单元101可以执行步骤S114中的处理。内容获取列表是指定内容项单元中的分辨率、比特率和片段的列表。
图9示出了在步骤S114创建的内容获取列表的示例。在图9中所示的内容获取列表中，对于运动图像内容项A到D中的每一个，描述诸如分辨率、比特率和获取的片段之类的信息。
在步骤S114中创建内容获取列表之后，客户终端100向分发运动图像内容的运动图像内容服务器2和3请求在所创建的内容获取列表中描述的片段（步骤S115）。例如，控制单元101可以执行步骤S115中的处理。运动图像内容服务器2和3响应于来自客户终端100的请求向客户终端100发送该片段。客户终端100在内容缓存单元104a、104b、104c、...、104n中保存所接收的片段。
已经从运动图像内容服务器2和3接收到运动图像内容项的片段的客户终端100确定在解码定时是否存在运动图像内容项（步骤S116）。例如，控制单元101可以执行步骤S116中的处理。当在解码定时存在运动图像内容项时，客户终端100提取在内容缓存单元104a、104b、104c、...、104n中保存的片段（步骤S117），并执行解码（步骤S118）。
然后，客户终端100测量到保存片段的缓存的流入速率（步骤S119）。例如，传输状态确定单元107可以执行步骤S119中的处理。例如，传输状态确定单元107可以通过使用直到一个片段的接收完成为止的时间和该片段的大小，以bps为单位计算到缓存的流入速率作为比特率。
在步骤S119测量了到保存片段的每一个缓存的流入速率之后，客户终端100确定是否存在到保存片段的缓存的流入速率低于内容获取列表的比特率信息达特定时间段的运动图像内容项（步骤S120）。控制单元101可以执行步骤S120中的步骤。如上所述，因为在内容缓存单元104a、104b、104c、...、104n的输出侧，解码器依据运动图像内容的比特率信息周期性地提取信息，所以关于内容缓存单元104a、104b、104c、...、104n的流入侧的速度依据网络10的状态变化到高于或低于运动图像内容的比特率信息。
作为步骤S120的确定的结果，当存在到保存片段的缓存的流入速率低于内容获取列表的比特率信息达特定时间段的运动图像内容项时，客户终端100选择具有通过从目标速率减去内容获取列表的比特率信息而获得的最小值的运动图像内容项（步骤S121）。例如，速率信息决定单元108可以执行步骤S121中的处理。
这里的目标速率指的是对于客户终端100获取的每一个运动图像内容项计算的指数，并通过（所获取的内容项的比特率信息之和）×（运动图像内容项之间的分配速率）而获得。
图10示出了目标速率的计算的示例。图10示出了如图7所示当决定分 配比率时目标速率的计算的示例。注意，假定将1.0Mbps选择为各个运动图像内容项的初始比特率信息。在此情况中，各个运动图像内容项的比特率信息之和为4.0Mbps；因此，如图10所示计算各个运动图像内容项的目标速率。
在步骤S121中选择了具有通过从目标速率减去内容获取列表的比特率信息而获得的最小值的运动图像内容项之后，客户终端100重置所测量的到缓存的流入速率，并且确定是否可以对在步骤S121选择的运动图像内容项选择甚至比内容获取列表的比特率更低的比特率（步骤S123）。
作为步骤S123中的确定的结果，当可以对在步骤S121中选择的运动图像内容项选择甚至比内容获取列表的比特率更低的比特率时，客户终端100对在步骤S121中选择的运动图像内容项选择低于当前比特率的比特率，并更新内容获取列表（步骤S124）。
同时，作为步骤S120中确定的结果，当不存在到保存片段的缓存的流入速率低于内容获取列表的比特率信息达特定时间段的运动图像内容项时，客户终端100随后确定是否存在到保存片段的缓存的流入速率高于或等于内容获取列表的比特率信息达特定时间段的运动图像内容项（步骤S125）。控制单元101可以执行步骤S120中的处理。
作为步骤S125中确定的结果，当存在到保存片段的缓存的流入速率高于或等于内容获取列表的比特率信息达特定时间段的运动图像内容项时，客户终端100选择通过从目标速率减去内容获取列表的比特率信息而获得的最小值的运动图像内容项（步骤S126）。例如，速率信息决定单元108可以执行步骤S126中的处理。
在步骤S126中选择具有通过从目标速率减去内容获取列表的比特率信息而获得的最大值的运动图像内容项之后，客户终端100重置所测量的到缓存的流入速率（步骤S127），并且确定是否可以对在步骤S126中选择的运动图像内容项选择甚至比内容获取列表的比特率更高的比特率（步骤S128）。
作为步骤S128中确定的结果，当可以对在步骤S126中选择的运动图像内容项选择甚至比内容获取列表的比特率更高的比特率时，客户终端100对在步骤S126中选择的运动图像内容项选择比当前比特率更高的比特率并且更新内容获取列表（步骤S129）。
客户终端100更新内容获取列表以便于选择下一片段（步骤S130）。然后，客户终端100继续一系列处理直到完成了获取运动图像内容的处理时为 止（步骤S131）。
当图10所示地计算目标速率和差异速率并且每一个运动图像内容项的获取速率是1Mbps时，发现运动图像内容项A的速率比目标速率低了0.6Mbps，运动图像内容项B的速率比目标速率低了0.2Mbps，运动图像内容项C的速率比目标速率高了0.2Mbps，而运动图像内容项D的速率比目标速率高了0.6Mbps。
在各个运动图像内容项的获取速率和目标速率如图10所示地设置时，在步骤S126中选择运动图像内容项A。这是因为运动图像内容项A具有通过从目标速率减去内容获取列表的比特率信息而获得的最大值。
运动图像内容项A还包括2Mbps的速率信息。因而，客户终端100在步骤S129的处理中选择2Mbps作为比运动图像内容项A的当前比特率更高的比特率。然后，在步骤S130的处理中，客户终端100准备以新比特率获取运动图像内容项A。
图11示出当运动图像内容项A的比特率从图10所示的状态增加时的目标速率和差异速率的值。因为增加了运动图像内容项A的比特率，所以比特率信息之和改变到5Mbps。此外，如图11所示地获得每一个运动图像内容项的目标速率和差异速率。
当如图11所示地计算目标速率和差异速率时，选择具有通过从目标速率减去内容获取列表的比特率信息而获得的最大值的运动图像内容项B。
运动图像内容项B还包括2Mbps的速率信息。因而，客户终端100在步骤S129的处理中选择2Mbps作为比运动图像内容项B的当前比特率更高的比特率。然后，在步骤S130的处理中，客户终端100准备以新比特率获取运动图像内容项B。
图12示出当运动图像内容项B的比特率从图11所示的状态增大时的目标速率和差异速率的值。因为增大了运动图像内容项B的比特率，所以比特率信息之和改变到6Mbps。此外，如图12所示地获得每一个运动图像内容项的目标速率和差异速率。
当如图12所示地计算目标速率和差异速率时，再次选择具有通过从目标速率减去内容获取列表的比特率信息而获得的最大值的运动图像内容项A。
运动图像内容项A还包括3Mbps的速率信息。因而，客户终端100在 步骤S129的处理中选择3Mbps作为比运动图像内容项A的当前比特率更高的比特率。然后，在步骤S130的处理中，客户终端100准备以新比特率获取运动图像内容项A。
图13示出当运动图像内容项A的比特率从图12所示的状态增大时的目标速率和差异速率的值。因为增大了运动图像内容项A的比特率，所以比特率信息之和改变到7Mbps。此外，如图13所示地获得每一个运动图像内容项的目标速率和差异速率。
当如图13所示地计算目标速率和差异速率时，选择具有通过从目标速率减去内容获取列表的比特率信息而获得的最大值的运动图像内容项C。
运动图像内容项C还包括2Mbps的速率信息。因而，在步骤S129的处理中，客户终端100选择2Mbps作为比运动图像内容项C的当前比特率更高的比特率。然后，在步骤S130的处理中，客户终端100准备以新比特率获取运动图像内容项C。
图14示出当运动图像内容项C的比特率从图13所示的状态增大时的目标速率和差异速率的值。因为增大了运动图像内容项C的比特率，所以比特率信息之和改变到8Mbps。此外，如图14所示地获得每一个运动图像内容项的目标速率和差异速率。
当如图14所示地计算目标速率和差异速率时，再次选择具有通过从目标速率减去内容获取列表的比特率信息而获得的最大值的运动图像内容项B。
运动图像内容项B还包括3Mbps的速率信息。因而，在步骤S129的处理中，客户终端100选择3Mbps作为比运动图像内容项B的当前比特率更高的比特率。然后，在步骤S130的处理中，客户终端100准备以新比特率获取运动图像内容项B。
图15示出当运动图像内容项B的比特率从图14所示的状态增大时的目标速率和差异速率的值。因为增大了运动图像内容项B的比特率，所以比特率信息之和改变到9Mbps。此外，如图15所示地获得每一个运动图像内容项的目标速率和差异速率。
当如图15所示地计算目标速率和差异速率时，第三次选择了具有通过从目标速率减去内容获取列表的比特率信息而获得的最大值的运动图像内容项A。
运动图像内容项A还包括4Mbps的速率信息。因而，在步骤S129的处理中，客户终端100选择4Mbps作为比运动图像内容项A的当前比特率更高的比特率。然后，在步骤S130的处理中，客户终端100准备以新比特率获取运动图像内容项A。
图16示出当运动图像内容项A的比特率从图15所示的状态增大时的目标速率和差异速率的值。因为增大了运动图像内容项A的比特率，所以比特率信息之和改变到10Mbps。此外，如图16所示地获得每一个运动图像内容项的目标速率和差异速率。
图16示出了全部的运动图像内容项的差异速率为0的状态。因而，当如图16所示地指定每一个运动图像内容项的比特率时，各个运动图像内容项的比特率具有在步骤S112中指定的比率。例如，在如图16所示地指定每一个运动图像内容项的比特率的状态中，当作为步骤S119中速率测量和步骤S125中确定的结果可以进一步增大运动图像内容的比特率时，客户终端100可以进一步增大具有分配比率中最高值的运动图像内容项A的比特率。图17示出了当从图16所示的状态进一步增大的运动图像内容项A的比特率时的目标速率和差异速率的值。
通过以此方式计算目标速率和差异速率并增大具有最大差异的运动图像内容项的比特率，根据本公开实施例的客户终端100可以有效地重现运动图像内容并防止网络频带的浪费性消耗。
尽管以上示例示出了计算目标速率和差异速率并增大具有最大差异的运动图像内容项的比特率的情况，但是根据本公开实施例的客户终端100可以以相反的方式执行类似处理。即，根据本公开实施例的客户终端100可以计算目标速率和差异速率，并减小具有最小差异的运动图像内容项的比特率（当差异速率为负值时，差异具有最大绝对值）。
此外，尽管以上示例示出了全部运动图像内容项的所准备的比特率以1Mbps递增的简单情况，但是无需多言，本实施例的想法可以应用于以各种模式准备运动图像内容项的比特率的情况。
例如，将考虑运动图像内容项A的比特率改变了2Mbps而运动图像内容项B的比特率改变了100kbps的情况。在此情况中，当作为目标速率和差异速率的计算的结果，运动图像内容项A具有最大差异并且运动图像内容项A的比特率增加了2Mbps时，网络10的频带可能没有空间。
因此，客户终端100可以选择改变比特率以使得比特率之和的改变很小的运动图像内容。在以上示例中，即使当作为目标速率和差异速率的计算的结果，运动图像内容项A具有最大差异，客户终端100也可以增大运动图像内容项B的比特率而非运动图像内容项A的比特率。
[客户终端的修改示例]
图18示出了根据本公开实施例的客户终端100的修改示例。图18所示的客户终端100是向图5中所示的客户终端100增加了编码流解码单元105和应用单元106的客户终端100。
编码流解码单元105在控制单元101的控制下提取在内容缓存单元104a、104b、104c、...、104n中保存的编码流并解码所提取的编码流。通过提取并解码编码流，编码流解码单元105可以向应用单元106输出运动图像内容。
应用单元106在控制单元101的控制下执行与从编码流解码单元105输出的运动图像内容有关的处理。应用单元106执行的处理的示例包括从编码流解码单元105输出的运动图像内容的合成和重现以及从编码流解码单元105输出的运动图像内容到另一装置的发送。
利用图18所示的配置，客户终端100可以高效地重现运动图像内容并防止网络频带的浪费性消耗。
<2.结论>
如上所述，根据本公开的实施例，可以提供从运动图像内容服务器2和3接收多个运动图像内容项并同时重现所接收的运动图像内容项的客户终端100。当从运动图像内容服务器2和3接收多个运动图像内容项时，根据本公开实施例的客户终端100预先决定在各个运动图像内容项的比特率之间的分配比率。
根据本公开实施例的客户终端100通过使用关于在目标速率和各个运动图像内容项的实际速率之间的差异的信息来改变运动图像内容项的比特率，以从运动图像内容服务器2和3接收运动图像内容项。根据本公开实施例的客户终端100重复地改变比特率，直到在目标速率和各个运动图像内容项的实际速率之间不存在差异为止。
根据本公开实施例的客户终端100可以高效地重现运动图像内容并防止网络频带的浪费性消耗。例如，通过将相对高的速率分配给具有高显示分辨 率的运动图像内容而将相对低的速率分配给具有低显示分辨率的运动图像内容,根据本公开实施例的客户终端100使能高效地重现运动图像内容并防止网络频带的浪费性消耗。
例如，通过根据显示面积分配不同比率给具有相同分辨率的运动图像内容项，根据本公开实施例的客户终端100可以提高在意图吸引用户的位置处显示的具体运动图像内容项的显示质量。此外，即使在网络的频带变化的环境中，根据本公开实施例的客户终端100获取运动图像内容项以使得频带满足分配比率。
在本说明书中由装置执行的处理中的各步骤不是必须按在顺序图或流程图中描述的时间顺序执行。例如，由装置执行的处理中的各步骤可以以与流程图中描述的顺序不同的顺序执行或者可以并行执行。
此外，可以创建如下计算机程序：使得合并在每一个装置中的诸如CPU、ROM或RAM之类的硬件以与上述装置中的结构的方式类似的方式工作。此外，可以提供具有在其上记录计算机程序的记录介质。此外，通过将在功能框图中示出的各个功能块配置为硬件，所述硬件可以实现一系列处理。
尽管本公开的优选实施例参考附图详细描述，但是本公开的技术范围不限于此。本领域技术人员应当明白，各种修改、组合、子组合和改变可以取决于设计要求和其他因素而出现，只要它们在所附权利要求及其等价物的范围内即可。
另外，本技术还可以如下配置。
（1）
一种图像处理装置，包括
内容获取单元，配置为同时获取通过网络分发的多个内容项；以及
带宽决定单元，配置为通过使用每一个内容项相对于要由同时获取的全部的多个内容项使用的带宽的比率，决定分配给由所述内容获取单元获取的每一个内容项的频带。
（2）
根据（1）所述的图像处理装置，其中，所述带宽决定单元通过使用在由所述内容获取单元获取的所述多个内容项显示在一个屏幕上时每一个内容项的显示面积比率，决定分配给每一个内容项的频带。
（3）
根据（1）或（2）所述的图像处理装置，进一步包括：
带宽测量单元，配置为测量由所述内容获取单元获取的所述内容项的实际获取的带宽，
其中，所述带宽决定单元以满足由所述带宽测量单元测量的所获取带宽的方式决定分配给每一个内容项的频带。
（4）
根据（3）所述的图像处理装置，其中所述带宽决定单元获得对每一个内容项实际获取的带宽与基于所述比率计算的目标带宽之间的差异，并且改变具有最大差异的内容项的带宽。
（5）
根据（4）所述的图像处理装置，
其中，所述带宽测量单元确定在所述多个内容项的流入速率之中是否存在高于或等于预先对每一个内容项指定的带宽的流入速率达预定时间段，并且
其中，当在所述多个内容项的流入速率之中存在高于或等于预先对每一个内容项指定的带宽的流入速率达预定时间段时，所述带宽决定单元以更高带宽取代具有最大差异的内容项的带宽。
（6）
根据（4）所述的图像处理装置，
其中，所述带宽测量单元确定在所述多个内容项的流入速率之中是否存在低于预先对每一个内容项指定的带宽的流入速率达预定时间段，并且
其中，当在所述多个内容项的流入速率之中存在低于预先对每一个内容项指定的带宽的流入速率达预定时间段时，所述带宽决定单元以更低带宽取代具有最大差异的内容项的带宽。
（7）
根据（1）到（6）的任一个所述的图像处理装置，其中所述带宽决定单元通过选择对相同的内容项准备的多个带宽之一来决定分配给每一个内容项的带宽。
（8）
根据（1）到（7）的任一个所述的图像处理装置，进一步包括：
内容组合单元，配置为在解码之前组合由所述内容获取单元获取的所述 多个内容项。
（9）
一种图像处理方法，包括：
同时获取多个内容项，所述多个内容项通过网络分发；并且
通过使用每一个内容项相对于要由同时获取的全部的所述多个内容项使用的带宽的比率，决定分配给在获取步骤中获取的每一个内容项的频带。
（10）
一种使得计算机执行以下的计算机程序：
同时获取多个内容项，所述多个内容项通过网络分发；并且
通过使用每一个内容项相对于要由同时获取的全部的所述多个内容项使用的带宽的比率，决定分配给在获取步骤中获取的每一个内容项的频带。