发送设备、发送方法、接收设备和接收方法.pdf

本发明的目的是使得能够在接收端以更准确地适应于所传送的内容中的动态变化的方式进行正确的流接收。在第一发送模式中，发送基本视频流和预定数量的扩展视频流，其中基本视频流包括构成可伸缩编码的图像数据的最下位阶层的图像数据，每个扩展视频流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据。在第二发送模式中，只发送包括基本图像数据的基本视频流。用于识别第一模式和第二模式的识别信息被插入到视频流中。在接收端，可以容易地确定发送模式，从而使得可以以更准确地适应于流组成中的变化、即所传送的内容中的动态变化的方式进行正确的流接收。

权利要求书1.  一种发送设备，包括： 被配置为发送一个或多个视频流的发送单元；以及 被配置为将用于识别第一发送模式和第二发送模式的识别信息插 入到视频流中的识别信息插入单元，其中第一发送模式用于发送基本 视频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的 图像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸 缩编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模 式用于只发送包括基本图像数据的基本视频流。 2.  如权利要求1所述的发送设备，其中，在第一发送模式中， 识别信息插入单元将指示第一发送模式的识别信息插入到视频流中， 并且在第二发送模式中，识别信息插入单元不将识别信息插入到视频 流中。 3.  如权利要求1所述的发送设备，其中，在第一发送模式中， 识别信息插入单元将指示第一发送模式的识别信息插入到视频流中， 并且在第二发送模式中，识别信息插入单元将指示第二发送模式的识 别信息插入到视频流中。 4.  如权利要求1所述的发送设备，其中，在第一发送模式中， 识别信息插入单元不将识别信息插入到视频流中，并且在第二发送模 式中，识别信息插入单元将指示第二发送模式的识别信息插入到视频 流中。 5.  如权利要求1所述的发送设备，其中，识别信息插入单元至 少按照节目单位、场景单位、画面组单位或画面单位将识别信息插入 到基本视频流中。 6.  如权利要求1所述的发送设备，其中，在第一发送模式中， 发送单元将基本视频流和预定数量的增强视频流插入到一个或多个视 频基础流中并且发送所述一个或多个视频基础流。 7.  如权利要求6所述的发送设备，其中，当基本视频流和预定 数量的增强视频流被插入到单个视频基础流中并且被发送时，指示流 边界的信息被布置在视频流之间。 8.  如权利要求1所述的发送设备，其中，当识别信息指示第一 发送模式时，识别信息包括指示增强视频流的数量的信息。 9.  如权利要求1所述的发送设备，其中，当识别信息指示第一 发送模式时，识别信息包括指示可伸缩性增强的类型的信息。 10.  如权利要求1所述的发送设备，其中，当识别信息指示第一 发送模式时，识别信息包括关于在与可伸缩性增强中的上位阶层合成 时的缩放比率的信息。 11.  如权利要求1所述的发送设备，其中，发送单元发送包括一 个或多个视频流的预定格式的容器，以及 发送设备还包括被配置为将用于识别模式是第一发送模式还是第 二发送模式的识别信息插入到容器的层中的识别信息插入单元。 12.  如权利要求11所述的发送设备，其中当识别信息指示第一 发送模式时，识别信息附有指示可伸缩性增强的类型的信息。 13.  如权利要求11所述的发送设备，其中，识别信息附有指示 是否在单个视频基础流中提供一个或多个视频流的信息。 14.  如权利要求11所述的发送设备，其中当识别信息指示第一 发送模式时，识别信息附有指示增强视频流的数量的信息。 15.  如权利要求1所述的发送设备，其中，发送单元发送包括一 个或多个视频流的预定格式的容器，以及 发送设备还包括被配置为将用于识别插入一个或多个视频流的视 频基础流的数量的识别信息插入到容器的层中的识别信息插入单元。 16.  一种发送方法，包括： 发送一个或多个视频流的步骤；以及 将用于识别第一发送模式和第二发送模式的识别信息插入到基本 视频流中的步骤，其中第一发送模式用于发送基本视频流和预定数量 的增强视频流，基本视频流包括构成可伸缩编码的图像数据的最下位 阶层的图像数据，每个增强视频流包括除构成可伸缩编码的图像数据 的除最下位阶层之外的阶层的图像数据，第二发送模式用于只发送包 括基本图像数据的基本视频流。 17.  一种接收设备，包括： 被配置为接收一个或多个视频流的接收单元； 被配置为基于插入到视频流中的识别信息识别第一发送模式和第 二发送模式的发送模式识别单元，其中第一发送模式用于发送基本视 频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的图 像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩 编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模式 用于只发送包括基本图像数据的基本视频流；以及 被配置为基于模式识别结果对接收到的视频流执行与每种模式对 应的处理并且获得要显示的图像数据的处理单元。 18.  如权利要求17所述的接收设备，其中接收单元接收包括视 频流的预定格式的容器， 用于识别模式是第一发送模式还是第二发送模式的识别信息被插 入到容器的层中，以及 发送模式识别单元根据插入到容器的层中的识别信息和插入到视 频流中的识别信息来识别模式是第一发送模式还是第二发送模式。 19.  一种接收方法，包括： 接收一个或多个视频流的步骤； 基于插入到视频流中的识别信息来识别第一发送模式和第二发送 模式的步骤，其中第一发送模式用于发送基本视频流和预定数量的增 强视频流，基本视频流包括构成可伸缩编码的图像数据的最下位阶层 的图像数据，每个增强视频流包括除构成可伸缩编码的图像数据的最 下位阶层之外的阶层的图像数据，第二发送模式用于只发送包括基本 图像数据的基本视频流；以及 基于模式识别结果对接收到的视频流执行与每种模式对应的处理 并且获得要显示的图像数据的步骤。

说明书发送设备、发送方法、接收设备和接收方法
技术领域
本技术涉及发送设备、发送方法、接收设备和接收方法，更具体 地，涉及被配置为以时分方式发送常规图像的图像数据和空间上或时 间上非常高分辨率图像的图像数据的发送设备等。
背景技术
过去，不仅已经考虑了对于有效像素数量是1920×1080像素的 HD图像的服务，而且也考虑了对于空间上非常高分辨率图像的服务， 比如4K、8K等图像，4K、8K图像分别具有在水平和垂直方向上都 比有效像素数量多两倍和四倍的像素(例如，参见专利文献1)。另 一方面，不仅已经考虑了对于帧频率是60Hz的60fps图像的服务， 而且也考虑了对于帧频率是120Hz、240Hz等时间上非常高分辨率图 像的服务。
引用列表
专利文献
专利文献1：JP 2011-057069 A
发明内容
本发明要解决的问题
例如，在诸如广播和网络的服务中，考虑了以时分方式发送常规 图像(例如，HD分辨率、25fps、30fps图像，等等)的图像数据和 空间上或时间上非常高分辨率图像的图像数据(可伸缩编码的图像数 据)的方法。在这种情况下，对于在接收侧支持非常高分辨率图像的 接收器来说，需要与图像数据的切换同步地切换处理。
问题的解决方案
本技术的目的是适当地处理流配置中的变化，更具体地，适当地 处理分发内容的动态变化并且能够执行正确的流接收。
本技术的概念在于发送设备，该发生设备包括：
被配置为发送一个或多个视频流的发送单元；以及
被配置为将用于识别第一发送模式和第二发送模式的识别信息插 入到视频流中的识别信息插入单元，其中第一发送模式用于发送基本 视频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的 图像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸 缩编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模 式用于只发送包括基本图像数据的基本视频流。
在本技术中，发送单元发送一个或多个视频流。在第一发送模式 中，发送基本视频流和预定数量的增强视频流，其中基本视频流包括 构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频 流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像 数据。在第二发送模式中，只发送包括基本图像数据的基本视频流。
例如，在第一发送模式中，基本视频流和预定数量的增强视频流 被插入到一个或多个视频基础流中并且被发送。在基本视频流和预定 数量的增强视频流被插入到单个视频基础流中以被发送的情况下，指 示流边界的信息可以被布置在视频流之间。因此，位于每个视频流的 画面的头部的数据可以被立即访问。
识别信息插入单元将用于识别第一发送模式和第二发送模式的识 别信息插入到视频流中。例如，识别信息插入单元可以至少按照节目 单位、场景单位、画面组单位或画面单位来插入识别信息。
例如，在第一发送模式中，识别信息插入单元可以将指示第一发 送模式的识别信息插入到视频流中，并且在第二发送模式中，识别信 息插入单元可以将指示第二发送模式的识别信息插入到视频流中。例 如，在第一发送模式中，识别信息插入单元可以将指示第一发送模式 的识别信息插入到视频流中，并且在第二发送模式中，识别信息插入 单元可以不将识别信息插入到视频流中。例如，在第一发送模式中， 识别信息插入单元可以不将识别信息插入到视频流中，并且在第二发 送模式中，识别信息插入单元可以将指示第二发送模式的识别信息插 入到视频流中。
例如，当识别信息指示第一发送模式时，识别信息可以包括指示 增强视频流的数量的信息。例如，当识别信息指示第一发送模式时， 识别信息可以包括指示可伸缩性增强的类型的信息。例如，当识别信 息指示第一发送模式时，识别信息可以包括指示在与可伸缩性增强中 的上位阶层合成时的缩放比率的信息。
如上所述，根据本技术，在第一发送模式中，发送基本视频流和 预定数量的增强视频流，其中基本视频流包括构成可伸缩编码的图像 数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩编 码的图像数据的最下位阶层之外的阶层的图像数据。在第二发送模式 中，只发送包括基本图像数据的基本视频流。然后，用于识别第一模 式和第二模式的识别信息被插入到视频流中。
因此，接收侧可以容易地基于识别信息发现模式是第一发送模式 还是第二发送模式，并且接收侧可以适当地处理流配置中的变化，更 具体地，接收侧可以适当地处理分发内容中的动态变化，从而能够执 行正确的流接收。更具体地，当以时分方式发送常规图像(例如， HD分辨率、25fps、30fps图像，等等)的图像数据和空间上或时间 上非常高分辨率图像的图像数据(可伸缩编码的图像数据)时，接收 侧可以以优选的方式来切换处理。
根据本技术，例如，发送单元可以发送包括一个或多个视频流的 预定格式的容器，并且发送设备还可以包括被配置为将用于识别模式 是第一发送模式还是第二发送模式的识别信息插入到容器的层中的识 别信息插入单元。如上所述，识别信息插入到容器的层中，因此接收 侧可以执行灵活的操作。
例如，当识别信息指示第一发送模式时，识别信息可以附有指示 可伸缩性增强的类型的信息。例如，识别信息可以附有指示是否在单 个视频基础流中提供一个或多个视频流的信息。例如，当识别信息指 示第一发送模式时，识别信息可以附有指示增强视频流的数量的信息。
根据本技术，发送单元可以发送包括一个或多个视频流的预定格 式的容器，并且发送设备还可以包括被配置为将用于识别插入一个或 多个视频流的视频基础流的数量的识别信息插入到容器的层中的识别 信息插入单元。
本技术的另一个概念在于接收设备，该接收设备包括：
被配置为接收一个或多个视频流的接收单元；
被配置为基于插入到视频流中的识别信息识别第一发送模式和第 二发送模式的发送模式识别单元，其中第一发送模式用于发送基本视 频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的图 像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩 编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模式 用于只发送包括基本图像数据的基本视频流；以及
被配置为基于模式识别结果对接收到的视频流执行与每种模式对 应的处理并且获得要显示的图像数据的处理单元。
根据本技术，接收单元接收一个或多个视频流。在第一发送模式 中，接收基本视频流和预定数量的增强视频流，其中基本视频流包括 构成可伸缩编码的图像数据的最下位阶层的图像数据，每个增强视频 流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像 数据。在第二发送模式中，可以只接收到包括基本图像数据的基本视 频流。
发送模式识别单元基于插入到视频流中的识别信息来识别模式是 第一发送模式还是第二发送模式。处理单元基于模式识别结果对接收 到的视频流执行与每种模式对应的处理并且获得要显示的图像数据。
如上所述，根据本技术，在第一发送模式中，接收基本视频流和 预定数量的增强视频流，其中基本视频流包括构成可伸缩编码的图像 数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩编 码的图像数据的最下位阶层之外的阶层的图像数据。在第二发送模式 中，只接收包括基本图像数据的基本视频流。然后，基于插入到视频 流中的识别信息来识别模式是第一发送模式还是第二发送模式。
然后，基于识别的模式对接收到的视频流执行与每种模式对应的 处理，并且获得要显示的图像数据。因此，接收侧可以容易地发现模 式是第一发送模式还是第二发送模式，并且接收侧可以适当地处理流 配置中的变化，更具体地，接收侧可以适当地处理分发内容中的动态 变化，从而能够执行正确的流接收。更具体地，当以时分方式发送常 规图像(例如，HD分辨率、25fps、30fps图像，等等)的图像数据 和空间上或时间上非常高分辨率图像的图像数据(可伸缩编码的图像 数据)时，接收侧可以以优选的方式来切换处理。
根据本技术，例如，接收单元可以接收包括视频流的预定格式的 容器，并且用于识别模式可以是第一发送模式还是第二发送模式的识 别信息被插入到容器的层中，以及发送模式识别单元可以基于插入到 容器的层中的识别信息和插入到视频流中的识别信息来识别模式是第 一发送模式还是第二发送模式。
本发明的效果
根据本技术，可以适当地处理流配置中的变化，更具体地，可以 适当地处理分发内容的动态变化并且能够执行正确的流接收。
附图说明
图1是示出根据实施例的图像发送/接收系统的配置的例子的框 图。
图2(a)至图2(c)是示出空间分辨率不同的图像数据的例子的示图。
图3(a)至图3(c)是示出时间分辨率不同的图像数据的例子的示图。
图4是示出空间分辨率可伸缩性的例子的示图。
图5是示出在接收侧(解码侧)的空间分辨率可伸缩性的具体配 置的例子的示图。
图6是示出空间分辨率可伸缩性的解码过程的例子的示图。
图7(a)至图7(c)是示出时间分辨率可伸缩性的例子的示图。
图8是示出在发送基本视频流和第一增强视频流的情况下解码的 例子的示图。
图9是示出在接收侧(解码侧)的时间分辨率可伸缩性的具体配 置的例子的示图。
图10是示出时间分辨率可伸缩性的解码过程的例子的示图。
图11(a)和图11(b)是示出视频基础流的例子的示图，其中视频基 础流包括多个视频流(子流)的画面的编码数据。
图12是示出在将第一发送模式和第二发送模式布置成交替连续 并且没有给出用于模式识别的识别信息(信令)的情况下的例子的示 图。
图13是用于解释在根据“方法1”将识别信息插入到视频流中 的情况下的例子的示图。
图14是用于解释在根据“方法2”将识别信息插入到视频流中 的情况下的例子的示图。
图15是用于解释在根据“方法3”将识别信息插入到视频流中 的情况下的例子的示图。
图16是示出被配置为在广播站中产生传输流的发送数据产生单 元的配置的例子的框图。
图17是示出在基本视频流和预定数量的增强视频流被插入到单 个视频基础流(单个PID)中的情况下流中的编码分组顺序的示图。
图18是示出在包括基本视频流和预定数量的增强视频流的每个 视频流被插入到多个视频基础流(多个PID)中的情况下每个流中的 编码分组顺序的示图。
图19(a)和图19(b)是示出位于GOP(画面组)头部的访问单元 和位于除其头部以外的访问单元的配置的例子的示图。
图20(a)和图20(b)是示出SEI消息“增强可伸缩性SEI消息” 的结构的例子的示图。
图21是示出增强可伸缩性数据 (enhancement_scalability_data())的结构的例子的示图。
图22是示出在增强可伸缩性数据 (enhancement_scalability_data())的结构的例子中主信息的内容的 示图。
图23是示出可伸缩增强描述符 (Scalable_enhancement_descriptor)的结构的例子的示图。
图24是示出在可伸缩增强描述符 (Scalable_enhancement_descriptor)的结构的例子中主信息的内容 的示图。
图25是示出多流描述符(Multiple_stream_descriptor)的结构 的例子的示图。
图26是示出在只有一个视频基础流(单个PID)的情况下TS 的配置的例子的示图，其中视频流(子流)被插入到这一个视频基础 流中。
图27是示出在有多个视频基础流(多个PID)的情况下TS的 配置的例子的示图，其中视频流(子流)被插入到这多个视频基础流 中。
图28是示出构成图像发送/接收系统的接收器的配置的例子的示 图。
图29是用于解释当切换高精度节目和常规节目时接收处理的切 换控制的示图。
图30是用于解释当切换高精度节目和常规节目时接收处理的切 换控制的示图。
具体实施方式
在下文中，将解释用于执行本发明的模式(在下文中被称为“实 施例”)。应当注意，将以下面的顺序给出该解释。
1.实施例
2.修改
<1.实施例>
[图像发送/接收系统]
图1示出根据实施例的图像发送/接收系统10的配置的例子。这 种图像发送/接收系统10包括广播站100和接收器200。广播站100 以通过广播波携载传输流TS的方式发送用作容器的传输流TS。
更具体地，在第一发送模式中，在发送用于使得空间上或时间上 非常高分辨率的图像能够显示的可伸缩编码的图像数据期间，传输流 TS包括多个视频流(视频子流)。在这种情况下，传输流TS包括 基本视频流和预定数量的增强视频流，其中基本视频流包括构成可伸 缩编码的图像数据的最下位阶层的图像数据，增强视频流包括除构成 可伸缩编码的图像数据的最下位阶层之外的阶层的图像数据。
更具体地，在第二发送模式中，在发送常规图像(例如，HD分 辨率、25fps、30fps图像，等等)的图像数据期间，传输流TS包括 单个视频流(视频子流)。在这种情况下，传输流TS只包括基本视 频流，该基本视频流包括常规图像的图像数据作为基本图像数据。
图2(a)示出有效像素数量是1920*1080的HD图像的图像数据， 其用作常规图像的图像数据。图2(b)示出有效像素数量在水平和垂直 方向上是HD(高清晰)有效像素数量的两倍的4K的图像数据，其 用作空间上非常高分辨率的图像数据。图2(c)示出有效像素数量在水 平和垂直方向上是HD有效像素数量的四倍的8K的图像数据，其用 作空间上非常高分辨率的图像数据。
图3(a)示出帧频率是60Hz的60fps的图像数据，其用作常规图 像的图像数据。图3(b)示出帧频率是120Hz的120fps的图像数据， 其用作时间上非常高分辨率的图像数据。图3(c)示出帧频率是240 Hz的240fps的图像数据，其用作时间上非常高分辨率的图像数据。
图4示出空间分辨率可伸缩性的例子。这个例子是用于处理例如 8K图像数据S-8K的例子，8K图像数据S-8K是空间上非常高分辨 率的图像数据。首先，将解释发送侧(编码侧)。下采样单元301对 图像数据S-8K应用1/β倍的下采样处理。在这个例子中，下采样单 元301对图像数据S-8K应用1/2倍的下采样处理，以产生4K图像 数据S-4K。此外，下采样单元302对图像数据S-4K应用1/α倍的下 采样处理。在这个例子中，下采样单元302对图像数据S-4K应用 1/2倍的下采样处理，以产生HD图像数据S-HD。
上采样单元303对图像数据S-HD应用α倍的上采样处理。在这 个例子中，上采样单元303对图像数据S-HD应用两倍的上采样处理， 以产生4K图像数据S-4K_L。这个4K图像数据S-4K_L是通过对图 像数据S-4K应用下采样处理和上采样处理而获得的，并且该4K图 像数据S-4K_L缺少4K级别中的高频成分。减法器304从图像数据 S-4K中减去图像数据S-4K_L并产生4K级别中的高频成分S-4K_H。
上采样单元305对图像数据S-4K应用β倍的上采样处理。在这 个例子中，上采样单元305对图像数据S-4K应用两倍的上采样处理， 以产生8K图像数据S-8K_L。这个8K图像数据S-8K_L是通过对图 像数据S-8K应用下采样处理和上采样处理而获得的，并且该8K图 像数据S-8K_L缺少8K级别中的高频成分。减法器306从图像数据 S-8K中减去图像数据S-8K_L并产生8K级别中的高频成分S-8K_H。
图像数据S-HD构成第一阶层(最下位阶层)的图像数据。图像 数据S-HD被视频编码器307编码，以便获得基本视频流St1。这个 基本视频流St1被临时累积到编码缓冲器308。4K级别中的高频成 分S-4K_H构成第二阶层的图像数据。这个高频成分S-4K_H被视频 编码器309编码，以便获得第一增强视频流St2。这个第一增强视频 流St2被临时存储到编码缓冲器310。
8K级别中的高频成分S-8K_H构成第三阶层的图像数据。这个 高频成分S-8K_H被视频编码器311编码，以便获得第二增强视频流 St3。这个第二增强视频流St3被临时存储到编码缓冲器312。基本视 频流St1、第一增强视频流ST2以及第二增强视频流St3被多路复用 器313合并，并且合并的流被发送到接收侧。
接下来，将解释接收侧(解码侧)。多路解复用器351从合并的 流中分离基本视频流St1、第一增强视频流St2以及第二增强视频流 St3。基本视频流St1被临时累积在解码缓冲器352中。然后，这个 基本视频流St1被解码器353解码，从而获得作为第一阶层(最下位 阶层)的图像数据的HD图像数据S-HD。利用这个图像数据S-HD， 就可以显示HD图像。
第一增强视频流St2被临时存储到解码缓冲器354。然后，这个 第一增强视频流St2被解码器355解码，从而获得作为第二阶层的图 像数据的4K级别中的高频成分S-4K_H。上采样单元356对图像数 据S-HD应用α倍的上采样处理。在这个例子中，上采样单元356对 图像数据S-HD应用2倍的上采样处理，以产生4K图像数据S- 4K_L。加法器357把4K级别中的高频成分S-4K_H添加到4K图像 数据S-4K_L，从而获得4K图像数据S-4K。利用图像数据S-4K， 就可以显示4K图像。
第二增强视频流St3被临时存储到解码缓冲器358。然后，这个 第二增强视频流St3被解码器359解码，从而获得作为第三阶层的图 像数据的8K级别中的高频成分S-8K_H。上采样单元360对图像数 据S-4K应用β倍的上采样处理。在这个例子中，上采样单元360对 图像数据S-4K应用两倍的上采样处理，以产生8K图像数据S-8K_L。 加法器361把8K级别中的高频成分S-8K_H添加到8K图像数据S- 8K_L，从而获得8K图像数据S-8K。利用图像数据S-8K，就可以显 示8K图像。
图5示出具有上述空间分辨率可伸缩性的接收侧(解码侧)的具 体配置的例子。这个配置的例子示出了存在两个层(第一阶层、第二 阶层)的情况。熵解码单元353a对基本视频流St1执行熵解码处理， 并且量化解码单元353b对基本视频流St1执行逆量化处理。此外， 频率转换解码器353c处理逆量化的数据，以把数据从频率轴数据变 回到时间轴数据，从而获得数据D1(n)。
加法器353f把从帧缓冲器353d获得的、已在由运动补偿单元 353e执行的运动补偿处理中处理的之前帧的图像数据S-HD(n-1)添加 到已在频率转换解码中被处理的数据D1(n)。然后，这个加法器353f 提供当前帧的HD图像数据S-HD(n)。
熵解码单元355a对第一增强视频流St2执行熵解码处理，并且 量化解码单元355b对第一增强视频流St2执行逆量化处理。此外， 频率转换解码器355c处理逆量化的数据，以把数据从频率轴数据变 回到时间轴数据，从而获得数据D2(n)。
加法器355f把从帧缓冲器355d获得的、已在由运动补偿单元 355e执行的运动补偿处理中处理的之前帧的高频成分S-4K_H(n-1)添 加到已在频率转换解码中被处理的数据D2(n)。这个加法器355f提供 当前帧的4K级别中的高频成分S-4K_H(n)。上采样单元356对图像 数据S-HD(n)应用α倍的上采样处理。在这个例子中，上采样单元 356对图像数据S-HD(n)应用2倍的上采样处理，以产生4K图像数 据S-4K_L(n)。加法器357把4K级别中的高频成分S-4K_H(n)添加 到4K图像数据S-4K_L(n)，从而产生当前帧的4K图像数据S-4K(n)。
图6示出空间分辨率可扩展性的解码过程的例子。在这个例子中， 存在包括第一阶层(最下位阶层)的图像数据的基本视频流(基流)。 在这个例子中，存在包括第二阶层(高频成分)的图像数据的第一增 强视频流(第一增强流)和包括第三阶层(高频成分)的图像数据的 第二增强视频流(第二增强流)。在这个例子中，基本视频流的空间 分辨率利用第一增强视频流按照“放大比率1”被放大，并且利用第 二增强视频按照“放大比率2”被进一步放大。
第一阶层的图像数据V1是通过解码基本视频流而获得的。图像 数据V1被上采样，以便通过按照“放大比率1”放大图像数据V1 的水平和垂直分辨率来获得图像数据V2L。第二阶层的图像数据 V2H是通过解码第一增强视频流而获得的。将图像数据V2L、V2H 相加，并且通过相对于图像数据V1按照“放大比率1”放大水平和 垂直分辨率来获得图像数据V2。
图像数据V2被上采样，以便通过按照“放大比率2”放大图像 数据V2的水平和垂直分辨率来获得图像数据V3L。第三阶层的图像 数据V3H是通过解码第二增强视频流而获得的。将图像数据V3L、 V3H相加，并且通过相对于图像数据V2按照“放大比率2”放大水 平和垂直分辨率来获得要显示的图像数据V3。
图7(a)至图7(c)示出时间分辨率可伸缩性的例子。在这个例子中， 如在图7(a)中所示出的，120fps的图像数据S-120被视为时间上非 常高分辨率的图像数据。图像数据S-120被分成两个阶层，包括第一 阶层(最下位阶层)和第二阶层。
例如，如在图7(b)中所示出的，第一阶层的图像数据(偶数帧的 图像数据)被编码，从而产生基本视频流St1。这个基本视频流St1 由I画面(帧内画面)、P画面(预测画面)和B画面(双向预测画 面)构成。I画面不参考其它的画面，而P画面和B画面只参考基本 视频流St1中的I画面或P画面。因此，这个基本视频流St1可被单 独地解码，而不依赖任何其它流。
例如，如在图7(c)中所示出的，第二阶层的图像数据(奇数帧的 图像数据)被编码，从而产生第一增强视频流St2。这个第一增强视 频流St2由P画面和B画面构成。P画面和B画面不仅参考这个第 一增强视频流St2中的P画面，而且还参考基本视频流St1中的I画 面、P画面以及还有B画面。因此，这个第一增强视频流St2不仅需 要这个流，而且还需要基本视频流St1的解码结果。
图7(c)中的第一增强视频流St2中的B画面被表示为“B”，而 图7(b)中的基本视频流St1中的B画面被表示为“Br”。“B”指示 它是不被其它画面参考的B画面，而“Br”指示它是被其它画面参 考的B画面。
以上解释的基本视频流St1和第一增强视频流St2从发送侧(编 码侧)发送到接收侧(解码侧)。在接收侧，通过解码基本视频流 St1可以获得60fps的图像数据S-60。在接收侧，基本视频流St1和 第一增强视频流St2两者都被解码并合并，从而可以获得120fps的 图像数据S-120。
图8是示出在发送基本视频流St1和第一增强视频流St2的情况 下解码的例子的示图。按照下面的顺序对基本视频流St1执行解码处 理：第0帧的I画面(I_0)，第6帧的P画面(P_6)，第2帧的B 画面(Br_2)，然后第4帧的B画面(Br_4)…。图中的箭头示出 了画面的参考关系。基本视频流St1因此被解码，从而可以获得60 fps的图像数据S-60。
按照下面的顺序对第一增强视频流St2执行解码处理：第1帧的 P画面(P_1)，第7帧的P画面(P_7)，第3帧的B画面(B_3)， 然后第5帧的B画面(B_5)…。图中的箭头示出了画面的参考关系。 不仅基本视频流St1被解码，而且第一增强视频流St2也被如上所述 地解码，从而可以获得120fps的图像数据S-120。
图9示出在接收侧(解码侧)的时间分辨率可伸缩性的具体配置 的例子。这个配置的例子示出了存在两个层(第一阶层，第二阶层) 的情况。熵解码单元403a对基本视频流St1执行熵解码处理，并且 量化解码单元403b对基本视频流St1执行逆量化处理。此外，频率 变换解码器403c处理逆量化的数据，以把数据从频率轴数据变回到 时间轴数据，从而获得当前帧的解码数据D1(n)。
加法器403f把从帧缓冲器403d获得的、已在由运动补偿单元 403e执行的运动补偿处理中被处理的参考画面的图像数据添加到解 码数据D1(n)。然后，这个加法器403f提供当前帧的60fps的图像 数据S-60(n)。
熵解码单元405a对第一增强视频流St2执行熵解码处理，并且 量化解码单元405b对第一增强视频流St2执行逆量化处理。此外， 频率变换解码器405c处理逆量化的数据，以把数据从频率轴数据变 回到时间轴数据，从而获得当前帧的解码数据D2(n)。
加法器405f把从帧缓冲器403d和帧缓冲器405d获得的、已在 由运动补偿单元405e执行的运动补偿处理中处理的参考画面的图像 数据添加到解码数据D2(n)。这个加法器405f提供当前帧的60fps 的图像数据S-60(n)'。然后，合并单元406把60fps的图像数据S- 60(n)'与上面解释的60fps的图像数据S-60(n)合并，从而获得120 fps的图像数据S-120。
一个或多个视频流(视频子流)被插入到一个或多个视频基础流 中并且被发送。更具体地，传输流TS包括一个或多个视频基础流。 当基本视频流和预定数量的增强视频流被插入到单个视频基础流中并 且被发送时，单个访问单元(access unit)包括所有流的画面。
图10是示出时间分辨率可伸缩性的解码过程的例子的示图。图 10中的箭头表示所参考的画面的方向。在这个例子中，存在包括第 一阶层(最下位阶层)的图像数据的基本视频流(基流)。在这个例 子中，存在包括第二阶层的图像数据的第一增强视频流(第一增强流) 和包括第三阶层的图像数据的第二增强视频流(第二增强流)。于是， 在这个例子中，基本视频流的帧显示频率利用第一增强视频流被增加 了两倍，并且利用第二增强视频流被进一步增加了两倍。
在这个例子中，在基本视频流与第一增强视频流之间，增强层 (Enhanced layer)中插入的画面具有一个画面。在第一增强视频流 与第二增强视频流之间，增强层(Enhanced layer)中插入的画面具 有一个画面。
通过只参考这个基本视频流中的画面，基本视频流的每个画面被 解码。通过参考基本视频流中的画面，第一增强视频流的每个画面被 解码。通过参考基本视频流和第一增强视频流中的画面，第二增强视 频流的每个画面被解码。
如上所述，基本视频流、第一增强视频流和第二增强视频流被解 码，并且最终地，获得具有比基本视频流的帧显示频率高四倍的显示 频率的图像数据。
图11(a)和图11(b)示出视频基础流的例子，其中视频基础流包括 多个视频流(子流)的画面的编码数据。在每个访问单元中，每个子 流的画面的编码数据按顺序布置。在这个例子中，第一子流的画面的 编码数据由“SPS至编码的片段(Coded Slice)”构成。第二和后续 子流的画面的编码数据由“子集SPS(Subset SPS)至编码的片段 (Coded Slice)”构成。在这个例子中，采用了根据MPEG4-AVC的 编码。但是，也可以采用其它的编码方法。应当注意，图中的十六进 制数字表示“NAL单元类型”。
当子流的画面的编码数据共同存在于单个视频基础流中时，需要 立即识别画面之间的边界。但是，AUD(访问单元分隔符)只可被 添加到单个访问单元的头部。因此，如图11(b)中所示出的，可以在 子流的画面的编码数据之间定义和布置指示边界的新的“NAL单 元”：“子流分隔标志(Substream Separation Marker)”。
因此，位于每个子流的画面的头部的数据可以被立即访问。图 11(a)示出没有在子流的画面的编码数据之间布置“子流分隔标志 (Substream Separation Marker)”的例子。
图12示出在将第一发送模式和第二发送模式布置成交替连续并 且没有给出用于模式识别的识别信息(信令)的情况下的例子。时间 段A和时间段C表示第一发送模式中的时间段。时间段B表示第二 发送模式中的时间段。例如，每个时间段表示节目单位或场景单位。
第一发送模式的时间段不仅包括基本视频流，而且包括用于获得 空间上或时间上非常高分辨率的增强视频流。第二发送模式的时间段 只包括基本视频流。在基本视频流中，SPS被布置在基本视频流的头 部，并且随后布置预定数量的访问单元(AU)。在增强视频流中， 子集SPS(SSSPS)被布置在增强视频流的头部，并且随后布置预定 数量的访问单元(AU)。访问单元(AU)由“PPS，子流SEI (Substream SEIs)，编码的片段(Coded Slice)”构成。
当在从时间段A切换到时间段B的时间点没有向接收器的接收 缓冲器提供任何增强视频流时，接收器不能确定流是由于编码器或发 送路径的原因而要花更多的时间到达接收器，还是编码器停止编码增 强视频流并且只提供基本视频流。在这种情况下，在接收器处的缓冲 器可能不得不等待比需要更长的时间，并且因此可能发生下溢 (underflow)。
在这种情况下，在接收器的处置中，例如，与预先设定的超时时 间进行比较，并且接收器可以例如将显示模式从用于非常高分辨率图 像的显示模式改变成基本图像(常规图像)的显示模式。但是，当这 种决定由接收器做出时，需要占用处理时间来执行该决定，这使得不 可能立即作出决定。更具体地，接收器不能执行正确的流接收以适当 地处理流配置中的变化，更具体地，不能适当地处理分发内容中的动 态变化。
为了避免这种情况，可能需要提供与发送模式的切换同步的模式 识别信息(信令)，从而使得接收器能够检测信号并立即确定用于切 换发送模式的时间点。在这个实施例中，用于识别第一发送模式和第 二发送模式的识别信息被插入到视频流中。
例如，根据以下解释的“方法1”、“方法2”或“方法3”来 插入识别信息。如图13中所示出的，在“方法1”中，指示第一发 送模式的识别信息“EHF”被插入到视频流中，或者指示第二发送模 式(不存在增强视频流)的识别信息“BCF”被插入到视频流中。更 具体地，在第一发送模式中，识别信息“EHF”被插入到视频流中， 并且在第二发送模式中，识别信息“BCF”被插入到视频流中。
如图14中所示出的，在“方法2”中，指示第一发送模式(存 在增强视频流)的识别信息“EHF”被插入到视频流中。更具体地， 在第一发送模式中，识别信息“EHF”被插入到视频流中，并且在第 二发送模式中，识别信息不被插入到视频流中。
如图15中所示出的，在“方法3”中，指示第二发送模式的识 别信息“BCF”被插入到视频流中。更具体地，在第一发送模式中， 识别信息不被插入到视频流中，并且在第二发送模式中，识别信息 “BCF”被插入到视频流中。
在第一发送模式的情况下，更具体地，在识别信息“EHF”的情 况下，这个识别信息包括指示增强视频流的数量的信息、指示可伸缩 性增强的类型的信息、指示在与可伸缩性增强中的上位阶层合并时的 缩放比率的信息，等等。
例如，这个识别信息被插入到视频流的序列头部或画面头部的用 户数据区域中。这个识别信息至少按照节目单位、场景单位、画面组 单位或画面单位来插入。在以上解释的图13、图14和图15中所示 出的例子示出了按照画面单位来插入识别信息的例子。
如上所述，发送模式的识别信息被插入到视频流中，使得接收侧 可以根据发送模式的切换来适当地切换非常高分辨率图像的显示处理 和常规图像的显示处理。当执行常规图像的显示处理时，执行分辨率 提高处理。识别信息(“EHF”，“BCF”)的细节将在后面解释。
此外，用于识别模式是第一发送模式还是第二发送模式的识别信 息被插入到传输流TS的层中。这个识别信息被布置在事件单元或临 时静态或动态使用例子中的最佳位置。例如，这个识别信息被插入到 传输流TS中所包含的节目映射表(PMT)的视频基础环路(视频 ES环路)中。利用这个识别信息，接收侧可以大概地确定模式是第 一发送模式还是第二发送模式，而无需解码视频流。
当识别信息指示第一发送模式时，识别信息包括指示增强视频流 的数量的信息、指示可伸缩性增强的类型的信息、指示是否在单个视 频基础流中提供预定数量的增强视频流的信息，等等。这种识别信息 的细节将在后面解释。
另外，用于识别插入一个或多个视频流(子流)的视频基础流的 数量的识别信息被插入到传输流TS的层中。这个识别信息被布置在 事件单元或临时静态或动态使用例子中的最佳位置。例如，这个识别 信息被插入到传输流TS中所包含的节目映射表(PMT)的节目环路 (Program_loop)中。利用这个识别信息，接收侧可以确定要解码 的视频基础流的数量。这种识别信息的细节将在后面解释。
接收器200以通过广播波携载传输流TS的方式接收从广播站 100发送的传输流TS。在第一发送模式的时间段中，接收器200解 码在传输流TS中包含的视频流(基本视频流和预定数量的增强视频 流)，并获得非常高分辨率图像的显示图像数据。在第二发送模式的 时间段中，接收器200解码在这个传输流TS中包含的视频流(基本 视频流)，并获得常规图像的显示图像数据。
“发送数据产生单元的配置的例子”
图16示出在广播站100中产生上述传输流TS的发送数据产生 单元110的配置的例子。这个发送数据产生单元110包括图像数据输 出单元111、视频编码器112、图形数据输出单元113、图形编码器 114、音频数据输出单元115、音频编码器116和多路复用器117。
首先，将解释第一发送模式的情况。图像数据输出单元111输出 空间上或时间上非常高分辨率图像的图像数据。这个图像数据输出单 元111包括例如用于捕获被摄体的图像并且输出图像数据的相机和用 于从存储介质读取图像数据并且输出该图像数据的图像数据读取单元。 例如，图像数据对应于4K图像数据、8K图像数据等等，用于显示 空间上非常高分辨率的图像。可替代地，例如，图像数据对应于120 fps的图像数据、240fps的图像数据等等，用于显示时间上非常高分 辨率的图像。
视频编码器112对从图像数据输出单元111输出的图像数据执行 可伸缩编码处理，并且产生基本视频流(子流)和预定数量的增强视 频流，其中基本视频流(子流)包括最下位阶层的图像数据，每个增 强视频流(子流)包括除最下位层之外的阶层的图像数据。每个视频 流(子流)根据例如MPEG4-AVC、MPEG2视频等进行编码。然后， 视频编码器112产生具有基本视频流和预定数量的增强视频流的一个 或多个视频基础流，其中基本视频流和预定数量的增强视频流利用后 面阶段提供的流格式器(未示出)插入到一个或多个视频基础流中。
当采用上面解释的“方法1”或“方法2”时，视频编码器112 将指示第一发送模式的识别信息“EHF”插入到基本视频流中。这个 识别信息“EHF”包括指示增强视频流的数量的信息、指示可伸缩性 增强的类型的信息、指示在与可伸缩性增强中的上位阶层合并时的伸 缩比率的信息，等等。
图17示出基本视频流和预定数量的增强视频流被插入到单个视 频基础流(单个PID)中的情况下流中的编码分组顺序。这个例子示 出了存在单个增强视频流的情况。识别信息“EHF”被插入到基本视 频流中作为SEI消息，SEI消息的细节将在后面解释。
图18示出包括基本视频流和预定数量的增强视频流的每个视频 流被插入到多个视频基础流(多个PID)中的情况下每个流中的编码 分组顺序。这个例子示出了存在单个增强视频流的情况。
返回到图16，图形数据输出单元113输出叠加在图像上的图形 数据(也包括打印的外文翻译的字幕)。图形编码器114产生包括从 图形数据输出单元113输出的图形数据的图形流(图形基础流)。在 这种情况下，图形构成叠加的信息并且例如是徽标、字幕，等等。
图形数据主要是位图数据。图形数据附有指示在图像上的叠加位 置的偏移信息。例如，这个偏移信息指示从图像左上方的起始点到图 形叠加位置的左上方像素的在垂直方向和水平方向上的偏移值。应当 注意，把字幕数据作为位图数据发送的标准被标准化和操作为例如 DVB中的“DVB_Subtitling”，其中DVB是欧洲的数字广播规范。
音频数据输出单元115输出对应于图像数据的音频数据。例如， 这个音频数据输出单元115包括麦克风、或从存储介质中读取音频数 据并输出该音频数据的音频数据读取单元。音频编码器116对从音频 数据输出单元115输出的音频数据应用诸如MPEG-2音频、AAC等 编码，并且产生音频流(音频基础流)。
多路复用器117分组化并且多路复用由视频编码器112、图形编 码器114和音频编码器116产生的每个基础流，从而产生传输流TS。 在这个例子中，PTS(呈现时间戳)被插入到每个PES(分组化的基 础流)的头部，用于在接收侧的同步重放。
多路复用器117将用于识别模式是第一发送模式还是第二发送模 式的识别信息插入到传输流TS的层中。在这个例子中，这个识别信 息指示第一发送模式。例如，这个识别信息被插入到在传输流TS中 所包含的节目映射表(PMT)的视频基础环路(视频ES环路)中。
这个多路复用器117将用于识别插入一个或多个视频流(子流) 的视频基础流的数量的识别信息插入到传输流TS的层中。在这个例 子中，这个识别信息指示“1”或“增强视频流的数量+1”。例如，
这个识别信息被插入到在传输流TS中所包含的节目映射表(PMT) 的节目环路(Program_loop)中。
下面，将解释第二发送模式的情况。图像数据输出单元111输出 常规图像(例如，HD图像)的图像数据。视频编码器112对从图像 数据输出单元111输出的图像数据应用诸如MPEG4-AVC、MPEG2 视频等编码，并产生基本视频流(子流)。然后，视频编码器112产 生具有基本视频流的单个视频基础流，其中基本视频流利用后面阶段 提供的流格式器(未示出)插入到单个视频基础流中。
当采用以上解释的“方法1”或“方法3”时，视频编码器112 将指示第二发送模式的识别信息“BCF”插入到基本视频流中。
虽然省略了图形数据输出单元113、图形编码器114、音频数据 输出单元115和音频编码器116的详细解释，但是它们以与第一发送 模式相同的方式操作。
多路复用器117分组化并多路复用由视频编码器112、图形编码 器114和音频编码器116产生的每个基础流，从而产生传输流TS。 在这个例子中，PTS(呈现时间戳)被插入到每个PES(分组化的基 础流)头部，用于在接收侧的同步重放。
多路复用器117将用于识别模式是第一发送模式还是第二发送模 式的识别信息插入到传输流TS的层中。在这个例子中，这个识别信 息指示第二发送模式。例如，这个识别信息被插入到在传输流TS中 所包含的节目映射表(PMT)的视频基础环路(视频ES环路)中。
这个多路复用器117将用于识别插入一个或多个视频流(子流) 的视频基础流的数量的识别信息插入到传输流TS的层中。在这个例 子中，这个识别信息指示“1”。例如，这个识别信息被插入到在传 输流TS中所包含的节目映射表(PMT)的节目环路(Program_loop) 中。
将简要地解释如图16中所示出的发送数据产生单元110的操作。 首先，将解释第一发送模式的情况。从图像数据输出单元111输出的 空间上或时间上非常高分辨率的图像的图像数据被提供给视频编码器 112。
这个视频编码器112对该图像数据应用可伸缩编码处理，并产生 基本视频流(子流)和预定数量的增强视频流(子流)，其中基本视 频流(子流)包括最下位阶层的图像数据，增强视频流(子流)包括 除最下位层之外的阶层的图像数据。然后，视频编码器112产生插入 了基本视频流和预定数量的增强视频流的一个或多个视频基础流。这 种视频基础流被提供给多路复用器117。当采用以上解释的“方法1” 或“方法2”时，这个视频编码器112将指示第一发送模式的识别信 息“EHF”插入到基本视频流中(参见图13和图14)。
从图形数据输出单元113输出的图形数据(也包括字幕数据)被 提供给图形编码器114。这个图形编码器114产生包括图形数据的图 形流(图形基础流)。这个图形流被提供给多路复用器115。
从音频数据输出单元115输出的音频数据被提供给音频编码器 116。这个音频编码器116对该音频数据应用诸如MPEG-2音频、 AAC等编码，从而产生音频流(音频基础流)。这个音频流被提供 给多路复用器117。
多路复用器117分组化并多路复用由每个编码器提供的基础流， 从而产生传输流TS。在这个例子中，PTS被插入到每个PES的头部， 用于在接收侧的同步重放。多路复用器117在PMT的视频基础环路 (视频ES环路)中插入用于识别模式是第一发送模式还是第二发送 模式的识别信息。多路复用器117在PMT的节目环路中插入用于识 别视频基础流的数量的识别信息。
下面，将解释第二发送模式的情况。从图像数据输出单元111输 出的常规图像(例如，HD图像)的图像数据被提供给视频编码器 112。这个视频编码器112对该图像数据应用诸如MPEG4-AVC、 MPEG2视频等编码，从而产生基本视频流(子流)。然后，这个视 频编码器112产生插入了基本视频流的单个视频基础流。当采用以上 解释的“方法1”或“方法3”时，这个视频编码器112将指示第二 发送模式的识别信息“BCF”插入到基本视频流中(参见图13和图 15)。
多路复用器117分组化并多路复用由视频编码器112、图形编码 器114和音频编码器116产生的每个基础流，从而产生传输流TS。 在这个例子中，PTS被插入到每个PES头部，用于在接收侧的同步 重放。例如，多路复用器117在PMT的视频基础环路(视频ES环 路)中插入用于识别模式是第一发送模式还是第二发送模式的识别信 息。例如，多路复用器117在PMT的节目环路中插入用于识别视频 基础流的数量的识别信息。
[每种识别信息的结构和TS配置]
如上所述，用于识别第一发送模式和第二发送模式(“EHF”， “BCF”)的识别信息被插入到视频流中。例如，当编码方法为 MPEG4-AVC时，或者当编码方法是编码结构(诸如NAL分组)类 似于诸如HEVC的编码方法时，这个识别信息被插入到访问单元 (AU)的“SEI”部分作为SEI消息(增强可伸缩性SEI消息)。
图19(a)示出位于GOP(画面组)的头部的访问单元。图19(b) 示出位于除了GOP的头部以外的访问单元。当识别信息(“EHF”， “BCF”)被插入在GOP单元中时，“增强可伸缩性SEI消息 (Enhancement scalability SEI message)”仅被插入到位于GOP头 部的访问单元中。在示图中，除“增强可伸缩性SEI消息 (Enhancement scalability SEI message)”之外的SEI消息对应于 上述在图17和图18中被描述为“常规SEI(conventional SEI)” 的部分。
图20(a)示出“增强可伸缩性SEI消息(Enhancement scalability  SEI message)”的配置(语法)的例子。“uuid_iso_iec_11578”具 有在“ISO/IEC 11578:1996Annex A”中所指示的UUID值。 “userdata_for_enhancement_scalability_data()”被插入到 “user_data_payload_byte”的字段中。图20(b)示出 “userdata_for_enhancement_scalability_data()”的配置(语法)的 例子。在这种配置中，增强可伸缩性数据 (enhancement_scalability_data()))被插入。“userdata_id”是由无 符号的16比特指示的增强可伸缩性数据的标识符。
图21示出增强可伸缩性数据(enhancement_scalability_data()) 的配置的例子。图22示出在增强可伸缩性数据的结构的例子中主信 息的内容(语义)。
两比特字段“enhancement_scalability_type”指示可伸缩性增强 的类型。例如，“00”指示不可伸缩。“01”指示空间分辨率可伸缩 性。“10”指示时间分辨率可伸缩性。在指示第一发送模式的识别信 息“EHF”的情况下，这个两比特字段是例如“01”或“10”。在指 示第二发送模式的识别信息“BCF”的情况下，这个两比特字段是 “00”。因此，这个两比特字段允许识别模式是第一发送模式还是第 二发送模式。
三比特字段“number_of_enhanced_streams”指示增强视频流 的数量。例如，“000”指示零个流。“001”指示一个流。“010” 指示两个流。“011”指示三个流。在指示第一发送模式的识别信息 “EHF”的情况下，这个三比特字段指示一个或多个流。另一方面， 在指示第二发送模式的识别信息“BCF”的情况下，这个三比特字段 指示零个流。
当两比特字段“enhancement_scalability_type”指示空间分辨率 可伸缩性时，存在与增强视频流的数量一样多的三比特字段 “spatial_scaling_ratio”。这个三比特字段指示在与紧挨着上面增强 层中的解码画面(图像)(增强层)合并时的空间缩放比率，并且表 示用于缩放较下位层的解码画面(较下位层)的水平像素率和垂直像 素率的组合(参见图6)。
例如，“000”表示不缩放。“001”指示在水平和垂直方向上的 放大比率都是50％(扩大3/2倍)。“010”指示在水平和垂直方向 上的放大比率都是100％(扩大2倍)。此外，“011”指示在水平 和垂直方向上的放大比率都是150％(扩大5/2倍)
当两比特字段“enhancement_scalability_type”指示时间分辨率 可伸缩性时，存在与增强视频流的数量一样多的三比特字段 “temporal_scaling_ratio”。这种三比特字段指示在与紧挨着的上面 增强层中的解码画面(增强层)合并时的时间缩放比率，并且指示在 较下位层(lower layer)中的解码画面(图像)之间显示的增强层 (enhanced layer)中的画面的数量(参见图10)。
例如，“000”指示在增强层中没有画面插入。“001”指示增强 层中插入的画面包括一个画面。“010”指示增强层中插入的画面包 括二个画面。“011”指示增强层中插入的画面包括三个画面。
如上所述，例如，用于识别模式是第一发送模式还是第二发送模 式的识别信息被插入到传输流TS的节目映射表(PMT)的视频基础 环路(视频ES环路)中。图23指示用作这种识别信息的可伸缩增 强描述符(Scalable_enhancement_descriptor)的配置(语法)的例 子。图24示出在结构的例子中主信息的内容(语义)。
这种可伸缩增强描述符只在例如第一发送模式的情况下插入。因 此，当描述符存在时，这允许识别出模式在传输流TS的层中是第一 发送模式，相反，当该描述符不存在时，这允许识别出模式在传输流 TS的层中是第二发送模式。
八比特字段“scalable_enhancement_tag”指示描述符类型，并 且在这个例子中，八比特字段“scalable_enhancement_tag”指示可 伸缩增强描述符。八比特字段“scalable_enhancement_length”指示 描述符的长度(大小)，并且指示后续字节的数量，这是描述符的长 度。
两比特字段“Scalable_enhancement_type”指示可扩展性增强的 类型。例如，“01”指示空间分辨率可伸缩性。“10”指示时间分辨 率可伸缩性。
一比特字段“stream_delivery_type”指示提供基本视频流和增 强视频流的视频基础流的配置。“1”指示在单个视频基础流中提供 每个视频流。“0”指示在多个视频基础流中提供每个视频流。
三比特字段“number_of_enhanced_streams”指示增强视频流 的数量。例如，“000”指示零个流。“001”指示一个流。“010” 指示两个流。“011”指示三个流。
如上所述，例如，用于识别插入了一个或多个视频流(子流)的 视频基础流的数量的识别信息被插入到传输流TS的节目映射表 (PMT)的节目环路(Program_loop)中。图25(a)示出用作这个识 别信息的多流描述符(Multiple_stream_descriptor)的配置(语法) 的例子。
八比特字段“multiple_stream_tag”指示描述符类型，并且在这 个例子中，八比特字段“multiple_stream_tag”指示多流描述符。八 比特字段“multiple_stream_length”指示描述符的长度(大小)， 并且指示后续字节的数量，这是该描述符的长度。
三比特字段“number_of_video_streams”指示视频基础流的数 量。例如，如图25(b)中所示出的，“001”指示一个流。“010”指 示两个流。“011”指示三个流。“100”指示四个流。在第一发送模 式的情况下，这个三比特字段指示一个或多个流。另一方面，在第二 发送模式的情况下，这个三比特字段指示只有一个流。
图26示出传输流TS的配置的例子。在这个例子中，为了简化 示图，有关音频和图形的部分在图中被省略。这个例子示出了只有基 本视频流、或基本视频流和预定数量的增强视频流被插到单个视频基 础流中并且被发送的情况(单个PID)。更具体地，在第一发送模式 中，基本视频流和预定数量的增强视频流被插入到这个单个视频基础 流中，并且在第二发送模式中，只有基本视频流被插入到这个单个视 频基础流中。
传输流TS包括单个视频基础流的PES分组“PID1：视频 PES1”。用于识别第一发送模式和第二发送模式(“EHF”， “BCF”)的识别信息作为SEI消息(增强可伸缩性SEI消息) (参见图21)被插入到基本视频流(子流)中，其中基本视频流 (子流)被插入到这个视频基础流中。
传输流TS包括作为PSI(节目特定信息)的PMT(节目映射 表)。这个PSI是描述传输流中所包含的每个基础流属于哪个节目的 信息。
在PMT中，存在具有与每个基础流相关的信息的基础环路。在 这个配置的例子中，存在视频基础环路(视频ES环路)。在这个视 频基础环路中，诸如流类型和分组标识符(PID)的信息被布置成与 上述单个视频基础流相关联，并且描述关于视频基础流的信息的描述 符也被布置在其中。
在PMT的视频基础环路(视频ES环路)中，与上述单个视频 基础流相关联地插入可伸缩增强描述符 (Scalable_enhancement_descriptor)(参见图23)。在PMT的节 目环路(Program loop)中，插入多流描述符 (Multiple_stream_descriptor)(参见图25)。应当注意，可伸缩 增强描述符只在例如上述第一发送模式的情况下插入。
图27也示出传输流TS的配置的例子。在这个例子中，为了简 化示图，有关音频和图形的部分也在示图中省略。这个例子示出了基 本视频流和预定数量的增强视频流被插入到不同的视频基础流中并被 发送的情况(多个PID)。这个例子示出了存在两个增强视频流的情 况。
这个配置的例子包括插入了基本视频流(子流)的视频基础流的 PES分组“PID1：视频PES1”。用于识别第一发送模式和第二发送 模式(“EHF”，“BCF”)的识别信息被插入到这个基本视频流中 作为SEI消息(增强可伸缩性SEI消息)(参见图21)。
这个配置的例子包括插入了第一增强视频流(子流)的视频基础 流的PES分组“PID2：视频PES2”和插入了第二增强视频流(子 流)的视频基础流的PES分组“PID3：视频PES3”。
传输流TS包括作为PSI(节目特定信息)的PMT(节目映射 表)。这个PSI是描述在传输流中所包含的每个基础流属于哪个节目 的信息。
在PMT中，存在具有与每个基础流相关的信息的基础环路。在 这个配置的例子中，存在视频基础环路(视频ES环路)。在这个视 频基础环路中，针对每个视频基础流布置了诸如流类型和分组标识符 (PID)的信息，并且还在其中布置了描述关于视频基础流的信息的 描述符。
在PMT的视频基础环路(视频ES环路)中，与上述每个视频 基础流相关联地插入相同内容的可伸缩增强描述符 (Scalable_enhancement_descriptor)(参见图23)。只可以与插入 了基本视频流的视频基础流相关联地插入可伸缩增强描述符 (Scalable_enhancement_descriptor)。在PMT的节目环路 (Program loop)中，插入多流描述符(Multiple_stream_descriptor) (参见图25)。应当注意，可伸缩增强描述符只在例如上述第一发 送模式的情况下插入。
“接收器的配置的例子”
图28示出接收器200的配置的例子。这个接收器200包括CPU 201、快闪ROM 202、DRAM 203、内部总线204、遥控接收单元 (RC接收单元)205和遥控发送器(RC发送器)206。这个接收器 200包括天线端子211、数字调谐器212、传输流缓冲器(TS缓冲器) 213和多路解复用器214。
这个接收器200包括编码缓冲器215、视频解码器216、基本流 解码缓冲器217、增强流解码缓冲器218、合并处理单元219、视频 RAM 220、分辨率提高处理单元221、以及叠加单元222。这个接收 器200包括编码缓冲器231、图形解码器232、像素缓冲器233、缩 放器234、编码缓冲器241、音频解码器242和声道混合单元243。
CPU 201控制接收器200的每个单元的操作。快闪ROM 202存 储控制软件并保持数据。DRAM 203构成CPU 201的工作区域。 CPU 201提取从快闪ROM 202读取到DRAM 203的软件和数据以激 活软件，从而控制接收器200的每个单元。RC接收单元205接收从 RC发送器206发送的遥控信号(遥控代码)，并且向CPU 201提供 该遥控信号(遥控代码)。CPU 201根据遥控代码来控制接收器200 的每个单元。CPU 201、快闪ROM 202和DRAM 203连接到内部总 线204。
天线端子211是用于输入由接收天线(未示出)接收到的电视广 播信号的端子。数字调谐器212处理输入到天线端子211中的电视广 播信号，并且输出对应于用户所选频道的预定的传输流(比特流数据) TS。传输流缓冲器(TS缓冲器)213临时累积从数字调谐器212输 出的传输流TS。
这个传输流TS包括一个或多个视频基础流、图形基础流和音频 基础流。在第一发送模式和第二发送模式中，下面的子流被插入到一 个或多个视频基础流中。
更具体地，在第一发送模式中，插入基本视频流和预定数量的增 强视频流。在这种情况下，基本视频流包括构成可伸缩编码的图像数 据(空间上或时间上非常高分辨率图像的图像数据)的最下位阶层的 图像数据。预定数量的增强视频流中的每个包括除构成可伸缩编码的 图像数据的最下位阶层之外的阶层的图像数据。在第二发送模式中，
只将基本视频流插入到这个传输流TS中。在这种情况下，基本视频 流包括用作基本图像数据的常规图像(例如，HD分辨率、25fps、 30fps图像，等等)的图像数据。
用作用于识别第一发送模式和第二发送模式的识别信息 (“EHF”，“BCF”)的SEI消息(增强可伸缩性SEI消息)被 插入到基本视频流中(参见图21)。用作用于识别模式是第一发送 模式还是第二发送模式的识别信息的可伸缩增强描述符 (Scalable_enhancement_descriptor)被插入到传输流TS的层中 (参见图23)。此外，用作用于识别视频基础流的数量的识别信息 的多流描述符(Multiple_stream_descriptor)被插入到传输流TS的 层中(参见图25)。
多路解复用器214从在TS缓冲器213中临时累积的传输流TS 中提取视频、图形和音频的每个基础流。多路解复用器214从这个传 输流TS中提取可伸缩增强描述符和多流描述符，并将它们发送到 CPU 201。
CPU 201基于包含在描述符中的信息来控制处理，诸如接收器 200中的解码。例如，CPU 201执行控制，以便针对在多流描述符中 包括的视频基础流的数量，解码视频基础环路(视频ES环路)中的 可伸缩增强描述符和与其相关联的视频基础流(PES流)。
编码缓冲器215临时累积由多路解复用器214提取的一个或多个 视频基础流。在CPU 201的控制下，视频解码器216检索并解码插 入到存储在编码缓冲器215中的视频基础流中的一个或多个视频流 (子流)。
在第一发送模式中，基本视频流和预定数量的增强视频流被检索 并被解码。在这种情况下，通过解码基本视频流获得构成可伸缩编码 的图像数据(例如，HD分辨率、25fps、30fps图像等的图像数据) 的最下位阶层的图像数据。通过解码预定数量的增强视频流中的每个 获得构成除可伸缩编码的图像数据的最下位阶层之外的阶层的图像数 据。在第二发送模式下，只有基本视频流被检索并被解码。在这种情 况下，通过解码基本视频流获得常规图像(例如，HD分辨率、25 fps、30fps图像等)的图像数据。
视频解码器216提取插入到基本视频流中的SEI消息(增强可 伸缩性SEI消息)，并将该SEI消息发送到CPU 201。CPU 201不 仅基于上述可伸缩增强描述符的存在/不存在，而且基于SEI消息中 的模式信息来识别该模式是第一发送模式还是第二发送模式，并且控 制接收器200的每个单元，以便执行对应于每种模式的处理。例如， 当CPU 201基于可伸缩增强描述符的存在/不存在来确定传输流TS 的层中的模式切换时，当此后基于SEI消息中的模式信息识别了模 式切换时，CPU 201切换处理。
基本流解码缓冲器217临时累积当视频解码器216解码基本视频 流时所获得的图像数据。在第一发送模式中，图像数据是构成可伸缩 编码的图像数据的最下位阶层的图像数据，并且在第二发送模式中， 图像数据是常规图像的图像数据。增强流解码缓冲器218临时累积当 视频解码器216解码预定数量的增强视频流时获得的每个图像数据。 该图像数据仅在第一发送模式中获得，并且是除构成可伸缩编码的图 像数据的最下位阶层之外的阶层的图像数据。
合并处理单元219只在第一发送模式中执行处理。这个合并处理 单元219执行用于合并在基本流解码缓冲器217中存储的最下位阶层 的图像数据和在增强流解码缓冲器218中存储的除最下位阶层之外的 阶层的图像数据的合并处理，从而产生非常高分辨率图像的显示图像 数据Va(参见图6和图10)。在这种情况下，合并处理单元219根 据可伸缩性增强的类型参考诸如在SEI消息(增强可伸缩性SEI消 息)中包含的缩放比率的信息，并执行空间分辨率可伸缩性或时间分 辨率可伸缩性的合并处理。
分辨率提高处理单元221只在第二发送模式中执行处理。这个分 辨率提高处理单元221对存储在基本流解码缓冲器217中的常规图像 的图像数据执行分辨率提高处理，并产生具有与上述非常高分辨率图 像的显示图像数据Va的分辨率相等的分辨率的显示图像数据Vb。 在这种情况下，在空间分辨率可伸缩性的情况下，执行提高处理以提 高空间分辨率，而在时间分辨率可伸缩性的情况下，执行提高处理以 提高帧频率。
在第一发送模式中，视频RAM 220临时累积由合并处理单元 219产生的图像数据Va。在第二发送模式中，视频RAM 220临时累 积由分辨率提高处理单元221产生的图像数据Vb。
编码缓冲器231临时累积由多路解复用器214提取的图形流。图 形解码器232执行与上述发送数据产生单元110的图形编码器114 (参见图16)相反的处理。更具体地，图形解码器232执行解码处 理以解码存储在编码缓冲器231中的图形流，从而获得解码的图形数 据(包括字幕数据)。图形解码器232基于图形数据产生叠加在图像 数据上的图形的位图数据。
像素缓冲器233临时累积由图形解码器232产生的图形的位图数 据。缩放器234调整在像素缓冲器233中累积的图形的位图数据的尺 寸，使得它对应于显示图像数据的尺寸。叠加单元222将缩放的图形 的位图数据叠加到存储在视频RAM 220中的显示图像数据Va、Vb 上，从而获得最终的显示图像数据。
编码缓冲器241临时累积由多路解复用器214提取的音频流。音 频解码器242执行与上述发送数据产生单元110的音频编码器116 (参见图16)相反的处理。更具体地，音频解码器242执行存储在 编码缓冲器241中的音频流的解码处理，从而获得解码的音频数据。 声道混合单元243从由音频解码器242获得的音频数据中获得每个声 道的音频数据，用于实现例如5.1ch的环绕声音，等等。
应当指出，基于PTS来执行从基本流解码缓冲器217和增强视 频流解码缓冲器218中读取图像数据以及从像素缓冲器233中读取图 形的位图数据，并且建立了传输同步。
将解释接收器200的操作。首先，将解释在第一发送模式的情况。 输入到天线端子211的电视广播信号被提供给数字调谐器212。这个 数字调谐器212处理电视广播信号，并且输出对应于用户所选频道的 预定传输流TS。这个传输流TS被临时累积在TS缓冲器213中。
这个传输流TS包括一个或多个视频基础流、图形基础流和音频 基础流。基本视频流和预定数量的增强视频流被插入到一个或多个视 频基础流中。
多路解复用器214从临时存储在TS缓冲器213中的传输流TS 中提取视频、图形和音频的每个基础流。多路解复用器214从该传输 流TS中提取可伸缩增强描述符(Scalable_enhancement_descriptor) 和多流描述符(Multiple_stream_descriptor)，并将该可伸缩增强描 述符(Scalable_enhancement_descriptor)和多流描述符 (Multiple_stream_descriptor)发送到CPU 201。CPU 201基于包括 在描述符中的信息来控制处理，诸如在接收器200中的解码。
由多路解复用器214提取的一个或多个视频基础流被提供给编码 缓冲器215并临时累积在编码缓冲器215中。在CPU 201的控制下， 视频解码器216检索并解码插入到存储在编码缓冲器215中的视频基 础流中的一个或多个视频流(子流)。
在这种情况下，基本视频流和预定数量的增强视频流被检索并被 解码。通过解码基本视频流获得构成可伸缩编码的图像数据(例如， HD分辨率、25fps、30fps图像等的图像数据)的最下位阶层的图像 数据。通过解码预定数量的增强视频流中的每个获得除构成可伸缩编 码的图像数据的最下位阶层之外的阶层的图像数据。
视频解码器216提取插入到基本视频流中的SEI消息(增强可 伸缩性SEI消息)，并将该SEI消息发送到CPU 201。CPU 201不 仅基于上述可伸缩增强描述符的存在/不存在而且基于SEI消息中的 模式信息来识别该模式是第一发送模式还者第二发送模式。在这种情 况下，CPU 201识别模式是第一发送模式，并且控制接收器200的每 个单元，以便按照该第一发送模式执行处理。
通过视频解码器216获得的构成可伸缩编码的图像数据的最下位 阶层的图像数据被临时累积在基本流解码缓冲器217中。通过视频解 码器216获得的除构成可伸缩编码的图像数据的最下位阶层之外的阶 层的图像数据被临时累积在增强流解码缓冲器218中。
合并处理单元219执行用于合并在基本流解码缓冲器217中存储 的最下位阶层的图像数据和在增强流解码缓冲器218中存储的除最下 位阶层之外的阶层的图像数据的合并处理。于是，这个合并处理单元 219产生非常高分辨率图像的显示图像数据Va。这个显示图像数据 Va被临时累积在视频RAM 220中。
由多路解复用器214提取的图形流被提供给编码缓冲器231以临 时累积在编码缓冲器231中。图形解码器232执行存储在编码缓冲器 231中的图形流的解码处理，并且获得解码的图形数据(包括字幕数 据)。图形解码器232基于该图形数据产生叠加在图像数据上的图形 的位图数据。
由图形解码器232产生的图形的位图数据被提供给像素缓冲器 233以临时累积在像素缓冲器233中。缩放器234调整在像素缓冲器 233中累积的图形的位图数据的尺寸，使得它对应于显示图像数据 Va的尺寸。叠加单元222将缩放的图形的位图数据叠加到存储在视 频RAM 220中的显示图像数据Va上，从而获得最终的显示图像数 据。通过向显示器提供该显示图像数据，就显示了空间上或时间上非 常高分辨率的图像。
通过多路解复用器214提取的音频流被提供给编码缓冲器241并 临时累积在编码缓冲器241中。音频解码器242执行解码处理，以解 码存储在编码缓冲器241中的音频流，从而获得解码的音频数据。音 频数据被提供给声道混合单元243。声道混合单元243从该音频数据 中获得每个声道的音频数据，用于实现例如5.1ch的环绕声音，等等。 音频数据被提供给例如扬声器，并且音频与图像显示同步地输出。
下面，将解释第二发送模式的情况。输入到天线端子211中的电 视广播信号被提供给数字调谐器212。这个数字调谐器212处理电视 广播信号，并且输出对应于用户所选频道的预定传输流TS。这个传 输流TS被临时累积在TS缓冲器213中。
这个传输流TS包括单个视频基础流、图形基础流和音频基础流。 基本视频流被插入到单个视频基础流中。
多路解复用器214从临时存储在TS缓冲器213中的传输流TS 中提取视频、图形和音频的每个基础流。多路解复用器214从该传输 流TS中提取多流描述符(Multiple_stream_descriptor)，并将该多 流描述符(Multiple_stream_descriptor)发送到CPU 201。CPU  201基于包含在描述符中的信息来控制处理，诸如接收器200中的解 码。
通过多路解复用器214提取的单个视频基础流被提供给编码缓冲 器215并临时累积在编码缓冲器215中。在CPU 201的控制下，视 频解码器216检索并解码插入到存储在编码缓冲器215中的视频基础 流中的基本视频流(子流)。作为这个解码的结果，获得常规图像 (例如，HD分辨率、25fps、30fps图像等)的图像数据。图像数据 被临时累积在基本流解码缓冲器217中。
视频解码器216提取插入到基本视频流中的SEI消息(增强可 伸缩性SEI消息)，并将该SEI消息发送到CPU 201。CPU 201不 仅基于上述可伸缩增强描述符的存在/不存在而且基于SEI消息的模 式信息来识别模式是第一发送模式还者第二发送模式。在这个例子中， CPU 201识别出模式是第二发送模式，并控制接收器200的每个单元， 以便按照这种第二发送模式执行处理。
分辨率提高处理单元221对基本流解码缓冲器217中存储的常规 图像的图像数据执行分辨率提高处理，并产生与上述非常高分辨率图 像的显示图像数据Va的分辨率相等的分辨率的显示图像数据Vb。 在这个例子中，在空间分辨率可伸缩性的情况下，执行提高处理以提 高空间分辨率，并且在时间分辨率可伸缩性的情况下，执行提高处理 以提高帧频率。
通过多路解复用器214提取的图形流被提供给编码缓冲器231以 临时累积在编码缓冲器231中。图形解码器232执行存储在编码缓冲 器231中的图形流的解码处理，并获得解码的图形数据(包括字幕数 据)。图形解码器232基于图形数据产生叠加在图像数据上的图形的 位图数据。
通过图形解码器232产生的图形的位图数据被提供给像素缓冲器 233以临时累积在像素缓冲器233中。缩放器234调整在像素缓冲器 233中累积的图形的位图数据的尺寸，使得它对应于显示图像数据 Vb的尺寸。叠加单元222将缩放的图形的位图数据叠加到存储在视 频RAM 220的显示图像数据Vb上，从而获得最终的显示图像数据。 通过向显示器提供显示图像数据，就显示了通过应用分辨率提高处理 所获得的图像。
应当指出，音频系统的操作与第一发送模式的情况相同，并且关 于其的解释被省略。
[当在高精度节目和常规节目之间切换时，接收处理的切换控制]
现在，将解释当在高精度节目和常规节目之间切换时，在接收器 200中的接收处理的切换。在这种情况下，高精度节目以第一发送模 式发送，而常规节目以第二发送模式发送。
图29示出接收处理的切换控制的例子。在这个例子中，在第一 发送模式中，基本视频流和预定数量的增强视频流被插入到单个视频 基础流中并且被提供。在这种情况下，基本视频流包括最下位阶层 (第一阶层)的图像数据(HD图像数据)，并且预定数量的增强视 频流包括除最下位阶层之外的阶层(增强层)的图像数据。在第二发 送模式中，提供具有插入到其中的基本视频流的单个视频流。
在高精度节目的时间段(第一发送模式)和常规节目的时间段 (第二发送模式)中，插入到传输流TS的层中的多流描述符 (Multiple_stream_descriptor)的“number_of_video_streams”是 “001”，并且这指示视频基础流的数量在任何时间段都是一个。
另一方面，在高精度节目(第一发送模式)中插入到传输流TS 的层中的可伸缩增强描述符(Scalable_enhancement_descriptor)的 “scalable_enhancement_type”是“01”，并且这指示空间分辨率可 伸缩性。该描述符的“stream_delivery_type”是“1”，并且这指示 在单个视频基础流中提供基本视频流和增强视频流。
SEI消息(增强可伸缩性SEI消息)被插入到基本流中。在高精 度节目(第一发送模式)的时间段中，包括在这个SEI消息中的 “enhancement_scalability_type”是指示空间分辨率可扩展性的 “01”，并且这意味着高精度节目(第一发送模式)可以被识别。另 一方面，在常规节目(第二传输模式)的时间段中， “enhancement_scalability_type”是“00”，并且这指示该常规节目 (第二发送模式)的时间段可以被识别。
例如如下地执行接收器200中的接收处理的切换控制。当接收处 理从常规节目(第二发送模式)切换到高精度节目(第一发送模式) 时，首先，可伸缩增强描述符(Scalable_enhancement_descriptor) 的存在允许接收器200识别传输流TS的层中的到高精度节目(第一 发送模式)的切换。此后，当插入到基本流中的SEI消息(增强可 伸缩性SEI消息)的“enhancement_scalability_type”变成“01”时， 这允许接收器200识别在视频层中的到高精度节目(第一发送模式) 的切换。在这个识别的时间点(在图中表示为“Ta”)，接收处理 从常规节目(第二发送模式)切换到高精度节目(第一发送模式)。
另一方面，当接收处理从高精度节目(第一发送模式)切换到常 规节目(第二发送模式)时，首先，可伸缩增强描述符 (Scalable_enhancement_descriptor)的不存在使得接收器200识别 传输流TS的层中的到常规节目(第二发送模式)的切换。此后，插 入到基本流中的SEI消息(增强可伸缩性SEI消息)的 “enhancement_scalability_type”变成“00”，并且这允许接收器 200识别视频层中的到常规节目(第二发送模式)的切换。在这个识 别的时间点(在图中表示为“Tb”)，接收处理从高精度节目(第 一发送模式)切换到常规节目(第二发送模式)。
图30示出接收处理的切换控制的例子。在这个例子中，在第一 发送模式中，基本视频流和两个增强视频流被插入到三个视频基础流 中并且被提供。在这种情况下，基本视频流包括最下位阶层(第一阶 层)的图像数据(HD图像数据)。第一增强视频流包括第二阶层的 图像数据(高频成分)，并且第二增强视频流包括第三阶层的图像数 据(高频成分)。在第二发送模式下，提供了插入基本视频流的单个 视频流。
在高精度节目(第一发送模式)的时间段中，插入到传输流TS 的层中的多流描述符(Multiple_stream_descriptor)的 “number_of_video_streams”是“011”，并且这意味着视频基础流 的数量是三个。另一方面，在常规节目(第二发送模式)的时间段中， 这个“number_of_video_streams”是“001”，并且这意味着视频基 础流的数量是一个。
另一方面，在高精度节目(第一发送模式)中的插入到传输流 TS的层中的可伸缩增强描述符(Scalable_enhancement_descriptor) 的“scalable_enhancement_type”是“01”，并且这指示空间分辨率 可伸缩性。这个描述符的“stream_delivery_type”是“0”，并且这 指示在多个视频基础流中提供基本视频流和增强视频流。
SEI消息(增强可伸缩性SEI消息)被插入到基本流中。在高精 度节目(第一发送模式)的时间段中，包括在这个SEI消息中的 “enhancement_scalability_type”是指示空间分辨率可伸缩性的 “01”，并且使得接收器200识别高精度节目(第一发送模式)。另 一方面，在常规节目(第二发送模式)的时间段中， “enhancement_scalability_type”是“00”，并且这使得接收器200 识别常规节目(第二发送模式)的时间段。
虽然省略了图30的详细解释，但是在图30中示出的例子与上述 在图29中示出的例子的相同之处在于：在接收器200中的接收处理 的切换控制是基于在传输流TS的层中的节目切换的识别和其后在视 频层中的节目切换的识别来执行的。
如上所述，在第一发送模式中，如图1中所示的图像发送/接收 系统10发送基本视频流和预定数量的增强视频流，其中基本视频流 包括构成可伸缩编码的图像数据的最下位阶层的图形数据，增强视频 流包括除构成可伸缩编码的图像数据的最下位阶层之外的阶层的图像 数据，并且在第二发送模式中，图像发送/接收系统10只发送包括基 本图像数据的基本视频流。然后，用于识别第一模式和第二模式的识 别信息(“EHF”，“BCF”)被插入到视频流中。
因此，接收侧可以容易地基于识别信息发现模式是第一发送模式 还是第二发送模式，并且接收侧可以适当地处理流配置中的变化，更 具体地，接收侧可以适当地处理分发内容中的动态变化，从而能够执 行正确的流接收。更具体地，当以时分方式发送常规图像的图像数据 和空间上或时间上非常高分辨率图像的图像数据(可伸缩编码的图像 数据)时，接收侧可以以优选的方式切换处理。
<2.修改>
在以上实施例中，已经示出了容器是传输流(MPEG-2TS)的 例子。但是，本技术也可以应用到用于经由诸如因特网的网络分发到 接收终端的系统。在因特网的分发中，分发通常利用容器以MP4和 其它格式的格式来执行。更具体地，容器可以是各种类型格式的容器， 诸如，在数字广播规范中采用的传输流(MPEG-2TS)和在因特网 的分发中使用的MP4。
本技术可以被如下地配置。
(1)一种发送设备，包括：
被配置为发送一个或多个视频流的发送单元；以及
被配置为将用于识别第一发送模式和第二发送模式的识别信息插 入到视频流中的识别信息插入单元，其中第一发送模式用于发送基本 视频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的 图像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸 缩编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模 式用于只发送包括基本图像数据的基本视频流。
(2)如(1)所述的发送设备，其中，在第一发送模式中，识别信息 插入单元将指示第一发送模式的识别信息插入到视频流中，并且在第 二发送模式中，识别信息插入单元不将识别信息插入到视频流中。
(3)如(1)所述的发送设备，其中，在第一发送模式中，识别信息 插入单元将指示第一发送模式的识别信息插入到视频流中，并且在第 二发送模式中，识别信息插入单元将指示第二发送模式的识别信息插 入到视频流中。
(4)如(1)所述的发送设备，其中，在第一发送模式中，识别信息 插入单元不将识别信息插入到视频流中，并且在第二发送模式中，识 别信息插入单元将指示第二发送模式的识别信息插入到视频流中。
(5)如(1)至(4)中任何一项所述的发送设备，其中，识别信息插入 单元至少按照节目单位、场景单位、画面组单位或画面单位将识别信 息插入到基本视频流中。
(6)如(1)至(5)中任何一项所述的发送设备，其中，在第一发送模 式中，发送单元将基本视频流和预定数量的增强视频流插入到一个或 多个视频基础流中并且发送所述一个或多个视频基础流。
(7)如(6)所述的发送设备，其中，当基本视频流和预定数量的增 强视频流被插入到单个视频基础流中并且被发送时，指示流边界的信 息被布置在视频流之间。
(8)如(1)至(7)中任何一项所述的发送设备，其中，当识别信息指 示第一发送模式时，识别信息包括指示增强视频流的数量的信息。
(9)如(1)至(8)中任何一项所述的发送设备，其中，当识别信息指 示第一发送模式时，识别信息包括指示可伸缩性增强的类型的信息。
(10)如(1)至(9)中任何一项所述的发送设备，其中，当识别信息 指示第一发送模式时，识别信息包括关于在与可伸缩性增强中的上位 阶层合成时的缩放比率的信息。
(11)如(1)至(10)中任何一项所述的发送设备，其中，发送单元发 送包括一个或多个视频流的预定格式的容器，以及
发送设备还包括被配置为将用于识别模式是第一发送模式还是第 二发送模式的识别信息插入到容器的层中的识别信息插入单元。
(12)如(11)所述的发送设备，其中当识别信息指示第一发送模式 时，识别信息附有指示可伸缩性增强的类型的信息。
(13)如(11)或(12)所述的发送设备，其中，识别信息附有指示是 否在单个视频基础流中提供一个或多个视频流的信息。
(14)如(11)至(13)中任何一项所述的发送设备，其中当识别信息 指示第一发送模式时，识别信息附有指示增强视频流的数量的信息。
(15)如(1)至(14)中任何一项所述的发送设备，其中，发送单元发 送包括一个或多个视频流的预定格式的容器，以及
发送设备还包括被配置为将用于识别插入一个或多个视频流的视 频基础流的数量的识别信息插入到容器的层中的识别信息插入单元。
(16)一种发送方法，包括：
发送一个或多个视频流的步骤；以及
将用于识别第一发送模式和第二发送模式的识别信息插入到基本 视频流中的步骤，其中第一发送模式用于发送基本视频流和预定数量 的增强视频流，基本视频流包括构成可伸缩编码的图像数据的最下位 阶层的图像数据，每个增强视频流包括除构成可伸缩编码的图像数据 的除最下位阶层之外的阶层的图像数据，第二发送模式用于只发送包 括基本图像数据的基本视频流。
(17)一种接收设备，包括：
被配置为接收一个或多个视频流的接收单元；
被配置为基于插入到视频流中的识别信息识别第一发送模式和第 二发送模式的发送模式识别单元，其中第一发送模式用于发送基本视 频流和预定数量的增强视频流，基本视频流包括构成可伸缩编码的图 像数据的最下位阶层的图像数据，每个增强视频流包括除构成可伸缩 编码的图像数据的最下位阶层之外的阶层的图像数据，第二发送模式 用于只发送包括基本图像数据的基本视频流；以及
被配置为基于模式识别结果对接收到的视频流执行与每种模式对 应的处理并且获得要显示的图像数据的处理单元。
(18)如权利要求17所述的接收设备，其中接收单元接收包括视 频流的预定格式的容器，
用于识别模式是第一发送模式还是第二发送模式的识别信息被插 入到容器的层中，以及
发送模式识别单元根据插入到容器的层中的识别信息和插入到视 频流中的识别信息来识别模式是第一发送模式还是第二发送模式。
(19)一种接收方法，包括：
接收一个或多个视频流的步骤；
基于插入到视频流中的识别信息来识别第一发送模式和第二发送 模式的步骤，其中第一发送模式用于发送基本视频流和预定数量的增 强视频流，基本视频流包括构成可伸缩编码的图像数据的最下位阶层 的图像数据，每个增强视频流包括除构成可伸缩编码的图像数据的最 下位阶层之外的阶层的图像数据，第二发送模式用于只发送包括基本 图像数据的基本视频流；以及
基于模式识别结果对接收到的视频流执行与每种模式对应的处理 并且获得要显示的图像数据的步骤。
本技术的主要特征在于，当以时分方式发送非常高分辨率的图像 (基本流和增强流)和常规图像(基本流)时，发送模式识别信息 (EHF，BCF)被插入到视频流中，使得接收侧可以适当地处理流配 置中的变化，更具体地，接收侧可以适当地处理分发内容中的动态变 化，从而能够执行正确的流接收(参见图13)。
参考符号列表
10 图像发送/接收系统
100 广播站
110 发送数据产生单元
111 图像数据输出单元
112 视频编码器
113 图形数据输出单元
114 图形编码器
115 音频数据输出单元
116 音频编码器
117 多路复用器
200 接收器
201  CPU
211 天线端子
212 数字调谐器
213 传输流缓冲器(TS缓冲器)
214 多路解复用器
215 编码缓冲器
216 视频解码器
217 基本流解码缓冲器
218 增强流解码缓冲器
219 合并处理单元
220 视频RAM
221 分辨率提高处理单元
222 叠加单元
231 编码缓冲器
232 图形解码器
233 像素缓冲器
234 缩放器
241 编码缓冲器
242 音频解码器
243 声道混合单元