用于广播发射机的3D视频数据处理方法及广播接收机.pdf

用于广播发射机的3D视频数据处理方法及广播接收机。根据本发明的一个实施例的用于广播发射机的3D视频数据处理方法包括以下步骤：对与用于3D内容的半分辨率视频数据相对应的3D视频数据、用于配制所述3D内容的全分辨率图像的互补视频数据以及3D互补视频信息进行编码，其中，所述3D互补视频信息包括指示所述互补视频数据或所述3D视频数据的帧的配置类型的互补类型信息和指示所述3D视频数据和所述互补视频数据的组合顺序的顺序信息；以及经由基层发送所述3D视频数据，并且经由增强层发送所述3D互补视频信息和所述互补视频数据。

权利要求书1.  一种广播发射机的3D视频数据处理方法，该方法包括： 对与用于3D内容的半分辨率视频数据相对应的3D视频数据、用于配置所述3D 内容的全分辨率图像的互补视频数据以及3D互补视频信息进行编码， 其中，所述3D互补视频信息包括指示所述互补视频数据或所述3D视频数据的 帧的配置类型的互补类型信息和指示所述3D视频数据和所述互补视频数据的组合顺 序的顺序信息；以及 经由基层发送所述3D视频数据，并且经由增强层发送所述3D互补视频信息和 所述互补视频数据。 2.  根据权利要求1所述的方法，其中，利用所述互补类型信息和所述顺序信息 来组合所述3D视频数据和所述互补视频数据以配置全分辨率3D图像。 3.  根据权利要求1所述的方法，其中，所述半分辨率视频数据对应于空间半分 辨率视频数据。 4.  根据权利要求1所述的方法，其中，所述半分辨率视频数据对应于时间半分 辨率视频数据。 5.  根据权利要求1所述的方法，其中，所述3D互补视频信息包括以下中的至 少一项： 指示在子采样期间是否执行滤波的子采样信息； 指示用于对所述互补视频数据进行编码的视频编解码器的类型的编解码器类型 信息； 水平大小信息； 垂直大小信息； 帧速率信息； 用于实现在插值过程中使用的滤波器的滤波器信息；以及 指示被首先显示透视角的图像的透视信息。 6.  一种广播接收机，该广播接收机包括： 接收单元，其经由基层接收与用于3D内容的半分辨率视频数据相对应的3D视 频数据，经由增强层接收用于配置所述3D内容的全分辨率图像的互补视频数据，并 且经由所述增强层接收用于以信号发送所述互视频数据的3D互补视频信息， 其中，所述3D互补视频信息包括指示创建单个立体图像的图像格式的格式信息； 3D视频信息处理单元，其解析所述3D互补视频信息； 基视频解码器，其解码所述3D视频数据； 互补视频解码器，其解码所述互补视频数据；以及 输出格式器，其使用所述格式信息来组合所述3D视频数据和所述互补视频数据， 由此输出全分辨率3D图像。 7.  根据权利要求6所述的广播接收机，其中，所述格式信息包括并排格式、上 下格式、交织格式、帧顺序格式、棋盘格式以及立体格式中的任一种格式。 8.  根据权利要求6所述的广播接收机，其中，所述半分辨率视频数据对应于空 间半分辨率视频数据。 9.  根据权利要求6所述的广播接收机，其中，所述半分辨率视频数据对应于时 间半分辨率视频数据。 10.  根据权利要求6所述的广播接收机，其中，所述3D互补视频信息包括以下 中的至少一项： 指示所述互补视频数据的配置类型的类型信息； 指示在子采样期间是否执行滤波的子采样信息； 指示用于编码所述互补视频数据的视频编解码器的类型的编解码器类型信息； 水平大小信息； 垂直大小信息； 帧速率信息； 用于实现在插值过程期间使用的滤波器的滤波器信息； 指示被首先显示透视角的图像的透视信息；以及 指示所述基础视频数据与所述互补视频数据的组合顺序的顺序信息。

说明书用于广播发射机的3D视频数据处理方法及广播接收机
本申请是原案申请号为201080018328.6的发明专利申请(国际申请号： PCT/KR2010/001710，申请日：2010年3月19日，发明名称：广播接收机及其3D 视频数据处理方法)的分案申请。
技术领域
本发明涉及用于处理广播信号的设备和方法，尤其涉及3D广播系统中处理全分 辨率视频数据的用于广播发射机的3D视频数据处理方法及广播接收机。
背景技术
通常，三维(3D)图像(或立体感图像)通过使用人双眼的立体视觉的原理提供立体 效果。人(或个体)通过双眼之间的视差来感测空间感，换言之，以大约65毫米(mm) 的距离相间隔的个体双眼所引起的双眼视差来感测空间感。因此，3D图像可以通过 提供图像启用以及与待观看的左眼和右眼都有关的平面图像来提供立体效果和空间 感。
用于显示诸如3D图像的方法包括立体感方法、容积方法、全息方法等。在立体 感方法的情况下，提供了左眼待观看的左视图图像和右眼待观看的右视图图像，并且 左眼和右眼各自分别通过偏光眼镜或通过显示装置观看左视图图像和右视图图像，从 而使得观看者能够获得3D效果。
发明内容
技术问题
设计解决问题的本发明的一个目的是：通过当3D广播系统发送用于立体感显示 的视频流时发送和接收3D视频数据的信息、以及通过使用该信息以处理3D视频数 据，来向用户提供更便捷且有效的广播环境。
问题的解决方案
为了获得本发明的目的，根据本发明的一个实施例的广播接收机的3D视频数据 处理方法包括：通过接收单元接收包括3D视频数据和3D互补视频信息的广播信号， 其中所述3D视频数据包括半分辨率基视频数据和用于配置全分辨率图像的互补视频 数据；通过3D视频信息处理单元解析所述3D互补视频信息；通过基视频解码器解 码所述半分辨率基视频数据；通过互补视频解码器解码用于配置全分辨率图像的所述 互补视频数据；以及通过输出格式器使用所述3D互补视频信息对所述基视频数据和 所述互补视频数据进行组合和格式化，从而输出全分辨率3D图像。
另外,根据本发明的一个实施例的广播接收机包括：接收单元,用于接收包括3D 视频数据和3D互补视频信息的广播信号，其中所述3D视频数据包括半分辨率基视 频数据和用于配置全分辨率图像的互补视频数据；3D视频信息处理单元,用于解析所 述3D互补视频信息；基视频解码器，用于解码所述半分辨率基视频数据；互补视频 解码器，用于解码用于配置全分辨率图像的所述互补视频数据；以及输出格式器，用 于使用所述3D互补视频信息对所述基视频数据和所述互补视频数据进行组合和格式 化，从而输出全分辨率3D图像。
本发明的有益效果
根据本发明，在提供3D广播业务时，接收机可以处理所接收的3D视频数据， 使得可以反映出在所述3D广播业务的生产时想要的3D效果。
根据本发明，可以提供全分辨率3D广播业务，同时最小化对传统2D广播业务 和半分辨率3D广播业务的影响。
附图说明
图1示出了根据本发明的一个实施例的各种图像格式的立体感图像复用格式。
图2示出了根据本发明的一个实施例的3D广播业务的概念示图。
图3图示了示出根据本发明的一个实施例的提供全分辨率3D广播业务的方法的 概念框图。
图4图示了根据本发明的一个实施例的提供3D广播业务的方法。
图5图示了根据本发明的另一实施例的提供3D广播业务的方法。
图6图示了根据本发明的另一实施例的提供3D广播业务的方法。
图7图示了根据本发明的另一实施例的提供3D广播业务的方法。
图8图示了根据本发明的一个实施例的包括3D互补视频信息的TVCT的语法结 构。
图9图示了根据本发明的一个实施例的包括在TVCT中的3D互补视频描述符的 语法结构。
图10图示了根据本发明的一个实施例的包括在3D互补视频信息中的 complementary_type字段的字段值的图像配置方法。
图11图示了根据本发明的一个实施例的包括3D互补视频信息的PMT的语法结 构。
图12图示了根据本发明的一个实施例的包括在PMT中的3D互补视频描述符的 语法结构。
图13图示了根据本发明的一个实施例的包括3D互补视频信息的视频ES的画面 扩展和用户数据的语法结构。
图14图示了根据本发明的一个实施例的当3D互补视频信息被包括在视频ES的 SEI(补充增强信息)消息中并被发送时的语法结构。
图15图示了根据本发明的一个实施例的在互补视频ES中包括并发送的3D互补 视频信息的语法结构。
图16图示了根据本发明的一个实施例的使用从3D视频业务Spec-B接收的基视 频数据、互补视频数据和3D互补视频信息来提供全分辨率图像的方法。
图17图示了根据本发明的另一实施例的使用从3D视频业务Spec-B接收的基视 频数据、互补视频数据和3D互补视频信息来提供全分辨率图像的方法。
图18图示了根据本发明的又一实施例的使用从3D视频业务Spec-B接收的基视 频数据、互补视频数据和3D互补视频信息来提供全分辨率图像的方法。
图19图示了根据本发明的又一实施例的使用从3D视频业务Spec-B接收的基视 频数据、互补视频数据和3D互补视频信息来提供全分辨率图像的方法。
图20图示了根据本发明的一个实施例的广播接收机。
图21图示了示出根据本发明的一个实施例的广播接收机的3D视频数据处理方 法的流程图。
具体实施方式
将参考附图和附图中给出的细节来详细描述本发明的优选实施例。然而，本发明 将不仅限于本文描述的优选实施例。
尽管本发明中使用的术语选自通常已知和使用的术语，但是本领域任何一个技术 人员可以根据惯例以他或她的判断力或者由于新技术的出现而改变本发明的说明书 中提到的一些术语。另外，在一些情况下，申请人可以以他或她的判断力选择本发明 的说明书中提到的一些术语。而且，在这些情况下，在本文呈现的说明书的相关部分 描述了具体的含义。因此，需要不是仅通过本文所使用术语的单纯命名而是通过各术 语内在的实际含义并且也基于本发明的说明书的整体内容来理解本发明的说明书中 所使用的术语。
3D图像展示方法包括考虑两个透视角(或视点)的立体感图像方法,以及考虑三个 或更多透视角(或视点)的多视图图像方法。相反，相关技术的单视图图像类型可以称 为单视场方法。
立体感图像方法使用通过用左侧相机和右侧相机拍摄相同对象所获得的一左/右 图像对，其中两个相机彼此相距预定距离。多视图图像使用通过至少三个不同的相机 拍摄而获得的一组至少三幅图像，至少三个不同的相机彼此相距预定距离或者以不同 角度布置。在下文，尽管将根据本发明的一个实施例描述立体感方法，但是本发明的 思想也可以应用于多视图方法。另外，在下文，术语立体感也可以缩写为立体。
立体感图像或多视图图像可以以MPEG(运动图像专家组)格式或者通过使用多 种方法压缩编码，从而被发送。
例如，立体感图像或多视图图像可以通过使用H.264/AVC(高级视频编码)方法 压缩编码，从而被发送。此处，接收系统对接收的图像进行作为H.264/AVC方法的 逆处理的解码处理，从而获得3D图像。
此外，立体感图像的左视图图像或右视图图像中的任一个或者多视图图像中的任 一个图像可以被分配为基层图像，并且剩余图像可以分配为增强层图像。其后，可以 通过使用编码单视场图像的相同方法编码基层图像。而且，在增强层的图像中，可以 仅对基层图像和增强层图像之间的相关信息进行编码。随后，可以发送处理后的图像。 用于基层图像的压缩编码方法的示例可以包括JPEG、MPEG-1、MPEG-2、MPEG-4 和H.264/AVC。并且，在本发明的此实施例中，采用了H.264/AVC方法。此外，根 据本发明的实施例，采用H.264/SVC(可扩展视频编码)或MVC(多视图视频编码) 方法用于增强层图像的压缩编码处理。
用于地面波(或陆地)DTV发送和接收的传统标准基于2D视频内容。于是，为 了服务于3D TV广播内容，应当另外定义用于3D TV广播内容的发送和接收标准。 接收机可以根据增加的发送和接收标准接收广播信号，以便正确地处理接收的信号， 从而支持3D广播业务。
在本发明的说明书中，根据本发明的实施例，将使用ATSC(高级电视系统委员 会)标准来描述传统DTV发送和接收标准。
在ATSC系统的情况下，用于处理广播内容的信息可以包括在系统信息中，从而 被发送。
例如，系统信息可以称为业务信息。例如，在本文中，系统信息可以包括频道信 息、节目信息、事件信息等。在ATSC标准方法的情况下，系统信息可以通过被包括 在PSI/PSIP(节目专用信息/节目和系统信息协议)中来发送和接收。然而，本发明 将不仅限于该示例。并且，在以表格式发送系统信息的协议的情况下，无论其术语(或 名称)如何，都可以将该协议应用于本发明。
根据本发明的一个实施例，PSI表可以包括PAT(节目关联表)和PMT(节目映 射表)。
PAT对应于通过具有PID为“0”的数据包来发送的特定信息。对于每个节目，PAT 可以发送对应PMT的PID信息。PMT发送传输流(TS)包的PID信息，在该PID 信息中发送配置对应节目的视频和音频数据的各个位序列和节目识别号，并且PMT 还发送其中发送PCR的PID信息。随后，通过解析从PAT获得的PMT，还可以获得 配置对应节目的元素之间的相关信息。
根据本发明的一个实施例，PSIP表可以包括VCT(虚拟频道表)、STT(系统时间 表)、RRT(分级区域表)、ETT(扩展文本表)、DCCT(直接频道变化表)、DDCSCT(直接 频道变化选择代码表)、EIT(事件信息表)和MGT(主指南表)。
VCT可以发送有关虚拟频道的信息，诸如用于选择频道的频道信息和用于接收 音频和/或视频数据的例如PID(包标识符)的信息。更具体地说，在解析VCT时， 可以获得通过该频道连同频道名称和频道号一起携带的广播节目的音频/视频数据的 PID。STT可以发送有关当前数据和定时信息的信息，而RRT可以发送有关用于节目 分级的咨询机构和区域的信息。ETT可以发送特定频道和广播节目的额外说明，并且 EIT可以发送有关虚拟频道事件的信息。DCCT/DCCSCT可以发送与自动(或直接) 频道变化关联的信息，而MGT可以发送PSIP内每个表的PID信息和版本。
立体感图像的发送格式包括单视频流格式和多视频流格式。单视频流格式对应于 将两个透视角的视频数据复用到单个视频流中并且发送该单个视频流的方法。这里， 由于视频数据被发送到一个视频流，鉴于用于提供3D广播业务额外所必须的带宽不 宽，所以单视频流格式是有利的。多视频流格式对应于将多个视频数据发送到多个视 频流的方法。这里，尽管对带宽的使用增加，但是由于可以发送高容量数据，鉴于可 以显示高画面质量的视频数据，所以多视频流格式是有利的。
图1示出了根据本发明的一个实施例的多种图像格式的立体感图像复用格式。
3D广播业务的图像格式包括(a)中示出的并排格式、(b)中示出的上下格式、 (c)中示出的交织格式、(d)中示出的帧顺序格式、(e)中示出的棋盘格式以及(f) 中示出的立体格式。
(a)中所示的并排格式对应于这样一种格式，其中在水平方向上对左图像和右图 像进行1/2下采样。这里，其中一个采样图像定位在左侧，而另一个采样图像定位在 右侧，从而产生单个立体感图像。(b)中所示的上下格式对应于这样一种格式，其中 在垂直方向上对左图像和右图像进行1/2下采样。这里，其中一个采样图像定位在上 侧，而另一个采样图像定位在下侧，从而产生单个立体感图像。(c)中所示的交织格 式对应于这样一种格式，其中在水平方向上对左图像和右图像进行1/2下采样，使得 可以逐行轮换两个图像，从而产生单个立体感图像，或者其中在垂直方向上对左图像 和右图像进行1/2下采样，使得可以逐行轮换两个图像，从而产生单个立体感图像。 (d)中所示的帧顺序格式对应于这样一种格式，其中左图像和右图像按时间轮换并配 置在单个视频流中。(e)中所示的棋盘格式对应于这样一种格式，其中对左图像和右 图像进行1/2下采样使得在水平和垂直方向的每个方向上可以轮换左图像和右图像， 从而将两个图像配置成单个图像。(f)中所示的立体格式对应于这样一种配置图像的 格式，其使得该图像可以使用互补色对比来呈现立体效果。
当前的数字广播通过使用有限系统资源提供了广播业务。数字广播环境的系统资 源包括传输带宽、处理能力等。特别地，在频率分配(或部署)中可以使用的带宽有 限。在这种数字广播环境中，在提供3D广播业务时，对应的3D广播业务还将使用 在数字广播环境中使用的有限资源。
根据本发明的一个实施例，在采用立体感图像方案的3D广播业务的情况下，应 当发送左视图图像和右视图图像。因此，难以使用传统数字广播的带宽以高分辨率发 送两个图像。例如，在使用数字广播的带宽发送全分辨率视频数据时，难以使用相同 带宽发送两组全分辨率视频数据。因此，正在提出一种发送两组半分辨率视频数据的 方法。
然而，需要提供全分辨率3D广播业务，以便满足用户对高画面质量的需求。然 而，即使当全分辨率3D广播业务正在提供时，全分辨率3D广播业务应当与传统半 分辨率3D广播业务兼容。
图2示出了根据本发明的一个实施例的3D广播业务的概念示图。
根据图2的实施例，提供全分辨率图像的3D广播业务(2010)在下文可以称为 3D业务2.0或3D业务Spec-B。提供半分辨率图像的3D广播业务(2020)在下文可 以称为3D业务1.0或3D业务Spec-A。
3D业务1.0(2020)可以服务于半分辨率左图像和半分辨率右图像。由于提供全 分辨率图像的3D业务2.0(2010)应当与3D业务1.0(2020)兼容，所以不用重新 发送全分辨率图像，可以采用保持3D业务1.0(2020)的图像传送并且为提供全分 辨率图像而提供差分数据或者额外数据的方法。更具体地说，如图2所示，可通过将 3D业务2.0的互补视频元素(2030)添加到3D业务1.0(2020)的半分辨率视频元 素来提供全分辨率3D广播业务(2010)。最终，可支持3D业务1.0的广播接收机可 以通过接收和处理3D业务1.0(2020)的数据提供半分辨率图像，而可支持3D业务 2.0的广播接收机可以通过接收和处理3D业务1.0(2020)的数据和3D业务2.0的 互补数据提供全分辨率图像。
图3图示了示出根据本发明的一个实施例的提供全分辨率3D广播业务的方法的 概念框图。
在本发明中，可提供全分辨率3D图像的广播接收机(3030)以及可以支持半分 辨率3D图像的数字广播接收机(3040)可以均被提供。
提供3D广播业务的广播系统可以通过基层(3020)发送半分辨率3D视频数据 并且可以通过增强层(3010)发送用于提供全分辨率3D图像的额外的半分辨率3D 视频数据。
可以支持半分辨率3D图像的数字广播接收机(3040)可以通过接收和处理基层 (3020)的视频数据来提供半分辨率3D图像。另外，可以提供全分辨率3D图像的数 字广播接收机(3030)可以通过接收和处理基层(3020)的视频数据和增强层(3010) 的视频数据来提供全分辨率3D图像。
下文，为了简洁起见，基层的视频数据或视频分量可以分别称为基视频数据或基 视频分量，而增强层的视频数据或视频分量可以分别称为互补视频数据或互补视频分 量。
图4图示了根据本发明的一个实施例的提供3D广播业务的方法。
参考图4，3D业务Spec-A(4010)指示3D视频数据通过基层发送，而根据图3 的实施例，以半分辨率上下图像格式提供该3D视频数据。
3D业务Spec-B(4020)通过增强层发送用于各透视角的图像的互补数据。接收 系统接收发送的互补数据。而且，相对于从3D业务Spec-A(4010)发送的3D视频 数据，对接收的互补数据进行附加处理，从而使得接收系统能够提供全分辨率立体感 图像。
图5图示了根据本发明的另一实施例的提供3D广播业务的方法。
根据本发明的一个实施例，3D业务Spec-A(5010)对应于上下图像格式以及可 以包括空间半分辨率和时间全分辨率的3D视频数据。根据本发明的另一实施例，3D 业务Spec-A(5010)的视频数据可以在接收系统中进行插值，以便以空间全分辨率 和时间半分辨率来提供。3D业务Spec-B(5020)的接收系统可以另外处理互补信息， 以便提供空间和时间全分辨率图像。
在时间半分辨率和空间全分辨率的定义中，由于系统资源的限制，可以发送的视 频数据的大小或数量(或可发送视频数据)可能受到限制。视频数据可以包括帧单元 图像。这里，取决于可发送视频数据的大小，在可以按时间定位的帧单元图像之间的 距离也可以随同图像的分辨率受到限制。例如，由于预定带宽的限制，如果一组可发 送视频数据为空间半分辨率和时间全分辨率，并且当在相同带宽限制内正发送空间全 分辨率图像时，只可以发送时间半分辨率(例如，时间全分辨率情况下的帧距的距离 的两倍)视频数据。
根据接收系统中的分辨率来处理视频数据的方法的多种实施方式可能是可行的。
3D业务Spec-A(5010)的接收系统可以对接收图像(Lb或Rb)执行插值，以 便提供接近全分辨率的图像(Lb'或Rb')(图5的左下侧的图)。
3D业务Spec-B(5020)的接收系统可以使用在基层中接收的视频数据以及增强 层中接收的视频数据。接收系统可以对基层的接收图像(Lb或Rb)和增强层的接收 图像(Le或Re)的水平行进行交织和组合，从而提供全分辨率图像(Lf或Rf)。另 外，接收系统可以对基层的接收图像(Lb或Rb)执行低通滤波并且可以对增强层的 接收图像(Le或Re)执行高通滤波，从而组合两个图像并且重构全分辨率图像(Lf 或Rf)。另外，接收系统可以对基层的接收图像(Lb或Rb)执行插值并且用互补信 息图像(Le或Re)来补充插值后的全分辨率(接近全分辨率)图像(Lb'或Rb')，从 而提供全分辨率图像(Lf或Rf)(图5的右下侧的示图)。
图6图示了根据本发明的另一实施例的提供3D广播业务的方法。
根据本发明的一个实施例，3D业务Spec-A(6010)对应于并排图像格式并且可 以包括空间半分辨率和时间全分辨率3D视频数据。根据本发明的另一实施例，3D 业务Spec-A(6010)的视频数据可以在接收系统中进行插值，以便以空间全分辨率 和时间半分辨率来提供。3D业务Spec-B(6020)的接收系统可以另外处理互补信息， 以便提供空间和时间全分辨率图像。
在图6的情况下，除了图像格式对应于并排图像格式的事实之外，图6的剩余描 述与图5的描述相同。因此，为了简洁将省略本发明的重复描述。然而，参考图6， 在交织基层的接收图像(Lb或Rb)和增强层的接收图像(Le或Re)的情况下，3D 业务Spec-B(6020)的接收系统可以交织和组合垂直行，从而提供全分辨率图像。
图7图示了根据本发明的另一实施例的提供3D广播业务的方法。
根据本发明的一个实施例，3D业务Spec-A(7010)对应于帧顺序图像格式并且 可以包括空间全分辨率和时间半分辨率3D视频数据。根据本发明的另一实施例，3D 业务Spec-A(7010)的视频数据可以在接收系统中进行格式转换，以便以空间半分 辨率和时间全分辨率来提供。3D业务Spec-B(7020)的接收系统可以另外处理互补 信息，以便提供空间和时间全分辨率图像。
根据本发明的实施例，3D业务Spec-A(7010)的接收系统可以对接收图像(Lb 或Rb)执行抽选，从而产生(或生成)上下格式或并排格式的半分辨率图像(Lb' 或Rb')。此处，在执行抽选时，接收系统以上下格式或并排格式获得半分辨率图像(Lb' 或Rb')。此处，在执行抽选时，接收系统通过帧速率转换获得进行了时间扩展(例如， 倍增)的一对半分辨率图像，从而能够提供空间和时间全分辨率图像。
根据另一实施例，3D业务Spec-B(7020)的接收系统将通过增强层接收的图像 (Le或Le)分别插入在通过基层接收的各相继图像(Lb或Rb)之间，从而能够提供 空间和时间全分辨率图像。
如上所述，为了提供高分辨率的3D广播业务，应当针对当前提供的分辨率的3D 广播业务来提供互补视频数据，并且伴随互补视频数据，还需要发送/接收和处理用 于互补视频数据的信令信息。
下文，将具体描述发送互补视频数据和有关这种互补视频数据的信息的方法。根 据本发明的一个实施例，互补视频数据可以使用H.264/SVC(可扩展视频编码)或 MVC(多视图视频编码)方法作为分层图像压缩编码方法。而且，此处，可以通过 增强层发送互补视频数据。
发送的有关互补视频数据的信令信息可以称为3D互补视频信息。根据本发明的 实施例可以以描述符或表的形式提供3D互补视频信息，其中3D互补视频信息可以 称为3D互补视频描述符或3D互补视频表。
根据本发明的实施例，3D互补视频信息可以包括在PSIP中，该PSIP从ATSC 广播系统被发送，并且尤其可以包括在PSIP的TVCT(或VCT)中，从而被发送。 另外，3D互补视频信息可以包括在PSI中，该PSI从ATSC广播系统中发送，并且 特别地可以包括在PSI的PMT中。此外，3D互补视频信息可以包括在互补视频信息 中并且特别地可以包括在互补视频ES(基本流)的报头信息中，从而被发送。
下文，将具体描述发送3D互补视频信息的方法。
首先，现在将具体描述使用TVCT发送3D互补视频信息的方法。
图8图示了根据本发明的一个实施例的包括3D互补视频信息的TVCT的语法结 构。
以下将描述图8的TVCT中包括的字段。
‘table_id’字段为指示表区段的类型的8位无符号整数字段。
‘section_syntax_indicator’字段为对于‘terrestrial_virtual_channel_table_section()’字 段将设置为‘1’的1位字段。
‘private_indicator’字段为将设置为‘1’的1位字段。
‘section_length’字段为前2位将被设置为‘00’的12位字段，并且指定该区段紧接 ‘section_length’字段开始且包括CRC的字节数。
‘transport_stream_id’字段指示16位MPEG-2传输流(TS)ID。‘transport_stream_id’ 字段将陆地虚拟频道表(TVCT)与可能在不同的PTC中广播的其他表区分开。
作为5位字段的‘version_number’字段指示虚拟频道表(VCT)的版本号。
‘current_next_indicator’字段是1位指示符。在‘current_next_indicator’字段设置为 ‘1’时，这表明发送的虚拟频道表(VCT)当前可用。在‘current_next_indicator’字段的位 设置为‘0’时，这表明发送的表还不可用并且下一个表将变得有效。
‘section_number’字段为给出该区段的编号的8位字段。
作为8位字段的‘last_section_number’字段规定了整个陆地虚拟频道表(TVCT) 的最后区段(即，具有最高section_number值的区段)的编号。
作为8位无符号整数字段的‘protocol_version’字段用于允许表类型将来携带可能 与当前协议中定义的那些参数在结构上不同的参数。
作为8位字段的‘num_channels_in_section’字段规定了该VCT区段中的虚拟频道 数量。
‘short_name’字段可以指示虚拟频道的名称，表示为根据单个码字符数据的 UTF-16标准解释的1至7个16位码值的序列。
‘major_channel_number’字段指示10位数，其表示与‘for’循环的此迭代中定义的 虚拟频道相关联的‘主’频道号。
‘minor_channel_number’字段指示从‘0’到‘999’的范围内的10位数，以便表示‘次’ 或‘子’频道号。该‘minor_channel_number’字段连同‘major_channel_number’字段可以 指示两部分频道号，其中minor_channel_number代表该号码的第二或右侧部分。
包括8位无符号整数的‘modulation_mode’字段可以指示用于与虚拟频道相关联 的发送载波的调制模式。
‘carrier_frequency’字段可以指示允许的载波频率。
‘channel_TSID’字段为从0x0000到0xFFFF的范围内的16位无符号整数字段。 ‘channel_TSID’字段代表与携带虚拟频道所引用的MPEG-2节目的传输流(TS)相关 联的MPEG-2传输流(TS)ID。
‘program_number’字段包括16位无符号整数，其将这里定义的虚拟频道与 MPEG-2节目联合体和TS节目映射表关联起来。
作为2位字段的‘ETM_location’字段指定了扩展文本消息(ETM)的存在和位置。
‘access_controlled’字段指示1位布尔标志。在设置‘access_controlled’字段的布尔 标志时，这表明可以控制对与虚拟频道相关联的事件的访问。
‘hidden’字段指示1位布尔标志。在设置了‘hidden’字段的布尔标志时，这表明用 户通过虚拟频道号的直接输入无法访问虚拟频道。
‘hide_guide’字段指示布尔标志。在针对隐藏频道将‘hide_guide’字段的布尔标志 设置为零‘0’时，这表明虚拟频道和虚拟频道事件可以出现在EPG显示中。
‘service_type’字段为6位枚举类型字段，其将识别在虚拟频道中携带的业务类型。
‘source_id’字段包括16位无符号整数，其识别与虚拟频道相关联的节目安排源。
‘descriptors_length’字段可以指示用于虚拟频道的描述符的(字节)总长度。
‘descriptor()’字段可以包括被确定适应于‘descriptor()’字段的0或更多个描述符。
‘additional_descriptors_length’字段可以指示VCT描述符列表的总长度(以字节 计)。
‘CRC_32’字段为包含CRC值的32位字段，其确保在处理整个陆地虚拟频道表 (TVCT)区段之后在ISO/IEC 13818 1“MPEG-2 系统”[8]的附录A中定义的解码器中 的寄存器的0输出。
在从对应频道提供的广播业务为3D业务2.0时,service_type字段(8010)对应于指 示该信息的字段。例如，在service_type字段(8010)的字段值为0x13时，这表明从对 应的虚拟频道正提供3D广播节目(用于显示3D立体感图像的音频、视频和互补视频 数据)。
描述符字段(8020)包括3D互补视频信息并且下文将参考附图具体描述。
图9图示了根据本发明的一个实施例的包括在TVCT中的3D互补视频描述符的 语法结构。
以下将描述图9的3D互补视频描述符中包括的字段。
Number_elements字段指示配置相应虚拟频道的视频元素的数量。广播接收机可 以接收3DTV业务位置描述符，以便解析在numbers_elements字段以下的字段中包括 的信息作为次数，该数值对应于配置相应虚拟频道的视频元素数量。
Complementary_type字段指示配置互补视频数据或互补视频流的方法。在正输出 全分辨率图像时，接收系统使用该字段的信息将基视频数据和互补视频数据重新配置 (或重构)成全分辨率图像。
Naive_subsampling_flag字段指示在配置基视频分量和互补视频分量时是否正执 行子采样或者是否正执行低通滤波和高通滤波。例如，在naive_subsampling_flag字 段的字段值等于1时，这表明正执行子采样。而且，在该字段值等于0时，这表明正 执行低通滤波和高通滤波。
Codec_type字段指示对互补视频分量进行编码或压缩所使用的视频编解码器的 类型。例如，取决于codec_type字段的字段值，可以指示编码方案例如MPEG-2, AVC/H.264,SVC扩展等。
Horizontal_size字段、vertical_size字段和frame_rate大小字段分别指示互补视频 分量的水平大小、垂直大小和帧速率。这里，水平大小和垂直大小可以指示空间分辨 率，而帧速率可以指示时间分辨率。例如，在complementary_type字段的字段值等于 0x0004时，互补视频分量的空间/时间分辨率都可以变成全分辨率。
Interpolation_filter_available_flag字段指示在针对基视频分量执行插值时是否正 使用额外的定制滤波器。此处，根据本发明的一个实施例，用于实现滤波器的诸如滤 波器系数的信息可以包括在用于TVCT或PMT中的互补视频分量的描述符循环中， 并且可以以描述符格式来提供。而且，根据本发明的另一实施例，这种信息可以包括 在视频元素内的报头信息或消息信息中，由此被提供。
在用于配置互补视频信息的左视图的视频数据和右视图的视频数据中， left_image_first_flag字段指示两个视频数据中哪个先发生(或生成)。根据本发明的 一个实施例，在首先接收对应于左视图的视频数据时，left_image_first_flag字段的字 段值可以设置为1。
Complementary_first_flag字段指示在配置全分辨率图像过程期间组合基视频分 量和互补视频分量的顺序。根据本发明的一个实施例，在对应于基视频分量的视频数 据位于对应于互补视频分量的视频数据之前时，complementary_first_flag字段的字段 值可以设置为1。
图10图示了根据本发明的一个实施例的按照包括在3D互补视频信息中的 complementary_type字段的字段值的图像配置方法。
图9中包括的complementary_type字段指示配置互补视频数据或互补视频流的方 法。而且，接收系统使用该字段的信息，以将基视频数据和互补视频数据重新配置(或 重构)成全分辨率图像。在本文中，根据本发明的一个实施例，可以如图10所示不 同地执行根据complementary_type字段的字段值的全分辨率图像的重新配置(或重 构)。
1)在complementary_type字段的字段值等于0时:
Complementary_type字段指示互补视频数据进行行交织并且载有用于互补行的 视频数据。
互补视频数据可以包括用于偶数行或奇数行的视频数据，其可以被添加到基视频 数据从而配置全分辨率图像。用于偶数行或奇数行的视频数据可以根据基视频数据的 复用格式水平或垂直地行交织，由此被生成(或产生)。根据本发明的一个实施例， 在基视频数据对应于并排格式时，可以执行垂直行交织，而在基视频数据对应于上下 格式时，可以执行水平行交织。
2)在complementary_type字段的字段值等于1时：
Complementary_type字段指示互补视频数据进行像素交织并且载有有关每行的 被轮换(或改变)的图像透视角的顺序信息。这里，顺序信息对应于有关用于重新配 置全分辨率图像的像素的信息。
互补视频数据可以以像素为单位进行交织，以便以棋盘格式发送。在此情况下， 可以在单行内以像素为单位(或逐像素地)轮换左图像的像素和右图像的像素。另外， 为了正常恢复全分辨率图像，需要接收系统发送有关轮换顺序的这种信息。在此情况 下，对于正被重新配置(或重构)的全分辨率图像的第一像素中包括的视频数据， complementary_first_flag字段指示包括在第一像素中的视频数据对应于哪个透视角或 层。
3)在complementary_type字段的字段值等于2时：
Complementary_type字段指示互补视频数据为帧交织的并且包括重新配置(或重 构)全分辨率图像的互补帧。
根据本发明的本实施例，全分辨率的含义表示时间分辨率。在此情况下，互补视 频数据可以包括以帧为单位(或逐帧)交织的图像数据并且也可以包括逐帧(或帧顺 序)的视频数据。Complementary_first_flag字段可以通知接收系统通过互补视频分量 接收的视频帧位于通过基视频分量接收的视频帧之前还是位于之后。
4)在complementary_type字段的字段值等于3时：
Complementary_type字段指示互补视频数据为场交织的并且包括重新配置(或重 构)全分辨率图像的互补帧。
根据本发明的本实施例，全分辨率的含义表示时间分辨率。在此情况下，互补视 频数据可以包括以场为单位(或逐场)交织的图像数据并且也可以包括逐场的视频数 据。Complementary_first_flag字段可以通知接收系统通过互补视频分量接收的视频场 对应于用于全分辨率图像的偶数场还是奇数场。
5)在complementary_type字段的字段值等于4时：
Complementary_type字段可以指示互补视频数据包括重新配置(或重构)全分辨 率图像的残余或增量数据。
根据本发明的本实施例，无论基视频分量的立体复用格式如何，互补视频分量包 括重新配置(或重构)全分辨率图像的残余或增量数据。在此情况下，在组合互补视 频数据和基视频数据之前，接收系统可以对基视频数据执行插值或倍增。
随后，将具体描述使用PMT发送3D互补视频信息的方法。
图11图示了根据本发明的一个实施例的包括3D互补视频信息的PMT的语法结 构。
以下将描述图11的PMT中包括的字段。
‘table_id’字段为8位字段，其在‘TS_program_map_section’字段中将总是设置为 ‘0x02’。
‘section_syntax_indicator’字段为将设置为‘1’的1位字段。
‘section_length’字段为前2位将被设置为‘00’的12位字段，以及指定该区段紧接 ‘section_length’字段开始且包括CRC的字节数。
‘program_number’字段为16位字段，其指定可应用‘program_map_PID’字段的节 目。
‘version_number’字段是5位字段，其指示了‘TS_program_map_section’字段的版 本号。
‘current_next_indicator’为1位字段。在‘current_next_indicator’字段的位设置为‘1’ 时，这表明发送的‘TS_program_map_section’字段当前可用。在‘current_next_indicator’ 字段的位设置为‘0’时，这表明发送的‘TS_program_map_section’字段还不可用并且下 一个‘TS_program_map_section’字段将变得有效。
‘section_number’字段包括将为‘0x00’的8位字段的值。
‘last_section_number’字段包括将为‘0x00’的8位字段的值。
‘PCR_PID’字段为13位字段，其指示将包含对‘program_number’字段所规定的节 目来说有效的PCR字段的传输流(TS)包的PID。在没有PCR与私有流的节目定义 相关联的情况下，则该字段将取值‘0x1FFF’。
‘program_info_length’字段为12位字段，其前2位将为‘00’。‘program_info_length’ 字段指定紧随着‘program_info_length’字段之后的描述符的字节数。
‘stream_type’字段为8位字段，其指定在包中载有的基本流或有效载荷的类型， 所述包具有其值由‘elementary_PID’字段指定的PID。另外，‘stream_type’字段可以指 示对应的视频元素的编码类型。作为示范编码类型，可以使用JPEG、MPEG-2、 MPEG-4、H.264/AVC、H.264/SVC或者H.264/MVC方案。
‘elementary_PID’字段为13位字段，其指定载有相关联的基本流或有效载荷的传 输流(TS)包的PID。该PID可以用作主要视频数据或次要视频数据的PID。
‘ES_info_length’字段为12位字段，其前2位将为‘00’。‘ES_info_length’字段可以 指定紧接着‘ES_info_length’字段之后的相关基本流的描述符的字节数。
‘CRC_32’字段为包含CRC值的32位字段，CRC值给出在处理整个传输流节目 映射区段之后在附录B中定义的解码器中的寄存器的0输出。
描述符字段(11010)包括3D互补视频信息并且下文将参考附图具体描述。
图12图示了根据本发明的一个实施例的包括在PMT中的3D互补视频描述符的 语法结构。
图12的3D互补视频信息类似于图9的3D互补视频信息。并且，因此，为了简 洁起见，将省略对相同字段的具体描述。然而，在PMT的情况下，不同于图9所示 的3D互补视频信息，有关视频元素的诸如elementary_PID的信息包括在PMT中。 而且，该字段的描述与参考图9对相同字段所做的具体描述相同。另外，可以用包括 在PMT中的stream_type字段代替codec_type字段。而且，在此情况下，可以从图 12的3D互补视频描述符中省略该字段。
随后，将具体描述通过包括在互补视频数据中的互补视频ES发送3D互补视频 信息的方法。
图13图示了根据本发明的一个实施例的包括3D互补视频信息的视频ES的画面 扩展和用户数据的语法结构。
根据本发明的一个实施例，ATSC电信系统可以将3D互补视频信息包括在视频 ES的报头信息中而非PISP层中，并且可以发送对应信息。更具体地说，3D互补视 频信息(complementary_video_info()；13030)可以包括在互补视频ES中以用于发送， 并且通过在视频解码器中解析对应信息，接收系统可以获得控制显示输出所需要的信 息。
根据本发明的一个实施例，在使用MPEG-2视频编码方案对互补视频数据编码 时，3D互补视频信息可以包括在画面扩展和用户数据的user_data()(13010)中从而被 发送。可以在画面报头和画面编码扩展之后接收画面扩展和用户数据，从而进行解码。
在图13的实施例中，user_data_start_code字段的字段值固定为0x0000 01B2。
User_data_identifier(或者ATSC_identifier)字段的字段值对应于32位编码，赋值 为0x47413934。
User_data_type_code字段指示ATSC用户数据(13020)的数据类型并且可以具有8 位的字段值。根据本发明的一个实施例，通过使用0x10的值，该字段可以指示包括 有3D互补视频信息(13030)。
图14图示了根据本发明的一个实施例的在视频ES的SEI(补充增强信息)消息 中包括并发送3D互补视频信息时的语法结构。
在图14所示的实施例中，在H.264(或者AVC)视频数据和MVC扩展视频数据 的情况下，互补信息可以发送到SEI(补充增强信息)区域，并且 user_data_registered_itu_t_t35()可以用来通过user_identifier和user_structure()发送3D 互补视频信息。
在图14所示的实施例中，在将互补视频数据编码成AVC/H.264时，图13中所 示的ATSC_user_data()可以定位于用于从相应视频流发送3D互补视频信息的SEI语 法(user_identifier＝0x47413934)的user_structure()中。
图15图示了根据本发明的一个实施例的在互补视频ES中包括并发送的3D互补 视频信息的语法结构。
图15的3D互补视频信息(Complementary_video_info())类似于图9的3D互补视 频信息。并且，因此，为了简洁起见，将省略对相同字段的具体描述。
下文将具体描述使用从3D视频业务Spec-B接收的基视频数据、互补视频数据 和3D互补视频信息来提供全分辨率图像的方法。
图16图示了根据本发明的一个实施例的使用从3D视频业务Spec-B接收的基视 频数据、互补视频数据和3D互补视频信息来提供全分辨率图像的方法。
在图16的实施例中，以上下格式接收基视频数据的图像，其中左图像定位在上 侧，而其中右图像定位在下侧。在3D互补视频信息的情况下，complementary_type 字段的字段值指示为‘0x0000’，naive_subsampling_flag字段的字段值指示为‘1’， left_image_first_flag字段的字段值指示为‘1’,而complementary_first_flag字段的字段 值指示为‘0’。更具体地说，3D互补视频信息指示用行交织来处理互补视频数据，在 执行子采样时不执行低通滤波和高通滤波，首先展现对应于左视图的视频数据，以及 对应于基视频的视频数据位于对应于互补视频的视频数据之前。
取决于3D互补视频信息，接收系统从上下格式的基视频帧(16010)提取左图 像部分(Lb1～Lb5)，从互补视频帧(16020)提取左图像部分(Lc1～Lc5)，并且逐 行重新配置(或者重构)所提取的视频数据，从而获得全分辨率左图像(16030)。类 似地，取决于3D互补视频信息，接收系统从上下格式的基视频帧(16010)提取右 图像部分(Rb1～Rb5)，从互补视频帧(16020)提取右图像部分(Rc1～Rc5)，并且 逐行重新配置(或者重构)所提取的视频数据，从而获得全分辨率右图像(16040)。
接收系统可以通过帧顺序方案显示所获得的全分辨率左图像(16030)和右图像 (16040)。在此情况下，由于以帧为单位从一个帧(16010)生成两个帧(16030，16040)， 所以时间全分辨率显示变得可行。
图17图示了根据本发明的另一实施例的使用从3D视频业务Spec-B接收的基视 频数据、互补视频数据和3D互补视频信息来提供全分辨率图像的方法。
在图17的实施例中，以上下格式接收基视频数据的图像，其中左图像定位在上 侧，而其中右图像定位在下侧。在3D互补视频信息的情况下，complementary_type 字段的字段值指示为‘0x0000’，naive_subsampling_flag字段的字段值指示为‘0’， left_image_first_flag字段的字段值指示为‘1’,而complementary_first_flag字段的字段 值指示为‘0’。更具体地说，3D互补视频信息指示用行交织来处理互补视频数据，在 执行子采样时必须执行低通滤波和高通滤波，首先展现对应于左视图的视频数据，以 及对应于基视频的视频数据位于对应于互补视频的视频数据之前。
首先，取决于3D互补视频信息，接收系统对基视频帧执行低通滤波，从而获得 经过滤波的基视频帧(Lb1’～Lb5’和Rb1’～Rb5’)。而且，接收系统对互补视频帧执行 高通滤波，从而获得经过滤波的互补视频帧(Lc1’～Lc5’和Rc1’～Rc5’)。
取决于3D互补视频信息，接收系统从上下格式的基视频帧提取经过低通滤波的 左图像部分(Lb1’～Lb5’)并且从互补视频帧提取经过低通滤波的左图像数据 (Lc1’～Lc5’)。下文，接收系统逐行重新配置(或重构)所提取的视频数据，从而获 得全分辨率左图像(1030)。类似地，取决于3D互补视频信息，接收系统从上下格 式的基视频帧提取经过低通滤波的右图像部分(Rb1’～Rb5’)并且从互补视频帧提取 经过低通滤波的右图像数据(Rc1’～Rc5’)。随后，接收系统逐行重新配置(或重构) 所提取的视频数据，从而获得全分辨率右图像(17040)。
接收系统可以通过帧顺序方案显示所获得的全分辨率左图像(17030)和右图像 (17040)。在此情况下，由于以帧为单位从一个帧(17010)生成两个帧(17030，17040)， 所以时间全分辨率显示变得可行。
图18图示了根据本发明的又一实施例的使用从3D视频业务Spec-B接收的基视 频数据、互补视频数据和3D互补视频信息来提供全分辨率图像的方法。
在图18的实施例中，以上下格式接收基视频数据的图像，其中左图像定位在上 侧，而其中右图像定位在下侧。在3D互补视频信息的情况下，complementary_type 字段的字段值指示为‘0x0004’，naive_subsampling_flag字段的字段值指示为‘1’， left_image_first_flag字段的字段值指示为‘1’,而complementary_first_flag字段的字段 值指示为‘0’。更具体地说，3D互补视频信息指示互补视频数据包括相对于基视频数 据(0x0004)的残余视频数据，在执行子采样时不执行低通滤波和高通滤波，首先展 现对应于左视图的视频数据，以及对应于基视频的视频数据位于对应于互补视频的视 频数据之前。
接收系统对首先接收的基视频帧(18010)执行逐行插值，从而获得空间倍增的 视频帧(18040)。此后，接收系统将插值的行(Li1,Li2,...,Ri5)与互补视频帧(18020) 的残余数据行(Lc1～Lc10和Rc1～Rc10)结合。随后，通过借助基视频帧的行逐行 地定位结合的行，获得全分辨率左图像(18050)和右图像(18060)。根据本发明的 一个实施例，在左图像的情况下，插值的基视频帧(18040)的行Li1与互补视频帧 (18020)的行Lc1和Lc2的数据相结合，从而获得全分辨率图像(18050)的行图像 Lc1。随后，通过使用将该行图像Lc1定位在行图像Lb1和Lb2之间的方法，可以获 得全分辨率左图像(18050)。
接收系统可以通过帧顺序方案显示所获得的全分辨率左图像(18050)和右图像 (18060)。在此情况下，由于以帧为单位从一个帧(18010)生成两个帧(17050，17060)， 所以时间全分辨率显示变得可行。
图19图示了根据本发明的又一实施例的使用从3D视频业务Spec-B接收的基视 频数据、互补视频数据和3D互补视频信息来提供全分辨率图像的方法。
在图18的实施例中，以棋盘格式接收基视频数据的图像，其中左图像定位在左 端部分的最上像素中。在3D互补视频信息的情况下，complementary_type字段的字 段值指示为‘0x0001’，naive_subsampling_flag字段的字段值指示为‘1’， left_image_first_flag字段的字段值指示为‘1’,而complementary_first_flag字段的字段 值指示为‘0’。更具体地说，3D互补视频信息指示互补视频数据包括互补视频图像相 对于基视频图像的行轮换顺序(0x0001)，在执行子采样时不执行低通滤波和高通滤 波，首先展现对应于左视图的视频数据，以及对应于基视频的视频数据位于对应于互 补视频的视频数据之前。
接收系统通过使用3D互补视频信息、针对每个行根据相应顺序对齐包括在接收 的基视频帧(19010)中的左视图的像素和右视图的像素并且对齐包括在接收的互补 视频帧(19020)中的左视图的像素和右视图的像素。由此，可以获得全分辨率的左 图像(19030)和右图像(19040)。另外，根据本发明的一个实施例，接收系统以并 排格式或上下格式重新配置(或重构)接收的基视频帧(19010)和互补视频帧(19020)。 随后，接收系统根据3D互补视频信息对齐重新配置的视频帧，从而获得全分辨率的 左图像(19030)和右图像(19040)。
接收系统可以通过帧顺序方案显示所获得的全分辨率的左图像(19030)和右图 像(19040)。在此情况下，由于以帧为单位从一个帧(19010)生成两个帧(19030， 19040)，所以时间全分辨率显示变得可行。
按照本发明的上述实施例，可以根据不同的实施例执行接收系统通过组合基视频 分量和互补视频分量获得全分辨率视频分量的操作。
根据本发明的一个实施例，在基视频分量称为B时，在互补视频分量称为C时， 以及在全分辨率视频分量称为F时，以下的操作场景可能是可用的。
情况1：F＝B+C
情况2：F＝B’+C
情况3：F＝B’+C’
这里，B'和C'分别对应于借助插值/滤波进行处理的B和C。
情况1对应于以下示例，其中naive_subsampling_flag字段的字段值等于‘1’。因 此，该情况对应于以下实施例，其中交织并对齐两个子采样的视频分量。
情况2对应于以下示例，其中B借助插值/滤波处理后与C组合，从而得到F。 这里，C可以对应于残余/增量数据格式。(特别地，在使用SVC编码方案时，可以 执行这种组合形式。)
情况3对应于以下示例，其中naive_subsampling_flag字段的字段值等于‘0’。因 此，该情况对应于以下实施例，其中借助插值/滤波处理B和C两者并且其中将B' 与C'组合，从而得到F。
图20图示了根据本发明的一个实施例的广播接收机。
广播接收机包括接收广播信号的接收单元(20010)、基于接收的广播信号的PID 对数据进行分类以及提取数据的TP解复用器(20020)、解析和处理系统信息的SI处 理器(20030)、解码视频数据的视频解码器(20040)以及对经过解码的视频数据进行格 式化的输出格式器(20050)。根据本发明的实施例，接收单元(20010)可以进一步包括 调谐器和解调器(20060)以及VSB解码器(20070)。而且，视频解码器(20040)可以进一 步包括解码基视频ES的基视频解码器(20080)和解码互补视频ES的互补视频解码器 (20090)。
根据本发明的一个实施例，在包括在PMT或VCT中时，3D互补视频信息可以 在接收机的SI处理器(20030)中处理，而在包括在视频ES中时，3D互补视频信息 可以在视频解码器(20040)中处理。在处理3D互补视频信息方面，SI处理器(20030) 和视频解码器(20040)可以称为3D互补视频信息处理单元。
下文将参考附图更具体描述广播接收机的每个组件的操作。
图21图示了示出根据本发明的一个实施例的广播接收机的3D视频数据处理方 法的流程图。
广播接收机通过使用接收单元接收包括3D视频数据和3D互补视频信息的广播 信号(S21010)。根据本发明的一个实施例,3D视频数据可以包括支持半分辨率图像 的基视频数据、添加到基视频数据的用于配置全分辨率图像的互补视频数据以及用于 提取和解码基视频数据和互补视频数据的3D互补视频信息，从而组合和格式化处理 的数据。
广播接收机使用3D互补视频处理单元来解析包括在广播信号中的3D互补视频 信息(S21020)。
如图8到图15所述，3D互补视频信息可以包括在TVCT或PMT的系统信息中， 或者可以包括在互补视频数据中所包括的互补视频ES的报头信息中。3D互补视频 信息可以包括以下的至少一种：指示互补视频数据的配置类型的类型信息 (complementary_type)、指示在子采样期间是否执行滤波的子采样信息 (naive_subsmapling_flag)、指示用于编码互补视频数据的视频编解码器的类型的编解 码器类型信息(codec_type)、水平大小信息(horizontal_size)、垂直大小信息 (vertical_size)、帧速率信息(frame_rate)、用于实现在插值过程中使用的滤波器的滤 波器信息(interpolation_filter_available_flag)、指示首先显示哪个透视角的图像的透视 信息(left_image_flag_flag)、以及指示基视频数据和互补视频数据的组合顺序的顺序信 息(complementary_first_flag)。
广播接收机使用解码器解码半分辨率基视频数据(S21030)。可以通过包括在解 码器中的基视频解码器来解码基视频数据。
根据本发明的一个实施例，可以基于PID通过TP解复用器对基视频数据和互补 视频数据进行分类，从而输出到解码器。同样，基视频数据和互补视频数据可以作为 3D视频数据输出到解码器，并且解码器可以基于视频ES的报头信息对基视频数据 和互补视频数据进行分类，从而解码分类的视频数据。
广播接收机使用解码器解码用于配置全分辨率图像的互补视频数据(S21040)。 可以通过包括在互补视频解码器中的解码器来解码互补视频数据。
广播接收机使用3D互补视频信息数据，以从输出格式器组合和格式化基视频数 据和互补视频数据，从而输出全分辨率3D图像(S21050)。
可以基于基视频数据的复用格式和互补视频数据的类型使用多种方法来执行在 广播接收机中组合和格式化全分辨率3D图像的过程。也可以如图4-图7和图16到 图19所述执行这种组合和格式化操作。全分辨率3D图像可以输出作为空间全分辨 率3D图像，并且也可以以时间上为半分辨率图像速率的两倍的帧速率来实现，从而 输出作为全分辨率图像。
在下文中，将参考在3D互补视频信息包括在TVCT中时、在3D互补视频信息 被包括在PMT中时以及在3D互补视频信息包括在视频ES的报头信息中时更具体地 描述广播接收机的操作。
对于以下呈现的具体描述，在正提供半分辨率3DTV广播业务的情况下，假定通 过TVCT、PMT和视频ES中至少一个来发送有关半分辨率3D广播业务和相应视频 数据(基视频数据)的信息。因此，广播接收机可以使用与基视频数据相关联的 stream_type信息或者使用独立描述符来确定有关基视频数据的信息，并且这种信息 也可以称为3D基视频信息。
(1)在TVCT中接收3D互补视频信息时
广播接收机使用TVCT的service_type字段确定全分辨率3DTV广播业务是否正 由相应虚拟频道提供。
当正提供全分辨率3DTV广播业务时，广播接收机首先使用3D基视频信息从而 获得与基视频数据或者基视频分量相对应的elementary_PID信息(PID_B)。随后，广 播接收机使用3D互补视频信息从而获得与互补视频数据或者互补视频分量相对应的 elementary_PID信息(PID_C)。
广播接收机解码对应于PID_B的基视频分量并且解码对应于PID_C的互补视频 分量。
广播接收机使用包括在3D互补视频信息(或者3D互补视频描述符)中的 complementary_type字段、naive_subsmapling_flag字段、codec_type字段、 horizontal_size字段、vertical_size字段、frame_rate字段、 interpolation_filter_available_flag字段、left_image_flag_flag字段以及 complementary_first_flag字段中的至少一个，以便组合基视频数据和互补视频数据， 从而获得全分辨率的左图像和右图像。
广播接收机输出获得的左图像和右图像用于显示，从而给用户提供全分辨率3D 图像。
(2)在PMT中接收3D互补视频信息时
在由PMT发送的ES中，广播接收机确定对应于半分辨率视频数据的数据流的 存在。广播接收机使用3D基视频信息，以确认对应的ES(PID_B)包括具有其中复用 的半分辨率左图像和右图像的视频数据。
在通过PMT发送的ES中，广播接收机确定对应于互补视频数据的流的数据流 的存在。广播接收机可以使用3D互补视频信息从而执行确定处理，或者可以使用 stream_type字段从而证实对应的ES(PID_C)包括用于配置全分辨率图像的互补视频 数据。
广播接收机使用program_number字段以执行与通过TVCT提供的信息的映射， 并且广播接收机确定正通过哪个虚拟频道提供该节目。
广播接收机解码对应于PID_B的基视频分量并且解码对应于PID_C的互补视频 分量。
广播接收机使用包括在3D互补视频信息(或者3D互补视频描述符)中的 complementary_type字段、naive_subsmapling_flag字段、codec_type字段、 horizontal_size字段、vertical_size字段、frame_rate字段、 interpolation_filter_available_flag字段、left_image_flag_flag字段以及 complementary_first_flag字段的至少一个，以便组合基视频数据和互补视频数据，从 而获得全分辨率的左图像和右图像。
广播接收机输出获得的左图像和右图像用于显示，从而给用户提供全分辨率3D 图像。
(3)视频ES的报头信息(或者SEI消息)
在PMT发送的ES中，广播接收机确定对应于半分辨率视频数据的数据流的存 在。广播接收机使用3D基视频信息从而肯定对应的ES(PID_B)包括其中复用有半分 辨率的左图像和右图像的视频数据。
在PMT发送的ES中，广播接收机确定对应于互补视频数据的流的数据流的存 在。广播接收机可以确定3D互补视频信息的存在(或出现)，或者可以使用stream_type 字段从而确认对应的ES(PID_C)包括用于配置全分辨率图像的互补视频数据。
广播接收机解码对应于PID_B的基视频分量。并且，广播接收机解码对应于 PID_C的互补视频分量。此处，互补视频分量的ES针对画面扩展和用户数据或画面 /序列来检测和解析包括在SEI消息中的3D互补视频信息 (complementary_video_info)。
广播接收机使用包括在3D互补视频信息(或者3D互补视频描述符)中的 complementary_type字段、codec_type字段、naive_subsmapling_flag字段、 horizontal_size字段、vertical_size字段、frame_rate字段、 interpolation_filter_available_flag字段、left_image_flag_flag字段以及 complementary_first_flag字段的至少一个，以便组合基视频数据和互补视频数据，从 而获得全分辨率的左图像和右图像。
广播接收机输出获得的左图像和右图像用于显示，从而给用户提供全分辨率3D 图像。
根据本发明的方法发明可以以各种计算机装置都能执行的程序命令格式来实现， 从而在计算机可读介质中记录(或写入)。计算机可读介质可以包括单独或结合的程 序命令、数据文件、数据结构等。写入介质中的程序命令可以专门设计和配置用于本 发明，或者可向计算机软件领域的任意一个技术人员披露，以便被使用。计算机可读 介质的示例可以包括：诸如硬盘、软盘和磁带的磁媒体，诸如CD-ROM和DVD的 光媒体，诸如软光盘的磁光媒体，以及专门设计用于存储和执行程序命令的诸如 ROM、RAM和闪速存储器的硬件。程序命令的示例可以包括编译器创建的机器语言 代码，以及可以使用解释器执行的高级语言代码。上述硬件装置可以配置成以用于执 行本发明的操作的至少一个或多个软件模块来操作，并且也可以反转此配置。
如上所述，尽管已经参考有限实施例和附图描述了本发明，但是对本领域技术人 员来说明显的是，在不脱离本发明的精神或范围的情况下，可以在本发明中做出各种 修改和变型。因此，本发明意在覆盖落入所附权利要求及其等同物的范围内的本发明 的修改和变型。
本发明的实施方式
如上所述，已经以用于实现本发明的最佳实施方式描述了相关细节。
工业适用性
如上所述，本发明可以整体或部分地应用于数字广播系统。