广播发射机、 广播接收机及其 3D 视频处理方法 技术领域 本发明涉及一种广播发射机、 广播接收机以及广播发射机和接收机的 3D 视频处 理方法， 更具体地， 涉及在从 3D 广播系统发送多个视频流的情况下的处理视频数据的广播 发射机和广播接收机以及 3D 视频处理方法。
背景技术 通常， 3D 维度图像使用人眼的立体视觉来提供三维效果。人可以经由因彼此相距 大约 65mm 的双眼之间的距离产生的双目视差感受立体， 因此， 3D 图像提供针对人的右眼和 左眼中的每一个制作的图像， 使各眼看到与该其相关的对应平面图像， 从而可以实现维度 和立体效果。
这样的 3D 图像的显示方法可以包括立体成像法、 体积成像法和全息成像法。根 据立体成像法， 分别为人的右眼和左眼提供左视点图像 (left view image) 和右视点图像 (right view image)， 使得人的右眼和左眼分别观看到左视点图像和右视点图像， 从而感
受到三维效果。
发明公开
技术问题
为了解决上述问题， 本发明的目的在于在 3D 广播系统传输用于立体显示的两个 视频流的情况下， 通过发送和接收 3D 视频数据信息并且通过处理 3D 视频数据来方便来为 用户提供高效和方便的广播环境。
解决问题的技术方案
为了这些目的和其它优点， 并且根据本发明的目的， 如本文具体实现和广泛描述 的， 一种广播发射机的 3D 视频数据处理方法包括 ： 使用编码器编码 3D 视频数据 ； 使用系统 信息处理器生成包括在 3D 视频元数据的系统信息 ； 使用 TP 编码器， 通过将帧同步信息插入 在 3D 视频数据中并且复用 3D 视频数据和系统信息来输出传输流 ； 以及使用发送单元调制 和发送传输流。
在本发明的另一方面， 一种广播接收机的 3D 视频数据处理方法包括 ： 使用接收单 元接收包括具有帧同步信息的 3D 视频数据和系统信息的广播信号 ； 使用解复用器解复用 3D 视频数据和系统信息 ； 使用系统信息处理器通过解析系统信息获取 3D 视频元数据 ； 使用 同步控制器， 从 3D 视频数据获取帧同步信息并且基于所获取的帧同步信息按帧顺序输出 所述视频数据 ； 以及使用解码器基于 3D 元数据解码 3D 视频数据。
本发明的有利效果
本发明具有下述有利效果。
根据本发明， 在提供 3D 广播服务的情况下， 广播接收器可以处理接收的 3D 视频数 据以展示生成 3D 广播服务时想要的 3D 效果。
此外， 根据本发明， 可以尽可能地减少对常规 2D 广播服务的影响并且可以同时提 供 3D 广播服务。附图说明 被包括以提供本公开的进一步理解并且被并入且构成本申请的一部分的附图示 出了本公开的实施方式并且与说明书一起用于解释本公开的原理。
在附图中 ：
图 1 是示出了根据本发明的示例性实施方式的 3D 广播服务的数据配置的概念 图；
图 2 是示出了用于通过使用时域可伸缩方案编码左图像和右图像的方法的图 ；
图 3 是示出了根据本发明的实施方式的包括立体格式信息的 TVCT 的语法结构的 图， 将在后文描述图 3 中示出的 TVCT 的字段描述 ；
图 4 是示出了在根据本发明的实施方式的 TVCT 中提供的 3DTV 服务位置描述符的 语法的图 ；
图 5 是示出了根据本发明的实施方式的包括立体格式信息的 PMT 的语法结构的 图， 后文描述图 6 中示出的 PMT 的字段 ；
图 6 是示出了根据本发明的实施方式的 PMT 中提供的 3DTV 服务位置描述符的语 法的图 ；
图 7 是示出了根据本发明的实施方式的包括帧信息的 MPEG-2TS 分组的适应字段 的语法结构的图 ；
图 8 是示出了 MPEG-2TS 分组的适应字段中提供的帧同步信息的语法结构的图 ；
图 9 是示出了根据本发明的示例性实施方式的广播发射机的图 ；
图 10 是示出了广播发射机的 3D 视频数据处理方法的流程图 ；
图 11 是示出了根据本发明的示例性实施方式的广播接收机的图 ；
图 12 是示出了图 11 中所示的输出格式器的图 ； 以及
图 13 是示出了广播接收机的 3D 视频数据处理方法的流程图。
具体实施方式
现在将详细说明其示例在附图中示出的本发明的具体实施方式。只要可能， 在所 有附图中， 相同的标号指代相同或类似的元件。
在本发明的说明书中使用的术语可以考虑本发明的功能而适合于广泛公知的通 用技术术语， 并且其可以根据本领域的技术人员的目的或者实践以及新技术的出现而变 化。在具体情况中， 申请人对术语进行选择并且在特定实施方式中描述这样的术语。结果， 术语可以被理解为基于说明书的内容的含义， 而不是仅理解为字面含义。
一种显示 3D 图像的方法可以包括考虑两个视点的立体成像法和考虑 3 个或更多 视点的多视点图像。相反地， 常规的单视点图像可以被称为单像方法。
立体成像法使用由间隔预定距离的左像机和右像机拍摄的同一对象的一对左图 像和右图像。多视点图像方法使用由具有预定距离或角度的三个或更多个像机拍摄的 3 个 或更多图像。在下文， 将会采用立体成像法作为示例来描述本发明。然而， 本发明的技术主 题也可以应用于多视点成像法。而且 “立体成像” 可以在下文中被称为 “立体” 以方便描述。
立体图像或多视点图像可以以包括 MPEG( 运动图像专家组 ) 在内的各种类型进行压缩和编码以进行发送。
例如， 可以通过使用 H.264/AVC( 高级视频编码 ) 来压缩和编码立体图像或多视点 图像。这里， 发送系统以反向 H.264/AVC 来解码接收的图像以获得 3D 图像。
立体图像的左视点图像和右视点图像这两者中的一个或者多视点图像中的一个 图像可以被指定为基础层图像， 并且立体图像的左视点图像和右视点图像这两者中的另一 个或者多视点图像中的其它图像可以被指定为增强层图像。 通过使用与在单像图像中使用 的方法相同的预定方法来编码基础层的图像并且可以仅针对与基础层和增强层有关的图 像的信息来编码和发送增强层的图像。例如， 在用于基础层图像的压缩编码方法中可以使 用 JPEG、 MPEG-2、 MPEG-4、 H264/AVC 等等。根据本发明的该实施方式， 使用 H.264/AVC， 在根 据本实施方式的用于更高层图像的压缩编码方法中使用 H.264/SVC( 可伸缩视频编码 ) 或 者 MVC( 多视点视频编码 )。
2D 视频内容被作为技术标准的传统地面 DVT 标准化。 为了使 3D TV 广播内容进行 服务， 应该定义用于 3D 视频内容的发送和接收的标准。接收机可以基于定义的发送和接收 标准来接收并且处理广播信号， 并且接收机适于支持 3D 广播服务。
可以在本发明中采用 ATSC( 高级电视系统委员会 ) 标准来描述常规 DTV 发送和接 收标准。 根据 ATSC 系统， 可以发送和接收包括在系统信息中的用于处理广播内容的信息。 例如， 系统信息可以被称为服务信息并且具体地， 其包括频道信息、 节目信息、 事件信息等 等。在 ATSC 标准的情况下， 系统信息可以包括在 PSI/PSIP( 节目专用信息 / 节目和系统信 息协议 ) 中以进行发送和接收， 并且本发明不限于此。任何能够发送表格式的系统信息的 协议都可以应用于本发明。
PSI 是示例， 其可以包括 PAT( 节目关联表 ) 和 PMT( 节目映射表 )。
PAT 是可通过 PID( 分组 ID) 为 “0” 的分组传输的特殊信息， 并且其可以传输与各 节目对应的各 PMT 的 PID 信息。PMT 可以传输传输流分组的 PID 信息和具有传输到传输流 分组的 PCR 的 PID 信息。这里， 各节目的 ID 和构成各节目的各视频和音频比特流可以被传 输到传输流分组。如果对从 PAT 获取的 PMT 进行解析， 则可以获取与节目的组成之间的关 联相关的信息。
根据实施方式， PSIP 可以包括 VCT( 虚拟频道表 )、 STT( 系统时间表 )、 RRT( 评级 区域表 )、 ETT( 扩展文本表 )、 DCCT( 定向频道转换表 )、 DDCSCT( 定向频道转换选择码表 )、 EIT( 事件信息表 )、 MGT( 主指南表 )。
VCT 可以传输与虚拟频道相关的信息， 例如， 用以选择频道的频道信息、 用以接收 视频和 / 或音频的 PID( 分组标识符 )。如果对 VCT 进行解析， 则可以从与频道标题、 频道编 号一起发送的频道信息中获取广播节目的音频和视频的 PID。STT 可以传输当前日期和时 间的信息并且 RRT 可以传输与用于节目分集的授权审议和区域相关的信息。ETT 可以传输 有关于频道和广播节目的辅助说明， 并且 EIT 可以传输关于虚拟频道的事件的信息。DCCT/ DCCSCT 可以传输有关于自动频道改变的信息并且 MGT 可以传输 PSIP 和 PID 信息内的每个 表的版本。
立体图像的传输格式可以包括单视频流格式和多视频流格式。 单视频流格式将两 个视图的视频数据复用为单个视频流以进行传输并且其基于视频格式的方案包括并排格
式、 上下格式、 交错格式以及棋盘格式。
单视频流格式基于半分辨率的视频数据发送和接收。根据该格式方案， 特别减少 了的半分辨率的左图像和右图像可以布置在单视频帧中。因此， 根据显示类型和视频流格 式的组合， 将发生图像质量的劣化。即， 在接收的视频格式不同于显示装置的显示格式时， 将发生额外的分辨率。 例如， 如果接收到上下格式的视频数据， 同时显示装置的显示格式为 并排格式， 则在垂直分辨率已经减少 1/2 的内容的输出期间， 将出现其中水平分辨率被额 外减少 1/2 的分辨率劣势。
然而， 如果通过使用时域可缩放来传输立体视频流， 则可以尽可能地减少这样的 显示质量劣化问题并且特别地， 可能存在利用全空间分辨率的优点。 具体地， 使用具有两层 的时域 SVC( 可缩放视频编码 )， 经由基层基于多视频流格式传输与 2D 传统广播接收器兼容 的基础视点视频流并且可以经由增强层传输用于 3D 广播服务的扩展视点视频流。
图 1 是示出了根据本发明的示例性实施方式的 3D 广播服务的数据配置的概念图。
立体显示用于描述根据图 1 的 3D 广播服务。
3D 立体视频服务 (1010) 包括 2D 传统视频服务 1020。虽然可以提供辅助 3D 视频 服务， 但是能够使用用于传统 2D 传统视频服务的基础设施并且 3D 立体视频服务可以保持 与 2D 传统视频服务 1020 的兼容性以使用当前使用的广播发送和接收装置。 2D 传统视频服 务 1020 包括 2D 视频流 1030 的发送和接收。例如， 2D 是基于与 H.264/AVC 兼容的 H.264/ SVS 编码的基础视点的主视频流并且其可以经由基础层进行传输。 为了呈现 3D 立体视频服务 1010， 必须传输辅助视频流而不是包括在 2D 传统视频 服务 1020 中的 2D 视频流 1030。图 1 中所示的辅助视频流是 2D 视频流 1040。例如， 辅助 视频流 1040 是基于 H.264/SVC 编码的扩展视点的辅视频流并且其可以经由增强层来传输。
在上面参照图 1 描述的以上主视频流和辅视频流的分辨率仅是示例。能够组合各 种不同的分辨率， 例如， 半分辨率的主视频流、 半分辨率的辅视频流、 全分辨率的主视频流 以及全分辨率的辅视频流。
如果 3D 立体视频服务 1010 试图显示两个视频流中的 3D 图像， 则必须额外的发送 和接收与该两个视频流相关的 3D 立体视频服务和信息。 3D 立体视频服务 1010 的这样的信 息将被称为 3D 视频元数据， 为便于下文的描述， 其将被定义为表或者描述符。
图 2 是示出了使用时域可伸缩方案的编码左图像和右图像的帧顺序方法的图。
首先， 每帧布置左图像的基础视点视频流。按照帧 I、 帧 P1、 帧 P3 和帧 P4 的顺序 每帧布置基础视点视频流。 基于帧之间的关系对各个帧进行编码， 并且帧 P1 可以参照 “I” ， 帧 P2 参照帧 P1， 帧 P3 参照帧 P2 并且帧 P4 参照帧 P3。
扩展视点 ( 即右视点 ) 的视频流被按照帧顺序布置在基础视点的视频流中。如图 2 中所示， 扩展视点的视频帧对应于帧 B1、 帧 B2、 帧 B3 和帧 B4。根据布置的扩展视点的视 频帧， 帧 B1 可以参照帧 I 和帧 P1。帧 B2 可以参照帧 P1 和帧 P2。帧 B3 可以参照帧 P2 和 帧 P3。帧 B4 可以参照帧 P3 和帧 P4。
接收系统可以参照相对帧 I 的前帧图片恢复基础视点的视频流的 P1、 P2、 P3 和 P4 并且其可以通过使用恢复出的基础视点的视频数据和从接收的扩展视点的视频流解码出 的视频数据来按照 B1、 B2、 B3、 B4 的顺序恢复扩展视点的视频数据。
如果如上所述地为 3D 广播服务传输由基础视点的视频流和扩展视点的视频流配
置的视频流， 则必须与 3D 广播服务一起传输与视频流相关的信息。 3D 视频元数据可以包括 在 PMT 信息中、 PMT 信息包括在 PSI 或 TVCT 信息中、 PSI 或 TVCT 信息包括在 PSIP 中的情况 下进行传输。将在下文描述 3D 视频元数据的这样的传输。在下文， 3D 视频元数据将被提供 为表类型， 作为 3DTV 服务位置描述符。
图 3 是示出了根据本发明的实施方式的包括立体格式信息的 TVCT 的语法结构的 图。将在下面描述图 3 中示出的 TVCT 的字段。
“table_id” ( 表 ID) 字段是表示表区段的类型的 8 位未分配的整数字段。
“section_syntax_indicator” 字 段 是 对 于 “terrestrial_virtual_channel_ table_section” 字段应设置为 “1” 的一位字段。
“private_indicator” 字段是应被设置为 “1” 的一位字段。
“section_length” 字段是 12 位字段， 其中头两位应被设置为 “00” ， 并且描述了在 “section_length” 字段之后紧接着开始并且包括 CRC 在内的区段的字节的数目。
“transport_stream_id”字 段 表 示 16 位 MPEG-2 传 输 流 (TS)ID。 “transport_ stream_id” 字段将地面虚拟频道表 (TVCT) 与在不同 PTC 中可以广播的其它地面虚拟频道 表 (TVCT) 区分开。 “version_number” ( 版本号 ) 字段是 5 位字段， 表示虚拟频道表 (VCT) 的版本号。
“current_next_indicator” 字段是一位指示符。在 “current_next_indicator” 字段被设置为 “1” 的情况下， 这意味着发送的虚拟频道表 (VCT) 当前可用。当 “current_ next_indicator” 字段的位被设置为 “0” 时， 这意味着发送的表还不可用并且下一个表将变 为可用的。
“section_number” 字段是 8 位字段， 其给出了该区段的编号。
“last_section_number” 字段是 8 位字段， 其描述了完整地面虚拟频道表 (TVCT) 的最后区段 ( 即， 具有最高 section_number 值的区段 ) 的编号。
“protocol_version” 字段是 8 位无符号整数字段， 其用于允许表类型在将来携带 被构造为不同于在当前协议中定义的参数的参数。
“num_channels_in_section” 字段是 8 位字段， 其描述了在该 VCT 区段中的虚拟频 道的数目。
“short_name” 字段可以表示虚拟频道的名称， 表示为根据用于统一字符数据的 UTF-16 标准解释的一至七个 16 位码值的序列。
“major_channel_number” 字段表示 10 位数字， 其表示与在 “for” 环路的该循环中 定义的虚拟频道相关的 “主” 频道编号。
“minor_channel_number” 字段表示 10 位数字， 其从 “0” 到 “999” 以表示 “次要” 或者 “子” 频道编号。该 “minor_channel_number” 字段和 “major_channel_number” 字段 可以表示两部分频道编号， 其中 minor_channel_number 表示编号的第二部分或右手部分。
“modulation_mode” ( 调制模式 ) 字段包括 8 位无符号的整数， 其可以表示与虚拟 频道相关的发送载波的调制模式。
“carrier_frequency” ( 载波模式 ) 字段可以表述允许的载波频率。
“channel_TSID”字 段 是 16 位 无 符 号 整 数 字 段， 其 范 围 为 0x0000 至 0xFFFF。 “channel_TSID”字段表示与携带虚拟频道所引用的 MPEG-2 节目的传输流 (TS) 相关的
MPEG-2 传输流 (TS)ID。
“program_number” ( 节目编号 ) 字段包括 16 位无符号整数， 其将这里定义的虚拟 频道与 MPEG-2 节目关联并和 TS 节目映射表相关联。
“ETM_location” 字段是 2 位字段， 其描述扩展文本消息 (ETM) 的存在和位置。
“access_controlled” 字段表示 1 位布尔标记。当设置 “access_controlled” 字 段的布尔标记时， 这意味着可以控制与虚拟频道关联的事件的访问。
“hidden” 字段表示 1 位布尔标记。当设置 “hidden” 字段的布尔标记时， 这意味着 用户不能通过虚拟频道编号的直接输入访问虚拟频道。
“hide_guide” 字段表示布尔标记。当对于隐藏频道将 “hide_guide” 字段的布尔 标记设置为零 “0” 时， 这意味着在 EPG 显示中可能出现虚拟频道和虚拟频道事件。
“service_type” 字段是 6 位列举类型字段， 其应识别在虚拟频道中携带的服务的 类型。
“source_id” 字段包括 16 位无符号整数， 其识别与虚拟频道相关的编程源。
“descriptors_length” 字段可以表示用于虚拟频道的描述符的总长度 ( 字节 )。
“descriptor()” 字段可以包括被确定为适合于 “descriptor()” 字段的零或更多 描述符。
“additional_descriptors_length” 字段可以表示 VCT 描述符列表的总长度 ( 字 节 )。
“CRC_32” 字段是 32 位字段， 其包含 CRC 值， 其确保在处理整个地面虚拟频道表 (TVCT) 区段之后 ISO/IEC 138181MPEG-2 系统 [8] 的附 A 中定义的解码器中的寄存器的零 输出。
service_type( 服务类型 ) 字段 3010 是表示对应的频道提供的广播服务是 3D 的 字段。例如， service_type 字段 3010 的字段值是 0x11， 其表示对应的虚拟频道提供包括用 于显示 3D 立体图像的音频流、 视频流和辅助视频流的 3D 广播节目。
descriptor 字段 3020 包括 3D 视频元数据， 将在下面参照图 4 进行描述。
图 4 是示出了根据本发明的实施方式的 TVCT 中包括的 3DTV 服务位置描述符的语 法结构的图。
Number_elements 字段表示构成对应的虚拟频道的视频元素的数目。广播接收机 接收 3DTV 服务位置描述符， 其可以解析包括在与构成对应的虚拟频道的视频元素数目相 同的后随字段中的信息。
Base_view_flag 字段表示对应的视频元素是否是基础视点的视频元素。包括在 3DTV 服务位置描述符中的信息可以包括用于 3DTV 广播服务的信息。例如， 信息可以重复 声明与已经包括在 TVCT 的服务位置描述符中的基础视点的视频相关的信息。在该情况下， Base_view_flag 字段的字段值被设置为 “1” 以表示对应元素的视频数据是否是基础视点 的视频数据。如果只有与 3DTV 相关的辅助信息被包括在 3DTV 服务位置描述符中， 则可以 只有 stream_type 字段表示的视频流类型是 SVC 扩展时可以在该描述符中仅包括辅助信息 并且可以省略 Base_view_flag。 而且， 可以推断出的是， 基础视点的视频元素通过使用有关 于扩展视点的视频元素的 left_right_view 字段的信息具有右或左视点。
left_right_view 字段表示对应的视频元素是左视点还是右视点的视频元素。Elementary_PID 字段表示对应的视频元素的 PID。 3DTV 服务位置描述符定义与具 有 Elementary_PID 字段的 PID 的视频元素相关的信息。广播接收机可以从 3DTV 视频位置 描述符获取具有对应 PID 的视频元素的 3D 视频显示的信息。
Stream_type( 流类型 ) 字段表示对应视频元素的编码类型， 例如 MPEG-2 视频、 H.264/AVC、 SVC 扩展、 MVC 扩展等等。
Frame_rate_code 字 段 表 示 对 应 视 频 元 素 的 帧 率。 帧 率 可 以 通 过 使 用 例 如 ATSCA/53 部分 4 的表 6.2 的预定码值来定义。另外， 基础层的帧率和增强层的帧率被相加 以获得最终的速率。
图 5 是示出了根据本发明的实施方式的包括立体格式信息的 PMT 的语法结构的 图， 在下面描述图 5 中示出的 PMT 的字段。
“table_id” 字段是 8 位字段， 其在 “TS_program_map_section” 字段中应始终被设 置为 “0x02” 。
“section_syntax_indicator” 字段是一位字段， 其应该被设置为 “1” 。
“section_length” 字段是 12 位字段， 其中头两位应被设置为 “00” ， 并且描述了在 “section_length” 字段之后紧接着开始并且包括 CRC 的区段的字节的数目。
“program_number” 字段是 16 位字段， 其描述了 “program_map_PID” 字段可应用的节目。 “version_number” 字段是 5 位字段， 并且表示 “TS_program_map_section” 字段的 版本号。
“current_next_indicator” 字段是一位字段。在 “current_next_indicator” 字 段被设置为 “1” 的情况下， 这意味着发送的 “TS_program_map_section” 字段当前可用。当 “current_next_indicator” 字段的位被设置为 “0” 时， 这意味着发送的 “TS_program_map_ section” 字段还不可用并且下一个 “TS_program_map_section” 字段将是可用的。
“section_number” 字段包括 8 位字段的值， 其应为 “0x00” 。
“last_section_number” 字段包括 8 位字段的值， 其将为 “0x00” 。
“PCR_PID” 字段是 13 位字段， 表示将包含对于由 “program_number” 字段描述的程 序有效的 PCR 字段的传输流 (TS) 分组的 PID。如果没有 PCR 与用于私人流的节目定义相关 联， 则该字段应该取 “0x1FFF” 的值。
“program_info_length” 字段是 12 位字段， 其头两位应被设置为 “00” 。 “program_ info_length” 字段描述了在紧随 “program_info_length” 字段之后的描述符的字节的数 目。
“stream_type” 字段是 8 位字段， 其表示在具有其值由 “elementary_PID” 字段描 述的 PID 的分组内携带的元素流或者有效负荷的类型。另外， “stream_type” 字段可以表示 对应的视频元素的编码类型。作为示例编码类型， 可以使用 JPEG、 MPEG-2、 MPEG-4、 H.264/ AVC、 H.264/SVC 或者 H.264/MVC 方案。
“elementary_PID” 字段是 13 位字段， 其表示携带关联元素流或者有效负荷的传 输流 (TS) 分组的 PID。该 PID 可以用作主视频数据或者辅视频数据的 PID。
“ES_info_length” 字段是 12 位字段， 其头两位应为 “00” 。 “ES_info_length” 字 段可以描述紧随 “ES_info_length” 字段之后的关联元素流的描述符的字节的数目。
“CRC_32” 字段是 32 位字段， 其包含 CRC 值， 其给出在处理了整个传输流节目映射区段之后附 B 中定义的解码器中的寄存器的零输出。
descriptor 字段 5010 包括与构成立体图像的视频流相关的信息， 这将在下面参 照图 6 进行描述。
图 6 是示出了根据本发明的实施方式的 3DTV 服务位置描述符的语法结构的图。
图 6 中的立体格式描述符与图 4 中的立体格式描述符类似， 并且因此将省略相同 字段的描述。这里， 在 PMT 的情况下， 视频元素的 elementary_PID 和 stream_type 字段的 信息包括在 PMT 中， 这与图 4 不同， 并且将参照图 4 描述这些字段。
通常， SVC 解码器基于按帧复用并且输入在单个比特流中的增强层和基础层的视 频流进行操作。然而， 在经由传输分组传输两层的视频流的情况下， 不同的 PID 被给予每个 层， 从而可以将视频流作为独立元素传输。 由于在接收器中输入的视频流的缓冲时序差异， 帧级别的同步可能不一致。特别地， 由于 3D 图像显示要求精确的帧同步， 因此诸如帧的顺 序和数目的帧同步信息应包括在传输分组中。这样的帧同步信息可以被包括在 MPEG-2TS 分组的头或者头的适应字段 (adaptation field) 中来传输。
图 7 是示出了包括帧信息的 MPEG-2TS 分组的适应字段的语法结构的图。 将参照图 7 描述包括在 MPEG-2TS 分组的适应字段中的字段。
adaptation_field_length( 适 应 字 段 长 度 ) 字 段 是 8 位 字 段，其 描 述 adaptation_field 中紧随 adaptation_field_length 字段之后的字节数。值 “0” 用于将单 个填充字节插入在传输流分组中。
Discontinuity_indicator 字段是 1 位字段， 其在被设置为 “1” 时表示对于当前传 输流分组， 不连续状态为真。
Random_access_indicator 是 1 位字段。当被设置为 “1” 时， 其表示同一 PID 的下 一 PES 分组应包含 PTS 字段和元素流接入点。
Elementary_stream_priority_indicator 是一位字段。 其表示具有同一 PID 的分 组当中， 在该传输流分组的有效负荷中携带的元素流数据的优先级。
PCR_flag 是一位标记。 “1” 的值表示 adaptation_field 包含 PCR 字段。 “0” 的值 表示适应字段不包含任何 PCR 字段。
OPCR_flag 是一位标记。 “1” 的值表示 adaptation_field 包含 OPCR 字段。 “0” 的 值表示适应字段不包含任何 OPCR 字段。
Splicing_point_flag 是一位标记。当设置为 “1” 时， 其表示 splice_countdown 字段应存在于关联的适应字段中， 描述剪接点的出现。 “0” 的值表示在适应字段中不存在 plice_countdown 字段。
Transport_private_data_flag 是一位标记。 “1” 的值表示适应字段包含一个或 更多个 privat_data 字节。 “0” 的值表示适应字段不包含任何 privat_data 字节。根据该 实施方式， 如果 Transport_data_flag 值为 “1” ， 则读取 private_data_byte。
Adaptation_field_extension_flag 是一位字段， 其当设置为 “1” 时表示适应字 段扩展出现。 “0” 的值表示在适应字段中不存在适应字段扩展。
Program_clock_reference(PCR) 字段是 42 位字段， 其被编码为两部分 ； 一部分 被称为 program_clock_reference_base( 下一页的等式 2-1)， 以系统时钟频率 (90kHz)
乘以 1/300 为单位， 并且是 33 位字段， 并且另一部分被称为 program_clock_reference_ extension( 下一页的等式 2-2)， 以系统时钟频率 (27MHz) 为单位， 是 9 位字段。 以 PCR_flag 表示其存在。 PCR 表示包含 program_clock_reference_base 的最后位的字节到达系统目标 解码器的输入端时的期望时间。
可选原始节目参照 (OPCR) 字段是编码为两部分的 42 位字段。该两部分为基础部 分和扩展部分， 并且与 PCR 字段的两个对应部分相同地编码。通过 OPCR_flag 表示 OPCR 的 存在。OPCR 字段应该仅在其中存在 PCR 字段的传输流分组中编码。
splice_countdown 是 8 位字段， 表示可以为正或负的值。正值表示在达到剪接点 之前的关联传输流分组之后的同一 PID 的传输流分组的剩余数目。
Transport_private_data_length 是 8 位 字 段，其 表 示 紧 随 Transport_ private_data_length 字段之后的 private_data 字节的数目。private_data 字节的数目 不应该使得私人数据扩展超出适应字段。Transport_private_data_length 字段的字段值 可以为 “5 字节” 。
private_data_byte 字段将新的 SVC_sync_data_byte 定义为帧同步信息， 将在下 面进行描述。 adaptation_field_extension_length 是 8 位字段。其表示该字段的结束之后的 扩展适应字段数据的长度。
ltw_flag(legal_time_window_flag) 字段是 1 位字段， 其当被设置为 “1” 时表示 ltw_offset 字段的存在。
piecewise_rate_flag 字段是 1 位字段， 其当被设置为 “1” 时表示 piecewise_rate 字段的存在。
seamless_splice_flag 字段是 1 位字段， 其当被设置为 “1” 时应满足下面的条件。
ltw_valid_flag(legal_time_window_valid_flag) 字段是 1 位字段， 其当被设置 为 “1” 时表示 ltw_offset 的值有效。 “0” 的值表示 ltw_offset 字段中的值未定义。
ltw_offset(legal_time_window_offset) 字 段 是 15 位 字 段， 仅 当 ltw_valid_ flag 具有 “1” 的值时定义其值。
piecewise_rate 字段是 22 位字段并且是正值， 其表示该 PID 的所有传输分组的比 特速率， 开始于包含该字段的分组并且结束于包含下次出现的该字段的 PID 的分组之前的 该 PID 的分组。
splice_type 字 段 是 4 位 字 段， 其 用 于 获 得 splice_decoding_delay 和 max_ splice_rate。
DTS_next_au(decoding_time_stamp_next_access_unit) 是编码为三部分的 33 位字段。其表示未剪接的或者无缝剪接的流的下一接入单元的 DTS 的值。
stuffing_byte 字段是能够由编码器插入的等于 “11111111” 的固定 8 位值。
图 8 是示出了 MPEG-2TS 分组的适应字段中包括的帧同步信息的语法结构的图。
根据图 8， 帧同步信息可以在图 7 中所示的 private_data_byte 中定义为 SVC_ sync_data_byte。在 SVC_sync_data_byte 字段中定义的字段将在下面描述。
data_type 字段表示对应的私人数据是否为 SVC_sync_data_byte 字段。
frame_num 字段表示对应的 TS 分组的帧编号。 该帧编号的信息可以为在解码视频
数据中使用的帧编号， 或者该信息可以用作使对应的视频数据被获知为属于特定立体图像 对的帧单元的唯一标识符。 结果， 如果各视频流具有相等的帧编号， 则接收系统识别出视频 流 ( 即使包括不同层 ) 是构成单个立体图像对的右图像和左图像中的一个。
图 9 是示出了根据本发明的示例性实施方式的广播发射机的图。
图 9 中所示的广播发射机包括 ： 3D 图像预处理器 9010， 用于执行 3D 图像的图像处 理； 视频格式器 9020， 用于通过处理 3D 图像来格式化 3D 视频数据或者 3D 视频流 ； 3D 视频 编码器 9030， 用于根据如 MPEG-2 方案的编码方案编码 3D 视频数据 ； SI( 系统信息 ) 处理器 9040， 用于生成系统信息 ； TP 编码器 9050， 用于复用视频数据和系统信息并且用于编码 TS 分组以输出 TS ； 以及发送单元 9060， 用于发送复用的广播信号。 根据该实施方式， 发送单元 9060 可以包括调制器 9070 和 VSB 编码器 9080。将在下面描述构成广播发射机的元件的操 作。
图 10 是示出了广播发射机的 3D 视频数据处理方法的流程图。
首先， 3D 图像预处理器对由多个镜头拍摄的 3D 图像执行所需的处理并且其输出 多个 3D 图像或者视频数据。例如， 如果通过使用立体方法提供 3D 广播服务， 则可以输出两 个视点的图像或者视频数据。
广播发射机通过使用视频格式器格式化立体视频数据 (S10010)。根据该实施方 式， 广播发射机基于复用格式调整立体视频数据的大小并且输出调整了大小之后的数据。 立体视频数据的视频格式化包括传输 3D 广播信号所需的各种图像处理， 例如， 调整大小、 抽取、 差值和复用。
广播发射机通过使用 3D 视频编码器编码立体视频数据 (S10020)。根据该实施方 式， 广播发射机可以基于 JPEG、 MPEG-2、 MPEG-4、 H.264/AVC 和 H.264/MVC 来编码立体视频数 据。特别地， 根据该实施方式的广播发射机基于与 H.264/AVC 兼容的 H.264/SVC 编码右视 点视频数据和左视点视频数据这两者中的一个， 即基础层的主视频流中的基础视点图像， 并且其基于 H.264/SVC 编码右视点视频数据和左视点视频数据这两者中的另一个， 即增强 层的辅视频流中的扩展视点图像， 以与主视频流的视频数据帧连续。这里编码之后发送的 增强层的视频数据可以是从主视频流的视频数据中恢复增强层的视频数据所需要的关系 数据。
广播发射机通过使用 SI 处理器生成包括 3D 视频元数据的系统信息 (S10030)。 根 据该实施方式， 3D 视频元数据可以包括在系统信息的 PSI/PSIP 中， 具体地， 包括在 PSI 的 PMT 和 PSIP 的 VCT 中。3D 视频元数据可以以表类型包括在 PSI 的 PMT 或者 PSIP 的 VCT 中 作为 3DTV 服务位置描述符。
广播发射机可以将上述帧同步信息插入在 TS 分组头中并且其复用在 3D 视频编码 器中编码的立体视频数据和在 SI 处理器中生成的系统信息以输出 TS(S10040)。根据该实 施方式， 帧同步信息可以包括在 3D 视频数据中并且可以插入在 3D 视频 TS 分组的头中。
广播发射机可以使用发送单元调制并发送该输出 TS(S10050)。
图 11 是示出了根据本发明的示例性实施方式的广播接收机的图。
图 11 中所示的广播接收机包括 ： 接收单元 11010， 用于接收广播信号 ； TP 解复用 器 (PID 滤波器 )11020， 用于从广播信号中提取和输出系统信息和视频数据的数据流 ； SI 处 理器 11030， 用于解析系统信息 ； 同步控制器 11040， 用于通过缓冲输入到解码器中的 3D 视频数据来控制同步 ； 3D 视频解码器 (SVC 解码器 )11050， 用于解码 3D 视频数据 ； 以及输出 格式器 10060， 用于格式化并且输出解码后的 3D 视频数据。接收单元 10010 可以包括调谐 器和解调制器 10070 以及 VSB 解码器 10080。3D 视频解码器 10050 可以包括基础层解码 器 11090， 用于解码基础层的视频数据 ； 基础层图片存储器 11010， 用于在其中存储基础层 的视频数据 ； 增强层解码器 11110， 用于解码增强层的视频数据 ； 层间预测单元 11120， 用于 通过根据参照基础层的视频数据和增强层的视频数据的视频数据之间的关系预测图像来 恢复图像 ； 以及增强层图片存储器 1130， 用于在其中存储增强层的增强层的视频数据。在 图 11 中， 如果在辅助流中接收到视频数据， 即， 接收到两个立体视频流， 则可以不提供层间 预测单元 11120。 根据另一实施方式， 接收的两个立体视频流在基础层解码器 11090 和增强 层解码器 11110 中进行解码并且可以绕过层间预测单元 11120 输出到输出格式器 11060。
图 12 是示出了依据本发明图 11 中所示的输出格式器的图。
图 12 中所示的输出格式器 12010 包括帧解复用器 12020、 大小调整单元 12030 以 及 12040、 以及帧组合器 12050。帧解复用器 12020 将解码出的 3D 视频数据按帧解复用为 基础层的视频流和增强层的视频流。大小调整单元 12030 以及 12040 调整基础层的视频流 和增强层的视频流的大小。帧组合器 12050 按照帧的顺序组合基础层的视频流和增强层的 视频流以输出组合后的流。
根据该实施方式， 可以接收并且解码两个立体视频流并且解码后的视频流可以输 出到输出格式器 12010。在该情况下， 解码后的视频流可以分别输出到大小调整单元 12030 以及 12040 而不通过帧解复用器 12020 或者绕过帧解复用器 12020。
将在图 13 中描述广播接收机中包括的组件的操作。
图 13 是示出了依据示例性实施方式的广播接收机的 3D 视频数据处理方法的流程 图。
广播接收机通过使用接收单元接收包括具有帧同步信息的 3D 视频数据和系统信 息的广播信号 (S13010)。
广播接收机通过使用解复用器分类和输出广播信号中的 3D 视频数据和系统信息 (S13020)。 广播接收机经由 PID 分类 3D 视频数据和系统信息以进行输出。 3D 视频数据 ( 特 别地， 基础层的基础视点视频流和增强层的扩展视点视频流 ) 可以经由同步控制器相应地 输出到基础层解码器和增强层解码器并且系统信息也可以输出到 SI 处理器。
根据该实施方式， 帧同步信息可以包括在视频数据中。帧同步信息可以包括在基 础视点视频流的 TS 分组以及扩展视点视频流的 TS 分组的头中。在该情况下， 同步控制器 从接收的视频 TS 分组的头中获取帧同步信息以控制 3D 视频的顺序输出。另选地， 解复用 器获取帧同步信息并且将获取的信息输出到同步控制器。
广播接收机通过使用 SI 处理器解析包括在广播信号中的系统信息以获取 3D 元数 据 (S13030)。根据该实施方式， 广播接收机通过使用 SI 处理器接收包括在广播信号中的 PSI 的 PMT 和 PSIP 的 VCT 以获取 3D 视频元数据。3D 视频元数据可以包括广播接收机的解 复用器、 解码器以及输出格式器处理 3D 视频数据所要求的信息。根据实施方式， 3D 视频元 数据可以包括表示是否提供 3D 广播服务的信息、 表示对应的视频元素属于哪个视点的视 点信息、 表示对应的视频元素的编码类型的流类型信息以及表示对应的视频元素的帧率的 帧率信息。广播接收机通过使用同步控制器按帧顺序输出基础层的基础视点视频流和增强 层的扩展视点视频流 (S13040)。根据一实施方式， 广播接收机可以解析 3D 视频数据的 TS 分组仅用于获取添加到该头的帧同步信息并且其可以按照获取的帧同步信息按帧顺序将 两个视频流输出到解码器。 另选地， 同步控制器的上述操作可以执行为包括在解复用器中。
广播接收机通过使用 3D 视频解码器解码 3D 视频数据 (S13050)。这里， 广播接收 机可以基于获取的 3D 元数据执行解码。
根据一实施方式， 在解码器中输入的 3D 视频数据包括基础层的基础视点视频流 和增强层的扩展视点视频流。 解码器可以使用基础层解码器解码基础层的基础视点视频流 并且将解码出的图像存储在存储器中。因此， 解码器可以使用增强层解码器解码增强层的 扩展视点视频流并且存储解码出的扩展视点视频数据。 解码器可以使用层间预测单元根据 解码出的扩展视点视频数据和存储的基础视点图像预测、 恢复和存储或者输出扩展视点的 图像。当恢复扩展视点图像时， 层间预测单元参照存储在存储器中的基础视点图像和扩展 视点图像。
广播接收机通过使用输出格式器格式化和输出解码后的立体视频数据 (S13060)。 立体视频数据的格式化包括使用 3D 元数据处理接收的 3D 视频数据。 而且， 如果接收的立体 视频数据的复用格式没有对应于显示装置提供的复用格式或者视频数据的输出类型不同， 具体地， 2D 输出或者 3D 输出， 则可以执行所需的图像处理， 例如调整大小、 分辨率上转换、 分辨率下转换等等。 根据一实施方式， 输出格式器可以接收解码后的基础视点的视频流和解码后的扩 展视点的视频流。输出格式器可以通过使用帧解复用器按帧解复用接收的每层的视频流 以输出解复用的视频流， 并且其可以基于接收的格式和显示格式通过使用大小调整单元来 进行大小调整。 输出格式器可以通过使用帧组合器按帧顺序组合各层的调整了大小的视频 流。
在下文将详细描述广播接收机的 3D 视频数据处理方法和同步控制操作。
首先， 将描述在经由 TVCT 或者经由 PMT 获取 3D 视频元数据的情况下， 广播接收机 的操作。
(1) 在经由 TVCT 接收 3D 元数据的情况下 ：
广播接收机可以通过使用 TVCT 的 service_type 字段确定虚拟频道是否提供 3D 广播服务。如果确定提供 3D 广播服务， 则广播接收机通过使用 3D 视频元数据 ( 服务位置 描述符或者 3D 服务位置描述符 ) 获取主视频流的 elementary_PID 信息 (PIP_P)。然后， 广 播接收机通过使用 3D 视频元数据 (3D 服务位置描述符 ) 获取辅视频流的 elementary_PID 信息 (PIP_S)。 广播接收机经由 3D 视频元数据检测用于主视频元素和副视频元素的立体显 示的输出位置信息、 帧率信息等等。
(a) 在以 2D 模式观看的情况下， 仅解码和显示对应于 PID_P 的视频流。
(b) 在以 3D 模式观看的情况下， 解码 ( 例如 SVC 解码 ) 对应于 PID_P 和 PID_S 的 视频流。 广播接收机根据显示装置的显示输出的特性执行调整大小、 调整形状、 3D 格式转换 等等， 仅用于输出立体图像。
(2) 在经由 PMT 接收 3D 图像格式信息的情况下 ：
广播接收机通过使用对应于各元素流的 3D 视频元数据 (3DTV 服务位置描述符 )
或者 PMT 的 stream_type 确定对应的流是主视频流还是辅视频流。这里， 可以通过 3D 视频 元数据 (3DTV 服务位置描述 ) 的存在来确定对应的节目提供 3D 广播服务。如果确定出提 供 3D 广播服务， 则广播接收机获取对应于主视频流的 elementary_PID 信息 (PIP_P) 和对 应于辅视频流的 elementary_PID 信息 (PIP_S)， 并且通过使用 3D 视频元数据确定用于主视 频元素和副视频元素的立体显示的输出位置信息、 帧率信息等等。 然后， 广播接收机通过使 用 program_number 字段执行与经由 TVCT 提供的信息的映射以确定哪个虚拟频道提供对应 的节目。
(a) 在 2D 模式中观看的情况下， 仅解码和显示对应于 PID_P 的视频流 ：
(b) 在 3D 模式中观看的情况下， 解码 ( 例如 SVC 解码 ) 对应于 PID_P 和 PID_S 的 视频流。广播接收机执行调整大小、 调整形状、 3D 格式转换等等以输出立体图像。
不同的实施方式可应用于格式化和输出解码后的主视频数据和辅视频数据的方 法。基于显示装置的显示能力 / 类型， 可以通过使用接收的用于空间复用格式输出 ( 例如 并排、 上下以及行交错 ) 的信息来执行大小调整， 并且然后可以执行格式化。另选地， 可以 执行帧率转换以对应于显示装置支持的帧率。
(3) 同步控制器的操作 通常， SVC 解码器是基于具有被帧单元复用的基础层和增强层的视频流的单比特 流设计的。这时， 当经由 TS 分组发送两层的视频流时， 不同的 PID 被给予待发送的各层的 视频流， 以使其被彼此独立地处理。由于在输入到解码器时的缓冲差异和两层之间的比特 率的差异， 输入到解码器中的信号实际上没有使视频流输入与帧级别对应同步。 特别地， 3D 视频数据要求帧单元的精确同步并且需要同步控制器控制精确的同步。
广播接收器接收对应于与基础层对应的主视频流的 PIP(PID_P) 的 TS 分组和对应 于与增强层对应的辅视频流对应的 PID(PID_S) 的 TS 分组。之后， 广播接收机在设置在同 步控制器中的缓冲器中缓冲接收到的 TS 分组。
因此， 广播接收机获取对应于 PID_P 和 PID_S 的各 TS 分组的适应字段中的帧数 目信息 (frame_num)。这里， 如果 transport_private_data_flag 是 “1” ， 则读取 private_ data_byte 并且第一字节是能够识别对应的私人数据是否为 SVC_sync_data_byte 的识别 符并且其它四个字节是 frame_num 信息。该 frame_num 信息用作在视频解码中使用的帧编 号或者作为确定对应的视频数据属于特定立体图像对的唯一帧单元的识别符。结果， 如果 如果不同层具有相同 frame_num， 则广播接收机可以确定这些不同层是构成单个立体图像 对的右和左图像。
同步控制器在输出缓冲器中存储具有相同 frame_num“K” 的 PID_P 和 PID_S。同 步控制器将具有 “K” 的 frame_num 的 PID 的 PID_P 值的全部 TS 分组从缓冲器输出到视频 解码器并且其将具有相同 frame_num“K” 的 PID 的 PID_S 值的全部传输分组输出到视频解 码器。对于对应于下一 TS 分组的下一 frame_num(frame_num ＝ K+1) 的两层重复执行上述 处理。
能够通过解复用器执行同步控制器的上述特定操作。换言之， 解复用器可以通过 使用如上所述的帧同步信息来顺序地输出基础层和增强层的视频流。 在该情况下可以以与 上述同步控制器的操作相同的方式执行解复用器的操作。
根据本发明的方法可以实现为能够在各种计算机装置中执行的程序命令以记录
在计算机可读介质中。计算机可读介质可以组合或者独立地包括程序命令、 数据文件以及 数据结构。 记录在介质中的程序命令可以被设计为专用于本发明或者为计算机软件领域中 的技术人员公知。 计算机可读记录介质的示例可以包括诸如硬盘、 软盘和磁带的磁性介质、 诸如 CD-ROM 和 DVD 的光学介质、 诸如光磁软盘的光磁介质以及被特别构造为存储和执行程 序命令的诸如 ROM、 RAM 和闪存的硬件装置。程序命令的示例可以包括由编译器制作的机器 代码以及通过使用解释器可由计算机执行的高级语言代码。 上述硬件装置可以被构造为由 一个或更多软件模块操作以执行本发明的上述操作并且反之亦然。
本领域技术人员应理解的是， 在不偏离本发明的精神或范围的情况下， 能够在本 发明中进行各种修改和变化。因此， 本发明意在涵盖落入所附权利要求及其等价物的范围 内的本发明的修改和变化。
本发明的模式
已经在实施本发明的最佳模式中描述了各种实施方式。
工业实用性
如上所述， 本发明的实施方式可以整体或部分地应用于数字广播系统。
广播接收器能够处理 3D 视频数据， 从而在 3D 广播服务中反映 3D 广播服务提供商 所希望的 3D 效果。广播接收器能够同时有效地提供 3D 广播服务， 同时最小化对于传统 2D 广播服务的影响。
本领域技术人员将理解的是， 在不偏离本发明的精神或范围的情况下， 能够在本 发明中进行各种修改和变化。因此， 本发明意在涵盖落入所附权利要求及其等价物的范围 内的本发明的修改和变化。