立体图像数据发送设备、立体图像数据发送方法、立体图像数据接收设备和立体图像数据接收方法.pdf

公开了一种立体图像数据发送设备和立体图像数据接收设备，其便利接收侧的处理。字幕处理单元（133）将在字幕生成单元（132）生成的二维图像使用字幕数据转换为对应于从数据提取单元（130）提供到视频编码器（113）的立体图像数据的发送格式的立体图像使用字幕数据。立体图像使用字幕数据具有左眼字幕的数据和右眼字幕的数据。生成立体图像使用字幕数据，使得左眼字幕和右眼字幕之间产生视差。在接收侧，基于立体图像使用字幕数据，可能容易地生成叠加在立体图像数据具有的左眼图像数据上的左眼字幕的数据和叠加在立体图像数据具有的右眼图像数据上的右眼字幕的数据，从而便利处理。

权利要求书一种立体图像数据发送设备，包括：图像数据输出单元，其输出包括左眼图像数据和右眼图像数据的预定发送格式的立体图像；叠加信息数据输出单元，其输出叠加信息的数据以叠加左眼图像数据和右眼图像数据的图像；叠加信息数据处理单元，其将从叠加信息数据输出单元输出的叠加信息的数据转换为发送叠加信息数据，其包括对应于预定发送格式的立体图像数据中包括的左眼图像数据的左眼叠加信息的数据和对应于右眼图像数据的右眼叠加信息的数据；以及数据发送单元，其发送包括第一数据流和第二数据流的复用数据流，该第一数据流包括从立体图像数据输出单元输出的立体图像数据，该第二数据流包括从叠加信息数据处理单元输出的发送叠加信息数据。如权利要求1所述的立体图像数据发送设备，还包括：视差信息输出单元，其输出左眼图像数据的左眼图像和右眼图像数据的右眼图像之间的视差信息，其中，叠加信息数据处理单元通过基于从视差信息输出单元输出的视差信息，至少移位左眼叠加信息或右眼叠加信息，使得左眼叠加信息和右眼叠加信息之间出现视差。如权利要求2所述的立体图像数据发送设备，还包括：视差信息生成单元，其基于从视差信息输出单元输出的视差信息，生成在其中显示叠加信息的预定数量的帧时段的每帧中，使得左眼叠加信息和右眼叠加信息之间出现的视差的信息，其中，数据发送单元在预定数量的帧时段的每帧中，使用识别信息从发送叠加信息的数据中区分由视差信息生成单元生成的视差的信息，将该视差的信息包括在第二数据流中，并且发送包括该视差的信息的第二数据流。如权利要求3所述的立体图像数据发送设备，其中，视差信息生成单元生成的预定数量的帧时段的每帧中的视差的信息是关于前一帧的视差的信息的偏移信息。如权利要求1所述的立体图像数据发送设备，其中，数据发送单元将识别信息插入复用数据流中，该识别信息识别对应于立体图像数据的发送格式的发送叠加信息数据包括在第二数据流中。如权利要求1所述的立体图像数据发送设备，其中，叠加信息的数据是字幕数据，以及叠加信息数据处理单元生成左眼叠加信息的数据和右眼叠加信息的数据，作为相同区域的不同对象的数据或相同区域的相同对象的数据。如权利要求1所述的立体图像数据发送设备，其中，叠加信息的数据是字幕数据，以及叠加信息数据处理单元生成左眼叠加信息的数据和右眼叠加信息的数据，作为相同页的不同区域的数据。如权利要求1所述的立体图像数据发送设备，其中，叠加信息的数据是字幕数据，以及叠加信息数据处理单元生成左眼叠加信息的数据和右眼叠加信息的数据，作为不同页的区域的数据。如权利要求1所述的立体图像数据发送设备，其中，叠加信息的数据是字幕数据，以及叠加信息数据处理单元生成左眼叠加信息的数据和右眼叠加信息的数据之一作为预定页的区域的数据，并且另一个作为从该预定页的区域复制的复制区域的数据。如权利要求1所述的立体图像数据发送设备，其中，叠加信息的数据是字幕数据，以及叠加信息数据处理单元生成左眼叠加信息的数据和右眼叠加信息的数据之一作为预定页的区域的数据，并且在另一个由接收器侧合成的假设下生成视差信息。如权利要求1所述的立体图像数据发送设备，其中，叠加信息的数据是字幕数据，以及当立体图像数据的发送格式是并排格式时，叠加信息数据处理单元生成左眼叠加信息的数据和右眼叠加信息的数据，作为相同区域的不同对象的数据。如权利要求1所述的立体图像数据发送设备，其中，叠加信息的数据是字幕数据，以及当立体图像数据的发送格式是上下格式时，叠加信息数据处理单元生成左眼叠加信息的数据和右眼叠加信息的数据，作为相同页的不同区域的数据。一种发送立体图像数据的方法，包括：输出包括左眼图像数据和右眼图像数据的预定发送格式的立体图像数据；输出叠加信息的数据以叠加左眼图像数据和右眼图像数据的图像；将输出叠加信息的数据时输出的叠加信息的数据转换为发送叠加信息数据，其包括对应于预定发送格式的立体图像数据中包括左眼图像数据的左眼叠加信息的数据和对应于右眼图像数据的右眼叠加信息的数据；以及发送包括第一数据流和第二数据流的复用数据流，该第一数据流包括输出立体图像数据时输出的立体图像数据，该第二数据流包括输出叠加信息的数据时输出的发送叠加信息数据。一种立体图像数据接收设备，包括：数据接收单元，其接收包括第一数据流和第二数据流的复用数据流，该第一数据流包括预定发送格式的立体图像数据，其包括左眼图像数据和右眼图像数据，以及该第二数据流包括发送叠加信息数据，其包括对应于预定发送格式的立体图像数据中包括的左眼图像数据的左眼叠加信息的数据和对应于右眼图像数据的右眼叠加信息的数据，图像数据获取单元，其从数据接收单元接收的复用数据流中包括的第一数据流获取立体图像数据；叠加信息数据获取单元，其从数据接收单元接收的复用数据流中包括的第二数据流获取发送叠加信息数据；显示数据生成单元，其基于叠加信息数据获取单元获取的发送叠加信息数据，生成用于以叠加方式在左眼图像和右眼图像上显示叠加信息的显示数据；以及数据合成单元，其通过将显示数据生成单元生成的显示数据叠加在图像数据获取单元获取的立体图像数据上，获得输出立体图像数据。如权利要求14所述的立体图像数据接收设备，其中，数据接收单元接收的复用数据流中包括的第二数据流进一步包括视差的信息，其使得其中显示叠加信息的预定数量的帧时段的每帧中的左眼叠加信息和右眼叠加信息之间出现视差，该立体图像数据接收设备进一步包括视差信息获取单元，其从数据接收单元接收的复用数据流中包括的第二数据流获取预定数量的帧时段的每帧中的视差的信息，以及显示数据生成单元在预定数量的帧时段的每帧中，基于视差信息获取单元获取的视差的信息，使得左眼叠加信息和右眼叠加信息之间出现预定视差。如权利要求15所述的立体图像数据接收设备，其中，显示数据生成单元获得预定数量的帧时段的每帧中的视差的信息的代表值，并且使用该预定数量的帧时段和该代表值使得左眼叠加信息和右眼叠加信息之间出现视差。如权利要求15所述的立体图像数据接收设备，其中，显示数据生成单元使用预定数量的帧时段的每帧中的视差的信息，顺序地更新该预定数量的帧时段中的左眼叠加信息和右眼叠加信息之间的视差。如权利要求14所述的立体图像数据接收设备，进一步包括：数字接口单元，其将数据合成单元获取的输出立体图像数据发送到外部设备。如权利要求14所述的立体图像数据接收设备，其中，数据接收单元接收的复用数据流包括识别信息，其识别对应于第二数据流中包括的立体图像数据的发送格式的发送叠加信息数据，该立体图像数据接收设备进一步包括识别信息获取单元，该识别信息获取单元从数据接收单元接收的复用数据流获取识别信息，以及叠加信息数据识别单元，其基于识别信息获取单元获取的识别信息，识别对应于立体图像数据的发送格式的发送叠加信息数据包括在第二数据流中。一种接收立体图像数据的方法，包括：接收包括第一数据流和第二数据流的复用数据流，该第一数据流包括预定发送格式的立体图像数据，其包括左眼图像数据和右眼图像数据，以及该第二数据流包括发送叠加信息数据，该发送叠加信息数据包括对应于预定发送格式的立体图像数据中包括的左眼图像数据的左眼叠加信息的数据和对应于右眼图像数据的右眼叠加信息的数据，从接收复用数据流时接收的复用数据流中包括的第一数据流获取立体图像数据；从接收复用数据流时接收的复用数据流中包括的第二数据流获取发送叠加信息数据；基于获取发送叠加信息数据时获取的发送叠加信息数据，生成用于以叠加方式在左眼图像和右眼图像上显示叠加信息的显示数据；以及通过使得生成显示数据时生成的显示数据叠加在获取图像数据时获取的立体图像数据上，获得输出立体图像数据。

说明书立体图像数据发送设备、立体图像数据发送方法、立体图像数据接收设备和立体图像数据接收方法
技术领域
本发明涉及立体图像数据发送设备、立体图像数据发送方法、立体图像数据接收设备和立体图像数据接收方法，更具体地，涉及与立体图像数据一起发送叠加信息的数据（如字幕）的立体图像数据发送设备。
背景技术
例如，在专利文献1中，已经提出使用电视广播波的立体图像数据的发送系统。在该发送系统中，发送包括左眼图像数据和右眼图像数据的立体图像数据，并且执行使用双眼视差的立体图像显示。
图64图示使用双眼视差的立体图像显示器中屏幕上的对象（身体）的水平显示位置及其立体图像的再现位置之间的关系。例如，如图中的屏幕上所示，对于其左图像La显示为要向右侧移位并且右图像Ra显示为要向左侧移位的对象A，左和右视线在屏幕脸部的更前侧相互交叉，因此立体图像的再现位置位于比屏幕脸部的更前侧。DPa表示与对象A有关的水平方向上的视差矢量。
此外，例如，如图中屏幕上所示，对于其左图像Lb和右图像Rb显示在相同位置的对象B，左和右实现在屏幕脸部上相互交叉，因此立体图像的再现位置在屏幕脸部上。此外，例如，如图中的屏幕上所示，对于其左图像Lc显示为要向左侧移位并且右图像Rc显示为要向右侧移位的对象C，左和右视线在屏幕脸部的更后侧相互交叉，因此立体图像的再现位置位于比屏幕脸部的更后侧。DPc表示与对象c有关的水平方向上的视差矢量。
在过去，并排格式和上下格式已知为立体图像数据的发送格式。例如，当接收侧是机顶盒时，接收的立体图像数据可以经由诸如高清晰度多媒体接口（HDMI）发送到诸如电视接收机的监视器设备，而不需要转换发送格式。例如，HDMI标准的细节在非专利文献1中描述。
此外，在过去，已知的是与二维（2D）图像数据一起从发送侧发送诸如字幕的叠加信息的数据。在该情况下，接收侧处理叠加信息的数据，并且生成用于显示叠加信息的显示数据。接收侧通过使得显示数据叠加2D图像数据，获得以叠加方式显示叠加信息的2D图像。
引用列表
专利文献
专利文献1：日本专利申请公开No.2005‑6114
非专利文献
非专利文献1：高清晰度多媒体接口规范版本1.4，2009年6月5日
发明内容
本发明要解决的问题
如上所述，即使在发送立体图像数据时，也可以发送诸如字幕的叠加信息的数据。当叠加信息的数据用于2D图像时，例如要求上述机顶盒基于用于2D图像的叠加信息的数据，根据立体图像数据的发送格式，执行生成要叠加立体图像数据的显示数据的处理。为此，接收立体图像数据的机顶盒需要先进的处理功能，因此价格高。
本发明的目的是当与立体图像数据一起发送诸如字幕的叠加信息的数据时，便利接收侧的处理。
问题的解决方案
本发明的构思在于一种立体图像数据发送设备，包括：
立体图像数据输出单元，其输出包括左眼图像数据和右眼图像数据的预定发送格式的立体图像数据；
叠加信息数据输出单元，其输出叠加信息的数据以叠加左眼图像数据和右眼图像数据的图像；
叠加信息数据处理单元，其将从叠加信息数据输出单元输出的叠加信息的数据转换为发送叠加信息数据，其包括对应于预定发送格式的立体图像数据中包括的左眼图像数据的左眼叠加信息的数据和对应于右眼图像数据的右眼叠加信息的数据；以及
数据发送单元，其发送包括第一数据流和第二数据流的复用数据流，该第一数据流包括从立体图像数据输出单元输出的立体图像数据，该第二数据流包括从叠加信息数据处理单元输出的发送叠加信息数据。
在本发明中，立体图像数据输出单元输出包括左眼图像数据和右眼图像数据的预定发送格式的立体图像数据。立体图像数据的发送格式的示例包括并排格式、上下格式、全帧格式（full frame format）和向后兼容格式。
叠加信息数据输出单元输出叠加信息的数据以叠加左眼图像数据和右眼图像数据的图像。这里，叠加信息的示例包括要叠加图像的字幕、图形和文本。叠加信息数据处理单元将叠加信息的数据转换为包括左眼叠加信息的数据和右眼叠加信息的数据的发送叠加信息数据。
这里，左眼叠加信息的数据是对应于预定发送格式的立体图像数据中包括的左眼图像数据的数据，以及用于生成左眼叠加信息的显示数据以叠加接收侧的立体图像数据中包括的左眼图像数据的数据。此外，右眼叠加信息的数据是对应于预定发送格式的立体图像数据中包括的右眼图像数据的数据，以及用于生成右眼叠加信息的显示数据以叠加接收侧的立体图像数据中包括的右眼图像数据的数据。
例如，叠加信息的数据是字幕数据（DVB的字幕数据），并且叠加信息数据处理单元生成左眼叠加信息的数据和右眼叠加信息的数据，作为相同区域的不同对象的数据。此外，例如，叠加信息的数据是字幕数据，并且叠加信息数据处理单元生成左眼叠加信息的数据和右眼叠加信息的数据，作为相同页（page）的不同区域的数据。
此外，例如，叠加信息的数据是字幕数据，并且叠加信息数据处理单元生成左眼叠加信息的数据和右眼叠加信息的数据，作为不同页的区域的数据。此外，例如，叠加信息的数据是字幕数据，并且叠加信息数据处理单元生成左眼叠加信息的数据和右眼叠加信息的数据之一作为预定页的区域的数据，并且另一个作为从该预定页的区域复制的复制区域的数据。
此外，例如，叠加信息的数据是字幕数据，并且当立体图像数据的发送格式是并排格式时，叠加信息数据处理单元生成左眼叠加信息的数据和右眼叠加信息的数据，作为相同区域的不同对象的数据。此外，例如，叠加信息的数据是字幕数据，并且当立体图像数据的发送格式是上下格式时，叠加信息数据处理单元生成左眼叠加信息的数据和右眼叠加信息的数据，作为相同页的不同区域的数据。
数据发送单元发送包括第一数据流和第二数据流的复用数据流。该第一数据流包括从立体图像数据输出单元输出的立体图像数据。该第二数据流包括从叠加信息数据处理单元输出的发送叠加信息数据。
如上所述，在本发明中，与立体图像数据一起发送对应于发送格式的包括左眼叠加信息的数据和右眼叠加信息的数据的发送叠加信息数据。因此，接收侧能够基于发送叠加信息数据，容易地生成要叠加立体图像数据中包括的左眼图像数据的左眼叠加信息的显示数据和要叠加立体图像数据中包括的右眼图像数据的右眼叠加信息的显示数据。
此外，在本发明中，例如所述立体图像数据发送设备还可以包括视差信息输出单元，其输出左眼图像数据的左眼图像和右眼图像数据的右眼图像之间的视差信息，并且叠加信息数据处理单元可以通过基于从视差信息输出单元输出的视差信息至少移位左眼叠加信息或右眼叠加信息，使得左眼叠加信息和右眼叠加信息之间出现视差。在该情况下，在接收侧，即使没有执行使得左眼叠加信息和右眼叠加信息之间出现视差的处理，在叠加信息（如字幕）的显示时与图像中的每个对象的透视感的一致性也可以保持在优化状态。
此外，在本发明中，例如所述立体图像数据发送设备还可以包括视差信息生成单元，其基于从视差信息输出单元输出的视差信息，生成其中显示叠加信息的预定数量的帧时段的每帧中使得左眼叠加信息和右眼叠加信息之间出现的视差的信息，并且数据发送单元在预定数量的帧时段的每帧中，使用识别信息从发送叠加信息的数据中区分由视差信息生成单元生成的视差的信息，将该视差的信息包括在第二数据流中，并且发送包括该视差的信息的第二数据流。
在该情况下，在接收侧，可能基于预定数量的帧时段的每帧中的视差的信息，使得左眼叠加信息和右眼叠加信息之间出现预定视差。
例如，可能使得左眼叠加信息和右眼叠加信息之间出现基于预定数量的帧时段和代表值（如其最大值或其平均值）的视差。此外，例如可能顺序地更新预定数量的帧时段中的左眼叠加信息和右眼叠加信息之间的视差。
此外，在本发明中，例如在预定数量的帧时段的每帧中，视差信息生成单元生成的视差的信息可以是关于前一帧的视差的信息的偏移信息。在该情况下，可以抑制视差信息的数据量。
此外，在本发明中，例如数据发送单元可以将识别信息插入复用数据流中，该识别信息识别对应于立体图像数据的发送格式的发送叠加信息数据包括在第二数据流中。在该情况下，在接收侧，可能基于识别信息，识别对应于立体图像数据的发送格式的发送叠加信息数据（用于立体图像的叠加信息数据）是否包括在第二数据流中。
此外，本发明的另一构造在于一种立体图像数据接收设备，包括：
数据接收单元，其接收包括第一数据流和第二数据流的复用数据流，
该第一数据流包括预定发送格式的立体图像数据，其包括左眼图像数据和右眼图像数据，以及
该第二数据流包括发送叠加信息数据，其包括对应于预定发送格式的立体图像数据中包括的左眼图像数据的左眼叠加信息的数据和对应于右眼图像数据的右眼叠加信息的数据，
图像数据获取单元，其从数据接收单元接收的复用数据流中包括的第一数据流获取立体图像数据；
叠加信息数据获取单元，其从数据接收单元接收的复用数据流中包括的第二数据流获取发送叠加信息数据；
显示数据生成单元，其基于叠加信息数据获取单元获取的发送叠加信息数据，生成用于以叠加方式在左眼图像和右眼图像上显示叠加信息的显示数据；以及
数据合成单元，其通过将显示数据生成单元生成的显示数据叠加在图像数据获取单元获取的立体图像数据上，获得输出立体图像数据。
在本发明中，数据接收单元接收包括第一数据流和第二数据流的复用数据流。该第一数据流包括预定发送格式的立体图像数据，其包括左眼图像数据和右眼图像数据。该第二数据流包括发送叠加信息数据（用于立体图像的叠加信息数据），其包括左眼叠加信息的数据和右眼叠加信息的数据。
这里，左眼叠加信息的数据是对应于预定发送格式的立体图像数据中包括的左眼图像数据的数据，以及用于生成左眼叠加信息的显示数据以叠加接收侧的立体图像数据中包括的左眼图像数据的数据。此外，右眼叠加信息的数据是对应于预定发送格式的立体图像数据中包括的右眼图像数据的数据，以及用于生成右眼叠加信息的显示数据以叠加接收侧的立体图像数据中包括的右眼图像数据的数据。
图像数据获取单元从数据接收单元接收的复用数据流中包括的第一数据流获取立体图像数据。此外，叠加信息数据获取单元从数据接收单元接收的复用数据流中包括的第二数据流获取发送叠加信息数据。
显示数据生成单元基于叠加信息数据获取单元获取的发送叠加信息数据，生成用于以叠加方式在左眼图像和右眼图像上显示叠加信息的显示数据。数据合成单元使得显示数据生成单元生成的显示数据叠加在图像数据获取单元获取的立体图像数据上，从而获得输出立体图像数据。例如，输出立体图像数据通过诸如HDMI的数字接口单元发送到外部设备。
如上所述，在本发明中，与立体图像数据一起接收包括左眼叠加信息的数据和右眼叠加信息的数据的发送叠加信息数据。因此，显示数据生成单元能够基于发送叠加信息数据，容易地生成叠加在立体图像数据中包括的左眼图像数据上的左眼叠加信息的显示数据和叠加在立体图像数据中包括的右眼图像数据上的右眼叠加信息的显示数据。
此外，在本发明中，数据接收单元接收的复用数据流中包括的第二数据流进一步可以包括视差的信息，其使得其中显示叠加信息的预定数量的帧时段的每帧中的左眼叠加信息和右眼叠加信息之间出现视差，该立体图像数据接收设备进一步可以包括视差信息获取单元，其从数据接收单元接收的复用数据流中包括的第二数据流获取预定数量的帧时段的每帧中的视差的信息，以及显示数据生成单元可以在预定数量的帧时段的每帧中，基于视差信息获取单元获取的视差的信息，使得左眼叠加信息和右眼叠加信息之间出现预定视差。
在该情况下，例如可能使得左眼叠加信息和右眼叠加信息之间出现基于预定数量的帧时段和代表值（如其最大值或其平均值）的视差。此外，例如可能顺序地更新预定数量的帧时段中的左眼叠加信息和右眼叠加信息之间的视差。
本发明的效果
根据本发明，与立体图像数据一起，从发送侧到接收侧发送根据发送格式的、包括左眼叠加信息的数据和右眼叠加信息的数据的发送叠加信息数据。因此，接收侧能够基于发送叠加信息数据，容易地生成要叠加立体图像数据中包括的左眼图像数据的左眼叠加信息的显示数据和要叠加立体图像数据中包括的右眼图像数据的右眼叠加信息的显示数据。因此，接收侧能够容易地执行将接收的立体图像数据经由诸如HDMI的数字接口发送到诸如电视接收机的监视器设备，而不需要转换发送格式。
附图说明
图1是图示根据本发明实施例的图像收发系统的配置示例的方块图。
图2是图示广播站中的发送数据生成单元的配置示例的方块图。
图3是图示1920×1080p的像素格式的图像数据的图。
图4是描述作为立体图像数据（3D图像数据）的发送格式的“上下”格式、“并排”格式、“全帧”格式、“帧顺序”格式或向后兼容格式的图。
图5是描述检测右眼图像到左眼图像的视差矢量的示例的图。
图6是描述通过块匹配方法获得的视差矢量的图。
图7是描述发送数据生成单元的视差信息生成单元执行的下转换处理的图。
图8是图示包括视频基本流、字幕基本流和音频基本流的传送流（位流数据）的配置示例的图。
图9是图示配置字幕数据的PCS（page_compostion_segment）的结构的图。
图10是图示“segment_type”的每个值和片段类型之间的对应关系的图。
图11是描述表示新定义的3D字幕的格式的信息（component_type=0x15,0x25）的图。
图12是描述字幕处理单元生成的用于立体图像（包括视差信息组）的字幕数据的配置示例（情况A到E）的图。
图13是概念上图示“情况A”的生成用于立体图像的字幕数据的方法的图。
图14是图示“情况A”中生成的用于立体图像的字幕数据的区域和对象的示例的图。
图15是图示“情况A”中每个片段的生成示例（示例1）的图。
图16是图示“情况A”中每个片段的生成示例（示例2）的图。
图17是图示其中设置“segment_type=0x48”的OTS（offset_temporal_sequence_segment）的语法的示例的图。
图18是图示OTS（offset_temporal_sequence_segment）的数据语义的图。
图19是图示以帧为单元更新对象开始位置“object_horizontal_position”的示例的图。
图20是图示其中对象开始位置“object_horizontal_position”最初设置为最大值“Max（offset_sequence(n)）”、然后保持该位置的示例的图。
图21是概念上图示“情况B”的生成用于立体图像的字幕数据的方法的图。
图22是图示“情况B”中生成的用于立体图像的字幕数据的区域和对象的示例的图。
图23是图示“情况B”中每个片段的生成示例（示例1）的图。
图24是图示“情况B”中每个片段的生成示例（示例2）的图。
图25是图示“情况B”中每个片段的生成示例（示例3）的图。
图26是图示其中设置“segment_type=0x45”的SFI（stereo_format_indication_segment）的语法的示例的图。
图27是图示SFI（stereo_format_indication_segment）的数据语义的图。
图28是概念上图示“情况C”的生成用于立体图像的字幕数据的方法的图。
图29是图示“情况C”中生成的用于立体图像的字幕数据的区域和对象的示例的图。
图30是图示“情况C”中每个片段的生成示例（示例1）的图。
图31是图示“情况C”中每个片段的生成示例（示例2）的图。
图32是图示“情况C”中每个片段的生成示例（示例3）的图。
图33是图示“情况C”中每个片段的生成示例（示例4）的图。
图34是概念上图示“情况D”的生成用于立体图像的字幕数据的方法的图。
图35是图示“情况D”中生成的用于立体图像的字幕数据的区域和对象的示例的图。
图36是图示其中设置“segment_type=0x47”的RCP（region_copy_segment）的语法的示例的图。
图37是图示RCP（region_copy_segment）的数据语义的图。
图38是图示“情况D”中每个片段的生成示例（示例1）的图。
图39是图示“情况D”中每个片段的生成示例（示例2）的图。
图40是图示其中设置“segment_type=0x44”的OSS（offset_sequence_segment）的语法的示例的图。
图41是图示OSS（offset_sequence_segment）的数据语义的图。
图42是概念上图示“情况E（并排）”的生成用于立体图像的字幕数据的方法的图。
图43是图示“情况E（并排）”中生成的用于立体图像的字幕数据的区域和对象的示例的图。
图44是图示“情况E（并排）”中每个片段的生成示例的图。
图45是图示“情况E（并排）”中每个片段的另一生成示例的图。
图46是图示以帧为单元更新对象开始位置“object_horizontal_position”的示例的图。
图47是图示其中对象开始位置“object_horizontal_position”最初设置为最大值“Max（offset_sequence(n)）”、然后保持该位置的示例的图。
图48是概念上图示“情况E（上下）”的生成用于立体图像的字幕数据的方法的图。
图49是图示“情况E（上下）”中生成的用于立体图像的字幕数据的区域和对象的示例的图。
图50是图示“情况E（上下）”中每个片段的生成示例的图。
图51是图示以帧为单元更新对象开始位置“object_horizontal_position”的示例的图。
图52是图示“情况E（全帧或向后兼容）”中生成的用于立体图像的字幕数据的区域和对象的示例的图。
图53是图示“情况E（全帧或向后兼容）”中每个片段的生成示例的图。
图54是图示以帧为单元更新对象开始位置“object_horizontal_position”的示例的图。
图55是概念上图示“情况E（并排）”中OSS设置和立体图像数据和字幕数据的流程的图。
图56是概念上图示“情况E（上下）”中OSS设置和立体图像数据和字幕数据的流程的图。
图57是概念上图示“情况E（全帧或向后兼容）”中OSS设置和立体图像数据和字幕数据的流程的图。
图58是图示图像上的字幕以及背景、前景对象、字幕的透视感的显示示例的图。
图59是图示图像上的字幕以及用于显示字幕的左眼字幕LGI和右眼字幕RGI的显示示例的图。
图60是图示配置图像收发系统的机顶盒的配置示例的方块图。
图61是图示配置机顶盒的位流处理单元的配置示例的方块图。
图62是图示配置图像收发系统的电视接收机的配置示例的方块图。
图63是图示图像收发系统的另一配置示例的方块图。
图64是描述屏幕上的对象的左和右图像的显示位置以及当使用双眼视差显示立体图像时立体图像的再现位置之间的关系的图。
具体实施方式
以下，将描述用于执行本发明的模式（以下称为“实施例”）。将按照以下顺序呈现描述。
1．实施例
2．修改示例
<1.实施例>
[图像收发系统的配置示例]
图1图示根据实施例的图像收发系统10的配置示例。图像收发系统10包括广播站100、机顶盒（STB）200和电视接收机（TV）300。
机顶盒200通过HDMI（高清晰度多媒体接口）的数字接口与电视接收机300连接。机顶盒200使用HDMI电缆400与电视接收机300连接。HDMI端子202布置在机顶盒200中。HDMI端子302布置在电视接收机300中。HDMI电缆400的一端连接到机顶盒200的HDMI端子202，并且HDMI电缆400的另一端连接电视接收机300的HDMI端子302。
[广播站的描述]
广播站100通过广播波发送位流数据BSD。广播站100包括发送数据生成单元110，其生成位流数据BSD。位流数据BSD包括立体图像数据、音频数据、叠加信息的数据等。立体图像数据具有预定发送格式，并且包括用于显示立体图像的左眼图像数据和右眼图像数据。叠加信息通常指字幕、图形信息、文本信息等，但是在本实施例中指字幕。
“发送数据生成单元的配置示例”
图2图示广播站100中的发送数据生成单元110的配置示例。发送数据生成单元110包括数据提取单元（归档单元）130、视差信息生成单元131、视频编码器113、音频编码器117、字幕生成单元132、字幕处理单元133、字幕编码器134和复用器122。
例如，数据记录介质130a可拆卸地安装到数据提取单元130。在数据记录介质130a中，包括左眼图像数据和右眼图像数据的立体图像数据保持记录，并且音频数据和视差信息与立体图像数据相关联地保持记录。数据提取单元130从数据记录介质130a提取立体图像数据、音频数据和视差信息，并且输出立体图像数据、音频数据和视差信息。数据记录介质130a的示例包括盘形记录介质和半导体存储器。
记录介质130a中记录的立体图像数据是预定发送格式的立体图像数据。将描述立体图像数据（3D图像数据）的发送格式的示例。这里，描述第一到第三发送格式，但是可以使用任何其他发送格式。这里，将描述这样的情况作为示例，其中左眼（L）图像数据和右眼（R）图像数据的每个是具有预定分辨率（例如，如图3所示的1920×1080p）的像素格式的图像数据。
第一发送格式是上下格式，并且是在垂直方向的第一半中发送左眼图像数据的每行的数据，并且在垂直方向的第二半中发送右眼图像数据的每行的数据，如图4（a）所示。在这样的情况下，因为左眼图像数据的各行和右眼图像数据的各行被稀疏为1/2，所以垂直分辨率变为原始信号的一半。
第二发送格式是并排格式，并且是在水平方向的第一半中发送左眼图像数据的像素数据，并且在水平方向的第二半中发送右眼图像数据的像素数据，如图4（b）所示。在这样的情况下，左眼图像数据和右眼图像数据的每个的像素数据被稀疏为1/2。水平分辨率变为原始信号的一半。
第三发送格式是全帧格式、帧顺序格式或向后兼容格式，并且是以帧为单元顺序地切换并发送左眼图像数据和右眼图像数据的格式，如图4（c）所示。
例如，数据记录介质130a中记录的视差信息指配置图像的每个像素的视差矢量。将描述检测视差矢量的示例。这里，将描述检测右眼图像关于左眼图像的视差矢量的示例。如图5所示，将左眼图像设为检测图像，并且右眼图像设为参考图像。在该示例中，检测在位置（xi,yi）和（xj,yj）处的视差矢量。
将描述检测在位置（xi,yi）处的视差矢量的情况作为示例。在该情况下，在左眼图像中，位于位置（xi,yi）处的像素设为左上侧，并且例如设置4×4、8×8或16×16的像素块（视差检测块）Bi。然后，在右眼图像中，搜索匹配像素块Bi的像素块。
在这样的情况下，在右眼图像中，设置以（xi,yi）位置作为其中心的搜索范围，并且该搜索范围内的各个像素顺序地设为感兴趣的像素，并且顺序地设置与上述像素块Bi像素的例如4×4、8×8或16×16的比较块。
计算顺序设置的像素块Bi和比较块的对应的各个像素之间的差的绝对值的和。这里，如图6所示，当像素块Bi的像素值是L（x,y）并且比较块的像素值是R（x,y）时，像素块Bi和特定比较块之间的差的绝对值的和表示为Σ|L(x,y)‑R(x,y)|。
当在右眼图像中设置的搜索范围中包括n个像素时，最终获取n个和S1到Sn，并且从它们中选择最小和Smin。然后，可以从获得和Smin的比较块中获取位于左上侧的像素的位置（xi’,yi’）。相应地，检测位置（xi,yi）处的视差矢量作为（xi’‑xi,yi’‑yi）。尽管没有呈现详细描述，但是同样对于位置（xj,yj）处的视差矢量，在左眼图像中，位于位置（xj,yj）处的像素设为左上侧，并且例如设置4×4、8×8或16×16的像素块Bj，使得可以以类似处理检测视差矢量。
返回图2，视频编码器112使用MPEG4‑AVC、MPEG2、VC‑1等编码从数据提取单元130提取的立体图像数据，并且生成视频数据流（视频基本流）。音频编码器113使用AC3、AAC等编码从数据提取单元111提取的音频数据，并且生成音频数据流（音频基本流）。
字幕生成单元132生成作为DVB（数字视频广播）的字幕数据的字幕数据。字幕数据是2D图像字幕数据。字幕生成单元132配置叠加信息数据输出单元。
视差信息生成单元131对从数据提取单元130输出的视差信息（即，每个像素的视差矢量（水平方向上的视差矢量））执行下转换处理，并且生成对应于字幕数据的每页的每个区域的视差矢量。视差信息生成单元131配置视差信息输出单元。应用于字幕的视差信息可以以页为单位、以区域为单位或以对象为单位附接。视差信息不一定需要由视差信息生成单元131生成，并且可以从外部分开地提供。
图7图示视差信息生成单元131执行的下转换处理的示例。首先，视差信息生成单元134使用每个像素的视差矢量获得每个块的视差矢量，如图7（a）所示。如上所述，块对应于位于最低层的像素的上层，并且通过在水平方向和垂直方向上将图像（画面）区域划分为预定尺寸来配置。然后，选择块中存在的所有像素的视差矢量中具有最大值的视差矢量作为每个块的视差矢量。
接着，视差信息生成单元131使用每个块的视差矢量获得每个组（块的组）的视差矢量，如图7（b）所示。组对应于块的上层，并且通过将多个相邻块一起分组而获得。在图7（b）的示例中，每个组配置有以虚线框为边界的4个块。然后，例如，选择在对应的组中的所有块的视差矢量中具有最大值的视差矢量作为每个组的视差矢量。
接着，视差信息生成单元131使用每个组的视差矢量获得每个分区的视差矢量，如图7（c）所示。分区对应于组的上层，并且通过将多个相邻组一起分组而获得。在图7（c）的示例中，每个分区配置有以虚线框为边界的2个组。然后，例如，选择在对应的分区中的所有组的视差矢量中具有最大值的视差矢量作为每个分区的视差矢量。
接着，视差信息生成单元131使用每个分区的视差矢量获得位于最高层的整个画面（整个图像）的视差矢量，如图7（d）所示。在图7（c）的示例中，在整个画面中包括以虚线框为边界的4个分区。然后，例如，选择在整个画面中包括的所有分区的视差矢量中具有最大值的视差矢量作为整个画面的视差矢量。
以上述方式，视差信息生成单元131可以通过对位于最低层的每个像素的视差矢量执行下转换处理，获得包括块、组、分区和整个画面的每个层的每个区域的视差矢量。在图7所示的下转换处理的示例中，除了像素的层以外，最终获得块、组、分区和整个画面的四层的视差矢量。然而，层数、每层的区域划分方法、和区域数不限于上述示例。
返回图2，字幕处理单元133将字幕生成单元132生成的字幕数据，转换为用于对应于数据提取单元130提取的立体图像数据的发送格式的立体图像（3D图像）的字幕数据。字幕处理单元133配置重叠信息数据处理单元133，并且用于立体图像数据的转换后的字幕数据配置发送重叠信息数据。
用于立体图像的字幕数据包括左眼字幕数据和右眼字幕数据。这里，左眼字幕数据对应于立体图像数据中包括的左眼图像数据，并且用于接收侧来生成叠加立体图像数据中包括的左眼图像数据的左眼字幕。此外，右眼字幕数据对应于立体图像数据中包括的右眼图像数据，并且用于接收侧来生成叠加立体图像数据中包括的右眼图像数据的右眼字幕。
字幕处理单元133基于来自视差信息生成单元131的对应于每页的每个区域的视差矢量，通过至少偏移左眼字幕或右眼字幕，使得左眼字幕和右眼字幕之间出现视差。通过如上所述使得左眼字幕和右眼字幕之间出现视差，并且在接收侧，即使不执行使得左眼字幕和右眼字幕之间出现视差的处理，在字幕显示时与图像中的每个对象的透视感的一致性也可以保持优化状态。
此外，字幕处理单元133基于来自视差信息生成单元131的对应于每页的每个区域的视差矢量，在显示字幕的预定数量的帧时段的每个帧中生成被使得在左眼字幕和右眼字幕之间出现的视差的信息。以下，为了描述简单，预定数量的帧时段的各帧中的视差的信息适当地称为“视差信息组”。在该实施例中，关于前一帧的视差的信息的偏移信息用作配置视差信息组的每个帧的视差的信息，并且因此抑制了数据量。
字幕数据配置有诸如PCS（页构成段）、RCS（区域构成段）和ODS（对象数据段）的段。PCS指定页中的区域位置。RCS指定区域的大小或对象的编码模式，并且指定对象的开始位置。ODS包括编码的像素数据。在该实施例中，定义新的段，并且视差信息组包括在该段中。因此，视差信息组通过字幕数据和段类型区分。稍后将进一步描述字幕处理单元133的处理细节。
字幕编码器134生成包括用于立体图像的字幕数据和从字幕处理单元133输出的视差信息组的字幕数据流（字幕基本流）。复用器122通过复用从视频编码器113、音频编码器117和字幕编码器134输出的流，获得用作位流数据的复用数据流（传送流）。
在该实施例中，复用器122将用于识别用于立体图像的字幕数据的包含的识别数据插入字幕数据流中。具体地，在EIT（时间信息表）中包括的“Component_Descriptor（组成描述符）”中描述Stream_content（流内容）（‘0x03’=DVB字幕）&Component_type（组成类型）。新定义Component_type（用于3D目标）以表示用于立体图像的字幕数据。
将简要描述图2所示的发送数据生成单元110的操作。从数据提取单元130输出的立体图像数据提供到视频编码器113。视频编码器113使用MPEG4‑AVC、MPEG2、VC‑1等编码立体图像数据，并且生成包括编码的视频数据的视频数据流。视频数据流提供到复用器122。
从数据提取单元130输出的音频数据提供到音频编码器117。音频编码器117使用MPEG‑2音频AAC、MPEG‑4AAC等编码音频数据，并且使用包括编码的音频数据的音频数据流。音频数据流提供到复用器122。
字幕生成单元132生成作为DVB的字幕数据的字幕数据（用于2D图像）。字幕数据提供到视差信息生成单元131和字幕处理单元133。
从数据提取单元130输出的视差信息（即，每个像素的视差矢量）提供到视差信息生成单元131。视差信息生成单元131对每个像素的视差矢量执行下转换处理，并且生成对应于字幕数据的每页的每个区域的视差矢量。对应于每个区域的视差矢量提供到字幕处理单元133。
字幕处理单元133将字幕生成单元132生成的2D图像字幕数据转换为用于对应于从数据提取单元130提取的立体图像数据的发送格式的立体图像的字幕数据。用于立体图像的字幕数据包括左眼字幕数据和右眼字幕数据。在该情况下，字幕处理单元133基于来自视差信息生成单元131的对应于每页的每个区域的视差矢量，通过至少偏移左眼字幕或右眼字幕，使得左眼字幕和右眼字幕之间出现视差。可替代地，生成这样的数据，其中包括一只眼的字幕并将视差信息增加到另一只眼的字幕并且发送，使得另一只眼的字幕显示在对应于视差信息的偏移位置处。
字幕处理单元133基于来自视差信息生成单元131的对应于每页的每个区域的视差矢量，生成视差信息组（在显示字幕的预定数量的帧时段的各帧中使得在左眼字幕和右眼字幕之间出现的视差的信息）。在该情况下，关于前一帧的视差的信息的偏移信息用作配置视差信息组的每帧的视差的信息，以便抑制数据量。
用于立体图像的字幕数据和字幕处理单元133获得的视差信息组提供给字幕编码器134。字幕编码器134生成包括用于立体图像的字幕数据和视差信息组的字幕数据流。该字幕数据流包括具有视差信息组的新定义的片段以及其中包括用于立体图像的字幕数据的片段（如PCS、RCS和ODS）。
来自视频编码器113、音频编码器117和字幕编码器134的数据流提供给复用器122，如上所述。然后，复用器122获得复用数据流，其中各数据流以分组的形式复用为位流数据（传送流）BSD。
图8图示传送流（位流数据）的配置示例。该传送流包括通过分组化基本流获得的PES分组。在该配置示例中，包括视频基本流的PES分组“VideoPES”、音频基本流的PES分组“Audio PES”和字幕基本流的PES分组“SubtitlePES”。
在该实施例中，字幕基本流（字幕数据流）包括用于立体图像的字幕数据。字幕基本流包括传统上众所周知的诸如PCS（页组成片段）、RCS（区域组成片段）和ODS（对象数据片段）的片段。
图9图示PCS（page_composition_segment）的结构。PCS的片段类型是如图10所示的“0x10”。“region_horizontal_address（区域水平地址）”和“region_vertical_address（区域垂直地址）”表示区域的开始位置。诸如RSC和ODS的其他片段的结构在图中未示出。例如，RCS的片段类型是如图10所示的“0x11”。此外，例如，ODS的片段类型是如图10所示的“0x13”。
此外，根据需要，诸如SFI（stereo_format_indication_segment（立体格式指示片段））、RCP（region_copy_segment（区域复制片段））、OTS（offset_temporal_sequence_segment（偏移时间序列片段））和OSS（offset_sequence_segment（偏移序列片段））的片段包括在字幕数据中。SDI指定3D扩展定义。RCP定义区域的复制目的地的位置。OTS控制时间轴上的动态区域位置。OSS指定视差偏移的控制和3D扩展的设置信息。
例如，如图10所示，OSS的片段类型是“0x44”，SFI的片段类型是“0x45”，RCP的片段类型是“0x47”，并且OTS的片段类型是“0x48”。稍后将描述SFI、RCP、OTS和OSS片段的详细结构。SFI、RCP、OTS和OSS的每个可以独立定义。例如，只有SFI，SFI和OTS、或只有OSS存在，并且对应于每种情况，它们增加到现有的片段。
传送流包括PMT（节目地图表）作为PSI（节目特定信息）。PSI是表示传送流中包括的每个基本流所属的节目的信息。传送流进一步包括EIT（事件信息表）作为SI（服务信息）以执行事件单元的管理。节目单元的元数据在EIT中描述。
描述与整个节目有关的信息的节目描述符在PMT中存在。此外，具有与每个基本流有关的信息的基本环路在PMT中存在。在该配置示例中，存在视频基本环路、音频基本环路和字幕基本环路。在每个基本环路中，为每个流安排诸如分组标识符（PID）的信息，并且即使没有在图中示出，也安排描述与基本流有关的信息的描述符。
在EIT中插入“Component_Descriptor（组成描述符）”。在该实施例中，可能识别Stream_content（‘0x03’=DVD字幕）&Component_type（用于3D目标）在组成描述符中描述，并且用于立体图像的字幕数据包括在字幕数据流中。在该实施例中，如图11所示，当表示流内容的‘component_descriptor’的‘stream_content’表示字幕时，新定义表示3D字幕的格式的信息（Component_type=0x15,0x25）。
[字幕处理单元的处理]
将描述图2所示的发送数据生成单元110的字幕处理单元133的处理的细节。如上所述，字幕处理单元133将2D图像字幕数据转换为用于立体图像的字幕数据，并且生成在显示字幕的预定数量的帧时段的每帧中使得左眼字幕和右眼字幕之间出现的视差的信息。
例如，字幕处理单元133的字幕数据（包括视差信息组）具有图12所示的情况A到E的任何一个的配置。在“情况A”中，生成左眼字幕数据和右眼字幕数据作为相同区域的不同对象的数据。在“情况A”中，如图12（a）所示，与传统上众所周知的片段（如PCS、RCS和ODS）一起，OTS用作新定义的片段。图12只图示PCS、RCS和ODS作为传统上众所周知的片段，并且其他片段没有示出。
在“情况B”中，生成左眼字幕数据和右眼字幕数据作为相同页的不同区域的数据。在该情况下，例如，生成左眼字幕数据作为其区域ID（Region_id）为偶数的区域的数据，并且生成右眼字幕数据作为其区域ID（Region_id）为奇数的区域的数据。在“情况B”中，如图12（b）所示，与传统上众所周知的片段（如PCS、RCS和ODS）一起，SFI和OTS用作新定义的片段。
在“情况C”中。生成左眼字幕数据和右眼字幕数据作为不同页的区域的数据。在该情况下，例如，生成左眼字幕数据作为其页ID（Page_id）为偶数的区域的数据。此外，生成右眼字幕数据作为其页ID（Page_id）为奇数的区域的数据。在“情况C”中，如图12（c）所示，与传统上众所周知的片段（如PCS、RCS和ODS）一起，SFI和OTS用作新定义的片段。
在“情况D”中，生成左眼字幕数据和右眼字幕数据之一作为预定页的区域的数据。此外，生成左眼字幕数据和右眼字幕数据的另一作为从该区域的数据复制的复制区域（copied_region）的数据。在“情况D”中，如图12（d）所示，与传统上众所周知的片段（如PCS、RCS和ODS）一起，RCP和OTS用作新定义的片段。
在“情况E”中，根据立体图像数据的传输格式生成左眼字幕数据和右眼字幕数据。例如，当传输格式为并排格式时，生成左眼字幕数据和右眼字幕数据作为相同页的相同区域的数据。此时，进行设置，使得对象可以安排在对应于左眼字幕和右眼字幕的区域中的预定位置。此外，例如当传输格式为上下格式时，生成左眼字幕数据和右眼字幕数据作为相同页的不同区域的数据。在“情况E”中，如图12（e）所示，与传统上众所周知的片段（如PCS、RCS和ODS）一起，OSSS用作新定义的片段。
[关于情况A]
图13概念上图示为“情况A”的立体图像生成字幕数据的方法。这里，将结合立体图像数据的传输格式为并排格式的示例进行描述。图13（a）图示2D图像字幕数据的区域。
首先，字幕处理单元133将2D图像字幕数据的区域的大小转换为适于并排格式的大小，如图13（b）所示，然后生成转换后大小的位图数据。
接着，字幕处理单元133设置具有转换后大小的位图数据作为用于立体图像的字幕数据的区域的分量，如图13（c）所示。此时，每个对象的开始位置（region_horizontal_address）设为偏移对应于左眼图像（左视图）和右眼图像（右视图）之间的视差的距离（A‑B=视差/2）的位置。
字幕处理单元133如上所述将2D图像字幕数据转换为用于立体图像的字幕数据，并且生成对应于用于立体图像的字幕数据的片段（如PCS、RCS和ODS）。
图14图示“情况A”中生成的用于立体图像的字幕数据的区域和对象的示例。这里，区域的开始位置为“Region_horizontal_address”。对于左眼图像（左视图）侧的对象，开始位置为“object_horizontal_position1”，以及“Object_id=1”。对于右眼图像（右视图）侧的对象，开始位置为“object_horizontal_position2”，以及“Object_id=2”。
图15图示“情况A”中每个片段的生成示例（示例1）。在该生成示例中，区域（Region_id=0A）的开始位置（region_horizontal_address）保持在PCS（页组成片段）指定。此外，在“Region_id=0A”的RCS(区域组成片段）中，参考“Object_id=1”的ODS，并且对象的开始位置“object_horizontal_position1”保持指定。此外，在“Region_id=0A”的RCS（区域组成片段）中，参考“Object_id=2”的ODS，并且对象的开始位置“object_horizontal_position2”保持指定。在该生成示例（示例1）中，没有生成OTS。
图16图示“情况A”中的每个片段的生成示例（示例2）。在该生成示例中，类似于图15所示的生成示例（示例1），不仅生成PCS、RCS和ODS，还生成OTS（offset_temporal_sequence_segment）。视差信息组包括在OTS的片段中。如上所述，视差信息组指在显示字幕的预定数量的帧时段的各帧中使得在左眼字幕和右眼字幕之间出现的视差的信息。这里，关于前一帧的视差的信息的偏移信息用作配置视差信息组的每帧的视差的信息，以便抑制数据量。
图17图示OTS（offset_temporal_sequence_segment）的语法示例。图18图示OTS的主要数据语义。在该语法中，包括“Sync_byte”、“segment_type”、“page_id”和“segment_length”的信息。“segment_type”是表示片段类型的8位数据，并且在此使用表示OTS的“0x48”。“segment_length”是表示片段的长度（大小）的8位数据。该数据表示作为片段的长度的在“segment_length”之后的字节数量。
“region_count”表示页中的区域数量。在OTS中，包括用“region_id”识别的区域的视差信息组，其在数量上等于区域的数量。“frame_count”表示其中在显示帧时段期间提供offset_sequence的帧的数量。
“offset_sequence”是用作关于前一帧的视差信息的偏移信息的2位信息。“offset_sequence=01”表示偏移值为“+1”。“offset_sequence=10”表示偏移值为“‑1”。此外，“offset_sequence=11”表示偏移值从前一帧不改变。“offset_precision”是表示用“offset_sequence”表示的偏移值中的“1”的精度的1位信息，即，“1”的像素数量。“offset_precision=0”表示偏移值中的“1”为1个像素。“offset_precision=1”表示偏移值中的“1”为两个像素。
如上所述，当OTS包括在字幕数据流中时，接收侧可以基于预定数量的帧时段的每帧中的偏移值“offset_sequence”，使得左眼字幕和右眼字幕之间出现预定视差。例如，接收侧可以顺序地更新左眼字幕和右眼字幕之间的视差。
在该情况下，接收侧通过OTS保持向后兼容性，并且可以以帧为单位简单地更新对象开始位置“object_horizontal_position”。换句话说，以“Object_id”为单位更新“object_ horizontal_position”，使得由“offset_sequence（T）”指定的差异量增加到每帧中的帧T0（初始帧）的初始位置。结果，在显示字幕的预定数量的帧时段中，顺序地更新左眼字幕和右眼字幕之间的视差。
图19图示以帧为单位更新对象开始位置“object_horizontal_position”的示例。假设在帧T0（初始帧）中，“Object_id=1”的对象开始位置为“object_horizontal_position1（T0）”，并且“Object_id=2”的对象开始位置为“object_horizontal_position2（T0）”。
作为下一帧的帧T1的对象开始位置如下所示更新。这里，帧T1的偏移值假设为offset_sequence（T1）。换句话说，“Object_id=1”的对象开始位置为“object_horizontal_position1（T1）”为“object_horizontal_position1（T0）+offset_sequence（T1）”。此外，“Object_id=2”的对象开始位置为“object_horizontal_position2（T1）”为“object_horizontal_position2（T0）‑offset_sequence（T1）”。
此外，作为下一帧的帧T2的对象开始位置如下所示更新。这里，帧T2的偏移值假设为offset_sequence（T2）。换句话说，“Object_id=1”的对象开始位置为“object_horizontal_position 1（T2）”为“object_horizontal_position1（T1）+offset_sequence（T2）”。此外，“Object_id=2”的对象开始位置为“object_horizontal_position2（T2）”为“object_horizontal_position2（T1）‑offset_sequence（T2）”。在下面，每帧的对象开始位置以相同方式获得并且以“Object_id”为单位更新。
此外，例如，在接收侧，可能使得左眼字幕和右眼字幕之间出现视差，该视差基于预定数量的帧时段的代表性值（如其最大值或其平均值）。在该情况下，在接收侧，基于每帧的偏移值“offset_sequence（T）”，预先计算直到对应帧的偏移值的累积值。然后，在接收侧，各帧的累计值、最大值“Max（offset_sequence（n））”或平均值“Ave（offset_sequence（n））”加到帧T0（初始帧）的初始位置。结果，在显示字幕的预定数量的帧时段中，时段基于预定数量的帧时段的最大值或平均值的视差出现在左眼字幕和右眼字幕之间。
图20图示这样的示例，其中对象开始位置“object_horizontal_position”最初设为最大值“Max（offset_sequence（n））”，然后保持位置。假设“Object_id=1”的对象开始位置的初始位置为“object_horizontal_position1”，并且“Object_id=2”的对象开始位置的初始位置为“object_horizontal_position2”。
在帧T0（初始帧）中，对象开始位置设置如下。换句话说，“Object_id=1”的对象开始位置的初始位置“object_horizontal_position1（T0）”设为“object_horizontal_position1+Max（offset_sequence（n））”。此外，“Object_id=2”的对象开始位置的初始位置“object_horizontal_position2（T0）”设为“object_horizontal_position2‑Max（offset_sequence（n））”。然后，在随后帧中，保持“Object_id=1”和“Object_id=2”的对象开始位置。
[关于情况B]
图21概念上图示为“情况B”的立体图像生成字幕数据的方法。这里，将结合立体图像数据的传输格式为并排格式的示例进行描述。图21（a）图示2D图像字幕数据的区域。
首先，字幕处理单元133将2D图像字幕数据的区域的大小转换为适于并排格式的大小，如图21（b）所示，然后生成转换后大小的位图数据。
接着，字幕处理单元133设置具有转换后大小的位图数据作为用于立体图像的字幕数据的区域的分量，如图21（c）所示。此时，每个区域的对象的开始位置（object_horizontal_address）设为偏移对应于左眼图像（左视图）和右眼图像（右视图）之间的视差的距离（A‑B=视差/2）的位置。
字幕处理单元133如上所述将2D图像字幕数据转换为用于立体图像的字幕数据，并且生成对应于用于立体图像的字幕数据的片段（如PCS、RCS和ODS）。
图22图示“情况B”中生成的用于立体图像的字幕数据的区域和对象的示例。这里，左眼图像（左视图）的区域的开始位置为“Region_horizontal_address1”，对象的开始位置为“object_horizontal_position1”，以及“Object_id=1”。这里，右眼图像（右视图）的区域的开始位置为“Region_horizontal_address2”，对象的开始位置为“object_horizontal_position2”，以及“Object_id=2”。在该示例中，共同的位图数据用作左眼字幕和右眼字幕的位图数据。
图23图示“情况B”中每个片段的生成示例（示例1）。在该生成示例中，左眼图像（左视图）侧的区域（Region_id=0A）和右眼图像（右视图）侧的区域（Region_id=0B）的开始位置（region_horizontal_address）保持在PCS（页组成片段）指定。此外，在“Region_id=0A”的RCS（区域组成片段）中，参考“Object_id=1”的ODS，并且对象的开始位置“object_horizontal_position1”保持指定。此外，在“Region_id=0B”的RCS（区域组成片段）中，参考“Object_id=1”的ODS，并且对象的开始位置“object_horizontal_position2”保持指定。
图24图示“情况B”中的每个片段的生成示例（示例2）。在该生成示例中，不同的位图数据可以用作左眼字幕和右眼字幕的位图数据。在该生成示例中，左眼图像（左视图）侧的区域（Region_id=0A）和右眼图像（右视图）侧的区域（Region_id=0B）的开始位置（region_horizontal_address）保持在PCS（页组成片段）指定。
此外，在“Region_id=0A”的RCS（区域组成片段）中，参考“Object_id=1”的ODS，并且对象的开始位置“object_horizontal_position1”保持指定。此外，在“Region_id=0B”的RCS（区域组成片段）中，参考“Object_id=2”的ODS，并且对象的开始位置“object_horizontal_position2”保持指定。
图25图示“情况B”中的每个片段的生成示例（示例3）。在该生成示例中，类似于图23所示的生成示例（示例1），不仅生成PCS、RCS和ODS，还生成OTS（offset_temporal_sequence_segment）。
视差信息组包括在OTS中。如上所述，视差信息组是在显示字幕的预定数量的帧时段的各帧中使得在左眼字幕和右眼字幕之间出现的视差的信息。这里，关于前一帧的视差的信息的偏移信息用作配置视差信息组的每帧的视差的信息，以便抑制数据量。ODS的结构及其效果与“情况A”中描述的相同，因此将不重复其冗余描述。
此外，在“情况B”中，还生成新定义的SFI（stero_format_indication_segment（立体格式指示片段））。SFI指定如上所述的3D扩展定义。图26图示SFI的语法的示例。图27图示SFI的主要数据语义。在该语义中，包括“Sync_byte”、“segment_type”、“page_id”和“segment_lenth”的信息。“segment_type”是表示片段类型的8位数据，并且在此使用表示SFI的“0x45”（见图10）。“segment_length”是表示片段的长度（大小）的8位数据。该数据表示作为片段的长度的在“segment_length”之后的字节数量。
“page_composition_view_allocated”是表示页ID“page_id”的数值（偶数或奇数）是否保持分配给左眼图像和右眼图像的1位数据。“page_composition_view_allocated=1”表示偶数值的“page_id”保持分配给左眼图像（左视图），以及奇数值的“page_id”保持分配给右眼图像（右视图）。同时，“page_composition_view_allocated=0”表示对页ID“page_id”没有特别规则。
此外，“shared_region_flag”是表示对象是否被左眼图像和右眼图像的区域共享的1位数据。“shared_region_flag=1”表示对象被左眼图像和右眼图像的区域共享。此外，在“情况C”中，页ID“page_id”的数值具有偶数以便表示左眼图像（左视图），并且具有奇数以便表示右眼图像（右视图）。共同参考的ODS中的页ID“page_id”通过表示左眼图像（左视图）和右眼图像（右视图）的一对页ID“page_id”中较小的一个的数值指定。同时，“shared_region_flag＝0 ”表示对象不被左眼图像和右眼图像的区域共享。
此外，“region_composition_view_allocated”是表示区域ID“region_id”的数值（偶数或奇数）是否保持分配给左眼图像和右眼图像的1位数据。“region_composition_view_allocated=1”表示偶数值的“region_id”保持分配给左眼图像（左视图），以及奇数值的“region_id”保持分配给右眼图像（右视图）。同时，“region_composition_view_allocated=0”表示对区域ID“region_id”没有特别规则。
此外，“target_stereo_format”是表示作为字幕数据的目标的图像数据的3位数据。“000”表示全帧格式或向后兼容格式的立体图像数据。“001”表示并排格式的立体图像数据。“010”表示上下格式的立体图像数据。“111”表示除了立体图像数据以外的2D图像数据。
在图26的SFI的语义中，“region_composition_view_allocated”、“shared_region_flag”和“target_stereo_format”与“情况B”有关。然而，“page_composition_view_allocated”、“shared_region_flag”和“target_stereo_format”与“情况C”有关。此外，在“情况C”中，设置“region_composition_view_allocated=0”
[关于情况C]
图28概念上图示为“情况C”的立体图像生成字幕数据的方法。这里，将结合立体图像数据的传输格式为并排格式的示例进行描述。图28（a）图示2D图像字幕数据的区域。
首先，字幕处理单元133将2D图像字幕数据的区域的大小转换为适于并排格式的大小，如图28（b）所示，然后生成转换后大小的位图数据。
接着，字幕处理单元133设置具有转换后大小的位图数据作为用于立体图像的字幕数据的每页的区域的分量，如图28（c）和28（d）所示。此时，每个对象的开始位置（region_horizontal_address）设为偏移对应于左眼图像（左视图）和右眼图像（右视图）之间的视差的距离（A‑B=视差/2）的位置。
字幕处理单元133如上所述将2D图像字幕数据转换为用于立体图像的字幕数据，并且生成对应于用于立体图像的字幕数据的片段（如PCS、RCS和ODS）。
图29图示“情况C”中生成的用于立体图像的字幕数据的区域和对象的示例。这里，左眼图像（左视图）的页（Page_id=偶数）的区域的开始位置为“Region_horizontal_address1”。对象的开始位置为“object_horizontal_position1”，以及“Object_id=1”。此外，右眼图像（右视图）的页（Page_id=奇数）的区域的开始位置为“object_horizontal_position2”。对象的开始位置为“object_horizontal_position2”，以及“Object_id=2”。在该示例中，共同的位图数据用作左眼字幕和右眼字幕的位图数据。
图30图示“情况C”中每个片段的生成示例（示例1）。在该生成示例中，在左眼图像（左视图）侧的PCS（页组成片段）中，区域（Region_id=0A）的开始位置（region_horizontal_address1）保持指定。此外，在“Region_id=0A”的RCS（区域组成片段）中，参考“Object_id=1”的ODS，并且对象的开始位置“object_horizontal_position1”保持指定。
此外，在该生成示例中，在右眼图像（右视图）的PCS（页组成片段）中，区域（Region_id=0B）的开始位置（region_horizontal_address2）保持指定。此外，在“Region_id=0B”的RCS（区域组成片段）中，参考“Object_id=1”的ODS，并且对象的开始位置“object_horizontal_position2”保持指定。
图31图示“情况C”中的每个片段的生成示例（示例2）。在该生成示例中，不同的位图数据可以用作左眼字幕和右眼字幕的位图数据。在该生成示例中，在左眼图像（左视图）侧的PCS（页组成片段）中，区域（Region_id=0A）的开始位置（region_horizontal_address1）保持指定。此外，在“Region_id=0A”的RCS（区域组成片段）中，参考“Object_id=1”的ODS，并且对象的开始位置“object_horizontal_position1”保持指定。
此外，在该生成示例中，在右眼图像（右视图）的PCS（页组成片段）中，区域（Region_id=0B）的开始位置（region_horizontal_address2）保持指定。此外，在“Region_id=0B”的RCS（区域组成片段）中，参考“Object_id=2”的ODS，并且对象的开始位置“object_horizontal_position2”保持指定。
图32图示“情况C”中的每个片段的生成示例（示例3）。在该生成示例中，在左眼图像（左视图）侧和右眼图像（右视图）的PCS中参考共同的RCS。在该生成示例中，在左眼图像（左视图）侧的PCS（页组成片段）中，参考区域（Region_id=0A）的RCS，并且开始位置（region_horizontal_address1）保持指定。此外，在右眼图像（右视图）侧的PCS（页组成片段）中，参考区域（Region_id=0A）的RCS，并且开始位置（region_horizontal_address2）保持指定。此外，在“Region_id=0A”的RCS（区域组成片段）中，参考“Object_id=1”的ODS，并且对象的开始位置“object_horizontal_position1”保持指定。
图33图示“情况C”中的每个片段的生成示例（示例4）。在该生成示例中，类似于图30所示的生成示例（示例1），不仅生成PCS、RCS和ODS，还生成OTS（offset_temporal_sequence_segment）。
视差信息组包括在OTS中。如上所述，视差信息组指在显示字幕的预定数量的帧时段的各帧中使得在左眼字幕和右眼字幕之间出现的视差的信息。这里，关于前一帧的视差的信息的偏移信息用作配置视差信息组的每帧的视差的信息，以便抑制数据量。ODS的结构及其效果与“情况A”中描述的相同，因此将不重复其冗余描述。
此外，在“情况C”中，还生成新定义的SFI（stero_format_indication_segment（立体格式指示片段））。SFI指定如上所述的3D扩展定义，如“page_composition_view_allocated”、“region_composition_view_allocated”、“shared_region_flag”和“target_stereo_format”。SFI的结构与“情况B”中描述的相同，因此将不重复其冗余描述。如上所述，因为“region_composition_view_allocated”只涉及“情况B”，所以这里当作“region_composition_view_allocated=0”。
[关于情况D]
图34概念上图示为“情况D”的立体图像生成字幕数据的方法。这里，将结合立体图像数据的传输格式为并排格式的示例进行描述。图34（a）图示2D图像字幕数据的区域。
首先，字幕处理单元133将2D图像字幕数据的区域的大小转换为适于并排格式的大小，如图34（b）所示，然后生成转换后大小的位图数据。
接着，字幕处理单元133设置具有转换后大小的位图数据作为用于立体图像的字幕数据的区域的分量，如图34（c）所示。此时，每个对象的开始位置（region_horizontal_address）设为偏移对应于左眼图像（左视图）和右眼图像（右视图）之间的视差的距离（A‑B=视差/2）的位置。
字幕处理单元133如上所述将2D图像字幕数据转换为用于立体图像的字幕数据，并且生成对应于用于立体图像的字幕数据的片段（如PCS、RCS和ODS）。
图35图示“情况D”中生成的用于立体图像的字幕数据的区域和对象的示例。这里，左眼图像（左视图）侧的区域的开始位置为“Region_horizontal_address”，对象的开始位置为“object_horizontal_position”，以及“Object_id=1”。这里，右眼图像（右视图）侧的复制区域（copyied_region）的开始位置从左眼图像（左视图）侧的对象的开始位置偏移（A‑B=视差/2）。为此，在稍后将描述的RCP（region_copy_segment）中，设置“Offset_distance_horizonal=(A‑B)”。
在“情况D”中，如图12所示，不仅生成PCS、RCS和ODS，还生成RCP（region_copy_segment）和OTS（offset_temporal_sequence_segment）。OTS的结构及其效果与“情况A”中描述的相同，因此将不重复其冗余描述。
RCP（region_copy_segment）如上所述指定区域的复制目的地的位置。图36图示RCP（region_copy_segment）的语法。图37图示RCP的主要数据语义。在该语法中，包括“sync_byte”、“segment_type”、“page_id”和“segment_length”的信息。“segment_type”是表示片段类型的8位数据，并且在此使用表示RCP的“0x47”（见图10）。“segment_length”是表示片段的长度（大小）的8位数据。该数据表示作为片段的长度的在“segment_length”之后的字节数量。
“region_count”是表示页中的区域数量的8位数据。“copied_region_id”是表示通过复制区域生成的复制区域（copied_region）的ID。
“offset_precision”是表示用“offset_distance_horizontal”表示的偏移值中的“1”的精度的1位信息，即，“1”的像素数量。“offset_precision=0”表示偏移值中的“1”为1个像素。“offset_precision=1”表示偏移值中的“1”为两个像素。“offset_distance_horizontal”是表示出现在左眼图像（左视图）侧的对象和右眼图像（右视图）侧的复制对象之间的视差（A‑B）。“offset_distance_horizontal”具有在‑128到127的范围内的值。
图38图示“情况D”中每个片段的生成示例（示例1）。在该生成示例中，在PCS（页组成片段）中，左眼图像（左视图）侧的区域（Region_id=0A）的开始位置（region_horizontal_address）保持指定。此外，在“Region_id=0A”的RCS（区域组成片段）中，参考“Object_id=1”的ODS，并且对象的开始位置“object_horizontal_position”保持指定。
此外，在RCP（region_copy_segment）中，参考（Region_id=0A）的区域，并且其表示该区域被复制。此外，在RCP中，定义“copied_region_id”，并且包括“offset_distance_horizontal”的信息。
图39图示“情况D”中的每个片段的生成示例（示例2）。在该生成示例中，类似于图38所示的生成示例（示例1），不仅生成PCS、RCS、ODS和RCP，还生成OTS（offset_temporal_sequence_segment）。ODS的结构及其效果与“情况A”中描述的相同，因此将不重复其冗余描述。
[关于情况E]
在“情况E”中，如图12所示，不仅生成PCS、RCS和ODS，还生成OSS（offset_sequence_segment）。
如上所述，OSS（offset_sequence_segment）指定3D扩展的设置信息和视差偏移的可控制。图40图示OSS的语法的示例。图41图示OSS的主要数据语义。在该语法中，包括“sync_byte”、“segment_type”、“page_id”和“segment_length”的信息。“segment_type”是表示片段类型的8位数据，并且在此使用表示RCP的“0x44”（见图10）。“segment_length”是表示片段的长度（大小）的8位数据。该数据表示作为片段的长度的在“segment_length”之后的字节数量。
“region_position_offset_allocated”是表示视差偏移值是否已经反映在“region_position”中的1位数据。“region_position_offset_allocated=1”表示视差偏移值已经反映在“region_position”中。在该情况下，视差偏移值已经以像素为单位反映在两个区域的“region_horizontal_address”中，作为右眼图像（右视图）的区域对于左眼图像（左视图）的区域的偏移。例如，左眼图像（左视图）的区域的“region_id”具有偶数，并且右眼图像（右视图）的区域的“region_id”具有奇数。然而，“region_position_offset_allocated=0”表示视差偏移值没有反映在“region_position”中。
“object_position_allocated”是表示视差偏移值是否已经反映在“object_horizontal_position”中的1位数据。“object_position_allocated=1”表示视差偏移值已经反映在“object_horizontal_position”中。在该情况下，视差偏移值已经以像素为单位反映在两个对象的“object_horizontal_position”中，作为右眼图像（右视图）的对象对于左眼图像（左视图）的对象的偏移。然而，“object_position_allocated=0”表示视差偏移值没有反映在“object_horizontal_position”中。
此外，“target_stereo_format”是表示作为字幕数据的目标的图像数据的3位数据。“000”表示全帧格式或向后兼容格式的立体图像数据。“001”表示并排格式的立体图像数据。“010”表示上下格式的立体图像数据。“111”表示除了立体图像数据以外的2D图像数据。
“Temporal_sequence_flag”是表示是否包括时间方向上的更新信息的1位数据。“Temporal_sequence_flag=1”表示包括时间方向上的更新信息。“Temporal_sequence_flag=0”表示不包括时间方向上的更新信息。“region_count”是表示其中传输视差信息的区域的数量的8位数据。“region_id”表示其中传输视差信息的区域的ID。“Disparity_offset”是左眼字幕和右眼字幕之间的像素单元的带符号8位视差信息。在OSS中，“region_id”对应于区域的数量进行区别，并且包括“Disparity_offset”。
此外，在OSS中，在“Temporal_sequence_flag=1”的情况下，“region_id”对应于区域的数量进行区别，并且包括每个区域的视差信息组。“frame_count”表示在显示帧时段期间提供offset_sequence的帧的数量。
“offset_sequence”表示与前一状态的视差信息的差值，并且是作为关于前一帧的视差信息的偏移信息的2位信息。“offset_sequence=01”表示偏移值为“+1”。“offset_sequence=10”表示偏移值为“‑1”。此外，“offset_sequence=11”表示偏移值从前一帧不改变。“offset_precision”是用于指定时间方向上更新信息的值的像素精度的1位信息。换句话说，“offset_precision”是表示用“offset_sequence”表示的偏移值中的“1”的精度的1位信息，即，“1”表示的像素数量。“offset_precision=0”表示偏移值中的“1”为1个像素。“offset_precision=1”表示偏移值中的“1”为两个像素。
图42概念上图示为“情况E（并排）”的立体图像生成字幕数据的方法。在该情况下，生成左眼字幕数据和右眼字幕数据作为相同区域的不同对象的数据。图42（a）图示2D图像字幕数据的区域。
首先，字幕处理单元133将2D图像字幕数据的区域的大小转换为适于并排格式的大小，如图42（b）所示，然后生成转换后大小的位图数据。
接着，字幕处理单元133设置具有转换后大小的位图数据作为用于立体图像的字幕数据的区域的分量，如图42（c）所示。此时，每个对象的开始位置（object_horizontal_address）设为从作为目标图像的左眼图像和右眼图像的每个的参考位置，偏移对应于左眼图像（左视图）和右眼图像（右视图）之间的视差的距离（A‑B=视差/2）或（A‑B=视差）的位置。
字幕处理单元133如上所述将2D图像字幕数据转换为用于立体图像的字幕数据，并且生成对应于用于立体图像的字幕数据的片段（如PCS、RCS和ODS）。
图43图示“情况E（并排）”中生成的用于立体图像的字幕数据的区域和对象的示例。这里，区域的开始位置为“Region_horizontal_address”。对于左眼图像（左视图）侧的对象，开始位置为“object_horizontal_position1”，以及“Object_id=1”。此外，对于右眼图像（右视图）侧的对象，开始位置为“object_horizontal_position2”，以及“Object_id=2”。此外，“Object_id=2”可以变为“Object_id=1”，并且相同对象数据可以在左眼图像和右眼图像之间共享，使得左眼图像和右眼图像可以只在object_horizontal_position上相互不同。
图44图示“情况E（并排）”中每个片段的生成示例。在该生成示例中，在OSS中，“region_position_offset_allocated=0”、“object_position_allocated=1”和“target_stereo_format=001”保持设置。在该生成示例中，在PCS（页组成片段）中，区域（Region_id=0A）的开始位置（region_horizontal_address）保持指定。此外，在“Region_id=0A”的RCS（区域组成片段）中，参考“Object_id=1”的ODS，并且对象的开始位置“object_horizontal_position1”保持指定。此外，在“Region_id=0A”的RCS（区域组成片段）中，参考“Object_id=2”的ODS，并且对象的开始位置“object_horizontal_position2”保持指定。此外，在该生成示例中，在OSS（offset_sequence_segment）中，“Region_id=0A”保持设置。
图45也图示“情况E（并排）”中每个片段的生成示例。在该生成示例中，在OSS中，“region_position_offset_allocated=0”、“object_position_allocated=1”和“target_stereo_format=001”保持设置。在该生成示例中，在PCS（页组成片段）中，区域（Region_id=0A）的开始位置（region_horizontal_address）保持指定。此外，在“Region_id=0A”的RCS（区域组成片段）中，参考“Object_id=1”的ODS，并且对象的开始位置“object_horizontal_position1”保持指定。此外，在“Region_id=0A”的RCS（区域组成片段）中，参考“Object_id=1”的ODS，并且对象的开始位置“object_horizontal_position2”保持指定。此外，在该生成示例中，在OSS（offset_sequence_segment）中，“Region_id=0A”保持设置。
如上所述，视差信息组（偏移值“offset_sequence”）包括在OSS中。如上所述，视差信息组是在显示字幕的预定数量的帧时段的各帧中使得在左眼字幕和右眼字幕之间出现的视差的信息。在接收侧，可能基于预定数量的帧时段的每帧中的偏移值“offset_sequence”，使得左眼字幕和右眼字幕之间出现预定视差。例如，在接收侧，可能顺序地更新左眼字幕和右眼字幕之间的视差。
在该情况下，接收侧保持向后兼容性，并且能够以帧为单位简单地更新对象开始位置“object_horizontal_position”。换句话说，以“Object_id”为单位更新“object_horizontal_position”，使得在每帧中由“offset_sequence(T)”指定的差值量增加到帧T0（初始帧）的初始位置。结果，在显示字幕的预定数量的帧时段中顺序地更新左眼字幕和右眼字幕之间的视差。
图46图示以帧为单位更新对象开始位置“object_horizontal_position”的示例。假设在帧T0（初始帧）中，“Object_id=1”的对象开始位置为“object_horizontal_position1（T0）”，并且“Object_id=2”的对象开始位置为“object_horizontal_position2（T0）”。
如下更新作为下一帧的帧T1的对象开始位置。这里，帧T1的偏移值假设为“offset_sequence(T1)”。换句话说，“Object_id=1”的对象开始位置“object_horizontal_position1（T1）”为“object_horizontal_position1（T0）+offset_sequence(T1)”。此外，“Object_id=2”的对象开始位置“object_horizontal_position2（T1）”为“object_horizontal_position2（T0）‑offset_sequence(T1)”。
此外，如下更新作为下一帧的帧T2的对象开始位置。这里，帧T2的偏移值假设为“offset_sequence(T2)”。换句话说，“Object_id=1”的对象开始位置“object_horizontal_position1（T2）”为“object_horizontal_position1（T1）+offset_sequence(T2)”。此外，“Object_id=2”的对象开始位置“object_horizontal_position2（T2）”为“object_horizontal_position2（T1）‑offset_sequence(T2)”。
此外，例如，在接收侧，可能使得左眼字幕和右眼字幕之间出现视差，该视差基于预定数量的帧时段的代表性值，如其最大值或其平均值。在该情况下，在接收侧，基于每帧的偏移值“offset_sequence(T)”，预先计算直到对应帧的偏移值的累积值。然后，在接收侧，在各帧的累积值中，将最大值“Max（offset_sequence(n)）”或平均值“Ave（offset_sequence(n)）”增加到帧T0（初始帧）的初始位置。结果，在显示字幕的预定数量的帧时段中，使得左眼字幕和右眼字幕之间出现基于预定数量的帧时段的最大值或平均值的视差。
图47图示对象开始位置“object_horizontal_position”初始设为最大值“Max（offset_sequence(n)）”、然后保持该位置的示例。假设“Object_id=1”的对象开始位置为“object_horizontal_position1（T0）”，并且“Object_id=2”的对象开始位置为“object_horizontal_position2（T0）”。
在帧T0（初始帧）中，对象开始位置设置如下。换句话说，“Object_id=1”的对象开始位置“object_horizontal_position1（T1）”设为“object_horizontal_position1（T0）+Max（offset_sequence(n)）”。此外，“Object_id=2”的对象开始位置“object_horizontal_position2（T1）”为“object_horizontal_position2（T0）‑Max（offset_sequence(n)）”。此外，在随后帧中，保持“Object_id=1”和“Object_id=2”的对象开始位置。
图48概念上图示为“情况E（上下）”的立体图像生成字幕数据的方法。在该情况下，生成左眼字幕数据和右眼字幕数据作为相同区域的不同对象的数据。图48（a）图示2D图像字幕数据的区域。
首先，字幕处理单元133将2D图像字幕数据的区域的大小转换为适于上下格式的大小，如图48（b）所示，然后生成转换后大小的位图数据。
接着，字幕处理单元133设置具有转换后大小的位图数据作为用于立体图像的字幕数据的区域的分量，如图48（c）所示。此时，每个对象的开始位置（object_horizontal_address）设为偏移对应于左眼图像（左视图）和右眼图像（右视图）之间的视差的距离（A‑B=视差）的位置。
字幕处理单元133如上所述将2D图像字幕数据转换为用于立体图像的字幕数据，并且生成对应于用于立体图像的字幕数据的片段（如PCS、RCS和ODS）。
图49图示“情况E（上下）”中生成的用于立体图像的字幕数据的区域和对象的示例。这里，左眼图像（左视图）侧的区域的开始位置为“Region_horizontal_address1”，并且右眼图像（右视图）侧的区域的开始位置为“Region_horizontal_address2”。在该示例中，共同的位图数据用作左眼字幕和右眼字幕的位图数据。
图50图示“情况E（上下）”中每个片段的生成示例。在该生成示例中，在OSS  中，“region_position_offset_allocated=1”、“object_position_allocated=0”和“target_stereo_format=010”保持设置。
在该生成示例中，在PCS（页组成片段）中，左眼图像（左视图）侧的区域（Region_id=0A）和右眼图像（右视图）侧的区域（Region_id=0A）的开始位置（region_horizontal_address）保持指定。此外，在“Region_id=0A”的RCS（区域组成片段）中，参考“Object_id=1”的ODS，并且对象的开始位置“object_horizontal_position1”保持指定。此外，在该生成示例中，在OSS（offset_sequence_segment）中，“Region_id=0A”保持设置。
如上所述，视差信息组（偏移值“offset_sequence”）包括在OSS中。在接收侧，可能基于预定数量的帧时段的每帧中的偏移值“offset_sequence”，使得左眼字幕和右眼字幕之间出现预定视差。例如，在接收侧，可能顺序地更新左眼字幕和右眼字幕之间的视差。
在该情况下，接收侧保持向后兼容性，并且能够以帧为单位简单地更新区域开始位置“Region_horizontal_address”。换句话说，以“Region_id”为单位更新“region_horizontal_address”，使得在每帧中由“offset_sequence(T)”指定的差值量增加到帧T0（初始帧）的初始位置。结果，在显示字幕的预定数量的帧时段中顺序地更新左眼字幕和右眼字幕之间的视差。
图51图示以帧为单位更新区域开始位置“Region_horizontal_address”的示例。在帧T0（初始帧）中，左眼图像（左视图）侧的区域开始位置为“region_horizontal_address1（T0）”，并且右眼图像（右视图）侧的区域开始位置为“region_horizontal_address2（T0）”。
如下更新作为下一帧的帧T1的区域开始位置。这里，帧T1的偏移值假设为“offset_sequence(T1)”。换句话说，左眼图像（左视图）侧的区域开始位置“region_horizontal_address1（T1）”为“region_horizontal_address1（T0）+offset_sequence(T1)”。此外，右眼图像（右视图）侧的区域开始位置“region_horizontal_address2（T 1）”为“region_horizontal_address2（T0）‑offset_sequence(T1)”。
此外，如下更新作为下一帧的帧T2的区域开始位置。这里，帧T2的偏移值假设为“offset_sequence(T2)”。换句话说，左眼图像（左视图）侧的区域开始位置“region_horizontal_address1（T2）”为“region_horizontal_address1（T1）+offset_sequence(T2)”。此外，右眼图像（右视图）侧的区域开始位置“region_horizontal_address2（T2）”为“region_horizontal_address2（T 1）‑offset_sequence(T2)”。在以下，以相同方式获得并更新每帧的区域开始位置。
图52图示用于“情况E（全帧、帧顺序、或向后兼容）”中生成的立体图像的字幕数据的区域的示例。这里，区域的开始位置为“Region_horizontal_address”。在该格式中，使得在左眼字幕和右眼字幕之间出现的视差不反映在左眼图像（左视图）和右眼图像（右视图）的区域的开始位置中，并且视差通过OSS作为“Disparity_offset”分开地传输。
图53图示用于“情况E（全帧、帧顺序、或向后兼容）”中每个片段的生成示例。在该情况下，在OSS中，“region_position_offset_allocated=0”、“object_position_allocated=0”和“target_stereo_format=000”保持设置。在该生成示例中，在PCS（页组成片段）中，区域（Region_id=0A）的开始位置（region_horizontal_address）保持设置。
此外，在“Region_id=0A”的（区域组成片段）中，参考“Object_id=1”的ODS，并且对象的开始位置“object_horizontal_position1”保持指定。此外，在该生成示例中，在OSS（offset_sequence_segment）中，“Region_id=0A”保持设置。
如上所述，视差信息组（偏移值“offset_sequence”）包括在OSS中。如上所述，视差信息组是在显示字幕的预定数量的帧时段的各帧中使得在左眼字幕和右眼字幕之间出现的视差的信息。在接收侧，可能基于预定数量的帧时段的每帧中的偏移值“offset_sequence”，使得左眼字幕和右眼字幕之间出现预定视差。例如，在接收侧，可能顺序地更新左眼字幕和右眼字幕之间的视差。
在该情况下，接收侧保持向后兼容性，并且能够以帧为单位简单地更新区域开始位置“region_horizontal_address”。换句话说，以“region_id”为单位更新“region_horizontal_address”，使得在每帧中由“offset_sequence(T)”指定的差值量增加到帧T0（初始帧）的初始位置。结果，在显示字幕的预定数量的帧时段中顺序地更新左眼字幕和右眼字幕之间的视差。
图55图示以帧为单位更新区域开始位置“region_horizontal_address”的示例。假设在帧T0（初始帧）中，左眼图像（左视图）侧的区域开始位置为“region_horizontal_address（T0）+disparity_offset”。在右眼图像（右视图）侧，“c0”设为开始位置，并且左眼图像（左视图）的区域的位图数据复制到“c0”，在该情况下，当作“c0=region_horizontal_address‑disparity_offset”。
如下更新作为下一帧的帧T1的左眼图像（左视图）侧的区域开始位置region_horizontal_address（T1）和右眼图像（右视图）侧的复制位图数据的开始位置“c1”。假设帧T1的偏移值为“offset_sequence(T1)”。换句话说，左眼图像（左视图）侧的区域开始位置“region_horizontal_address1（T1）”为“region_horizontal_address1（T0）+offset_sequence(T1)”。此外，右眼图像（右视图）侧的复制位图数据的开始位置“c1”为“c0‑offset_sequence(T1)”。
如下更新作为下一帧的帧T2的左眼图像（左视图）侧的区域开始位置region_horizontal_address（T2）和右眼图像（右视图）侧的复制位图数据的开始位置“c2”。假设帧T2的偏移值为“offset_sequence(T2)”。换句话说，左眼图像（左视图）侧的区域开始位置“region_horizontal_address1（T2）”为“region_horizontal_address1（T1）+offset_sequence(T2)”。此外，右眼图像（右视图）侧的复制位图数据的开始位置“c2”为“c1‑offset_sequence(T2)”。在下面，以相同方式，以区域为单位获得并更新每帧的区域开始位置。
图55示意性图示“情况E（并排）”中OSS设置以及经由机顶盒200从广播站100到电视接收机300的立体图像数据和字幕数据的流。在该情况下，广播站100生成用于根据并排格式的立体图像的字幕数据。然后，立体图像数据包括在视频数据流中，然后传输，并且字幕数据包括在字幕数据流中，然后传输。
机顶盒200基于字幕数据生成用于显示左眼字幕和右眼字幕的显示数据，并且使得显示数据叠加立体图像数据。然后，叠加字幕的显示数据的立体图像数据通过HDMI的数字接口传输到电视接收机300。在该情况下，从机顶盒200到电视接收机300的立体图像数据的传输格式为并排格式。
电视接收机300对从机顶盒200传输的立体图像数据执行解码处理。然后，生成叠加字幕的左眼图像和右眼图像的数据，并且用于使得用户识别立体图像的双眼视差图像（左眼图像和右眼图像）显示在显示面板（如液晶显示器（LCD））上。此外，如图55所示，可以使用从广播站100到电视接收机300的直接路径。在该情况下，例如，电视接收机300具有与机顶盒200相同的处理功能单元。
图56示意性图示“情况E（上下）”中OSS设置以及经由机顶盒200从广播站100到电视接收机300的立体图像数据和字幕数据的流。在该情况下，广播站100生成用于根据上下格式的立体图像的字幕数据。然后，广播站100包括在视频数据流中的立体图像数据，然后传输得到的数据，并且包括在字幕数据流中的字幕数据，然后传输得到的数据。
机顶盒200基于字幕数据生成用于显示左眼字幕和右眼字幕的显示数据，并且使得显示数据叠加立体图像数据。然后，叠加字幕的显示数据的立体图像数据通过HDMI的数字接口传输到电视接收机300。在该情况下，从机顶盒200到电视接收机300的立体图像数据的传输格式为上下格式。
电视接收机300对从机顶盒200传输的立体图像数据执行解码处理。然后，生成叠加字幕的左眼图像和右眼图像的数据，并且用于使得用户识别立体图像的双眼视差图像（左眼图像和右眼图像）显示在显示面板（如LCD）上。此外，类似于上述情况E（并排），如图56所示，可以使用从广播站100到电视接收机300的直接路径。在该情况下，例如，电视接收机300具有与机顶盒200相同的处理功能单元。
图57示意性图示“情况E（全帧、帧顺序或向后兼容）”中OSS设置以及经由机顶盒200从广播站100到电视接收机300的立体图像数据和字幕数据的流。在该情况下，广播站100生成用于根据全帧格式或向后兼容格式的立体图像的字幕数据。然后，广播站100包括在视频数据流中的立体图像数据，然后传输得到的数据，并且包括在字幕数据流中的字幕数据，然后传输得到的数据。
机顶盒200基于字幕数据生成用于显示左眼字幕和右眼字幕的显示数据，并且使得显示数据叠加立体图像数据。然后，叠加字幕的显示数据的立体图像数据通过HDMI的数字接口传输到电视接收机300。在该情况下，从机顶盒200到电视接收机300的立体图像数据的传输格式为帧封装格式或并排全视频格式。
电视接收机300对从机顶盒200传输的立体图像数据执行解码处理。然后，生成叠加字幕的左眼图像和右眼图像的数据，并且用于使得用户识别立体图像的双眼视差图像（左眼图像和右眼图像）显示在显示面板（如LCD）上。此外，即使在该情况下，类似于上述情况E（并排），如图57所示，可以使用从广播站100到电视接收机300的直接路径。在该情况下，例如，电视接收机300具有与机顶盒200相同的处理功能单元。
在图2所示的传输数据生成单元110中，从复用器122输出的位流数据BSD是包括视频数据流和字幕数据流的复用数据流。视频数据流包括立体图像数据。字幕数据流包括用于对应于立体图像数据的传输格式的用于立体图像（用于3D图像）的字幕数据。
用于立体图像的字幕数据包括左眼字幕数据和右眼字幕数据。因此，接收侧可以基于用于立体图像的字幕数据，容易地生成用于叠加立体图像数据中包括的左眼图像数据的左眼字幕的显示数据和用于叠加立体图像数据中包括的右眼图像数据的右眼字幕的显示数据，因此，能够便利处理。
[机顶盒的描述]
回来参考图1，机顶盒200通过广播波接收从广播站100传输的位流数据（传送流）BSD。位流数据BSD包括具有左眼图像数据和右眼图像数据的立体图像数据以及音频数据。位流数据BSD还包括用于显示字幕的用于立体图像的字幕数据。
机顶盒200包括位流处理单元201。位流处理单元201从位流数据BSD提取立体图像数据、音频数据和字幕数据。然后，位流处理单元201使用立体图像数据、字幕数据等生成叠加字幕的立体图像数据。
在该情况下，考虑使得在用于叠加左眼图像的左眼字幕和用于叠加右眼图像的右眼字幕之间出现视差。例如，如上所述，生成用于从广播站100接收的立体图像的字幕数据，使得可以使得在左眼字幕和右眼字幕之间出现视差。如上所述，通过使得在左眼字幕和右眼字幕之间出现视差，用户可以识别缺少图像的字幕。
图58（a）图示图像上的标题单元（字幕）的显示示例。在该显示示例中，字幕叠加包括背景以及图像上的前景对象的图像。图58（b）图示背景、前景对象和字幕的透视感，并且字幕在非常前面识别。
图59（a）图示与图58（a）相同的图像上的标题单元（字幕）的显示示例。图59（b）图示用于叠加左眼图像的左眼字幕LGI和用于叠加右眼图像的右眼字幕RGI。图59（c）图示使得左眼字幕LGI和右眼字幕RGI之间出现视差，使得字幕能够在非常前面识别。
[机顶盒的配置示例]
将描述机顶盒200的配置示例。图60图示机顶盒200的配置示例。机顶盒200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI传输单元206、以及音频信号处理电路207。机顶盒200还包括CPU 211、闪速ROM 212、DRAM 213、内部总线214、遥控接收单元215和遥控发送器216。
天线端子203是对其输入由接收天线（未示出）接收的电视广播信号的端子。数字调谐器204处理输入到天线端子203的电视广播信号，然后输出对应于用户选择的频道的预定位流数据（传送流）BSD。
位流处理单元201从上述位流数据BSD提取立体图像数据、音频数据和用于立体图像的字幕数据（包括视差信息组）。位流处理单元201将左眼字幕和右眼字幕的显示数据与立体图像数据合成，并且获取叠加字幕的显示立体图像数据。位流处理单元201输出音频数据。稍后将描述位流处理单元201的详细配置。
视频信号处理电路205根据需要对由位流处理单元201获取的显示立体图像数据执行图像质量调节处理，然后将处理后的显示立体图像数据提供给HDMI传输单元206。音频信号处理电路207根据需要对从位流处理单元201输出的音频数据执行声音质量调节处理，然后将处理后的音频数据提供给HDMI传输单元206。
HDMI传输单元206例如通过符合HDMI的通信，通过HDMI端子传输没有压缩的图像数据和音频数据。在该情况下，因为图像数据和音频数据通过HDMI的TMDS信道传输，所以图像数据和音频数据被封装，然后从HDMI传输单元206输出到HDMI端子202。
例如，当来自广播站100的立体图像数据的传输格式为并排格式时，并排格式用作TMDS传输格式（见图55）。此外，例如，当来自广播站100的立体图像数据的传输格式为上下格式时，上下格式用作TMDS传输格式（见图56）。此外，例如，当来自广播站100的立体图像数据的传输格式为全帧格式、帧顺序格式或向后兼容格式时，帧封装格式或并排（全视频）格式用作TMDS传输格式（见图57）。
CPU 211控制机顶盒200的每个组件的操作。闪速ROM 212存储控制软件和数据。DRAM 213提供CPU 211的工作区域。CPU 211将从闪速ROM 212读取的软件或数据展开到DRAM 213，激活软件，并且控制机顶盒200的每个组件。
遥控接收单元215接收从遥控发送器216发送的遥控信号（遥控代码），并且将遥控信号提供给CPU 211。CPU 211基于遥控代码控制机顶盒200的每个组件。CPU 211、闪速ROM 212和DRAM 213连接到内部总线214。
将简要描述机顶盒200的操作。输入天线端子203的电视广播信号提供给数字调谐器204。数字调谐器204处理电视广播信号，并且输出对应于用户选择的频道的预定位流数据（传送流）BSD。
从数字调谐器204输出的位流数据BSD提供给位流处理单元201。位流处理单元201从位流数据BSD提取立体图像数据、音频数据、用于立体图像的字幕数据（包括视差信息组）等。位流处理单元201将左眼字幕和右眼字幕的显示数据（位图数据）与立体图像数据合成，并且获取叠加字幕的显示立体图像数据。
位流处理单元201获取的显示立体图像数据提供给视频信号处理电路205。视频信号处理电路205根据需要对显示立体图像数据执行图像质量调节处理。从视频信号处理电路205输出的处理后的显示立体图像数据提供给HDMI传输单元206。
位流处理单元201获取的音频数据提供给音频信号处理电路207。音频信号处理电路207根据需要对音频数据执行声音质量调节处理。从音频信号处理电路207输出的处理后的音频数据提供给HDMI传输单元206。然后，提供给HDMI传输单元206的立体图像数据和音频数据通过HDMI的TMDS信道，从HDMI端子202传输给HDMI电缆400。
[位流处理单元的配置示例]
图61图示位流处理单元201的配置示例。位流处理单元201具有对应于图2所示的传输数据生成单元110的配置。位流处理单元201包括解复用器221、视频解码器222、字幕解码器223、立体图像字幕生成单元224、视频叠加单元226和音频解码器227。
解复用器221从位流数据BSD提取视频分组、音频分组和字幕分组，并且将各分组分别传输到对应的解码器。解复用器221提取位流数据BSD中包括的诸如PMT和EIT的信息，然后将提取的信息传输给CPU 211。如上所述，可能识别Stream_content（‘0x03’=DVB字幕）&Component_type（用于3D目标）在EIT中包括的组成描述符中描述，并且用于立体图像的字幕数据包括在字幕数据流中。因此，CPU 211能够通过描述识别用于立体图像的字幕数据包括在字幕数据流中。
视频解码器222执行与传输数据生成单元110的视频编码器113相反的处理。换句话说，视频解码器222从解复用器221提取的视频分组重建视频数据流，执行解码处理，并且获取包括左眼图像数据和右眼图像数据的立体图像数据。立体图像数据的传输格式的示例包括第一传输格式（“上下”格式）、第二传输格式（“并排”格式）和第三传输格式（“全帧”格式、“帧顺序”格式或“向后兼容格式”）（见图4）。
字幕解码器223执行与传输数据生成单元110的字幕编码器133相反的处理。换句话说，字幕解码器223从解复用器221提取的字幕分组重建字幕数据流，执行解码处理，并且获得用于立体图像的字幕数据（包括视差信息组）。
立体图像字幕生成单元224基于用于立体图像的字幕数据，生成叠加立体图像数据的左眼字幕和右眼字幕的显示数据（位图数据）。如上所述，生成用于从广播站100传输的立体图像的字幕数据，以使得左眼字幕和右眼字幕之间出现视差。为此原因，由立体图像字幕生成单元224生成的左眼字幕和右眼字幕的显示数据使得左眼字幕和右眼字幕之间出现视差（见图13（c））。
此外，立体图像字幕生成单元224基于视差信息组（偏移值“offset_sequence”），使得左眼字幕和右眼字幕之间出现预定视差。如上所述，视差信息组是在显示字幕的预定数量的帧时段的各帧中使得在左眼字幕和右眼字幕之间出现的视差的信息。通过立体图像字幕生成单元224如何基于视差信息组使得视差出现取决于工厂默认设置、购买后用户设置等。
例如，立体图像字幕生成单元224基于视差信息组，以帧为单位顺序地更新左眼字幕和右眼字幕之间的视差（见图19）。此外，例如，立体图像字幕生成单元224基于视差信息组，使得左眼字幕和右眼字幕之间出现视差，该视差基于预定数量的帧时段的代表性值（如最大值或平均值）（见图20）。
视频叠加单元226使得立体图像字幕生成单元224生成的左眼字幕和右眼字幕的显示数据（位图数据）叠加由视频解码器222获得的立体图像，因此获得显示立体图像数据Vout。然后，视频叠加单元226将显示立体图像数据Vout输出到位流处理单元201的外部。
音频解码器227执行与传输数据生成单元110的音频编码器117相反的处理。换句话说，音频解码器227从解复用器221提取的音频分组重建音频基本流，执行解码处理，并且获得音频数据Aout。然后，音频解码器227将音频数据Aout输出到位流处理单元201的外部。
将简要描述图61所示的位流处理单元201的操作。从数字调谐器204（见图60）输出的位流数据BSD提供给解复用器221。解复用器221从位流数据BSD提取视频分组、音频分组和字幕分组，并且将各分组分别提供给对应的解码器。
视频解码器222从解复用器221提取的视频分组重建视频数据流，执行解码处理，并且获取包括左眼图像数据和右眼图像数据的立体图像数据。立体图像数据提供给视频叠加单元226。
字幕解码器223从解复用器221提取的字幕分组重建字幕数据流，执行解码处理，并且获得用于立体图像的字幕数据（包括视差信息组）。字幕数据提供给视频叠加单元226。
立体图像字幕生成单元224基于用于立体图像的字幕数据，生成叠加立体图像数据的左眼字幕和右眼字幕的显示数据（位图数据）。在该情况下，因为生成用于立体图像的字幕数据以使得左眼字幕和右眼字幕之间出现视差，所以显示数据使得左眼字幕和右眼字幕之间出现视差。显示数据提供给视频叠加单元226。
视频叠加单元226使得立体图像字幕生成单元224生成的左眼字幕和右眼字幕的显示数据（位图数据）叠加由视频解码器222获得的立体图像，并且获得显示立体图像数据Vout。显示立体图像数据Vout输出到位流处理单元201的外部。
音频解码器227从解复用器221提取的音频分组重建音频基本流，执行解码处理，并且获得音频数据Aout。音频数据Aout输出到位流处理单元201的外部。
在图60所示的机顶盒200中，从数字调谐器204输出的位流数据BSD是包括视频数据流和字幕数据流的复用数据流。视频数据流包括立体图像数据。字幕数据流包括对应于立体图像数据的传输格式的用于立体图像（用于3D图像）的字幕数据。
用于立体图像的字幕数据包括左眼字幕数据和右眼字幕数据。因此，位流处理单元59的立体图像字幕生成单元224能够基于用于立体图像的字幕数据，容易地生成用于叠加立体图像数据中包括的左眼图像数据的左眼字幕的显示数据、以及用于叠加立体图像数据中包括的右眼图像数据的右眼字幕的显示数据，因此能够便利处理。
此外，在图60所示的机顶盒200中，位流处理单元201的字幕解码器223获得的字幕数据包括视差信息组（偏移值“offset_sequence”）。因此，立体图像字幕生成单元224能够基于视差信息组，使得左眼字幕和右眼字幕之间出现视差。例如，能够使得左眼字幕和右眼字幕之间出现以帧为单位顺序地更新的视差。此外，例如，能够使得左眼字幕和右眼字幕之间出现视差，该视差基于预定数量的帧时段的代表性值（如最大值或平均值）。
[电视接收机的描述]
回来参考图1，电视接收机300通过HDMI电缆400接收从机顶盒200传输的立体图像数据。电视接收机300包括3D信号处理单元301。3D信号处理单元301对立体图像数据执行对应于传输格式的处理（解码处理），因此生成左眼图像数据和右眼图像数据。
[电视接收机的配置示例]
将描述电视接收机300的配置示例。图62图示电视接收机300的配置示例。电视接收机300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305、和位流处理单元306。
电视接收机300进一步包括视频/图形处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大电路311和扬声器312。电视接收机300进一步包括CPU 321、闪速ROM 322、DRAM 323、内部总线324、遥控接收单元325和遥控发送器326。
天线端子304是对其输入由接收天线（未示出）接收的电视广播信号的端子。数字调谐器305处理输入到天线端子304的电视广播信号，然后输出对应于用户选择的频道的预定位流数据（传送流）BSD。
位流处理单元306具有与图60所示的机顶盒200的位流处理单元201相同的配置。位流处理单元306从位流数据BSD提取立体图像数据、音频数据、标题单元的字幕数据、视差矢量等。位流处理单元306将左眼字幕数据和右眼字幕数据与立体图像数据合成，并且生成并输出显示立体图像数据。位流处理单元306输出音频数据。
HDMI接收单元303通过符合HDMI的通信，接收通过HDMI电缆400提供给HDMI端子302的未压缩的图像数据和音频数据。HDMI接收单元303例如支持HDMI1.4a版本，并且能够处理立体图像数据。
3D信号处理单元301对由HDMI接收单元303接收的或由位流处理单元306获得的立体图像数据执行解码处理，并且生成左眼图像数据和右眼图像数据。在该情况下，3D信号处理单元301对由位流处理单元306获得的立体图像数据执行对应于其传输格式（见图4）的解码处理。此外，3D信号处理单元301对由HDMI接收单元303接收的立体图像数据执行对应于TMDS传输数据格式的解码处理。
视频/图形处理电路307基于由3D信号处理单元301生成的左眼图像数据和右眼图像数据，生成用于显示立体图像的图像数据。此外，视频/图形处理电路307根据需要对图像数据执行图像质量调整处理。此外，视频/图形处理电路307根据需要将图像数据与诸如菜单或节目表的叠加信息的数据合成。面板驱动电路308基于从视频/图形处理电路307输出的图像数据驱动显示面板309。例如，显示面板309用LCD（液晶显示器）、PDP（等离子显示面板）等配置。
音频信号处理电路310对由HDMI接收单元303接收的或由位流处理单元306获得的音频数据执行必要的处理（如数字到模拟（D/A）转换）。音频放大电路311放大从音频信号处理电路310输出的音频信号，并且将放大后的音频信号提供给扬声器312。
CPU 321控制电视接收机300的每个组件的操作。闪速ROM 322存储控制软件和数据。DRAM 323提供CPU 321的工作区域。CPU 321将从闪速ROM322读取的软件或数据展开到DRAM 323，激活软件，并且控制电视接收机300的每个组件。
遥控接收单元325接收从遥控发送器326发送的遥控信号（遥控代码），并且将遥控信号提供给CPU 321。CPU 321基于遥控代码控制电视接收机300的每个组件。CPU 321、闪速ROM 322和DRAM 323连接到内部总线324。
将简要描述图62所示的电视接收机300的操作。HDMI接收单元303接收通过HDMI电缆400从连接到HDMI端子302的机顶盒200传输的立体图像数据和音频数据。HDMI接收单元303接收的立体图像数据提供给3D信号处理单元301。HDMI接收单元303接收的音频数据提供给音频信号处理电缆310。
输入到天线端子304的电视广播信号提供给数字调谐器305。数字调谐器305处理电视广播信号，并且输出对应于用户选择的频道的预定位流数据（传送流）BSD。
从数字调谐器305输出的位流数据BSD提供给位流处理单元306。位流处理单元306从位流数据BSD提取立体图像数据、音频数据、标题单元的字幕数据、视差矢量等。位流处理单元306将左眼字幕数据和右眼字幕数据与立体图像数据合成，并且生成显示显示立体图像数据。
位流处理单元306生成的显示立体图像数据提供给3D信号处理单元301。位流处理单元306获得的音频数据提供给音频信号处理电路310。
3D信号处理单元301对由HDMI接收单元303接收的或由位流处理单元306获得的立体图像数据执行解码处理，并且生成左眼图像数据和右眼图像数据。左眼图像数据和右眼图像数据提供给视频/图形处理电路307。视频/图形处理电路307基于左眼图像数据和右眼图像数据生成用于显示立体图像的图像数据，并且根据需要对图像数据执行图像质量调整处理和叠加信息数据的合成处理。
由视频/图形处理电路307获得的图像数据提供给面板驱动电路308。因此，通过显示面板309显示立体图像。例如，基于左眼图像数据的左眼图像和基于右眼图像数据的右眼图像以时分方式交替显示在显示面板309上。例如，观众能够通过佩戴快门眼镜感知立体图像，在该快门眼镜中，左眼快门和右眼快门与显示面板309的显示同步地交替打开，然后用左眼只观看左眼图像并且用右眼只观看右眼图像。
音频信号处理电路310对由HDMI接收单元303接收的或由位流处理单元306获得的音频数据执行必要的处理（如D/A转换）。音频信号通过音频放大电路311放大，然后提供给扬声器312。因此，从扬声器312输出对应于显示面板309的显示图像的声音。
如上所述，在图1所示的图像收发系统10中，包括视频数据流和字幕数据流的复用数据流从广播站100（传输数据生成单元201）传输到机顶盒200。视频数据流包括立体图像数据。字幕数据流包括对应于立体图像数据的传输格式的用于立体图像（用于3D图像）的字幕数据。
用于立体图像的字幕数据包括左眼字幕数据和右眼字幕数据。因此，机顶盒200能够基于用于立体图像的字幕数据，容易地生成用于叠加立体图像数据中包括的左眼图像数据的左眼字幕的显示数据、以及用于叠加立体图像数据中包括的右眼图像数据的右眼字幕的显示数据，因此能够便利处理。
此外，在图1所示的图像收发系统10中，生成从广播站100（传输数据生成单元201）传输到机顶盒200的用于立体图像的字幕数据，以使得左眼字幕和右眼字幕之间出现视差。为此，在机顶盒200中，立体图像字幕生成单元224生成的左眼字幕和右眼字幕的显示数据自动使得左眼字幕和右眼字幕之间出现视差。因此，在机顶盒200中，即使不执行使得左眼字幕和右眼字幕之间出现视差的特殊处理，当显示字幕时图像中每个对象的透视感的一致性也能够保持优化状态。
此外，在图1所示的图像收发系统10中，从广播站100（传输数据生成单元201）传输到机顶盒200的用于立体图像的字幕数据包括视差信息组（偏移值“offset_sequence”）。因此，在机顶盒200中，可以基于视差信息组使得左眼字幕和右眼字幕之间出现预定视差。例如，可以使得左眼字幕和右眼字幕之间出现以帧为单位顺序更新的视差。此外，例如，可以使得左眼字幕和右眼字幕之间出现视差，该视差基于预定数量的帧时段的代表性值（如其最大值或其平均值）。
<2.修改示例>
在上述实施例中，图像收发系统10配置为包括广播站100、机顶盒200和电视接收机300。同时，电视接收机300包括执行与机顶盒200中的位流处理单元201相同功能的位流处理单元306，如图62所示。因此，可以利用广播站100和电视接收机300配置图像收发系统10A，如图63所示。
此外，上述实施例已经结合包括立体图像数据的数据流（位流数据）从广播站100广播的示例进行描述。然而，本发明还可以类似地应用于具有这样的配置的系统，其中数据流经由网络（如因特网）传递给接收终端。
此外，上述实施例已经结合机顶盒200通过HDMI的数字接口与电视接收机300连接的示例进行描述。然而，即使当机顶盒200经由执行与HDMI的数字接口相同功能的数字接口（包括无线接口以及有线接口）与电视接收机300连接时，本发明可以类似地应用。
此外，上述实施例已经结合字幕被处理为叠加信息的示例进行描述。然而，即使当处理诸如图形信息或文本信息的叠加信息时，本发明可以类似地应用。
产业可应用性
本发明可以应用于能够显示诸如字幕的叠加信息以叠加图像的立体图像系统。
参考符号列表
10,10A图像收发系统
100广播站
110传输数据生成单元
113视频编码器
117音频编码器
122复用器
130数据提取单元
130a数据记录介质
131视差信息生成单元
132字幕生成单元
133字幕处理单元
134字幕编码器
200机顶盒(STB)
201位流处理单元
202HDMI端子
203天线端子
204数字调谐器
205视频信号处理电路
206HDMI传输单元
207音频信号处理电路
211CPU
215遥控接收单元
216遥控发送器
221解复用器
222视频解码器
223字幕解码器
224立体图像字幕生成单元
226视频叠加单元
227音频解码器
300电视接收机(TV)
3013D信号处理单元
302HDMI端子
303HDMI接收单元
304天线端子
305数字调谐器
306位流处理单元
307视频/图形处理电路
308面板驱动电路
309显示面板
310音频信号处理电路
311音频放大电路
312扬声器
321CPU
325遥控接收单元
326遥控发送器
400HDMI电缆