收藏
下载资源 加入会员免费下载

考虑特殊再现的再现装置、集成电路、再现方法.pdf

上传人：e1 文档编号：1095559 上传时间：2018-03-31 格式：PDF 页数：91 大小：2.51MB
返回 下载 相关 举报
摘要
申请专利号：

CN200980117335.9

 申请日：

2009.11.16
公开号：

CN102027749A

 公开日：

2011.04.20
当前法律状态：

授权

 有效性：

有权
法律详情：

授权|||实质审查的生效IPC(主分类):H04N 13/04申请日:20091116|||公开
IPC分类号：

H04N13/04; H04N5/85; H04N5/91

 主分类号：

H04N13/04
申请人：

松下电器产业株式会社
发明人：

大久保雅文; 杰尔马诺·莱希森林
地址：

日本大阪府
优先权：

2008.11.18 JP 2008-294501; 2009.04.16 JP 2009-099914; 2008.11.18 US 61/115,742; 2009.06.04 US 61/184,038
专利代理机构：

永新专利商标代理有限公司 72002

 代理人：

陈萍
PDF下载： PDF下载
内容摘要

本发明提供考虑特殊再现的再现装置、集成电路、再现方法。读出部件(201)从记录媒体读出包含左眼用视频流及右眼用视频流的数字流。模式存储部(203)存储着使用户立体观看视频帧的3D模式、使用户平面观看视频帧的2D模式中的某一个作为本装置的再现模式。维数判断部(202)判断从记录媒体读出的数字流是否支持3D模式；分离器(204)在上述数字流支持3D模式、而且上述再现模式是3D模式这一条件成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流，而在上述条件不成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流中的某一方。

权利要求书

1： 一种再现装置，能够将再现模式切换到使用户立体观看视频帧的 3D 模式、及使用 户平面观看视频帧的 2D 模式中的任一个，其特征在于，包括 ： 读出部件，从记录媒体读出包含左眼用视频流及右眼用视频流的数字流 ； 模式存储部，存储着当前再现模式 ； 维数判断部，判断从记录媒体读出的数字流是否支持 3D 模式 ； 分离器，在上述数字流支持 3D 模式、而且当前再现模式是 3D 模式这一条件成立的 情况下，从上述数字流分离出右眼用视频流及左眼用视频流，而在上述条件不成立的情 况下，从上述数字流分离出右眼用视频流及左眼用视频流中的某一方 ；及 视频解码器，通过对上述分离出的视频流进行解码，来得到用于立体观看或平面观 看的视频帧。
2： 如权利要求 1 所述的再现装置，其特征在于， 上述再现装置包括再现控制部件，该再现控制部件控制上述视频解码器，使得在当 前再现模式是 3D 模式的情况下请求了特殊再现时，将再现模式维持在 3D 模式，将从上 述视频解码器输出的同一视频帧分别写入到右眼用视频平面、左眼用视频平面上 ； 作为重复输出对象的视频帧是对从数字流分离出的右眼用视频流及左眼用视频流中 的某一方进行解码而得到的视频帧，上述再现控制部件将从上述视频解码器输出的同一 视频帧分别重复写入到右眼用视频平面、左眼用视频平面上。
3： 如权利要求 2 所述的再现装置，其特征在于， 上述特殊再现的指示是快进、后退中的某一个。
4： 如权利要求 2 所述的再现装置，其特征在于， 上述特殊再现伴有再现速度的变化 ； 在请求了伴有再现速度的变化的特殊再现时，上述再现控制部件判断是否能够以变 化后的再现速度来执行左眼用视频流的视频帧及右眼用视频流的视频帧的交替输出 ； 上述再现控制部件将从上述视频解码器输出的同一视频帧分别重复写入到上述右眼 用视频平面、上述左眼用视频平面上，是在再现控制部件判断为不能以变化后的再现速 度来执行视频帧的交替输出的情况下进行的。
5： 如权利要求 4 所述的再现装置，其特征在于， 能够交替输出上述左眼用视频流的视频帧及右眼用视频流的视频帧的再现速度，是 指特殊再现为快放的情况下的再现速度、特殊再现为逐帧前进的情况下的再现速度、特 殊再现为逐帧后退的情况下的再现速度中的某一个。
6： 如权利要求 1 所述的再现装置，其特征在于，包括 ： 平台部，执行字节码应用 ；和 传输部件，通过向与再现装置相连接的显示装置传输视频帧，而使显示装置执行视 频帧的输出 ； 在上述模式存储部中存储着的再现模式被从 2D 模式切换到 3D 模式的情况下，或者 从 3D 模式切换到 2D 模式的情况下，传输部件进行显示装置的重新认证 ； 在上述重新认证后，收到能够进行与切换后的模式相应的输出的意思的通知的情况 下，对上述平台部执行着的字节码应用通知能够进行与上述切换后的模式相应的输出的 意思。 2
7： 如权利要求 1 所述的再现装置，其特征在于， 在 3D 模式下视频流的再现停止或暂停时，上述模式存储部维持再现模式是 3D 模式 这一设定 ； 上述视频解码器交替输出对再现停止位置的左眼用视频流进行解码而得到的视频帧 及对再现停止位置的右眼用视频流进行解码而得到的视频帧。
8： 如权利要求 7 所述的再现装置，其特征在于， 上述再现装置包括 ：平台部，执行字节码应用 ；命令解释器，解释并执行用命令描 述的程序 ； 上述视频再现停止或暂停是下述某一种情况 ： 用户用遥控进行了操作的情况 ； 平台部执行的字节码应用发出了指示的情况 ； 命令解释器执行的目标程序发出了指示的情况 ； 左眼用或右眼用视频流被再现到终点的情况。
9： 如权利要求 1 所述的再现装置，其特征在于， 在再现装置中的再现控制从普通再现变化到幻灯再现时， 交替输出对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得 到的视频帧。
10： 如权利要求 9 所述的再现装置，其特征在于， 上述再现控制部件根据记录媒体上记录着的再现区间信息，来执行使视频解码器对 数字流内的视频流进行解码的控制 ； 上述再现区间信息包含表示上述数字流具有幻灯播放属性还是具有电影属性的属性 信息 ； 上述再现装置执行幻灯再现，是在当前再现区间信息从具有电影属性的再现区间信 息切换到具有幻灯播放属性的再现区间信息时。
11： 如权利要求 1 所述的再现装置，其特征在于， 上述再现区间信息包含设置是否屏蔽来自用户的特殊再现的指示或来自内容的特殊 再现的指示的屏蔽信息 ； 上述再现装置包括 ：再现控制部件，在 3D 模式下请求了特殊再现的情况下，判断上 述屏蔽信息是否表示屏蔽来自用户的特殊再现的指示 ； 上述再现控制部件能够在屏蔽信息表示屏蔽了的情况下，不执行特殊再现，而使视 频解码器交替输出视频帧 ； 而在屏蔽信息表示未屏蔽的情况下，将模式存储部中的再现模式维持在 3D 模式，将 从上述视频解码器输出的同一视频帧分别重复写入到上述右眼用视频平面、上述左眼用 视频平面上。
12： 如权利要求 1 所述的再现装置，其特征在于， 上述数字流包含图形流 ； 上述再现装置包含图像解码器、图像平面、平面移动引擎、以及合成部 ； 上述读出部件还从上述记录媒体读出用于移动上述图像平面的偏移位置信息 ； 上述分离器还分离出图形流 ； 3 上述图像解码器对上述分离出的图形流进行解码，将通过解码而得到的图形写入到 上述图像平面上 ； 上述平面移动引擎根据偏移位置信息来移动构成写入到上述图像平面上的图形的像 素的坐标 ； 上述合成部在 3D 模式下输出的视频帧合成通过对上述分离出的右眼用视频流及左 眼用视频流进行解码而得到的右眼用及左眼用视频帧、和上述图像平面上的移动后的图 形。
13： 如权利要求 2 或 12 所述的再现装置，其特征在于， 在 3D 模式下指示了特殊再现的情况下，执行以下某一个 ： 1) 不与图形进行合成，输出对左眼用视频流进行解码而得到的视频帧及对右眼用视 频流进行解码而得到的视频帧中的某一方 ； 2) 合成对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到 的视频帧中的某一方、和像素的坐标未通过平面移动而变化的图形后，输出。
14： 如权利要求 11 所述的再现装置，其特征在于， 在上述视频解码器的再现停止或暂停时，执行以下某一个 ： 1) 合成存在于再现停止位置上的、对左眼用视频流进行解码而得到的视频帧及对右 眼用视频流进行解码而得到的视频帧、和像素的坐标通过平面移动而变化了的图形后， 交替输出 ； 2) 只交替输出存在于再现停止位置上的、对左眼用视频流进行解码而得到的视频帧 及对右眼用视频流进行解码而得到的视频帧，不将图形合成到视频帧上。
15： 如权利要求 13 所述的再现装置，其特征在于， 上述再现装置包括 ：平台部，执行字节码应用 ；命令解释器，解释并执行用命令描 述的程序 ； 上述视频再现停止或暂停是在下述某一时 ： 1) 用户用遥控进行了操作时 ； 2) 平台部执行的字节码应用发出了指示时 ； 3) 命令解释器执行的目标程序发出了指示时 ； 4) 左眼用或右眼用视频流被再现到终点时。
16： 如权利要求 11 所述的再现装置，其特征在于， 在上述视频解码器的再现从普通再现变化到幻灯再现的情况下，将显示模式维持在 3D 模式，执行以下某一种处理 ： 1) 将对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到的 视频帧分别和像素的坐标通过平面移动而变化的图形合成后，交替输出 ； 2) 只交替输出对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码 而得到的视频帧，不输出图像平面上的图形。
17： 一种集成电路，可以组装到能够将显示模式切换到使用户立体观看视频帧的 3D 模式、及使用户平面观看视频帧的 2D 模式中的任一个的再现装置中，其特征在于，包 括： 维数判断部，如果从记录媒体读出包含左眼用视频流及右眼用视频流的数字流，则 4 判断从记录媒体读出的数字流是否支持 3D 模式 ； 分离器，在上述数字流支持 3D 模式、而且当前再现模式是 3D 模式这一条件成立的 情况下，从上述数字流分离出右眼用视频流及左眼用视频流，而在上述条件不成立的情 况下，从上述数字流分离出右眼用视频流及左眼用视频流中的某一方 ；及 视频解码器，通过对上述分离出的视频流进行解码，来得到用于立体观看或平面观 看的视频帧。
18： 一种再现方法，用于能够将显示模式切换到使用户立体观看视频帧的 3D 模式、 及使用户平面观看视频帧的 2D 模式中的任一个的计算机，其特征在于，具有 ： 读出步骤，从记录媒体上读出包含左眼用视频流及右眼用视频流的数字流 ； 维数判断步骤，判断从记录媒体上读出的数字流是否支持 3D 模式 ； 分离步骤，在上述数字流支持 3D 模式、而且当前显示模式是 3D 模式这一条件成立 的情况下，从上述数字流分离出右眼用视频流及左眼用视频流，而在上述条件不成立的 情况下，从上述数字流分离出右眼用视频流及左眼用视频流中的某一方 ；及 解码步骤，通过对上述分离出的视频流进行解码，来得到用于立体观看或平面观看 的视频帧。

说明书


考虑特殊再现的再现装置、 集成电路、 再现方法

    【技术领域】
     本发明涉及立体视视频与字幕和图形的叠加技术的技术领域。背景技术 上述叠加技术是指使再现装置为视频流、字幕、图形而分别具有不同的显示平 面，在高像质的视频流的各个视频帧上叠加字幕和图形，并输出到相连接的显示装置等 设备的技术，作为实现高临场感的技术正广泛普及。
     在作为连接对象的显示设备中，不仅能欣赏平面影像而且能欣赏凸出似的影像 的立体视显示装置预计在不久的将来会普及。 在立体视显示装置中，有各种各样的方 式，基本原理是通过导入使左眼和右眼观看不同的图画的机制，利用该两眼间的视差， 来模拟地形成立体影像。
     例如，常用方式之一是利用快门眼镜的方式。 在该方式中，通过用眼镜来交替 地高速遮蔽观众的左眼和右眼的视野，与该眼镜的工作同步，显示装置的显示图像也按 左眼用 / 右眼用来高速更新，结果是能够实现下述机制 ：快门眼镜使显示装置上显示的
     左眼用的图像只能由左眼看见，而右眼用的图像只能由右眼看见。
     如果想使观众观看以与普通平面影像同等的帧率而被立体化的影像，则显示装 置端需要 2 倍于普通的响应性能，例如为了显示一秒 60 帧的视频，最低必须进行 1 秒 120 帧的切换。 因此，显示的视频流必须以 1 秒 120 帧的状态被编码，为了用提高帧率以外 的方法来得到立体效果，也有像非专利文献 1 那样用并列 (side-by-side) 方式进行编码的 方法。
     此外，也有像专利文献 2 那样使用棋盘图案 (checkered pattern) 的方式。
     再者，在对被立体化的影像进行特殊再现的情况下的显示技术中，有像专利文 献 3 那样在再现被立体化的影像时暂停了的情况下也能够继续欣赏立体影像的技术。
     在重叠多个层来显示的技术中，有像专利文献 4 那样在多画面显示超过了规定 的画面数的状态下进行 GFX 绘制的情况下，进行控制，使得在 GFX 绘制期间对判断为优 先级低的输入影像的至少 1 个以上的输入影像进行跳帧的技术。
     现有技术文献
     专利文献
     专利文献 1 ：国际公开第 2005/119675 号小册子
     专利文献 2 ：美国专利申请公开第 2008/0036854 号说明书
     专利文献 3 ：日本特开 2002-95017
     专利文献 4 ：日本特开 2003-298938
     非专利文献
     非 专 利 文 献 1 ：FOUNDATIONS OF THE STEREOSCOPIC CINEMA A STUDY INDEPTH(by LENNY LIPTON)
     然而，目前立体欣赏数字流的方式主要应用在剧场等中，如上述专利文献所述，通过家庭设置用的再现装置再现立体视数字流来欣赏的使用形式预计今后也会普 及。
     而为了形成 3D 的立体影像，当然需要使数字流支持 3D。
     然而，即便数字流支持 3D，在再现装置中数字流不支持 3D 的情况下，也不能 形成 3D 的立体影像。 此外，即使数字流支持 3D，用户也有时想以 2D 来再现数字流。
     即，如果仅凭数字流支持 2D 还是支持 3D，来决定再现装置以 3D 再现还是以 2D 再现数字流，则有时会不妥当。 发明内容 本发明的目的在于提供一种再现装置，在是否支持 3D 这一点上数字流和再现装 置不同的情况下，也能够实现适当的流再现。
     能够解决上述课题的再现装置能够将显示模式切换到使用户立体观看视频帧的 3D 模式、及使用户平面观看视频帧的 2D 模式中的任一个，其特征在于，包括 ：
     读出部件，从记录媒体上读出包含左眼用视频流及右眼用视频流的数字流 ；
     模式存储部，存储着当前显示模式 ；
     维数判断部，判断从记录媒体上读出的数字流是否支持 3D 模式 ；
     分离器，在上述数字流支持 3D 模式、而且当前显示模式是 3D 模式这一条件成 立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流，而在上述条件不成立 的情况下，从上述数字流分离出右眼用视频流及左眼用视频流中的某一方 ；及
     视频解码器，通过对上述分离出的视频流进行解码，来得到用于立体观看或平 面观看的视频帧。
     发明效果如下 ：
     如上构成的再现装置进行两个判断 ：判断数字流支持 2D 还是支持 3D，判断再 现装置被设置为以 2D 来再现还是被设置为以 3D 来再现，最终通过决定以 2D 来再现数字 流还是以 3D 来再现数字流，能够适当地形成立体影像。
     在想用家用的再现装置来再现立体视视频流的情况下，当然有可能进行快进、 后退等特殊再现。 但是，为了模拟地形成立体影像，需要对左眼和右眼的视频流分别进 行解码，交替地切换并输出它们，与进行平面性的处理的平面处理相比，处理量增加。 因此，在用再现立体视视频流的再现装置进行特殊再现的情况下，立体处理有可能跟不 上特殊再现的情况下的再现速度。
     为了解决这种课题，最好如下构成上述再现装置。
     即，最好上述再现装置包括 ：再现控制部件，在当前显示模式是 3D 模式的情况 下请求了特殊再现时，将显示模式维持在 3D 模式，使视频解码器进行重复 2 次以上输出 同一视频帧的处理 ；
     作为重复输出对象的视频帧是对从数字流分离出的右眼用视频流及左眼用视频 流中的某一方进行解码而得到的视频帧，将重复输出的视频帧分别写入到右眼用视频平 面、左眼用视频平面上。 该再现装置即使在用再现立体视视频流的再现装置进行特殊再 现的情况下，也能够防止立体处理跟不上特殊再现的情况下的再现速度。
     在 3D 显示视频流的情况下，有显示到近侧或显示到远侧这两种样式。 在视频流
     被 3D 显示在近侧的情况下，如果合成 2D 的图形流，则图形流会看不到，成问题。
     因此，通过使得图形流也能够以 3D 来显示，能够消除上述问题。
     此外，如果图形流也能够 3D 显示，则也有用户能欣赏各种各样立体影像这一效 果。
     在显示模式被从 3D 变更到 2D 的情况下或显示模式被从 3D 变更到 2D 的情况 下，再现装置通知显示装置已切换显示模式。 收到通知的显示装置实际完成了能够以切 换后的模式进行显示的准备后，通知再现装置已完成能够以切换后的模式进行显示的准 备。 在从通知显示装置已切换显示模式、到显示装置通知再现装置已完成能够以切换后 的模式进行显示的准备的期间，成为能够写入到平面上、但是不显示到显示装置上的状 态 ( 消失，blackout)。因此，在此期间，写入到平面上的内容不会被显示到显示装置上。
     另一方面，应用程序是例如能够通过提供利用了电影的正片的影像的游戏等而 使用户娱乐的程序。 在游戏等中，也有例如按照正片的影像、声音来再现动画的情况。 即，绘制构成动画的图形图像的应用程序需要与正片的影像——视频流同步将图形图像 绘制到交互式图形平面上。
     由以上可知，在从应用程序通知显示装置已切换显示模式、到显示装置通知再 现装置已完成能够以切换后的模式进行显示的准备的期间，有时也会向交互式图形平面 上写入图形图像来进行图形图像的绘制处理。 在这种情况下，应用程序不能使图形流和视频流同步。
     在解决这种课题时，最好如下构成上述再现装置。 即，上述再现装置包括 ：
     平台部，执行字节码应用 ；和
     传输部件，通过向与再现装置相连接的显示装置传输视频帧，而使显示装置执 行视频帧的输出 ；
     在上述模式存储部中存储着的显示模式被从 2D 模式切换到 3D 模式的情况下， 或者从 3D 模式切换到 2D 模式的情况下，传输部件进行显示装置的重新认证 ；
     在上述重新认证后，收到能够进行与切换后的模式相应的输出的意思的通知的 情况下，应该对上述平台部执行着的字节码应用通知能够进行与上述切换后的模式相应 的输出的意思。
     为了使得在从通知显示装置已切换显示模式、到显示装置通知再现装置已完成 能够以切换后的模式进行显示的准备的期间，应用程序不向交互式图形平面上写入图形 图像来进行处理，可以建立显示装置通知应用程序已完成能够以切换后的模式进行显示 的准备的机制。 由此，能够使得应用程序能够与视频流同步地向交互式图形平面上绘制 图形图像。
     附图说明
     图 1 是具备本申请的课题解决部件的、最基本的再现装置的内部结构图。
     图 2 是具备本申请的课题解决部件的、最基本的再现方法的流程图。
     图 3 是将具备本申请的课题解决部件的再现装置用作具体的电器产品时的使用 形态图。
     图 4 是 BD-ROM 100 的内部结构图。图 5 是播放列表文件的内部结构中的 “再现属性信息”、 “再现数据信息” 的 内部结构的详图。
     图 6 示出规定 2D 播放列表的播放列表文件的具体描述。
     图 7 示出规定 3D 播放列表的播放列表文件的一例。
     图 8 是具备本申请的课题解决部件的再现装置的内部结构的结构图。
     图 9 是寄存器组 12 的内容的例子的示意图。
     图 10 是合成了进行过平面移动的图像平面的视频帧的图。
     图 11 示出通过用液晶眼镜 500 来观看向左平面移动后的图像平面、和向右平面 移动后的图像平面而出现的立体图像。
     图 12 是再现装置 200 读入上述影像数据——播放列表并放映立体影像上重叠的 立体字幕 / 立体图形时的处理过程的流程图。
     图 13 是 3D 模式下的视频帧处理的处理过程的流程图。
     图 14 是 2D 模式下的播放列表再现的处理过程的流程图。
     图 15 是 2D 模式下的 2D 流的视频帧处理的处理过程的流程图。
     图 16 是 2D 模式下的 3D 流的视频帧处理的处理过程的流程图。
     图 17 是能够支持多图像平面的播放列表再现处理的处理过程的流程图。
     图 18 是加进了输出显示模式切换完成通知事件的过程的、3D 模式下的视频帧处 理的处理过程的流程图。
     图 19 是加进了输出显示模式切换完成通知事件的过程的、2D 模式下的视频帧处 理的处理过程的流程图。
     图 20 是在普通再现之外、考虑特殊再现的 3D 模式下的视频帧处理的处理过程的 流程图。
     图 21 示出了禁止根据用户操作、来自 BD-J 应用程序、电影对象的指示进行特 殊再现的情况下的流程图的一例。
     图 22 是适用了 Depth( 深度 ) 运算方式的再现装置的内部结构的方框图。
     图 23 是采用了 Depth 运算方式的情况下的 3D 模式下的视频帧处理的处理过程的 流程图。
     图 24 示出再现装置 200 和显示装置 400 的通信序列。
     图 25 是 HDMI 接口中的、模式切换的处理过程的流程图。
     图 26 是在显示模式按 B-D 显现 (presentation) 模式、 B-B 显现模式、 B-D 显现 模式那样来转移的情况下、输出的图片和显示频率、 HDMI 如何变化的图。
     图 27 示出由于从普通再现切换到快进、从快进切换到普通再现，再现装置中的 解码内容及显示装置 400 的显示内容如何变化。
     图 28 示出通过选择 GOP 内存在的 I 图片、 B 图片、 P 图片中的哪个来再现、选 择构成视频流的多个 Closed-GOP( 闭 GOP)、 Open-GOP( 开 GOP) 中的哪个来再现、来 实现速度调整的倍速再现的实现例。
     图 29 示出分离器及视频解码器的内部结构。
     图 30 是考虑到倍速再现的特殊再现的处理过程的流程图。
     图 31 是 3D 模式下的视频帧处理的处理过程的流程图。图 32 是与用户操作、BD-J 应用程序的请求、电影对象的请求相应的图像平面处 理过程的流程图。
     图 33 是记录方法的处理过程的流程图。
     图 34 是再现装置的硬件的内部结构图。
     图 35 是平面偏移量的符号为正 ( 将左眼用的图形图像向右偏移，将右眼用的图 形图像向左偏移 ) 的情况下、像看起来比显示画面更近的原理的说明图。
     图 36 是平面偏移量的符号为负 ( 将左眼用的图形图像向左偏移，将右眼用的图 形图像向右偏移 ) 的情况下、像显得比显示画面更远的原理的说明图。
     图 37 是字幕的凸出程度如何根据平面偏移量的大小来变化的图。
     图 38 示出图像平面 8 的内部结构。
     图 39 示出向右移动、向左移动后的、前景区域的像素数据及背景区域的像素数 据。
     图 40 是图像平面 8 上的平面移动的处理过程的图。
     图 41 是图形平面上保存着的像素数据的图。
     图 42 示出移动后的图形平面的保存内容。
     标号说明 100BD-ROM ； 200 再现装置 300 遥控 ； 400 电视 500 液晶眼镜 ； 1a BD 驱动器 1b 网络设备 ； 1c 本地存储器 2a，2b 读缓冲器 ； 3 虚拟文件系统 4 分离器 ； 5 视频解码器 6 视频平面 ； 7a， b 图像解码器 7c， d 图像存储器 ； 8 图像平面 9 音频解码器 ； 10 交互式图形平面 11 背景平面 ； 12 寄存器组 13 静态脚本存储器 ； 14 再现控制引擎 15 缩放引擎 ； 16 合成部 17HDMI 发送接收部 ； 18 显示功能标志保持部 19 左右处理存储部 ； 20 平面移动引擎 21 偏移信息存储器 ； 22BD-J 平台具体实施方式
     以下，参考附图来说明具备上述课题解决部件的再现装置的实施方式。
     图 1 是具备本申请的课题解决部件的、最基本的再现装置的内部结构图。 本图 所示的再现装置除了上述课题解决部件以外，尽量排除了无用的构件，由读出部件 201、 维数判断部 202、模式存储部 203、分离器 (demultiplexer)204、视频解码器 205 构成。
     图 2 是具备本申请的课题解决部件的、最基本的再现方法的流程图。 本图所 示的再现方法由与上述课题解决部件对应的时序要素——读出步骤 S101、模式存储步骤S102、分离步骤 S103、解码及帧输出步骤 S104 构成。
     图 3 是将具备上述课题解决部件的再现装置用作具体的电器产品时的使用形态 图。 如本图所示，记录媒体的一例—— BD-ROM 100、再现装置 200 与遥控 300、显示装 置 400、液晶眼镜 500 一起构成家庭影院系统，供用户使用。
     BD-ROM 100 向上述家庭影院系统提供例如电影作品。
     再现装置 200 与显示装置 400 相连，再现 BD-ROM 100。 在这样再现的再现影 像中，存在 2D 影像、3D 影像。 2D 影像是指将显示装置的显示画面看作 X-Y 平面、用 该 X-Y 平面上的像素表现的图像，也称为平面图像。
     与此相对，3D 影像是指对显示装置的画面上的 X-Y 平面上的像素加上了 Z 轴方 向的纵深所得的图像。 3D 影像一起再现要用左眼观看的左眼用影像、和要用右眼观看的 右眼用影像，用这些左眼用影像、右眼用影像来发挥立体效果，供用户观看。 3D 影像中 的像素中的、具有正的 Z 轴坐标的像素，用户感到比显示装置的画面更近 ；而具有负的 Z 轴坐标的像素，则感到比画面更远。
     遥控 300 是从用户那里接受与再现控制有关的各种各样的操作、并且从用户那 里接受对分级的 GUI 进行的操作的机器，为了接受这种操作，遥控 100 包括调用弹出菜 单的菜单键、移动构成弹出菜单的 GUI 部件的焦点的箭头键、对构成弹出菜单的 GUI 部 件进行确定操作的确定键、用于使分级的弹出菜单返回到上一级的返回键、数字键。 显示装置 400 通过显示电影作品的再现影像，或者显示菜单等，而向用户提供 交互式的操作环境。
     液晶眼镜 500 由液晶快门和控制部构成，用用户的两眼的视差来实现立体视 觉。 液晶眼镜 500 的液晶快门是采用了具有通过改变施加电压来改变光的透射率的性质 的液晶镜片的快门。 液晶眼镜 500 的控制部接受从再现装置发送的右眼用的图像和左眼 用的图像的输出切换的同步信号，根据该同步信号，来切换第 1 状态、第 2 状态。
     第 1 状态是指调节施加电压、使得与右眼对应的液晶镜片不透过光，调节施加 电压、使得与左眼对应的液晶镜片透过光的状态，在该状态下，左眼用的图像供观看。
     第 2 状态是指调节施加电压、使得与右眼对应的液晶镜片透过光，调节施加电 压、使得与左眼对应的液晶镜片不透过光的状态，在此情况下，液晶眼镜能够使右眼用 的图像供观看。
     一般由于右眼和左眼的位置差异，右眼看到的像和左眼看到的像在视觉上有若 干差异。 利用该差异，人能够将眼睛看到的像识别为立体。 因此，液晶眼镜 500 如果使 以上那样的第 1 状态、第 2 状态的切换与右眼用的图像和左眼用的图像的输出的切换定时 同步，则用户会产生将平面显示看成立体的错觉。 接着，说明显示右眼用影像、左眼用 影像时的时间间隔。
     具体地说，在平面显示的图像中，右眼用的图像和左眼用的图像有与人的视差 相当的视觉差异，通过以很短的时间间隔来切换显示这些图像，看起来就好像是在进行 立体显示。
     该很短的时间间隔只要是通过上述切换显示足以使人产生看成立体的错觉的时 间就够了。
     以上是对家庭影院系统的说明。
     接着说明再现装置 200 再现的对象 —— 记录媒体。 再现装置 200 再现的是 BD-ROM 100。 图 4 是 BD-ROM 100 的内部结构图。
     本图的第 4 排示出 BD-ROM，第 3 排示出 BD-ROM 上的光道。 本图的光道是 将从 BD-ROM 的内周到外周螺旋状形成的光道沿横向拉伸而绘制的。 该光道由导入区、 卷区、以及导出区组成。 此外，在导入区的内侧有称为 BCA(Burst Cutting Area) 的只能 由驱动器读出的特别区域。 该区域不能从应用程序读出，所以常常用于例如著作权保护 技术等。
     本图的卷区具有文件系统层、应用层这样的层次模型，在文件系统层中，以文 件系统信息打头，记录着影像数据等应用程序数据。 文件系统是指 UDF 或 ISO9660 等， 能够与普通 PC 同样用目录、文件结构来读出记录着的逻辑数据，能够读出 255 个字符的 文件名、目录名。 用目录结构来表现 BD-ROM 的应用层格式，则如图中的第 1 排所示。 在该第 1 排中，在 BD-ROM 上，在 Root 目录下，有 CERTIFICATE 目录及 BDMV 目录。
     在 CERTIFICATE 目 录 下， 存 在 盘 的 根 证 书 的 文 件 (app.discroot.cert)。 app. discroot.cert 是用 Java( 注册商标 ) 虚拟机来执行进行动态脚本控制的 Java( 注册商标 ) 应 用程序时、用于确认应用程序是否被窜改、及应用程序的身份的过程 ( 以下称为签名验 证 ) 的数字证书。 BDMV 目录是记录着 BD-ROM 处理的 AV 内容和管理信息等数据的目录，在 BDMV 目录下，存在称为 PLAYLIST 目录、CLIPINF 目录、STREAM 目录、BDJO 目录、 JAR 目录、META 目录的 6 个子目录，安排着 INDEX.BDMV 和 MovieObject.bdmv 这 2 种 文件。
     STREAM 目录是保存着可谓传输流主体的文件的目录，存在被赋予了扩展名 “m2ts” 的文件 (00001.m2ts)。
     在 PLAYLIST 目录中，存在被赋予了扩展名 “mpls” 的文件 (00001.mpls)。
     在 CLIPINF 目录中，存在被赋予了扩展名 “clpi” 的文件 (00001.clpi)。
     在 BDJO 目录中，存在被赋予了扩展名 “bdjo” 的文件 (XXXXX.bdjo)。
     在 JAR 目录中，存在被赋予了扩展名 “jar” 的文件 (YYYYY.jar)。
     在 META 目录中，存在 XML 文件 (ZZZZZ.xml)。
     以下，说明这些文件。
    
     Index.bdmv( 索引表 ) 是与整个 BD-ROM 有关的管理信息，将光盘插入到再现 装置中后，通过首先读出 index.bdmv，在再现装置中能唯一地识别光盘。 Index.bdmv 规 定构成光盘的节目结构的各个节目、和规定工作模式的工作模式对象之间的对应关系。 节目结构是指在装入光盘时，开始再现伴有对观众的警告或内容提供商的徽标显示等的 节目 ( 第一次播放节目 )，再现第一次播放节目后，再现构成电影作品的正片的一般节目 ( 用 “1”、 “2”、 “3” 这样的序列号标识的一般节目 )，如果正片节目的再现结束， 则再现接受节目选择的节目 ( 菜单节目 ) 并等待用户选择一般节目。
     光盘的节目通过向上述那样的第一次播放节目、一般节目、菜单节目分别分配 规定工作模式的工作模式对象，来详细规定各个节目以何种工作模式来工作。
    
     MovieObject.bdmv 保存着电影对象。 电影对象是工作模式对象之一，是在基于 命令的工作模式 ( 称为 HDMV 模式 ) 中、将多个导航命令作为批作业提供给再现装置、 使再现装置根据这些导航命令来工作的批作业程序。 具体地说，电影对象包含 1 个以上 的命令、和规定在用户对 GUI 进行了菜单调用、节目调用的情况下是否屏蔽这些调用的 屏蔽标志。 导航命令是指用所谓的解释型语言描述的控制命令，多个导航命令作为批作 业由解释器 ( 作业控制程序 ) 解释，使 CPU 执行期望的作业。 导航命令由操作码和操作 数组成，能够用操作码来命令再现装置进行节目分支或再现、运算等操作。 操作数是播 放列表的号码或节目号，能够指定待操作的对象。
    
     被赋予了扩展名 “m2ts” 的文件是 MPEG-TS(TransportStream) 形式的数字 AV 流，通过复用视频流、1 个以上的音频流、字幕数据而得到。 视频流表示电影的动画部 分，音频流表示电影的声音部分。 将只包含 2D 用的流的传输流称为 “2D 流”，将包含 3D 用的流的传输流称为 “3D 流”。
     在 3D 流的情况下，可以向 m2ts 中放入左眼用和右眼用这两者的数据，也可以为 左眼用和右眼用分别准备 m2ts。 为了减少流所用的容量，最好使用左眼用视频流和右眼 用视频流相互参考的编解码器 ( 例如，MPEG-4AVCMVC)。 将用这种编解码器压缩编码 了的视频流称为 MVC 视频流。
     < 播放列表信息 >
     被赋予了扩展名 “mpls” 的文件是保存着播放列表 (PL) 信息的文件。 播放列 表信息是参考 AV 片断来定义播放列表的信息。
     在 BD-ROM 上存在着识别待再现的流是 2D 用还是 3D 用的维数识别标志，在本 实施方式中，在播放列表 (PL) 信息中嵌入了维数识别标志。
     在本实施方式中，能够根据 BD-ROM 上的播放列表 (PL) 的构成格式来确定 在待再现的流中是否存在 3D 用的流。 用于再现控制的 Java(TM) 应用程序可以通过 命令 Java(TM) 虚拟机生成再现该播放列表信息的 JMF 播放器实例，来开始 AV 再现。 JMF(Java Media Frame work， Java 媒体框架 ) 播放器实例是指根据 JMF 播放器类在虚拟 机的堆存储器上生成的实际的数据。
     再者，作为术语定义，2D 播放列表只包含 2D 再现用的流，而 3D 播放列表除了 包含 2D 流以外，还包含 3D 立体视觉用的流。
     被赋予了扩展名 “clpi”的文件是与 AV 片断分别一一对应的 Clip( 片断 ) 信息。 由于是管理信息，所以 Clip 信息具有 AV 片断上的流的编码形式、帧率、比特率、分辨 率等信息、和表示 GOP 的起始位置的 EP_map。 以上 Clip 信息及播放列表信息被分类为 “静态脚本”。
    
     BD-J 对象是使再现装置以基于字节码应用的工作模式 ( 称为 BD-J 模式 ) 来工 作的工作模式对象。 字节码应用是指用面向对象语言这样的编译型语言、例如 Java(TM) 语言生成的应用程序。 BD-J 对象是用 Java(TM) 语言等 “编译型语言”来规定再现装置 的工作的，所以具有与用解释型语言——命令来描述的电影对象相反的意义。 BD-J 对象 包含以下 “应用程序管理表”。( 应用程序管理表 )
     应用程序管理表包含多个项目。 这些项目包含在节目中是应该自动启动应用程 序 (AutoStart)、还是应该等待从其他应用程序中调用来启动 (Present) 这一表示启动的 方法的 “控制码”、用作为 JAR 文件的文件名的 5 位数值来表示作为对象的应用程序的 “应用程序 ID”、以及 “应用程序详细信息”。
     “应用程序详细信息” 为每个应用程序保存着应用程序被装入的情况下的 “优 先级”、表示应用程序是否是节目未绑定、是否是光盘绑定的 “绑定信息”、表示应用 程序的名称的字符串、表示应用程序的语言属性的 “语言码”、以及指示与应用程序相 对应的图标所在的 “图标定位符”。 应用程序管理表通过将节目作为生存周期来管理， 能够以节目这一再现单位为区隔来管理各应用程序对存储资源等的消耗。 由此，即使在 某个节目的再现中多个应用程序竞争资源的利用、而陷入了死锁状态，如果用户选择别 的节目，则也能使这些应用程序全部结束，所以死锁状态强制解除。 此外，即使在某个 节目的再现中失控了的应用程序占有了存储器，如果用户选择别的节目，则也能使该应 用程序强制结束，所以存储容量的压力强制解除。 通过这样做，能够实现不消耗无谓的 存储资源、稳定的存储资源的管理。 由于能够实现稳定的存储资源的管理，所以在存储 资源的容量受限的家电设备的实现中，将进一步发挥其真正的价值。 将用 BD-J 对象内的 应用程序管理表来规定工作的字节码应用称为 “BD-J 应用程序”。
     与该 Java( 注册商标 ) 应用程序的实体相当的是图 2 中的 BDMV 目录下的 JAR 目录中保存着的 Java( 注册商标 ) 存档文件 (YYYYY.jar)。
     应用程序是例如 Java( 注册商标 ) 应用程序，由被装入到虚拟机的堆区 ( 也称为 工作存储器 ) 上的 1 个以上的 xlet 程序组成。
     在 META 目录中保存着的元文件 (ZZZZZ.xml) 中，保存着与放入光盘中的影像 作品有关的各种各样的信息。 作为元文件中保存着的信息，有光盘的光盘名及图像、光 盘由谁制作的信息、与各节目有关的节目名等。 以上是对 BD-ROM 100 的说明。 元文 件不是必须的文件，也有未保存该文件的 BD-ROM。
     以上是对再现装置的再现对象—— BD-ROM 的说明。 接着，说明播放列表信息 的细节。
     实现立体视觉及平面视觉的播放列表信息如下构成。 一般 “播放列表” 是指通 过在 AV 流的时间轴上规定再现区间、并且在逻辑上指定该再现区间之间的再现顺序而规 定的再现路径，具有规定再现 AV 流中的哪个的哪一部分、并以何种顺序来展开场景的作 用。 MPLS 文件中保存着的播放列表信息定义这种播放列表的 “类型”。 用播放列表 信息定义的再现路径是所谓的 “多路径”。 多路径是指对主 AV 流定义的再现路径 ( 主 路径 )、和对辅流定义的再现路径 ( 支路径 ) 的捆绑。 在这种多路径的再现时间轴上， 定义了章位置。 通过使再现装置参考该章位置，而使再现装置实现对多路径的时间轴上 的任意时间点的随机访问。 为了定义这种多路径，播放列表信息包含再现属性信息、 MainPath 信息、 Subpath 信息、 PlayListMark 信息。
     1)MainPath 信息是通过定义主视视频流的再现时间轴中的、1 个以上的、作为 In_Time 的时间点和作为 Out_Time 的时间点的组合、来定义逻辑再现区间的信息，包含 STN_table。 该 MainPath 信息相当于再现数据信息。2) 播放列表 Mark 信息包含用 In_Time 信息及 Out_Time 信息的组合指定的视频 流的一部分中的、作为章的时间点的指定。
     3)Subpath 信息由 1 个以上的 SubPlayItem 信息构成， SubPlayItem 信息包含要与 上述主视视频流同步来再现的辅视流的指定、和该辅视流的再现时间轴上的 In_Time 信息 及 Out_Time 信息的组合。
     用以上数据结构，能够定义将左眼用视频流上的再现区间、及右眼用视频流上 的再现区间捆绑所得的多路径，通过这种多路径的定义，能够以与现有的 BD-ROM 的数 据结构兼容的形式，来定义能够立体再现的再现区间。
     图 5 是播放列表文件的内部结构中的、“再现属性信息”、“再现数据信息”的 内部结构的详图。
     “再现属性信息” 包含播放列表文件基于的标准的 “版本”、指定该播放列表 文件是电影、幻灯播放中的哪一种、是顺序再现还是随机再现构成播放列表文件的各个 PlayItem 的 “再现类型”、以及表示播放列表文件是 2D 播放列表还是 3D 播放列表这一 区别的 “维数识别标志”。
     “再现数据信息”由 N+1 个 PlayItem 信息 ( 图中的 PlayItem#0 信息～ PlayItem#N 信息 ) 构成。 各个 PlayItem 信息包含表示该 PlayItem 对应的传输流的 “流文件信息”、 表示该流文件的再现时间长度的 “再现时间信息”、以及为每个打包基本流表示在该播 放项信息中允许再现何种打包基本流的 “流登录信息”。 “维数识别标志” 表示是 3D 播放列表，这是用播放列表文件参考的传输流文件 内数字流是支持 3D 的数字流的情况 ；“维数识别标志” 表示是 2D 播放列表，这是用播 放列表文件参考的传输流文件内数字流是只支持 2D 的数字流的情况。
     以下，说明播放列表文件的具体描述例。 图 6 示出规定 2D 播放列表的播放列表 文件的具体描述。
     在图 6 的一例中， “版本信息” 是 2.00 ；播放列表文件的再现类型被设置为下 述内容 ：再现数据信息的 PlayItem 信息是 “电影”，表示从起始处顺序再现用 PlayItem 信息指定的流文件的 “顺序”。
     此外，维数识别标志示出是能够 2D 显示的流结构的例子。
     在再现数据信息中，描述了与影像 / 声音 / 字幕数据有关的信息。
     在 图 6 的 例 子 中， 示 出 PlayItem#0 使 用 的 流 文 件 是 上 述 STREAM 目 录 下 的 00001.m2ts， PlayItem#0 的再现时间是 0x002932E0。 PlayItem#0 的 3 个流登录信息示出 用影像 #1、声音 #1、字幕 #1 这 3 个逻辑流号标识的 3 个打包基本流的细节。
     具体地说，示出用影像 #1 这一逻辑流号识别的打包基本流是由具有包标识符 0x02 的 TS 包构成的视频流。
     示出用声音 #1 这一逻辑流号识别的打包基本流是由具有包标识符 0x80 的 TS 包 构成、语言为日语的声音流。
     示出用字幕 #1 这一逻辑流号识别的打包基本流是由具有包标识符 0x92 的 TS 包 构成、语言为日语、尺寸为普通尺寸的字幕数据。
     图 7 示出规定 3D 播放列表的播放列表文件的一例。
     本图中的再现属性信息的版本是 “2.00”，播放列表文件的再现类型是 “电
     影”、表示从起始处顺序再现再现数据信息中包含的播放项的 “顺序” 被设置为再现类 型。 维数识别标志示出是能够立体表示的 3D 播放列表。
     在再现数据信息中，示出存在 1 个 PlayItem， PlayItem#0 使用的流文件是上述 STREAM 目录下的 00001.m2ts。 PlayItem#0 的再现时间是 0x002932E0，在 PlayItem#0 中，存在 4 个表示打包基本流的细节的流登录信息。
     由这些流登录信息可知以下事实。
     即，可知 ：被分配了影像 #1 这一逻辑流号的打包基本流由包标识符为 0x02 的 TS 包构成，具有左眼用这一视觉属性。
     被分配了影像 #2 这一逻辑流号的打包基本流由包标识符为 0x02 的 TS 包构成， 具有右眼用这一视觉属性。
     被分配了声音 #1 这一逻辑流号的打包基本流是由包标识符为 0x80 的 TS 包构 成、具有日语这一语言属性的声音流。
     可知 ：被分配了字幕 #1 这一逻辑流号的打包基本流是由包标识符为 0x92 的 TS 包构成、具有日语这一语言属性、字符尺寸为普通尺寸的字幕数据。
     以上是对播放列表信息的说明。 接着，说明再现装置的细节。 下面详细说明再现装置的构件。 图 8 是再现装置的内部结构的结构图。 如本图 所示，再现装置由 BD 驱动器 1a、网络设备 1b、本地存储器 1c、读缓冲器 2a，2b、虚拟 文件系统 3、分离器 4、视频解码器 5a， b、视频平面 6、图像解码器 7a， b、图像存储器 7c， d、图像平面 8、音频解码器 9、交互式图形平面 10、背景平面 11、寄存器组 12、静 态脚本存储器 13、再现控制引擎 14、缩放引擎 15、合成部 16、 HDMI 发送接收部 17、 显示功能标志保持部 18、左右处理存储部 19、平面移动引擎 20、偏移信息存储器 21、 BD-J 平台 22、动态脚本存储器 23、模式管理模块 24、 HDMV 模块 25、 UO 检测模块 26、绘制引擎 27a、绘制存储器 27b、显示模式设置初始显示设置部 28、维数模式存储部 29 构成。
     在输入到第 1 实施方式的再现装置 200 中的视频流中，分别存在左眼用的和右眼 用的，但是字幕 /GUI 流则输入左眼用和右眼用共享的。 在本实施方式中，以预先在一个 流文件中嵌入了右眼用流和左眼用流为前提来进行描述。 这是为了尽量抑制存储器和图 形方面的机器资源贫乏的机器 ( 例如 CE 机器 ) 所需的运算量。
     (BD 驱动器 1a)
     BD 驱动器 1a 包括具有半导体激光器、准直透镜、分束器、物镜、聚光透镜、光 检测器的光学头。 从半导体激光器出射的光束通过准直透镜、分束器、物镜，会聚到光 盘的信息面上。 会聚的光束在光盘上反射 / 衍射，通过物镜、分束器、聚光透镜，会聚 到光检测器上。 光检测器按照会聚的光的光量，来生成再现信号。 通过对该再现信号进 行解调，能够解调出 BD 上记录着的各种各样的数据。
     ( 网络接口 1b)
     网络接口 1b 用于与再现装置的外部进行通信，能够访问可用因特网访问的服务 器，或者访问用本地网连接的服务器。 例如，能够用于下载因特网上公开的 BD-ROM 追 加内容，或者通过与内容指定的因特网上的服务器进行数据通信来再现利用网络功能的 内容。 BD-ROM 追加内容是指原始的 BD-ROM 上没有的内容，例如追加的第二音频、
     字幕、赠送影像、应用程序等。 可以从 BD-J 平台来控制网络接口 1b，可以将因特网上 公开的追加内容下载到本地存储器 1c 中。
     ( 本地存储器 1c)
     本地存储器 1c 包括内置媒体及移动媒体，用于保存下载下来的追加内容或应用 程序所用的数据等。 保存追加内容的区域被分给每个 BD-ROM，而应用程序能够用来保 持数据的区域被分给每个应用程序。 此外，记载着将下载的追加内容如何与 BD-ROM 上 的数据合并的合并规则的合并管理信息也被保存在该内置媒体、移动媒体中。
     内置媒体是指例如再现装置中内置的硬盘驱动器、存储器等可写的记录媒体。
     移动媒体是指例如具有便携性的记录媒体，最好是 SD 卡等具有便携性的半导体 存储卡。
     以移动媒体为半导体存储卡时为例进行说明，再现装置包括用于安装移动媒体 的插槽 ( 未图示 ) 及用于读取插槽上安装的移动媒体的接口 ( 例如存储卡接口 )，向插槽 中安装了半导体存储器后，移动媒体和再现装置电连接，能够利用接口 ( 例如存储卡接 口 ) 将半导体存储器中记录着的数据变换为电信号并读出。
     ( 读缓冲器 2a)
     读缓冲器 2a 是用于暂时保存从 BD 驱动器 1a 读出的构成构成左眼用流的盘区的 源包、在调整了传送速度之后、传送到分离器 4 的缓冲器。
     ( 读缓冲器 2b)
     读缓冲器 2b 是用于暂时保存从 BD 驱动器 1a 读出的构成构成右眼用流的盘区的 源包、在调整了传送速度之后、传送到分离器 4 的缓冲器。
     ( 虚拟文件系统 3)
     虚拟文件系统 3 根据与追加内容一起下载到本地存储器 1c 中的合并管理信息， 来合并本地存储器中保存着的追加内容和插入的 BD-ROM 上的内容，以构筑虚拟的 BD-ROM( 虚拟软件包 )。 为了构筑虚拟软件包，虚拟文件系统 3 具有用于生成及更新应 用程序数据相关联信息的 “应用程序数据相关联模块 3a”。 应用程序数据相关联信息是 指根据 BD-ROM 光盘上的文件系统信息、和应用程序设置的别名访问信息、将本地存储 器的信息与应用程序相关联的信息。
     HDMV 模式的工作主体—— HDMV 模块或 BD-J 模式的工作主体—— BD-J 平台 能够无区别地参考虚拟软件包和原始 BD-ROM。 在再现虚拟软件包的过程中，再现装置 用 BD-ROM 上的数据和本地存储器上的数据这两者来进行再现控制。
     ( 分离器 4)
     分离器 4 由源包拆包器、PID 过滤器构成，接受与要再现的流 ( 流被包含在插入 的 BD-ROM 及与插入的 BD-ROM 对应的本地存储器中 ) 对应的包标识符的指示，根据 该包标识符来执行包过滤，将其结果得到的 TS 包输出到解码器。 在包过滤时，分离器 4 能够根据流的首标信息来划分左眼用视频流的视频帧和右眼用视频流的视频帧。 本再现 装置在向显示装置输出数据时交替地进行左眼用的影像和右眼用的影像的处理并输出。
     在有些输出形式时需要同时输出两者的情况下，分离器交替地处理左眼用视频 流的视频帧、和右眼用视频流的视频帧，在左眼用视频帧及右眼用视频帧这两者的解码 完成的时间点输出两者。 再者，在硬件结构上有 2 个输出的情况下分别输出左眼用和右眼用的影像。
     ( 视频解码器 5)
     视频解码器 5 对从分离器 4 输出的构成左眼用视频流的 TS 包进行解码并将非压 缩形式的视频帧写入到左眼视频平面 6( 图 8 的视频平面 6 上的符号 (L) 所示者 ) 上。 另 一方面，对从分离器 4 输出的构成右眼用视频流的 TS 包进行解码并将非压缩形式的视频 帧写入到右眼视频平面 6( 图 8 的视频平面 6 上的符号 (R) 所示者 ) 上。
     ( 视频平面 6)
     视频平面 6 是例如能够保存以 1920×2160(1280×1440) 这样的分辨率构成视频 帧的图片数据的平面存储器，具有 1920×1080(1280×720) 的分辨率的左眼用平面 ( 图 8 的视频平面 6 上的符号 (L) 所示者 )、1920×1080(1280×720) 的分辨率的右眼用平面 ( 图 8 的视频平面 6 上的符号 (R) 所示者 )。
     ( 图像解码器 7a， b)
     图像解码器 7a， b 对从分离器 4 输出、被写入到图像存储器 7c、7d 中的构成字 幕数据的 TS 包进行解码并将非压缩形式的图形字幕写入到图像平面 8 中。 图像解码器 7a， b 解码的 “字幕数据” 是用游程长度编码压缩了的表示字幕的数据，用表示 Y 值、 Cr 值、 Cb 值、 α 值的像素码、和该像素码的游程长度来定义。
     ( 图像平面 8)
     图像平面 8 是例如能够保存以 1920×1080(1280×720) 这样的分辨率对字幕数 据进行解码而得到的图形数据 ( 例如字幕数据 ) 的图形平面，例如具有具有能够保存 1920×1080(1280×720) 的分辨率的数据的存储区域的左眼用平面 ( 图 8 所示的图像平面 8 上的符号 (L) 所示者 )、具有能够保存 1920×1080(1280×720) 的分辨率的数据的存储 区域的右眼用平面 ( 图 8 所示的图像平面 8 上的符号 (R) 所示者 )。
     ( 音频解码器 9)
     音频解码器 9 对从分离器 4 输出的音频帧进行解码，并输出非压缩形式的音频数 据。
     ( 交互式图形平面 10)
     交互式图形平面 10 是例如具有能够以 1920×1080(1280×720) 这样的分辨率来 保存 BD-J 应用程序利用绘制引擎 27a 绘制的图形数据的存储区域的图形平面，例如具有 具有能够保存 1920×1080(1280×720) 的分辨率的数据的存储区域的左眼用平面 ( 图 8 的 交互式图形平面 10 上附有符号 (L) 者 )、具有能够保存 1920×1080(1280×720) 的分辨 率的数据的存储区域的右眼用平面 ( 图 8 的交互式图形平面 10 上附有符号 (R) 者 )。
     交互式图形平面 10 上保存的 “图形数据” 是各个像素由 R 值、 G 值、 B 值、 α 值定义的图形。 写入到交互式图形平面 10 上的图形主要是用于构成 GUI 的图像或小 配件。 虽然表示像素的数据有不同，但是图像数据及图形数据用图形数据这一表现来总 括。 本申请针对的图形平面有图像平面 8、交互式图形平面 10 这 2 种，在简称 “图形平 面” 的情况下，指示图像平面 8、交互式图形平面 10 这两者或其中某一种。
     ( 背景平面 11)
     背景平面 11 是例如能够以 1920×1080(1280×720) 这样的分辨率来保存要成为 背景图像的静止图像数据的平面存储器，具体地说，具有 1920×1080(1280×720) 的分辨率的左眼用平面 ( 图 8 所示的背景平面 11 上的附有符号 (L) 者 )、1920×1080(1280×720) 的分辨率的右眼用平面 ( 图 8 所示的背景平面 11 上的附有符号 (R) 者 )。
     ( 寄存器组 12)
     寄存器组 12 是包含保存播放列表的再现状态的再现状态寄存器、保存表示再现 装置中的配置的配置信息的再现设置寄存器、能够保存内容所用的任意信息的通用寄存 器的寄存器集。 播放列表的再现状态表示利用播放列表中记载着的各种 AV 数据信息中 的哪个 AV 数据、再现播放列表的哪个位置 ( 时刻 ) 等状态。
     在播放列表的再现状态变化时，再现控制引擎 14 向寄存器组 12 中保存其内 容。 此外，可以根据来自 HDMV 模式的工作主体—— HDMV 模块或 BD-J 模式的工作主 体—— Java 平台执行的应用程序的指示，来保存应用程序指定的值，或者将保存着的值 交给应用程序。
     ( 静态脚本存储器 13)
     静态脚本存储器 13 是用于保存当前播放列表信息和当前片断信息的存储器。 当 前播放列表信息是指能够从 BD-ROM 或内置媒体驱动器、移动媒体驱动器访问的多个播 放列表信息中的当前处理对象。 当前片断信息是指能够从 BD-ROM 或内置媒体驱动器、 移动媒体驱动器访问的多个片断信息中的当前处理对象。
     ( 再现控制引擎 14)
     再现控制引擎 14 执行 AV 再现功能、播放列表的再现功能。 AV 再现功能是指从 DVD 播放器、 CD 播放器沿袭的功能群，是再现开始、再现停止、暂停、暂停的解除、 静止图像功能的解除、用立即数指定了再现速度的快进、用立即数指定了再现速度的后 退、声音切换、副影像切换、角度切换这些处理。 HDMV 模块执行的电影对象或 BD-J 平台执行的 BD-J 应用程序通过对再现控制引擎 14 进行处理请求，能够使再现控制引擎 不仅进行再现开始、再现停止这些普通再现的再现控制，而且进行暂停、暂停的解除、 静止图像功能的解除、用立即数指定了再现速度的快进、用立即数指定了再现速度的后 退、声音切换、副影像切换这些特殊再现。 播放列表再现功能是指根据构成当前播放列 表的当前播放列表信息、当前片断信息进行该 AV 再现功能中的再现开始或再现停止。 AV 流再现有以用户操作 ( 例如再现按钮 ) 为触发而开始的情况，也有以终端内的某个事 件为触发而自动开始的情况。
     再现装置的中间件将用于执行再现控制引擎的各种功能的 API 提供给 BD-J 应用 程序。 用于使再现控制引擎执行各再现功能的 API 的库是 “AV 再现库 14a”。 “AV 再 现库 14a” 中的各个 API 包含各种各样的成员函数，通过指定变元来调用 AV 再现库的成 员函数 ( 方法 )，而使再现控制引擎执行这些成员函数的功能。 另一方面，电影对象通过 发布与该成员函数相当的导航命令，而使再现控制引擎执行与这些 API 相当的处理。
     试举一例， “selectPlayList” 是 BD-J 应用程序用于命令切换播放列表的 API， 用于调用该 API 的变元为 BD-J 定位符。 BD-J 定位符是能够用 title_id、 playlist_id、 PlayItem_id 来指定要选择的播放列表的、 BD-J 应用程序专用的定位符。 通过使用 BDMV/PLAYLIST 目录中的播放列表文件的文件体，来指定要成为再现对象的播放列 表。
     再现控制引擎的功能执行的结果用事件通知给 BD-J 应用程序。 由此，在利用AV 再现库时， BD-J 应用程序需要预先登录事件监听器，以便能够接收表示执行结果的 事件。
     ( 缩放引擎 15)
     缩放引擎 15 能够进行图像平面 8 或视频平面 5 上的影像的缩小、放大、及等倍 的控制。 如果在进行图像数据、视频帧的解码的时间点在平面移动引擎 20 内设置了值， 则缩放引擎 15 认为发生了缩放，在将解码出的图形保存到视频平面上之前通过缩放引擎 15 进行缩放。
     ( 合成部 16)
     合成部 16 进行交互式图形平面 10、图像平面 8、视频平面 6、背景平面 11 的层 合成。交互式图形平面 10、图像平面 8、视频平面 6、背景平面 11 这些平面存储器形成层 模型，合成部 16 进行的层合成是通过在平面存储器的层模型中对层模型中的阶层间的所 有组合执行重叠阶层间的平面存储器中保存着的像素数据的像素值这一处理来进行的。
     阶层间的重叠是下述处理 ：将位于某个阶层上的平面存储器的以行为单位的像 素值乘以透射率 α 作为加权，并且将位于其下位阶层上的平面存储器的以行为单位的像 素值乘以 (1- 透射率 α) 这一加权，将这些加权过的像素值相加，将相加结果作为该阶层 上的以行为单位的像素的像素值。 通过在位于层模型的 2 个阶层上的以行为单位的像素 之间重复执行该阶层间的重叠，来实现上述层合成。
     在内容将字幕或弹出菜单假想为图像平面的数据的情况下，一定在视频平面上 叠加图像平面。 即，即使视频平面是立体的内容，在没有纵深的字幕或弹出菜单重叠在 立体视视频上的情况下，也必须优先显示图像。 这是因为，不这样做，图形的部分就会 成为陷入视频中的样子，显得不自然。
     (HDMI 发送接收部 17)
     HDMI 发 送 接 收 部 17 包 含 例 如 符 合 HDMI 标 准 (HDMI ：High DefinitionMultimedia Interface，高清晰度多媒体接口 ) 的接口，和与再现装置 HDMI 连接 的装置 ( 在本例中为显示装置 400) 按 HDMI 标准进行发送接收，将视频平面上保存着的 图片数据、和音频解码器 9 解码出的非压缩的音频数据经 HDMI 发送接收部 17 传输到显 示装置 400。 显示装置 400 保持着例如与是否支持立体显示有关的信息、与可平面显示 的分辨率有关的信息、与可立体表示的分辨率有关的信息，在从再现装置经 HDMI 发送 接收部 17 发出了请求后，显示装置 400 将请求的所需信息 ( 例如与是否支持立体显示有 关的信息、与可平面显示的分辨率有关的信息、与可立体表示的分辨率有关的信息 ) 发 回给再现装置。 这样，通过经 HDMI 发送接收部 17，能够从显示装置 400 取得显示装置 400 是否支持立体显示的信息。
     ( 显示功能标志保持部 18)
     显示功能标志保持部 18 保存着表示再现装置能否进行 3D 显示这一区别的 3D 显 示功能标志。
     ( 左右处理存储部 19)
     左右处理存储部 19 存储当前输出处理为左眼用的输出、还是右眼用的输出。 左 右处理存储部 19 的标志表示向与图 1 所示的再现装置相连接的表示设备 ( 在图 1 的例子 中为电视 ) 的输出是左眼输出、还是右眼输出。 在进行左眼输出期间，左右处理存储部19 的标志被设置为表示左眼输出的标志。 而在进行右眼输出的期间，左右处理存储部 19 的标志被设置为表示右眼输出的标志。
     ( 平面移动引擎 20)
     平面移动引擎 20 兼备保存图像平面偏移信息的区域，在判断出左右处理存储部 19 中当前处理对象是左眼影像还是右眼影像后，用保存着的图像平面偏移信息所示的平 面偏移量来计算图像平面的横轴的移动量并移动。 通过变更字幕 /GUI 的横轴的偏移幅 度，来变更纵深。 例如，能得到下述视觉效果 ：越使左眼用字幕和右眼用字幕沿—定方 向远离，则显示越近 ；越沿相反方向离开，则显得越远。
     ( 偏移信息存储器 21)
     偏移信息存储器 21 是用户或应用程序请求了更新图像平面偏移信息时暂时保 存其值的模块。 图像平面偏移信息例如是用 -255 ～ 255 来表现纵深的整数 (255 是最 近， -255 是最远 )，将其变换为表示最终移动幅度的像素坐标。
     (BD-J 平台 22)
     BD-J 平 台 22 是 BD-J 模 式 的 工 作 主 体 —— Java 平 台， 完 全 实 现 了 Java2Micro_Edition(J2ME)Personal Basis Profile(PBP 1.0)、 和 Globally Executable MHP specification(GEM1.0.2)for package mediatargets，通过从 JAR 存档文件中存在的类文件中 读出字节码，保存到堆存储器中，来启动 BD-J 应用程序。 然后，将构成 BD-J 应用程序 的字节码、构成系统应用程序的字节码变换为本机代码，并使 MPU 执行。
     ( 动态脚本存储器 23)
     动态脚本存储器 23 是保存着当前动态脚本、供 HDMV 模式的工作主体 —— HDMV 模块、 BD-J 模式的工作主体 —— Java 平台处理的存储器。 当前动态脚本是指 BD-ROM 或内置媒体、移动媒体上记录着的 Index.bdmv、BD-J 对象、电影对象中的当前 执行对象。
     ( 模式管理模块 24)
     模式管理模块 24 保持从 BD-ROM 或内置媒体驱动器、移动媒体驱动器中读出的 Index.bdmv，进行模式管理及分支控制。 模式管理模块 24 进行的模式管理是指使 BD-J 平台 22、 HDMV 模块 25 中的哪一个执行动态脚本、这一模块的分配。
     (HDMV 模块 25)
     HDMV 模块 25 是 HDMV 模式的工作主体—— DVD 虚拟播放器，是 HDMV 模 式的执行主体。 本模块具备命令解释器，通过解释并执行构成电影对象的导航命令来执 行 HDMV 模式的控制。 导航命令是用与 DVD-Video 相似的语法来描述的，所以通过执 行这种导航命令，能够实现类似于 DVD-Video 的再现控制。
     (UO 检测模块 26)
     UO 检测模块 26 接受用户对 GUI 的操作。 在这种用 GUI 接受的用户操作中，有 选择 BD-ROM 上记录着的节目中的哪个这一节目选择、字幕选择、声音选择。 特别是作 为立体再现特有的用户操作，有时接受立体影像的纵深感的级别。 例如，有时接受纵深 感为远、普通、近等的 3 个级别，也有时通过纵深感为几 cm、几 mm 这样的数值输入来 接受纵深感的级别。
     此外， UO 检测模块 26 在通过遥控或机器附带的按钮等的操作而接受到变更图像平面的缩放的指令的情况下，发布机器内的模块将其直接缩放的指令。
     ( 绘制引擎 27a)
     绘制引擎 27a 包括 Java2D、 OPEN-GL 这些平台 ( 基盤 ) 软件，根据来自 BD-J 应用程序的请求来进行 JPEG 数据 /PNG 数据的解码，得到图像或小配件，写入到交互式 图形平面及背景图形平面上。 通过对 JPEG 数据进行解码而得到的图像数据成为 GUI 的 壁纸，被写入到背景图形平面上。 通过对 PNG 数据进行解码而得到的像素数据被写入到 交互式图形平面上，能够实现伴有动画的按钮表示。 通过对这些 JPEG 数据 /PNG 数据进 行解码而得到的图像或小配件在 BD-J 应用程序显示用于接受节目选择或字幕选择、声音 选择的弹出菜单、或者使流再现联动型的游戏工作时，被用来构成 GUI 部件。 此外，在 BD-J 应用程序访问 WWW 站点时，被用来构成该 WWW 站点的浏览器画面。
     ( 绘制存储器 27b)
     绘制存储器 27b 是读入要用绘制引擎来解码的 PNG 数据、JPEG 数据的存储器。 在该绘制存储器 27b 中，在 BD-J 应用程序执行实况显示模式时，保留高速缓存区域。 实 况显示模式是指组合网络上存在的 WWW 站点的浏览器画面、和 BD-ROM 的流再现。 高 速缓存区域是用于高速缓存实况显示模式时的当前浏览器画面及前一浏览器画面的高速 缓存存储器，构成上述浏览器画面的非压缩的 PNG 数据或非压缩的 JPEG 数据被保存在 这里。 ( 显示模式设置初始显示设置部 28)
     显示模式设置初始显示设置部 28 根据提供给 BD-J 平台部的当前节目中的 BD-J 对象，来设置再现模式、分辨率。
     ( 维数模式存储部 29)
     维数模式存储部 29 存储再现模式、立体模式。 在再现装置设置了能够 3D 显示 作为 3D 显示功能标志的情况下，维数模式存储部 29 中保存着的终端设置——再现模式 能够切换到 2D、3D 中的某一个。 以下，将再现模式表示 “3D” 的状态称为 “3D 模 式”，将再现模式表示 “2D” 的状态称为 “2D 再现模式”。 以上是对再现装置的构件 的说明。 接着，说明用于实现立体再现的细节。
     ( 形成立体影像所需的东西 )
     为了形成 3D 影像，再现装置和显示装置自身都需要有该能力，通过在内容中提 示是否有该能力，或者在再现装置中设置想让内容自身以 2D 来工作还是以 3D 来工作， 制作内容和实现再现装置的便利性增加。 理由是因为内容和再现装置能够预防影像和图 形的不自然的重叠。 作为保持再现装置的能力和内容的设置信息的一例，有寄存器组 12。
     图 9 是寄存器组 12 的内容的例子的示意图。 寄存器组 12 由 “再现状态寄存器 (0) ～ (127)” 和 “通用寄存器 (0) ～ (4096)” 构成。 再现状态寄存器内是用于保存某 个值的、编号了的保存地址的集合。 例如、在某个号码的保存地址中放入当前再现中的 播放列表的标识符，或者在另外某个号码的保存地址中放入利用着的音频的标识符。 放 入各个值的是再现控制引擎 18、 HDMV 模块 25、或 BD-J 平台 22。 内容能够用 HDMV 模块 25 或 BD-J 平台 22 从再现状态寄存器或通用寄存器取得与指定的号码对应的值，或 者保存与指定的号码对应的值。
     在再现状态寄存器中的第 14 个 ( 再现状态寄存器 (14)) 中，其高第 3 位被分配 给想以 2D 来工作还是以 3D 来工作这一设定。
     在再现状态寄存器中的第 29 个 ( 再现状态寄存器 (29)) 中，其低第 3 位被分配 给再现装置是否有用于形成 3D 影像的能力这一设定。
     ( 用单个图形平面来实现立体视 )
     在说明 3D 影像输出处理之前，先说说实现立体视的字幕 /GUI 的数据。 作为本 实施方式的再现装置 200 处理的数据，存在字幕 /GUI 的数据。 为了降低眼睛的疲劳度， 需要将字幕 /GUI 的数据显示得比视频流更近。
     作为将字幕 /GUI 流显示在近处的方法，在形成左眼和右眼影像时，合成将字幕 /GUI 流沿横轴移动了的结果并输出。 通过变更字幕 /GUI 的横轴的偏移幅度，来变更纵 深。 例如，能得到下述视觉效果 ：越使左眼用字幕和右眼用字幕沿一定方向远离，则显 示越近 ；越沿相反方向离开，则显得越远。
     将如上所述在 1 个图形平面上根据平面偏移量来执行平面移动、以实现立体视 觉的再现模式称为 “1plane+Offset 模式” (1 平面 + 偏移量模式 )。 平面移动引擎 20 用 于实现该 1plane+Offset 模式。
     将原来的像素数据的坐标、和向右或向左移动了的情况下的各像素数据的坐标 之间的差分称为 “移动量”。 该移动量在立体视中，可用使图像平面 8 或交互式图形平 面 10 具有何种程度的纵深这一纵深值来计算。 此外，在立体再现中，可以由用作两眼的 视差的某些参数导出。
     此外，将用于使图形平面内的像素数据左右移动上述那样的移动量的参数称为 “平面偏移量”。 移动量是标量，而平面偏移量是具有正负的值的矢量，指示从当前状 态沿向右及向左中的哪一个方向使像素数据的坐标移动多少。
     在本实施方式中，内容制作者预先将以何种纵深来显示字幕 /GUI 这一信息嵌入 到播放列表信息中，从而再现装置 200 在再现与播放列表信息相关联的流期间根据该信 息将字幕 /GUI 立体地持续显示在视频流的前面。 不限于播放列表信息，可用作平面偏 移量的像素的移动量及像素的移动方向也从记录媒体或用户操作等、再现装置的外部提 供。 将作为平面偏移量基于的信息、从再现装置外部提供的像素的移动量及像素的移动 方向的组合称为 “图像平面偏移信息”。
     移动量可以直接利用图像平面偏移信息中记载的值，也可以利用其他运算结 果，例如将图像平面偏移信息与终端内预先设置的值相乘或组合所得的值。
     此外，有时会出现在某些显示装置的分辨率和尺寸时图像平面的移动量过大、 眼睛跟不上、图像看起来是 2 重的现象。 在该情况下，通过根据图像平面偏移信息中记 载的值、组合显示装置的分辨率和尺寸的信息来得到移动量，而进行调整，使得字幕 / 图形不显示得过近。
     以下，说明用 1plane+Offset 模式再现出何种影像内容。
     图 10 是合成了进行过平面移动的图像平面的视频帧的图。
     9L、9R 示出解码器保存到视频平面上的视频帧的一例。 从女性的脸的方向和位 置的不同，可知左眼用的流和右眼用的流是从不同的角度拍摄的。
     9S 是未进行平面移动的图形平面的内容的图，9LS 是 “I love you” 这一字幕被向左移动了时的图像平面的快照。 9RS 是 “I love you” 这一字幕被向右移动了时的图像 平面的快照。
     9LL 是合成左眼的视频帧、和向左移动了的图像所得的合成影像，9RR 是合成 右眼的视频帧、和向右移动了的图像所得的合成影像。
     在 9LL 的左眼用影像中，可知 “I love you”的字幕是向左偏移被合成的。 而在 9RR 的右眼用影像中， “I love you” 的字幕是向右偏移被合成的。 如果不戴液晶眼镜来 看电视，则该 9LL、9RR 的影像看起来叠加在一起。 这如图 3 所示。
     图 11 示出通过用液晶眼镜 500 来观看向左平面移动后的图像平面、和向右平面 移动后的图像平面而出现的立体图像。
     右眼用和左眼用的影像通过例如图 1 所示的液晶眼镜 500 过滤，在各眼中映出不 同的影像。 这里应注意的是，不仅视频流影像被重叠了左右的图像而被立体化，而且 “I love you” 的字幕也跟着沿横向偏移、即添加了纵深间 ( 在本实施方式的情况下显示在近 处 )。 这样，能够再现降低观众眼睛疲劳度的立体影像及字幕。
     图 9、图 10 是用与视频流联动的字幕来说明的，但是按钮等图形也可以用同样 的方法进行处理而使其具有纵深。
     图 12 是本第 1 实施方式的再现装置 200 读入上述影像数据——播放列表并放映 立体影像上重叠的立体字幕 / 立体图形时的流程图。
     播放列表再现请求以来自内容的指示、或用户操作 ( 例如再现按钮 ) 成为触发。 不限于此，插入光盘时或选择菜单时等、节目切换请求也有时成为触发。
     静态脚本存储器 11 按开始再现播放列表的定时提取 BD-ROM 光盘上的多个播放 列表、多个流中的、成为当前再现处理对象的播放列表和传输流，设置到当前播放列表 信息中 (S1)。
     其后，经步骤 S2、步骤 S3 的判断步骤，如果这些判断步骤中的判断结果是肯定 的，则在步骤 S4 中将再现模式切换到 3D 模式，从静态脚本存储器 11 的当前播放列表信 息中提取表示显示字幕 /GUI 的纵深的值 ( 以下称为图像平面偏移信息 )，保存到平面移 动引擎内部的存储区域中 (S5)。
     步骤 S2 判断当前播放列表信息中的维数识别标志是否表示允许 3D 模式的再 现，步骤 S3 判断再现装置中的再现模式是否是 3D 模式。 该判断通过参考维数模式记录 部 29 中保存着的标志 (2Dor3D) 来进行。 设想维数模式记录部中保存着的值已根据例如 用户操作或来自应用程序的指示而预先切换了。
     如果这些步骤中的某一个是否定的，则在步骤 S12 中将再现模式切换到 2D 再现 模式，在 2D 模式下再现播放项 ( 步骤 S13)。
     在执行了步骤 S4、步骤 S5 之后，转移到步骤 S6 ～步骤 S13 的循环。
     步骤 S6 ～步骤 S13 的循环是在步骤 S6 中将当前播放项号初始化为 1 后，重复步 骤 S7 ～步骤 S13 的处理，直至步骤 S12 判断为 “是”( “是”)。 这里，循环的结束条 件是播放项成为播放列表中的最后一个号码，只要不满足该条件，就递增当前播放项号 ( 步骤 S13)。
     用循环来重复进行的处理是通过将用当前播放项信息的流文件信息指定的 AV 流 设置为当前流 ( 步骤 S7)，将当前播放项信息的左眼用视频流的包标识符及右眼用视频流的包标识符设置到分离器中而使其分离出左眼用视频流及右眼用视频流 ( 步骤 S8)，判断 当前播放项信息的再现类型是电影、还是幻灯播放 ( 步骤 S9)，如果是幻灯播放，则通过 3D 模式下的视频帧处理来执行幻灯播放再现 ( 步骤 S10)，而如果是电影，则通过 3D 模 式下的视频帧处理来执行电影再现 ( 步骤 S11)。
     图 13 是 3D 模式下的视频帧处理的流程图。
     首先，分离器 4 进行光盘上的传输流的多路分离，将图形流保存到图像存储器 7c， d 中 (S802)。 接着，图像解码器 8 对图像存储器 7c， d 中保存着的图形流等进行解 码并写入到图像平面 8 上 (S803)。 接着，分离器 4 进行光盘上的传输流的多路分离，根 据左右处理存储部 19 的标志，抽取与其对应的视频流，将通过视频解码器 5 解码出的视 频保存到视频平面上 (S804)。 假设在第 1 实施方式中，左右处理存储部的标志被缺省设 置为左眼用的处理。 S802 ～ S804 的顺序只是一例，它们的顺序可以以任何顺序来进行。
     结束了向图像平面上的保存之后，平面移动引擎根据步骤 S5 中保存的图像平面 偏移信息，参考左右处理存储部 19 的标志，将图像平面沿一定的方向移动，合成部 16 在 视频平面 5 上合成移动了的图形平面 9 的图像 (S805)。
     S805 中平面移动引擎移动的方向因使图像平面显示到近处、还是显示到远处而 异，而在第 1 实施方式中，作为左眼用影像，以向右偏移、即显示到近处为前提。
     将 S805 中合成部 16 合成的最终影像作为左眼影像输出到显示装置 400(S806)。 与本输出完成同时，本再现装置转换左右处理存储部 19 的标志。 即，在设置为左眼处理 的情况下切换到右处理，而在设置为右眼处理的情况下切换到左处理。
     接着，分离器 4 进行光盘上的传输流的多路分离，根据左右处理存储部 19 的 标志，抽取与其对应的视频流，将通过视频解码器 5 解码出的视频保存到视频平面上 (S807)。 在本例中，在本步骤中为右眼处理，所以抽取右眼用视频流。
     图像解码器 8 对图像存储器 7c，d 中保存着的图形流等进行解码并写入到图像平 面 8 上 (S808)。 参考左右处理存储部 19 的标志，将图像平面沿一定的方向移动，合成部 16 在视频平面 5 上合成移动了的图形平面 9 的图像 (S809)。 在 S805 中进行了左眼用的 处理，所以向右移动了，但是这次进行右眼用的处理，所以向相反方向、即向左移动。 将 S809 中合成部 16 合成的最终影像作为右眼图像输出到显示装置 400(S810)。
     与本输出完成同时，本再现装置转换左右处理存储部 19 的标志。 即，在设置为 左眼处理的情况下切换到右处理，而在设置为右眼处理的情况下切换到左处理。
     再现装置 200 只要在 S810 完成的时间点存在下一帧，就重复执行 S802 ～ S810 的处理。
     (2D 再现模式 )
     2D 再现模式是以 2D 再现时的高像质为前提的模式，所以再现模式在待再现的 流为 2D 用的情况下一定切换到 2D，这能够向顾客始终提供最高像质。 在再现对象的流 为 3D 立体用的情况下，维持当前再现模式。 再现模式切换后，到出现画面需要时间，所 以通过这样尽量减少再现模式的切换，能够短缩开始 AV 再现的时间。
     图 14 示出 2D 模式下的播放列表再现的处理过程。
     将当前播放项号设置为 1( 步骤 S21)，将用当前播放项信息的流文件信息指定的 AV 流设置为当前流 ( 步骤 S22)，其后，根据步骤 S23 的判断步骤的结果，选择性地执行步骤 S24 ～步骤 S25、步骤 S26 ～步骤 S27 的处理。 步骤 S23 判断当前流是否包含左眼用 视频流、右眼用视频流，在包含的情况下，通过将左眼用视频流及右眼用视频流中的、 可单独再现的主视视频流的包标识符设置到分离器中而使其分离出视频流 ( 步骤 S24)， 其后，执行主视视频流的帧处理 ( 步骤 S25)。
     在不包含的情况下，通过将视频流的包标识符设置到分离器中，而使其分离出 视频流 ( 步骤 S26)，执行视频流的帧处理 ( 步骤 S27)。
     图 15 是 2D 模式下的 2D 流的视频帧处理的处理过程的流程图。
     分离器 4 进行光盘上的传输流的多路分离，将图形流保存到图像存储器 7c，d 中 (S1103)。
     接着，图像解码器 8 对图像存储器 7c，d 中保存着的图形流等进行解码并写入到 图像平面 8 上 (S1104)。
     接着，分离器 4 进行光盘上的传输流的多路分离，抽取视频流，将通过视频解 码器 5 解码出的视频保存到视频平面上 (S1105)。
     接着，合成部 16 在视频平面 5 上合成图形平面 9 的图像 (S1106)。 将 S1106 中 合成部 16 合成的最终影像输出到显示装置 400(S1107)。 在 S1107 中向显示装置 400 输出 了最终影像之后，判断是否是再现模式的切换发生后的第一次帧处理 (S1108)。 在 S1108 中向显示装置 400 输出最终影像。
     图 16 是 2D 模式下的 2D 流的视频帧处理的处理过程的流程图。 以下，用图 16 的流程图来说明 2D 影像输出处理。
     首先，接着，分离器 4 进行光盘上的传输流的多路分离，将图形流保存到图像 存储器 7c， d 中 (S1201)。
     接着，图像解码器 8 对图像存储器 7c，d 中保存着的图形流等进行解码并写入到 图像平面 8 上 (S1202)。
     接着，分离器 4 进行光盘上的传输流的多路分离，抽取左眼用视频流，将通过 视频解码器 5 解码出的视频保存到视频平面上 (S1203)。
     接着，合成部 16 在视频平面 5 上合成图形平面 9 的图像 (S1204)。 将 S1204 中 合成部 16 合成的最终影像输出到显示装置 400(S1205)。 其中，在 S1203 中抽取了左眼 用视频流，但是也可以提取右眼用视频流，在 S1204 中合成。 这样，再现装置 200 在待 再现的传输流是 3D(S2 ：3D) 的情况下，如果终端设置被设置为 2D 模式 (S3 ：2D)，则 也能够输出 2D 用的影像。
     如上所述，根据本实施方式，进行两个判断 ：判断数字流支持 2D 还是支持 3D，判断再现装置被设置为以 2D 来再现还是被设置为以 3D 来再现，最终通过决定以 2D 来再现数字流还是以 3D 来再现数字流，能够适当地形成立体影像。
     ( 第 2 实施方式 )
     以上实施方式由图像平面和视频平面这两个平面构成，而在视频平面和 2 个以 上的图形平面的情况下，按照平面的数目来增加图像存储器和图像平面的数目，根据各 图像平面的图像平面偏移信息来偏移、重叠平面。
     图 17 是能够支持多图像平面的播放列表再现处理的处理过程的流程图。 再现装 置 200 从静态脚本存储器 11 的当前播放列表信息中提取与图像平面的数目相同的图像平面偏移信息，用数组保存到平面移动引擎 28 上 (S1301)。 接着，分离器 4 进行光盘上的 传输流的多路分离，抽取左眼用视频流，将通过视频解码器 5 解码出的视频保存到视频 平面上 (S1302)。 接着，分离器 4 进行光盘上的传输流的多路分离，将图形流保存到图 像存储器 7c， d 中 (S1303)。 接着，图像解码器 8 对图像存储器 7c， d 中保存着的图形 流等进行解码并写入到图像平面 8 上 (S1304)。
     接着，平面移动引擎根据 S1301 中保存的图像平面偏移信息的数组的最上位的 值将图像平面沿一定的方向移动，合成部 16 在视频平面 5 上合成移动了的图形平面 9 的 图像 (S1305)。 其中，S1305 在第 2 次以后的情况下不是在视频平面上合成移动了的图形 平面 9 的图像，而是在上次的 S1305 中合成的影像上重叠新图像平面。 此外，S1305 在第 2 次以后的情况下用图像偏移信息的数组参考的图像偏移信息也一并利用第 2 次以后的。
     接着，再现装置 200 根据是否进行了与图像平面偏移信息的数组同样多的两眼 的处理来判断图像平面是否全部合成完毕 (S1306)。 在图像平面未全部合成完毕的情况 下 (S1306 ：“否” (No))，为了处理下一个图像平面，而用下一个图像平面偏移信息来 重复 S1303 ～ S1305 的处理。 而在图像平面全部合成完毕的情况下 (S1306 ：“是” )， 将 S1305 中合成部 16 合成的最终影像作为左眼图像输出到显示装置 400(S1307)。 S1307 中输出了左眼影像之后，接着用右眼用影像进行与左眼用影像同等的处理 (S1302 ～ S1307)。 只不过在右眼用处理中，在 S1305 中向右偏移了图像平面被全部向左偏移。 此 外，在 S1307 中作为左眼用影像输出到显示装置，而通过右眼用处理合成的影像作为右 眼用影像被输出。 在左眼用影像和右眼用影像完成的时间点进行下一帧的处理。 ( 第 3 实施方式 )
     本实施方式设想的 BD-J 应用程序是通过 Xlet 接口、用平台内的应用程序管 理器控制的 Java(TM)Xlet。 Xlet 接口具有 “loaded” ( 装入 )， “paused” ( 暂停 )、 “active” ( 活动 )、 “destroyed” ( 拆除 ) 这 4 个状态，是事件驱动的，即，根据事件来 进行状态转移并且执行控制。 在 xlet 接口中，预先登录了作为应用程序的工作的触发的 关键事件。 这样，作为工作的触发的关键事件的登录由 EventListner 来进行。
     BD-J 应用程序是事件驱动的，所以与电影对象相比， BD-J 应用程序的工作有 以下不同。 HDMV 模式下的命令的执行主体——命令解释器在被命令再现例如 10 分钟长 度的数字流时，在 10 分钟这一期间内不返回任何应答，10 分钟这一时间经过后才返回应 答。 但是 BD-J 应用程序是事件驱动的，所以 Java 虚拟机在解释再现命令、和向下位层 发出指示之后立即向 BD-J 应用程序返回应答。 这样，执行主体的动作因工作模式而异， 所以在 BD-J 模式下的 BD-J 应用程序的工作时，需要在控制的关键部位预定要通知的事 件，将用于接收该关键事件的事件监听器预先登录到类文件的 Xlet 接口中，促使虚拟机 适当工作。 例如，在再现装置的再现模式从 2D 切换到 3D、从 3D 切换到 2D 的情况下， 如果输出表示该切换的事件，并且将该进行接收的事件监听器预先登录到 BD-J 应用程序 的 Xlet 接口，就能够按照上述再现模式的变化来切换 BD-J 应用程序的处理。
     在本实施方式中，在再现模式被切换了的情况下，将上述再现装置的模式被切 换了的事实通知给显示装置，在从上述显示装置收到能够进行与切换后的模式相应的输 出的意思的通知的情况下，向上述应用程序输出表示能够进行与上述切换后的模式相应 的输出的事件，促使 BD-J 应用程序进行与之相应的工作。
     图 18 是加进了输出显示模式切换完成通知事件的过程的、3D 模式下的视频帧处 理的处理过程的流程图。 本图是以图 13 为基础作图的，与该作为基础的图 13 相比，不 同点在于，在步骤 S810 和步骤 S811 之间，在本图中添加了步骤 S1108、步骤 S1109。
     判断是否是再现模式切换发生后的第一个帧 (S1108)。在是第一个帧的情况下， 向应用程序发出终端的再现模式切换结束通知 (S1109)。 这样，再现装置 200 在再现对 象的传输流是 2D、而且终端设置是 2D 模式的情况下，能进行 2D 影像输出处理，所以能 够切换 2D/3D 模式。
     图 19 是加进了输出再现模式切换完成通知事件的过程的、2D 模式下的视频帧处 理的处理过程的流程图。 本图是以图 15 为基础作图的，与该作为基础的图 15 相比，不 同点在于，在步骤 S1107 和步骤 S1110 之间，添加了步骤 S1108、步骤 S1109。 判断是否 是再现模式切换发生后的第一个帧 (S1108)。在是第一个帧的情况下，向应用程序发出终 端的再现模式切换结束通知 (S1109)。 这样，再现装置 200 在待再现的传输流是 2D、而 且终端设置是 2D 模式的情况下，能进行 2D 影像输出处理，所以能够切换 2D/3D 模式。
     如上所述，根据本实施方式，输出促使具备事件驱动的 xlet 接口的 BD-J 应用程 序进行用于 3D 模式的适当的绘制的事件，所以在影像内容从 2D 切换到 3D、从 3D 切换 到 2D 的情况下， BD-J 应用程序进行的图形绘制也能够从 2D 切换到 3D、从 3D 切换到 2D。
     ( 第 4 实施方式 )
     以上实施方式说明了在普通再现时如何实现立体再现，而在本实施方式中，说 明在用户请求了特殊再现时如何进行立体再现。
     图 20 是在普通再现之外、考虑特殊再现的 3D 模式下的视频帧处理的处理过程的 流程图。 本图是以图 13 为基础作图的，与该作为基础的图 13 相比，不同点在于，添加 了步骤 S1401 ～步骤 S1404。
     步骤 S1401 判断当前再现中的影像是特殊再现、还是普通再现。 示出了如果是 普通再现，则影像、字幕都进行 3D 显示的情况的一例。
     在 S1401 中为特殊再现的情况下，分离器 4 进行光盘上的传输流的多路分离，根 据左右处理存储部 19 的标志，抽取与其对应的视频流，将通过视频解码器 5 解码出的视 频保存到视频平面上 (S1402)。 在第 1 实施方式中，左右处理存储部的标志被缺省设置为 左眼用的处理。 将合成部 16 合成的最终影像作为左眼影像输出到显示装置 400(S1403)。 与本输出完成同时，本再现装置转换左右处理存储部 19 的标志。 即，在设置为左眼处理 的情况下切换到右处理，而在设置为右眼处理的情况下切换到左处理。
     接着，将合成部 16 合成的最终影像作为右眼图像输出到显示装置 400(S1404)。 与该输出完成同时，本再现装置转换左右处理存储部 19 的标志。 即，在设置为左眼处理 的情况下切换到右处理，而在设置为右眼处理的情况下切换到左处理。 再现装置 200 只 要在 S1404 完成的时间点存在下一帧，就重复执行 S1401 ～ S1404 的处理。
     在 S1401 中为普通再现的情况下，继续字幕 /GUI、影像的 3D 显示，作为图 8 的 处理流程而实施前述的 S802 ～ S810。
     这里，在难以在暂停的情况下也继续 3D 显示的情况下，可以与特殊再现的情况 同样，重复输出 1 个视频帧。如果是特殊再现，则将影像切换到 2D 显示，隐藏 ( ミユ一ト ) 字幕。 在视频 进行快进、后退等特殊再现，只能对右眼用或左眼用的视频中的某一个进行解码的情况 下，也能够输出两眼用视频，所以不仅能够防止影像的闪烁，而且能够防止由于硬要显 示字幕而使影像和字幕不匹配这样的不自然的再现。
     ( 继续 3D 的方法 )
     作为在进行停止、暂停、或幻灯再现的情况下继续 3D 显示的处理，有 “通过重 复显示来继续 3D”、 “设置下一帧”、 “基于能力的例外”。
     1. 通过重复显示来继续 3D
     例 如， 在 影 像 以 3D 显 示 来 再 现， 由 于 用 户 用 遥 控 300 进 行 的 操 作 或 内 容 (Java( 注册商标 ) 应用程序、 MovieObject) 而中途进行停止、暂停、或幻灯再现的情况 下，通过持续重复显示影像停止的位置的左眼用视频帧和右眼用视频帧及字幕数据来继 续 3D 显示。
     即，通过将图 14 中进行下一帧处理时的下一帧始终设置在影像停止的位置的左 眼用视频流的视频帧的位置上，来继续 3D 显示。 此外，可以只继续 3D 显示视频，而隐 藏字幕。 同样，在由于存储器等资源制约而不能继续 3D 显示的情况下，也可以隐藏视频 及字幕。
     这样，通过尽可能地继续 3D 显示，能够尽可能地抑制不自然的立体感之差的发 生，能够减轻给观众的不快感。
     2. 设置下一帧
     通过将进行下一帧处理时的下一帧始终设置在影像停止的位置的左眼用视频流 的视频帧的位置上，能够继续 3D 显示。
     此外，在由于存储器等资源制约而不能继续 3D 显示的情况下，可以隐藏视频及 字幕。 这样，通过尽可能地继续 3D 显示，能够尽可能地抑制不自然的立体感之差的发 生，能够减轻给观众的不快感。
     3. 基于能力的例外
     当然，在再现装置 200 是高性能的情况下，在视频进行快进、后退等特殊再现 的情况下，也可以通过实施 S802 ～ S810 的处理来继续 3D 显示。
     ( 第 5 实施方式 )
     以上描述了由于用户操作或来自 BD-J 应用程序、电影对象的指示而实施了特殊 再现时的举动。 不过，说起来，影像混乱、影像和字幕不能匹配起因于强行进行特殊再 现。 因此，以下，说明为了继续字幕 /GUI、影像的 3D 再现而禁止特殊再现的改进。
     图 21 示出了禁止根据用户操作、来自 BD-J 应用程序、电影对象的指示进行特 殊再现的情况下的流程图的一例。
     假设在再现装置 200 正在再现字幕 /GUI、影像的状态下，通过用户用遥控 300 进行的操作、来自 BD-J 应用程序、电影对象的指示，而请求了快进、后退等、再现速 度为 1 倍速以外的特殊再现 (S1501)。 再现控制引擎 18 从静态脚本存储器 11 中的当前 播放列表 (PL) 信息中取得维数识别标志 40111，判断影像是 2D 还是 3D(S1502)。 在 S1502 中判断出影像是 3D 的情况下，驳回 S1501 中的特殊再现请求，继续影像的普通再 现 (S1503)。 而在 S1502 中判断出影像是 2D 的情况下，受理 S1501 中的特殊再现请求，将影像再现变更为特殊再现 (S1504)。
     这样，通过预防难以 3D 显示的特殊再现，能够进行 3D 显示。
     ( 第 6 实施方式 )
     在本实施方式中，说明适用了 Depth 运算方式的改进。
     图 22 是适用了 Depth 运算方式的再现装置的内部结构的方框图。 如图 16 所示， 可知在实施方式 1 所示的内部结构上，添加了 Depth 运算引擎 34。
     Depth 运算引擎 34 具有能够根据左眼用的字幕 /GUI 和视频帧来计算纵深的 功能。 作为纵深的计算方法，输入 2D 视频流和该 2D 视频流的每帧的各画面像素的纵 深，再现机器据此来生成左眼用 3D 视频流和右眼用 3D AV 流。 该方式示于美国专利第 5929859 号说明书中。 在美国专利第 5929859 号说明书中描述的方式—— Depth 运算方式 的情况下，也可以通过稍微改变图 15 所示的方法，而在 3D 视频流上重叠立体字幕 / 图 形。
     图 23 是采用了 Depth 运算方式的情况下的 3D 模式下的视频帧处理的处理过程的 流程图。 本图是以图 20 为基础作图的，与该作为基础的图 20 相比，不同点在于，在步 骤 S1401 和步骤 S802 之间，添加了步骤 S1701 ～步骤 S1703。
     在该添加的一系列步骤中， Depth 运算引擎 34 提取表示画面的各像素的纵深信 息的画面整体纵深信息 (S1701)。 接着， Depth 运算引擎 34 从 S1701 中提取出的画面整 体纵深信息中，提取与判断为最近的像素对应的纵深信息 (S1702)。 Depth 运算引擎 34 将 S1702 中提取出的值保存到平面移动引擎 28 的存储区域中 (S1703)。
     在步骤 S1703 中，为了使字幕 / 图形显示在比视频的最近点稍近处，除了 S1703 中提取出的值以外，最好还将使得稍近的值保存到平面移动引擎 28 的存储区域中。
     接着，再现装置 200 进行 S802 ～ S810、S1401 ～ S1404 的处理。 对于 S802 ～ S810、 S1401 ～ S1404 的详细处理的说明已在实施方式 1 的图 8、图 14 的说明中进行过 了，所以这里就不进行了。 步骤 S810、 S1404 的处理结束后，作为下一帧处理，重复 S1701 以后的处理。
     在本例的情况下，图 13 中的 S804 和 S807 的视频不是分离器 4 进行光盘上的传 输流的多路分离而取得的左眼用视频流和右眼用视频流，而是为了将输入的 2D 视频流显 示成 3D 而实施了加工所得的左眼用视频帧和右眼用视频帧成为图 13 的步骤 S804、步骤 S807 的对象。
     如上所述，根据本实施方式，在以 2D 视频流和画面的各像素的纵深信息为输入 的 Depth 运算方式中也对视频进行快进、后退等特殊再现，在不能从左眼用的视频的解码 生成右眼用视频帧的情况下，也能够输出两眼用视频，所以不仅能够防止影像的闪烁， 而且能够防止由于硬要显示字幕而使影像和字幕不匹配这样的不自然的再现。
     再者，也可以组合第 1 实施方式、第 6 实施方式来再现。 即，在如果使用实施 例 2 的方法则在特殊再现时也能够继续 3D 输出的情况下，也可以在特殊再现中切换到实 施例 2 的方法，在普通再现中用实施例 1 的方法来再现内容。
     ( 第 7 实施方式 )
     以上实施方式未特别触及显示装置 400 和再现装置之间的传输，而在本实施方 式中，讨论该传输。以下，说明经 HDMI 在再现装置和显示装置之间的数据传送。
     HDMI 发送接收部 17 将进行了层合成的图片数据中的一行非压缩 / 平文形式的 像素数据根据显示装置中的水平同步周期以高传送速率传送到显示装置。 另一方面，在 显示装置中的水平回扫周期及垂直回扫周期中，向与再现装置相连接的其他装置 ( 不仅 是显示装置，还包含放大器、扬声器 ) 传送非压缩 / 平文形式的音频数据。 通过这样做， 通过 HDMI 相连接的显示装置、放大器、扬声器这些机器能够接受非压缩 / 平文形式的 图片数据、非压缩 / 平文形式的音频数据，能够实现再现输出。 HDMI 传输非压缩 / 平 文形式的图片数据、音频数据，所以在经 HDMI 连接机器时，严格判断其连接对方是否 是正当的机器。 因此，在 HDMI 的连接时，在相连接的再现装置及显示装置间进行相互 认证。 该相互认证基本上在变化了频率时也执行，所以在上述模式变更时，进行再现装 置 - 显示装置间的相互认证。
     以下、说明在再现装置 200 和显示装置 400 之间如何进行相互认证。
     图 24 示出再现装置 200 和显示装置 400 的通信序列。 本图中的时间轴是纵轴， 在 HDMI 中，存在传输阶段、相互认证阶段、传输阶段这 3 个阶段。
     从传输阶段到相互认证阶段的切换以 2D → 3D 切换请求 ( 或 3D → 2D 切换请求 ) 为触发，从相互认证阶段到传输阶段的切换以认证结束为触发。 即，在 L 图像的解码由 再现装置端进行、L 图像的表示输出由显示装置 400 进行时，如果发出了切换请求，则开 始相互认证。 在此期间，显示装置 400 为消失的状态。 在认证结束阶段，事件被输出到 BD-J 应用程序。 然后， L 图像、 R 图像的解码由再现装置端进行， L 图像、 R 图像的表 示输出由显示装置 400 进行。
     以上相互认证在 HDMI 接口想要实现模式切换时进行。 以下，说明 HDMI 接口 进行的模式切换。
     图 25 是 HDMI 接口中的、模式切换的处理过程的流程图。
     通过 HDMI 将新的模式输出到显示装置 400( 步骤 S31)，与显示装置 400 执行重 新同步处理及重新认证处理 ( 步骤 S32)。 然后，等待认证完成 ( 步骤 S33)，如果认证完 成，则将事件输出到 BD-J 应用程序 ( 步骤 S34)。
     由于发生相互认证，使显示装置 400 的显示内容消失，所以需要设法使显示装 置 400 中的模式切换不发生。
     该模式切换起因于频率变化，所以在本实施方式中，导入不招致显示装置 400 中的频率切换的 2 个模式。
     将以上说明过的左眼用视频流、右眼用视频流中的、可单独再现的称为主视视 频流。 另一方面，将根据与构成该主视视频流的各个视频帧之间的相关性而压缩编码了 的视频帧组成的视频流称为辅视流。
     此 外， 将 主 视 视 频 流 的 视 频 帧 和 辅 视 流 的 视 频 帧 以 1/48 秒 的 表 示 周 期 按 “B” - “D” - “B” - “D” 那样交替输出的模式称为 “B-D 显现模式”。
     将主视视频流的视频帧和辅视流的视频帧不是交替输出，而是将再现模式维持 在 3D 模式，将同一视频帧重复 2 回以上、输出到左右的视频平面 ( 例如，在图 8、图 22 所示的视频平面 6 上，是附有符号 (L)、(R) 的各个区域 ) 上，将写入到视频平面上的视 频帧用于再现，将进行上述处理的再现类型称为 B-B 显现模式。 在 B-B 显现模式下，只有可单独再现的主视视频流的视频帧按 “B” - “B” - “B” - “B” 那样被重复输 出。
     图 26 示出在再现模式按 B-D 显现模式、 B-B 显现模式、 B-D 显现模式那样来 转移的情况下、输出的图片和显示频率、 HDMI 如何变化。 第 1 排示出输出到显示装置 400 的图片，第 2 排示出显示频率。 该频率是以电影素材的频率来显示左眼用、右眼用视 频帧的，为 48 帧 / 秒 z(2×24 帧 / 秒 ) 这一值。 第 3 排示出 HDMI 的状态。
     从 B-D 显现模式到 B-B 显现模式的转移在指示了特殊再现开始的时间点进行， 从 B-B 显现模式到 B-D 显现模式的转移在特殊再现结束时进行。 这样，可知即使发生了 B-B 显现模式、 B-D 显现模式间的转移，如第 2 排所示，显示频率也保持 48Hz，如第 3 排所示，不发生 HDMI 中的重新认证。
     图 27 示出由于从普通再现切换到快进、从快进切换到普通再现，再现装置中的 解码内容及显示装置 400 的显示内容如何变化。 本图中的时间轴是纵向，由普通再现阶 段、特殊再现阶段、普通再现阶段这 3 个阶段构成。
     在普通再现阶段，再现装置为 B-D 显现模式，进行 L 图像、 R 图像的解码及输 出。 显示装置 400 进行 L 图像、 R 图像的交替输出。 在特殊再现阶段，再现装置为 B-B 显现模式。 这里，如果左眼用视频流是主视 视频流，则进行 L 图像、 L 图像的解码及输出。 显示装置 400 进行 L 图像、 L 图像的交 替输出。
     在普通再现阶段，再现装置为 B-D 显现模式，进行 L 图像、 R 图像的解码及输 出。 显示装置 400 进行 L 图像、 R 图像的交替输出。
     即使有这 3 个再现模式的切换，在 HDMI 上也不发生重新认证。
     ( 第 8 实施方式 )
     以上实施方式中说明过的特殊再现未缩小具体处理内容的范围而进行了说明， 而在本实施方式中，将焦点缩小到倍速再现的实现来进行说明。
     首 先， 说 明 作 为 MVC 视 频 流 的 基 础 的 MPEG4-AVC 形 式 的 视 频 流。 MPEG4-AVC 形式的视频流由 I 图片、B 图片、P 图片构成。 这与 MPEG2 形式的视频流 相同。
     在 I 图片中，有 IDR 图片和 Non( 非 )-IDR I 图片这 2 种。 Non-IDR I 图片、 P 图片、B 图片是根据与其他图片的帧相关性而被压缩编码的。B 图片是指由 Bidirectionally predictive( 双 向 预 测 )(B) 形 式 的 片 ( ス ラ イ ス ) 数 据 组 成 的 图 片， P 图 片 是 指 由 Predictive( 预测 )(P) 形式的片数据组成的图片。 在 B 图片中，有 refrence( 参考 )B 图片 和 nonrefrence( 非参考 )B 图片。 IDR 图片、和跟在该 IDR 图片后面的 B 图片、 P 图片 构成 1 个 Closed-GOP。 另一方面，Non-IDR I 图片、和跟在 Non-IDR I 图片后面的 B 图 片、 P 图片构成 1 个 Open-GOP。
     在编码顺序中，Closed-GOP 将 IDR 图片安排在起始处。 在显示顺序中 IDR 图片 不是起始， IDR 图片以外的其他图片 (B 图片、 P 图片 ) 不能与 Closed-GOP 以前的 GOP 中存在的图片具有依存关系。 这样， Closed-GOP 具有使依存关系完结的作用。
     编码顺序和显示顺序的不同点在于 IDR 图片、Non-IDR I 图片、P 图片的顺序交 换了。 在显示顺序中，在 Non-IDR I 图片之前存在 B 图片。 Non-IDRI 图片前的 B 图片
     与前面的 GOP 具有依存关系。 另一方面，Non-IDR I 图片以后的图片不能与前面的 GOP 具有依存关系。 这样， Open-GOP 能够与前面的图片具有依存关系。
     这些 I 图片、 P 图片、 B 图片、和访问单元的关系是 1 访问单元＝ 1 图片。 音 频流也由多个音频帧构成，而这些音频帧和访问单元的关系也是 1 音频帧＝ 1 访问单元。 此外，在 BD-ROM 中，限制 1PES 包＝ 1 帧。 即，如果动画是帧结构的，则 1PES 包＝ 1 图片，而在场结构的情况下，1PES 包＝ 2 图片。 根据这些事实， PES 包以 1 比 1 的比 率保存着图片或音频帧。
     以上是 MPEG4-AVC 中的 GOP 结构。 在这种 GOP 结构中，通过选择 GOP 内 存在的 I 图片、 B 图片、 P 图片中的哪个来再现、选择构成视频流的多个 Closed-GOP、 Open-GOP 中的哪个来再现这样的间歇性的再现，能够调整倍速再现时的再现速度。 除 此之外，在 3D 模式下，在执行倍速再现时，通过只从 BD-ROM 上读出主视视频流及辅 视流中的、构成主视视频流的图片数据，在 B-B 显现模式下再现，来减轻访问负担。
     图 28 示出通过选择 GOP 内存在的 I 图片、 B 图片、 P 图片中的哪个来再现、选 择构成视频流的多个 Closed-GOP、 Open-GOP 中的哪个来再现、来实现速度调整的倍速 再现的实现例。 图 28(a) 是依次再现主视视频流的多个 GOP 及辅视流的多个 GOP 中包含的图片 数据这一普通再现的图。 图 28(b) 是跳过主视视频流内存在的 GOP 中存在的 B 图片、只 依次读出 I 图片、 P 图片这一 IP 读出的图。 在该图 (b) 中，可知尽管是 3D 模式，但是 对辅视流并未进行访问。
     图 28(c) 是跳过 GOP 中存在的 B 图片、P 图片、只依次读出 I 图片这一 I 读出的 图。 在该图 (c) 中，也可知尽管是 3D 模式，但是对辅视流并未进行访问。
     图 28(d) 是跳过多个 GOP 这一跳读的图。 在本图中，再现多个 GOP 中包含的 I 图片中的、 GOP 的 I 图片，其后，跳过箭头所示的读出位置，再现几个后的 GOP 的 I 图 片。 在该图 (d) 中，可知尽管是 3D 模式，但是对辅视流并未进行访问。
     如果进行图 28(b) 那样的 IP 读出，则再现装置进行大体 2 倍速的再现 ；如果进 行图 28(c) 那样的 I 再现，则再现装置进行 10 倍速的再现。 再者，如果进行图 28(d) 那 样的再现，则进行 30 倍速以上的再现。 为了减轻 3D 模式下的访问负担，在本图 (b) ～ (d) 中，只有主视视频流——左眼用视频流的 GOP 供访问，只有该左眼用视频流中的 I 图 片在 B-B 显现模式下被再现。
     如上所述，通过按照从遥控接受到的速度来调整应跳过的图片数据的数目，来 增减动画区间上的再现速度。 以上是对倍速再现的说明。 接着，说明视频解码器的细 节。
     图 29 示出分离器及视频解码器的内部结构。 如本图所示，分离器 4 由 ATC 计 数器 41、源拆包器 42、 PID 过滤器 43、 STC 计数器 44、 ATC 计数器 45、源拆包器 46、 PID 过滤器 47 构成。
     ATC 计数器 41 生成 Arrival Time Clock(ATC，到达时间时钟 )，来调整再现装置 内的工作定时。
     源拆包器 42 在读缓冲器 2a 中存储着源包的情况下，在 ATC 计数器生成的 ATC 的值和源包的 ATS 值变得相同的瞬间，根据 AV 片断的记录速率，只将该 TS 包传送到 PID
     过滤器。 在该传送时，按照各源包的 ATS 来调整输入到解码器中的时刻。
     PID 过滤器 43 将从原拆包器 22 输出的 TS 包中的、 TS 包的 PID 与再现所需的 PID 一致者，根据 PID，传送到各解码器。
     STC 计数器 44 生成 System Time Clock(STC，系统时钟 )，调整各解码器的工作 定时。
     ATC 计数器 45 生成 Arrival Time Clock(ATC)，来调整再现装置内的工作定时。
     源拆包器 46 在读缓冲器 2ab 中存储着源包的情况下，在 ATC 计数器生成 ATC 的 值和源包的 ATS 值变得相同的瞬间，根据 AV 片断的系统速率，只将该 TS 包传送到 PID 过滤器。 在该传送时，按照各源包的 ATS 来调整输入到解码器中的时刻。
     PID 过滤器 47 将从原拆包器 26 输出的 TS 包中的、TS 包的 PID 与当前播放项的 流选择表中记载的 PID 一致者，根据 PID，传送到主视频解码器。
     视频解码器 5 由 TB 51、 MB 52、 EB 53、 TB 54、 MB 55、 EB 56、解码器核心 57、缓冲器开关 58、 DPB 59、图片开关 60 构成。
     Transport Buffer(TB，传输缓冲器 )51 是在包含左眼用视频流的 TS 包被从 PID 过 滤器 43 输出时、原封不动地暂时存储 TS 包的缓冲器。
     Multiplexed Buffer(MB，复用缓冲器 )52 是用于在从 TB 向 EB 输出视频流时、 暂时存储 PES 包的缓冲器。 在从 TB 向 MB 传送数据时，去除 TS 包的 TS 首标。
     Elementary Buffer(EB，基本缓冲器 )53 是保存处于编码状态的视频访问单元的 缓冲器。 在从 MB 向 EB 传送数据时去除 PES 首标。
     Transport Buffer(TB)54 是包含右眼用视频流的 TS 包被从 PID 过滤器输出时、原 封不动地暂时存储 TS 包的缓冲器。
     Multiplexed Buffer(MB)55 是用于在从 TB 向 EB 输出视频流时、暂时存储 PES 包 的缓冲器。 在从 TB 向 MB 传送数据时，去除 TS 包的 TS 首标。
     Elementaly Buffer(EB)56 是保存处于编码状态的视频访问单元的缓冲器。 在从 MB 向 EB 传送数据时去除 PES 首标。
     解码器核心 57 通过按规定的解码时刻 (DTS) 对视频基本流的各个视频访问单元 进行解码来创建帧 / 场图像。 在 AV 片断上复用的视频流的压缩编码形式中有 MPEG2、 MPEG4AVC、 VC1 等，所以按照流的属性，来切换解码器核心 57 的解码方法。 在对构 成主视视频流的图片数据进行解码时，解码器核心 57 将未来方向或过去方向上存在的图 片数据用作参考图片，来进行运动补偿。 而在对构成辅视视频流的各个图片数据进行解 码时，解码器核心 57 将构成主视视频流的图片数据用作参考图片，来进行运动补偿。 如 果这样对图片数据进行了解码，则解码器核心 57 将解码出的帧 / 场图像传送到 DPB 59， 按显示时刻 (PTS) 的定时将对应的帧 / 场图像传送到图片开关。
     缓冲器开关 58 使用解码器核心 57 对视频访问单元进行解码时取得的解码开关信 息，来决定从 EB 53、 EB 56 中的哪一个中选拔下一个访问单元，将 EB 53 和 EB 56 中存 储着的图片按分配给视频访问单元的解码时刻 (DTS) 的定时传送到解码器核心 57。 左眼 用视频流和右眼用视频流的 DTS 被设置得在时间轴上以图片为单位交替出现，所以在例 如忽略 DTS 而提前进行解码的情况下，最好以图片为单位将视频访问单元传送到解码器 核心 57。Decoded Picture Buffer(DPB，解码图片缓冲器 )59 是暂时保持解码出的帧 / 场图 像的缓冲器。 在解码器核心 57 对图片间予测编码了的 P 图片或 B 图片等视频访问单元进 行解码时，用于参考已经解码出的图片。
     图片开关 60 在将从解码器核心 57 传送的解码完毕的帧 / 场图像写入到视频平面 上的情况下，将其写入目的地切换到左眼视频平面、右眼视频平面。 在左眼的流的情况 下，将非压缩的图片数据瞬时写出到左眼视频平面上 ；而在右眼的流的情况下，将非压 缩的图片数据瞬时写出到右眼视频平面上。
     以上是对视频解码器的说明。 接着，说明如何进行倍速再现的细节。
     在再现动画区间时，具有上述那样的内部结构的视频解码器通过一边跳过图片 数据一边读出，来实现倍速再现。
     在本实施方式中，按照再现速度来实施字幕 /GUI、影像的隐藏、2D、3D 显示 判断处理。 例如，在影像、声音、字幕的再现是能够与 1 倍速再现同等进行的再现速度 的情况下 ( 例如，要求 1.3 倍的再现速度的快放、逐帧前进、逐帧后退时 )，与 S1401 中 为普通再现的情况同样来继续字幕 /GUI、影像的 3D 显示。
     在只需停止字幕的解码就能够继续影像的 3D 影像的情况下，只对影像继续进行 3D 显示。 在如果是 2D 则能够合成影像和字幕的再现速度的情况下，通过使影像只对左 眼用或右眼用数据进行解码，对字幕进行解码，不用平面移动引擎 28 移动就与左眼用、 右眼用的影像合成并输出，而以 Java 模式 D 来显示影像 / 字幕。 再者，在高速再现中以 2D 也不能显示的情况下，连影像、字幕都隐藏。
     这种特殊再现时的再现处理可以用图 30 的流程图来实现。
     图 30 是考虑到倍速再现的特殊再现的处理过程的流程图。 本流程图按照步骤 S51、步骤 S52 的判断结果，来选择性地执行步骤 S53、步骤 S54、步骤 S55。 步骤 S51 判断请求的特殊再现是否包含与再现速度相应的解码控制，步骤 S52 判断是否是能够以 B-D 显现模式再现的速度。
     如果速度在 1.3 倍以下，则转移到步骤 S53，切换到 B-D 显现模式，用 B-D 显 现模式来执行解码控制。 如果在 2.0 倍以上，则在步骤 S54 中，切换到 B-B 显现模式， 用 B-B 显现模式来执行 IP 再现、I 再现等的解码控制。 在不包含与速度相应的解码控制 的情况下，执行请求的特殊再现 ( 步骤 S55)。
     在步骤 S52 中，公开了如果再现速度在 1.3 倍以下则执行步骤 S53、如果再现速 度在 2 倍以上则执行步骤 S54 的结构，未考虑再现速度比 1.3 倍大、比 2 倍小的范围，而 这基于再现装置不具有进行再现速度比 1.3 倍大、比 2 倍小的倍速再现的功能这一前提。 然而，如果再现装置具备在特殊再现中也能进行再现速度在 2 倍以上的特殊再现、并且 能进行再现速度比 1.3 倍大、比 2 倍小的范围的特殊再现的功能，则例如变更为在步骤 S52 中在再现速度比 1.3 倍大的情况下执行步骤 S54 即可。
     ( 第 9 实施方式 )
     在以上实施方式中，在请求特殊再现时，是以使 2D 再现模式返回到 3D 模式这 一处理为原则进行的，而在本实施方式中，提出了用播放列表中的播放项来屏蔽用户通 过操作遥控 300 而发出的特殊再现的请求。
     播放项中的 UO 屏蔽表由以下标志构成。· chapter_serch_mask 标志
     chapter_serch_mask 标志是规定在用户请求了章搜索这一再现控制的情况下、是 否屏蔽该请求的标志。 这里，章搜索是指从用户那里接受号码输入、从该号码指定的章 开始再现这一再现控制。
     · time_search_mask 标志
     time_search_mask 是规定在用户请求了时间搜索这一再现控制的情况下、是否屏 蔽该请求的标志。 这里，时间搜索是指从用户那里接受再现时刻的输入操作、从再现时 刻指定的时间点开始再现这一再现控制。
     · skip_next_mask 标志、 skip_back_mask 标志
     skip_next_mask 标志、 skip_back_mask 标志是表示在与第 1 实施方式同样、用户 请求了跳过下一个、跳回的情况下、是否屏蔽该请求的标志。
     · play_mask 标志
     play_mask 标志是表示在用户请求了再现开始这一再现控制的情况下、是否屏蔽 该请求的标志。
     · stop_mask 标志
     stop_mask 标志是表示在用户请求了再现停止这一再现控制的情况下、是否屏蔽 该请求的标志。
     · pause_on_mask 标志
     pause_on_mask 标志是表示在用户请求了 pause on( 暂停 ) 这一再现控制的情况 下、是否屏蔽该请求的标志。
     · pause_off_mask 标志
     pause_off_mask 标志是表示在用户请求了 paus off( 解除暂停 ) 这一再现控制的情 况下、是否屏蔽该请求的标志。
     · still_off_mask 标志
     still_off_mask 标志是表示在用户请求了关闭静止图像模式这一再现控制的情况 下、是否屏蔽该请求的标志。
     · forward_play_mask 标志、 backward_play_mask 标志
     forward_play_mask 标志、 backward_play_mask 标志是规定在与第 1 实施方式同 样、用户请求了快进、快倒这些再现控制的情况下、是否屏蔽该请求的标志。
     · resume_mask 标志
     resume_mask 标志是表示在用户请求了重新开始再现这一再现控制的情况下、是 否屏蔽该请求的标志。
     · audio_change_mask 标志
     audio_change_mask 标志是表示在用户请求了声音切换这一再现控制的情况下、 是否屏蔽该请求的标志。
     · PG_textST_change_mask 标志
     PG_textST_change_mask 标 志 是 表 示 在 用 户 请 求 了 切 换 用 图 形 (Presenttation Graphics) 绘制的字幕和用文本绘制的字幕的情况下、是否屏蔽该请求的标志。
     · angle_change_mask 标志angle_change_mask 标志是表示在与第 1 实施方式同样、用户请求了角度切换这 一再现控制的情况下、是否屏蔽该请求的标志。
     · popup_on_mask 标志
     popup_on_mask 标志是表示在用户请求了调用弹出菜单这一再现控制的情况下、 是否屏蔽该请求的标志。
     · popup_off_mask 标志
     popup_off_mask 标志是表示在用户请求了关闭弹出菜单的显示这一再现控制的 情况下、是否屏蔽该请求的标志。
     · select_menu_language_mask 标志
     select_menu_language_mask 标志是表示在用户请求了选择菜单的描述语言这一 再现控制的情况下、是否屏蔽该请求的标志。
     其中，用 UO 屏蔽表屏蔽的只是用户操作，不屏蔽来自 BD-J 应用程序或电影对 象的特殊再现的指示。
     以上是 UO 屏蔽表。 使用该 UO 屏蔽表的视频帧处理如图 31 所示。
     图 31 是 3D 模式下的视频帧处理的处理过程的流程图。 是重复步骤 S41 ～步骤 S43、步骤 S802 ～步骤 S810、步骤 S811 的处理的循环。本循环的结束条件是在步骤 S811 中判断出不存在下一个视频帧。
     步骤 S41 判断用户是否有特殊再现的请求，步骤 S42 判断是否有停止请求，步骤 S43 判断是否有暂停请求。
     步骤 S44 判断在当前播放项的 UO 屏蔽表中是否屏蔽了特殊再现请求，如果未屏 蔽，则在步骤 S45 中执行特殊再现。
     步骤 S42 判断是否发出了停止请求，如果发出了停止请求，则在步骤 S47 中，维 持 B-D 显现模式，交替输出再现停止位置的左眼用视频流的视频帧及右眼用视频流的视 频帧，并返回。
     步骤 S43 判断是否请求了暂停，如果请求了，则在步骤 S46 中，判断在当前播放 项的 UO 屏蔽表中是否屏蔽了特殊再现请求。 如果未屏蔽，则在步骤 S47 中，维持 B-D 显现模式，交替输出再现停止位置的左眼用视频流的视频帧及右眼用视频流的视频帧， 并返回。
     ( 第 10 实施方式 )
     在以上实施方式中，描述了 3D 显示图形、字幕、影像所需的内容的构成及再现 方法。 以下，描述影像的再现状态变化了的情况下的内容再现方法。 作为影像的再现状 态，以进行了快进、后退、跳过等、再现速度在一倍速再现以外的特殊再现的情况、和 影像被暂停、幻灯再现、停止的情况为例。
     以下是特殊再现时的再现处理中的问题提起。 在进行了影像的特殊再现的情况 下，在用图说明过的 3D 内容的再现方法中，视频帧的解码跟不上，不仅影像混乱，与视 频帧配合的字幕数据的解码也跟不上，向观众提供了不愉快的内容。
     以下是暂停、幻灯再现、停止时的再现处理中的问题提起。
     此外，在影像被暂停、幻灯再现、停止了的情况下，在显示影像停止的地点的 最后一帧的情况下，如果从 3D 显示切换到 2D 显示，则由于与字幕 /GUI 之间的不自然的立体感之差，眼睛跟不上，损害了本来应有的视觉感，结果是临场感觉降低，所以会给 观众带来不快感。
     图 32 是与用户操作、BD-J 应用程序的请求、电影对象的请求相应的图像平面处 理过程的流程图。
     本流程图是重复步骤 S61 ～步骤 S63 的循环，在步骤 S61 中判断用户是否发出了 特殊再现的指示，在步骤 S62 中判断是否发出了停止请求、暂停请求，是否是视频的终 点。 步骤 S63 判断是否是幻灯播放再现。
     如上所述，播放列表文件中的 PlayItem 的再现类型表示是否幻灯播放再现流文 件，所以在当前 PlayItem 切换到表示实现幻灯播放再现的 PlayItem 时，步骤 S63 判断为 “是” (Yes)。
     如果请求了特殊再现，则在步骤 S67 中，判断能否与图像平面合成，如果能够 合成可能，则在左眼用视频流的视频帧及右眼用视频流的视频帧中的一方上，合成像素 坐标通过平面移动而变化了的图形，返回到循环。
     如果不能合成，则在步骤 S69 中不合成图像平面上的图形，而输出左眼用视频 流的视频帧及右眼用视频流的视频帧中的一方。 如果发出了停止请求、暂停请求，或者是视频的终点，则在步骤 S70 中判断是 否能够平面移动及合成，如果能够，则在再现停止位置上的左眼用视频流的视频帧及右 眼用视频流的视频帧上分别合成像素的坐标通过平面移动而变化了的图形 ( 步骤 S71)。
     如果不能平面移动及合成，则在步骤 S72 中不合成图像平面上的图形，而交替 输出左眼用视频流的视频帧及右眼用视频流的视频帧。
     ( 第 11 实施方式 )
     本实施方式是对提供给 BD-J 应用程序的功能的改进。
     为了不使 BD-J 应用程序请求特殊再现，添加使 BD-J 应用程序从播放列表信息 中取得维数识别标志的功能。
     以下，描述 BD-J 应用程序如何取得显示状态和取得寄存器设置值。 向 BD-J 应 用程序提供下述功能 ：在将 3D 显示着的字幕 /GUI、影像变换为 2D 或隐藏时，向内容 通知显示状态，或者使其取得当前显示状态。 此时，当前显示状态可以记载在寄存器组 12 中。 通过这样做，能够控制得使得内容自身不会显得不自然，能够减轻给观众的不快 感。
     接着，说明再现控制引擎将何种功能提供给 BD-J 应用程序。 再现装置 200 生 成向显示装置 400 输出的数据的处理是按照 BD-J 应用程序发出的请求进行的，是通过从 BD-J 平台 22 到再现控制引擎的指令来实现的。 这里，说明在再现开始的处理中从 BD-J 模块 22 到再现控制引擎 14 的指令的细节。
     具体地说，再现控制引擎将以下 3 个指令提供给 BD-J 应用程序。
     1. 再现准备指令
     再现准备指令是用于提醒准备的指令。 再现准备指令只是提醒准备，再现控 制引擎是否根据再现准备指令来实际进行准备，可通过 BD-J 平台 22 上的属性 “再现准
     备” 来取得。 在 “再现准备” 为 “进行” 的情况下，根据再现准备指令进行再现准备， 取得当前播放列表，请求再现 AV 流，判断当前播放列表的再现模式，判断再现模式。 在播放列表是 2D 的情况下，判断再现模式，切换再现模式。 根据同步开始指令，来请求再 现 AV 流。
     在 “再现准备” 为 “不进行” 的情况下，不根据再现准备指令进行再现准备。 通过根据再现准备指令进行实际的准备，有来自 BD-J 模块的自由度增加、能够进行细致 的控制这些优点，但是在有些播放器的实现中，有时不能准备再现准备指令，所以设有 这种属性。
     2. 同步开始指令
     同步开始指令是用于使再现模式与 AV 流的模式属性同步的指令。 在 “再现准 备” 为 “进行”、 AV 流为 2D 而且再现模式为 3D 的情况下，根据再现准备指令将再现 模式切换到 2D。 在 “再现准备” 为 “不进行”、 AV 流是 2D、而且再现模式是 3D 的 情况下，根据同步开始指令将再现模式切换到 2D。
     3. 再现开始指令
     再现开始指令是综合上述两个指令、用于进行再现准备和同步开始的指令。 不 管 “再现准备”的值如何，都取得当前播放列表，请求再现 AV 流，判断当前播放列表的 再现模式，判断再现装置中的再现模式。 在播放列表是 2D 的情况下，判断再现模式，切 换再现模式。 其后，请求再现 AV 流。
     ( 第 11 实施方式 )
     在本实施方式中，说明如何将再现装置的再现对象—— BD-ROM 记录到记录媒 体上这一记录方法的实施方式。
     本实施方式的记录方法不仅包含实时创建上述那样的文件、直接写入到记录媒 体的文件系统区域上这一实时记录，而且包含事先创建要记录到文件系统区域上的比特 流的整体镜像、根据该比特流来制作母盘、通过该母盘的压制来量产光盘这一预先格式 记录。 本实施方式的记录方法也由基于实时记录的记录方法及基于预先格式记录的记录 方法来确定。
     图 33 是记录方法的处理过程的流程图。 步骤 S201 导入动画、声音、字幕、菜 单这些数据素材 ；在步骤 S202 中，通过对数据素材进行数字化并进行压缩编码，根据 MPEG 标准进行编码，来得到打包基本流。 在步骤 S203 中，复用打包基本流来生成对应 的片断信息 ；在步骤 S204 中，将 AV 片断和片断信息分别保存到不同的文件中。
     在步骤 S205 中，创建规定 AV 片断的再现路径的播放列表、用播放列表来规定 控制过程的程序、对它们的管理信息 ；在步骤 S206 中，将 AV 片断、片断信息、播放列 表、程序、其他管理信息写入到记录媒体上。
     ( 第 12 实施方式 )
     在本实施方式中，说明用何种硬件来构成以上实施方式中描述过的再现装置。
     图 34 是再现装置的硬件的内部结构图。 在本图中，构成再现装置的主要部件 是前端部 101、系统 LSI102、存储设备 103、后端部 104、非易失性存储器 105、主微机 106、网络接口 107。
     前端部 101 是数据输入源。 前端部 101 包含例如图 4 所示的 BD 驱动器 1a、本 地存储器 1c。
     系统 LSI 102 由逻辑元件构成，成为再现装置核心。 至少分离器 4、视频解码器5a， b、图像解码器 7a， b、音频解码器 9、寄存器组 12、再现控制引擎 14、合成部 16、 平面移动引擎 20 这些构件被包含在该系统 LSI 的内部。
     存储设备 103 由 SDRAM 等的存储器元件的阵列构成。 存储设备 107 包含例如 读缓冲器 2a、2b、动态脚本存储器 23、静态脚本存储器 13、视频平面 6、图像平面 8、交 互式图形平面 10、背景平面 11。
     后端部 104 是再现装置内部和其他装置的连接接口，包含 HDMI 发送接收部 17。
     非易失性存储器 105 是可读写的记录媒体，是即使不提供电源、也能够保持记 录内容的媒体，用于后述维数模式存储部 29 中存储着的再现模式的备份。 这种非易失性 存储器 105 例如可以使用闪速存储器、 FeRAM 等。
     主微机 106 是由 ROM、RAM、CPU 组成的微机系统，在 ROM 中记录着控制再 现装置的程序，ROM 内的程序被读入到 CPU 中，通过程序和硬件资源的合作，来实现虚 拟文件系统 3、 HDMV 模块 24、 BD-J 平台 22、模式管理模块 24、 UO 检测模块 26 的功 能。
     以下，说明系统 LSI。 系统 LSI 是指在高密度基板上安装裸芯片、封装而成的 集成电路。 通过将多个裸芯片安装到高密度基板上并封装，使多个裸芯片具有好像 1 个 LSI 那样的外形结构的，也被包含在系统 LSI 中 ( 这种系统 LSI 被称为多芯片模块。 )。
     这里，如果着眼于封装的种类，则在系统 LSI 中，有 QFP( 四线扁平封装 )、 PGA( 针网阵列 ) 这些种类。 QFP 是在封装的四个侧面上安装了管脚的系统 LSI。 PGA 是在整个底面上安装了很多管脚的系统 LSI。
     这些管脚承担着与其他电路的接口的作用。 在系统 LSI 中的管脚中，存在这种 接口的作用，所以通过在系统 LSI 的这些管脚上连接其他电路，而使系统 LSI 起再现装置 200 的核心的作用。
     这种系统 LSI 当然可以包含到再现装置 200 中，还可以包含到 TV 或游戏、个人 计算机、1seg( ワンセグ ) 手机等、进行影像再现的各种各样的机器中，能够大大扩展本 发明的用途。
     系统 LSI 的架构最好符合 Uniphier 架构。
     符合 Uniphier 架构的系统 LSI 由以下电路块构成。
     · 数据并行处理器 DPP
     它是多个处理器单元 ( 要素プロセツサ ) 进行同一工作的 SIMD 型处理器，通过 用 1 个指令使各处理器单元中内置的运算器同时工作，来实现对构成图片的多个像素的 解码处理的并行化。
     · 指令并行处理器 IPP
     它由由指令 RAM、指令高速缓存、数据 RAM、数据高速缓存组成的 “本地存 储器控制器 (Local Memory Controller)”、由取指令部、解码器、执行单元、寄存器文件 组成的 “Processing Unit( 处理单元 ) 部”、使 Processing Unit 部并行执行多个应用程序的 “Virtual Multi ProcessorUnit( 虚拟多处理器单元 ) 部” 构成。
     · MPU 块
     它由 ARM 核心、外部总线接口 (Bus Control Unit ：BCU)、 DMA 控制器、定时器、矢量中断控制器这些外围电路、 UART、 GPIO(General Purpose InputOutput，通用输 入输出 )、同步串行接口等外围接口构成。
     · 流 I/O 块
     它经 USB 接口或 ATA Packet( 包 ) 接口，与外部总线上连接的驱动器装置、硬盘 驱动器装置、 SD 存储卡驱动器装置进行数据输入输出。
     · AVI/O 块
     它由音频输入输出、视频输入输出、OSD 控制器构成，与电视、AV 放大器进行 数据输入输出。
     · 存储器控制块
     它是实现经外部总线连接的 SD-RAM 的读写的块，由控制各块间的内部连接的 内部总线连接部、与连接在系统 LSI 外部的 SD-RAM 进行数据传送的访问控制部、调整 来自各块的访问 SD-RAM 的请求的访问调度部组成。
     具体生产过程的细节如下所述。 首先根据各实施方式所示的结构图，来制作要 做成系统 LSI 的部分的电路图，用电路元件或 IC、 LSI，来具体实现结构图中的构件。
     如果这样具体实现了各构件，则规定连接电路元件或 IC、 LSI 间的总线或其外 围电路、与外部的接口等。 进而，也规定连接线、电源线、地线、时钟信号线等。 在该 规定时，考虑 LSI 的规格来调整各构件的工作定时，或者施加保证各构件所需的带宽等 的调整，来完成电路图。
     如果电路图完成，则进行实现设计。 实现设计是指制作基板布局的作业 ：决定 将通过电路设计制作的电路图上的部件 ( 电路元件或 IC、 LSI) 安排到基板上的何处，或 者将电路图上的连接线如何布置到基板上。
     如果这样进行了实现设计，确定了基板上的布局，则将实现设计结果变换为 CAM 数据，输出到 NC 机床等的设备。 NC 机床根据该 CAM 数据，进行 SoC 实现或 SiP 实现。 SoC(System on chip，系统芯片 ) 实现是在 1 个芯片上刻制多个电路的技术。 SiP(System in Package，系统级封装 ) 实现是将多个芯片用树脂等做成 1 个封装的技术。 经过以上过程，本发明的系统 LSI 可以根据各实施方式所示的再现装置 200 的内部结构图 来制作。
     其中，如上所述生成的集成电路因集成度的不同，有时也称为 IC、 LSI、超 LSI、特 LSI。
     在用 FPGA 来实现系统 LSI 的情况下，通过将许多逻辑单元安排为网格状，根据 LUT(Look Up Table，查找表 ) 中记载的输入输出的组合，来连接纵 / 横的配线，能够实 现各实施方式所示的硬件结构。 LUT 被存储在 SRAM 中，这种 SRAM 的内容在电源切 断时消灭，所以在利用这种 FPGA 时，需要根据配置信息的定义，将实现各实施方式所 示的硬件结构的 LUT 写入到 SRAM 中。
     本实施方式用中间件和与系统 LSI 对应的硬件、系统 LSI 以外的硬件、与中间件 的接口的部分、中间件和系统 LSI 的接口的部分、与中间件和系统 LSI 以外的所需的硬件 的接口的部分、用户接口的部分来实现，在包含它们来构成再现装置时，通过相互协同 工作，来提供特有的功能。
     通过适当定义与中间件的接口及中间件和系统 LSI 的接口，能够分别独立地并行开发再现装置的用户接口部分、中间件部分、系统 LSI 部分，能够更高效地进行开 发。 其中，在各个接口的分割方法中，有各种各样的分割方法。
     ( 第 12 实施方式 )
     在本实施方式中，说明基于平面移动的立体视觉的原理。
     图 35 是平面偏移量的符号为正 ( 将左眼用的图形图像向右偏移，将右眼用的图 形图像向左偏移 ) 的情况下、像看起来比显示画面更近的原理的说明图。
     在本图中，圆圈所示的是显示画面上显示的像。
     首先，在没有平面偏移量的情况下，右眼看到的像、左眼看到的像都是同一位 置，所以用两眼看该像时的焦点位置位于显示画面上 ( 图 35(a))。
     另一方面，在 3D 模式的立体模式关闭的情况下，左眼看到的像看起来处于比平 面偏移量为 0 的情况更靠右侧的位置。 此时用液晶快门眼镜使右眼什么也看不见。 另一 方面，右眼看到的像看起来处于比平面偏移量为 0 的情况更靠左侧的位置。 此时用液晶 快门眼镜使左眼什么也看不见 ( 图 35(b))。
     人用两眼聚焦而识别出在该焦点位置上有像。 因此，如果用液晶快门眼镜交替 地以很短的时间间隔来切换左眼看到像的状态和右眼看到像的状态，则人的两眼想将焦 点位置聚集到比显示画面更近的位置，结果是引起错觉，好像在比显示画面更近的焦点 位置上有像 ( 图 35(c))。
     图 36 是平面偏移量的符号为负 ( 将左眼用的图形图像向左偏移，将右眼用的图 形图像向右偏移 ) 的情况下、像显得比显示画面更远的原理的说明图。
     在图 36 中，圆圈所示的是显示画面上显示的像。 首先，在没有平面偏移量的情 况下，右眼看到的像、左眼看到的像都是同一位置，所以用两眼看该像时的焦点位置位 于显示画面上 ( 图 36(a))。
     另一方面，在 3D 模式的立体模式关闭的情况下，左眼看到的像看起来处于比平 面偏移量为 0 的情况更靠左侧的位置。 此时用液晶快门眼镜使右眼什么也看不见。 另一 方面，右眼看到的像看起来处于比偏移量为 0 的情况更靠右侧的位置。 此时用液晶快门 眼镜使左眼什么也看不见 ( 图 36(b))。
     如果用液晶快门眼镜交替地以很短的时间间隔来切换左眼看到像的状态和右眼 看到像的状态，则人的两眼想将焦点位置聚集到比显示画面更远的位置，结果是引起错 觉，好像在比显示画面更远的位置上有像 ( 图 36(c))。
     以上说明是对写入到图形平面上的图形图像进行说明的，当然如果对交互式图 形平面、视频平面、背景平面适用上述偏移量的概念则也是同样的。
     ( 凸出程度 / 纵深的实现方法 )
     图 37 是字幕的凸出程度如何根据平面偏移量的大小来变化的图。
     在该图 (a)(b) 中，近的一方示出右眼输出时用移动后的图形平面输出的右眼用 的图形图像。 远的一方示出左眼输出时用移动后的图形平面输出的左眼用的图形图像。
     本图 (a) 示出平面偏移量的符号为正 ( 将左眼用的图形图像向右偏移，将右眼用 的图形图像向左偏移 ) 的情况。 如果平面偏移量是正的值，则如图 35 所示，左眼输出时 的字幕看起来处于比右眼输出时的字幕更右的位置。 即，会聚点 ( 焦点位置 ) 比屏幕更 近，所以字幕也看起来近。本图 (b) 示出平面偏移量的符号为负的情况。 如果是负的值，则如图 36 所示， 左眼输出时的字幕看起来处于比右眼输出时的字幕更左的位置。 即，会聚点 ( 焦点位置 ) 比屏幕更远，所以字幕也看起来远。
     以上是对立体视觉的原理的说明。 接着，说明在 1plane+Offset 模式下、如何进 行上述那样的图像坐标的移动。
     首先，说明图像平面 8 的内部结构和其移动前后的像素数据的安排。
     图 38 示出图像平面 8 的内部结构。 在分辨率被设置为 1920×1080 的情况下， 如该图 (a) 所示，图像平面 8 由横 1920× 纵 1080 的、8 比特长的存储元件组成。 这意味 着能够以 1920×1080 的分辨率每 1 个像素保存 8 比特的像素码的存储器分配。 存储元件 中存储着的 8 比特的像素码通过使用彩色查找表的彩色变换，被变换为 Y 值、 Cr 值、 Cb 值。 该彩色查找表中的像素码和 Y 值、 Cr 值、 Cb 值的对应关系由字幕数据内的调色板 定义段来规定。
     该图 (b) 示出图像平面 8 上保存着的像素数据。 如本图所示，图像平面 8 上保存 着的图形数据由与前景部分 ( 构成字幕″ I love″的部分 ) 相当的像素数据、与背景部分 相当的像素数据构成。 这里，在与背景部分相当的存储元件中，保存着表示透明色的像 素码，在该部分，在与视频平面合成时，视频平面上的运动图像看起来是透明的。 另一 方面，在与前景部分相当的存储元件中，保存着表示透明色以外的像素码，用该透明色 以外的 Y、 Cr、 Cb、 α 值来描绘字幕。 在合成部 15 进行平面合成时，在与透明像素相 当的部分，背景图形平面、视频平面的内容看起来是透明的，由于存在这种透明部分， 所以能够进行平面合成。 图 39 示出向右移动、向左移动后的、前景区域的像素数据及背景区域的像素数 据。 (a) 是移动前的像素数据， (b) 是向右移动后的像素数据。 这里，假设移动量是 15 个像素，则可知字幕字符 “I love you” 的 “y” 移动得从画面上看不见了。 (c) 是向左 移动后的像素数据。 这里，假设移动量是 15 个像素，则可知跟在字幕字符 “I love” 后 面的字幕字符 “you” 中的 “o” 这一字符出现了。
     以上是图像平面 8 的内部结构和其移动前后的像素数据的安排的说明。
     图 40 是图像平面 8 上的平面移动的处理过程的图。
     (a) 示出从图像平面 8 生成的、向左移动后的图形平面和向右移动后的图形平 面。
     (b) 示出向右移动。 如本图所示，水平方向向右移动的方法如下面的 (1-1) (1-2)(1-3) 那样进行。 (1-1). 切下图像平面 8 的右端区域。 (1-2). 将图像平面 8 上存在 的像素数据的位置如上所述向右沿水平方向偏移平面偏移量所示的移动量。 (1-3). 在图 像平面 8 的最左端添加透明区域。
     (c) 示出向左移动。如本图所示，水平方向向左移动的方法如下面的 (2-1)(2-2) (2-3) 那样来进行。 (2-1). 切下图像平面 8 的左端区域。 (2-2). 将图像平面 8 上的各像 素数据的位置向左沿水平方向偏移平面偏移量所示的移动量。 (1-3). 在图像平面 8 的右 端添加透明区域。
     ( 图形平面的存储元件中的像素数据的移动 ) 下面说明通过上述那样的移动，图形平面的存储元件中的像素数据如何移动。图形数据由 1920×1080、1280×720 这样的分辨率的像素数据构成。
     图 41 是图形平面上保存着的像素数据的图。 在本图中，方框是字长为 32 比特 或 8 比特的存储元件，0001、0002、0003、0004、07A5、07A6、07A7、07A8、07A9、 07AA、07AB 这些 16 进制数的数值是在 MPU 的存储器空间中连续分配给这些存储元件的 地址。 此外，存储元件中的 (0，0)(1，0)(2，0)(3，0)(1916，0)(1917，0)(1918，0) (1919，0) 这些数值表示在存储元件内保存着哪个坐标的像素数据。
     这里，坐标 (0，0) 上存在的像素数据被保存在地址 0001 的存储元件中，坐标 (1，0) 上存在的像素数据被保存在地址 0002 的存储元件中，坐标 (1918，0) 上存在的像 素数据被保存在地址 07A7 的存储元件中，坐标 (0，1) 上存在的像素数据被保存在地址 07A9 的存储元件中。 即，可知图形数据被保存得使得构成图形的多个行为连续地址。 通 过这样做，通过对这些附有连续地址的存储元件依次进行 DMA 传送，能够成组地读出这 些像素数据。
     图 42 示出移动后的图形平面的保存内容。
     该图 (a) 示出平面偏移量被设置为 “3”、向右移动了的图形平面。 由于平面 偏移量是 “3”，所以可知在地址 0004 的存储元件中，保存着图形平面坐标系中的坐标 (0，0) 的像素数据 ；在地址 0005 的存储元件中，保存着图形平面坐标系中的坐标 (1，0) 的像素数据 ；在地址 0006 的存储元件中，保存着图形平面坐标系中的坐标 (2，0) 的像素 数据。
     此外，可知在地址 07AC 的存储元件中，保存着图形平面坐标系中的坐标 (0，1) 的像素数据 ；在地址 07AD 的存储元件中，保存着图形平面坐标系中的坐标 (1，1) 的像 素数据 ；在地址 07AE 的存储元件中，保存着图形平面坐标系中的坐标 (2，1) 的像素数 据。
     该图 (b) 示出平面偏移量被设置为 “3”、向左移动了的图形平面。 由于平面 偏移量是 “3”，所以可知在地址 0001 的存储元件中，保存着图形平面坐标系中的坐标 (3，0) 的像素数据 ；在地址 0002 的存储元件中，保存着图形平面坐标系中的坐标 (4，0) 的像素数据 ；在地址 0003 的存储元件中，保存着图形平面坐标系中的坐标 (5，0) 的像素 数据。
     此外，可知在地址 07A9 的存储元件中，保存着图形平面坐标系中的坐标 (3，1) 的像素数据 ；在地址 07AA 的存储元件中，保存着图形平面坐标系中的坐标 (4，1) 的像 素数据 ；在地址 07AB 的存储元件中，保存着图形平面坐标系中的坐标 (5，1) 的像素数 据。
     如上所述，可知移动了的图形平面是将图形平面上的各像素数据的坐标从本来 的坐标向右、向左偏移了平面偏移量所示的像素数。
     通过使安排构成图形数据的各像素数据的存储元件的地址变化规定的地址，能 够实现图形平面的移动。 当然，即使不实际使安排像素数据的存储元件的地址变化，如 果是与之等价的处理，则也能够实现图形平面的移动。
     ( 备考 )
     以上，说明了在申请本申请时、申请人能知道的最好的实施方式，但是对于以 下所示的技术话题，可以加以进一步的改进或变更实施。 如各实施方式所示来实施，还是实施这些改进 / 变更，都是任意的，由实施者的主观来决定，这一点请留意。
     ( 视频解码器的实现数 )
     在图 8、图 22 中，公开了视频解码器 5 只有 1 个的实现例，而这是因为在用 MVC 视频流来再现立体影像的情况下，能够公用作为参考图像的图片数据。
     但是在现实中，最好实现分别对左眼用视频流进行解码的视频解码器、和对右 眼用视频流进行解码的视频解码器，使视频解码器的实现数为 “2”。
     ( 自动再现播放列表的利用 )
     在 BD-J 对象中存在 “可访问播放列表信息” 的情况下，也可以按选择了与该 BD-J 对象对应的节目的定时，来执行从 2D 再现模式到 3D 模式的切换、从 3D 模式到 2D 再现模式的切换。 在此情况下，将插入光盘时或选择菜单时等、节目切换请求作为触 发，来执行图 12 的流程图的处理过程。
     “可访问播放列表信息” 包含与 BD-J 对象对应的节目成为当前节目时、要自动 再现的播放列表的指定。 此外，可访问播放列表信息包含与 BD-J 对象对应的节目成为当 前节目时、能够选择可使其工作的应用程序的播放列表的指定。
     在选择了某个节目时，再现装置中的再现控制引擎不等待来自应用程序的再现 指示就开始再现用与选择出的当前节目对应的节目的可访问播放列表信息指定的播放列 表，在 BD-J 应用程序的执行比播放列表再现的结束先结束的情况下，继续再现播放列 表。
     通过这种先行再现，在应用程序的类装入花费时间、不能进行图形的绘制、所 以对话画面老是不能输出的情况下，使基于播放列表再现的再现影像原封不动地输出， 所以即使在应用程序中的启动延迟显著的情况下，也能够先使用户观看播放列表的再现 影像。 在应用程序的启动延迟期间，能够处于放映着某种东西的状态，所以能给用户以 安心感。
     此外，由于结束不同时，所以即使应用程序因资源的枯竭而异常结束，应用程 序的 GUI 被自动消去，如果原封不动地继续显示播放列表再现画面，则意味着播放列表 的再现影像被继续输出到显示装置。 通过这种继续输出，即使 Java(TM) 语言程序异常结 束，显示装置也处于暂且放映着某种东西的状态，能够防止由于应用程序的异常结束而 使画面消失这一事态。
     ( 模式切换的适用对象 )
     在各实施方式中，再现模式从 3D 变更到 2D，但是在再现模式从 2D 变更到 3D 的情况下也能得到同样的效果。
     ( 重用及 2 倍的偏移量 )
     在图 13 中的步骤 S808 中对图像存储器 7c，d 中保存着的图形流进行解码，输出 到图像平面 8 上 ；但是也可以通过不执行本步骤，而重用图 13 的步骤 S805 中利用过的图 像平面，在图 13 的 S809 中将图像平面沿相反方向偏移本来的 2 倍的量，而使得不用第 2 次的图像进行编码即可。
     (2 解码器、2 加法器 )
     在图 7 的结构图中，视频解码器、视频平面、图像平面加法器各具有一个，但 是也可以例如出于高速化的目的使各部分各具有 2 个，来并行处理左眼用的影像和右眼用的影像。
     ( 维数识别的方法 )
     在 BD-ROM 上具有识别待再现的流是 2D 用还是 3D 用的维数识别标志，在本实 施方式中，在播放列表 (PL) 信息中嵌入了维数识别标志，但是只要是作为能够确定流主 体和该流是 2D 用还是 3D 用的信息而记录的信息，则也可以以其他形式记录在 BD-ROM 上。
     ( 缩放的并用 )
     在图 13 的 S809 移动图像平面时，最好与图 13 的 S805 同样通过缩放来放大或缩 小。
     ( 处理的缺省指定 )
     图 13 所示的步骤 S801 ～ S810 的处理是左右处理存储部 19 缺省设置了左眼用的 处理，所以先进行左眼的合成及输出，但是也可以缺省设置右眼用的处理，先进行右眼 的处理。
     ( 变更的对象 )
     以上记载了在图 13 的步骤 S805 中将图像平面沿一定方向偏移一定的幅度，在步 骤 S809 中沿相反方向偏移同一幅度，但是也可以变更偏移图像平面的幅度。 除此之外， 也可以不是两眼都偏移，而是偏移某一只眼睛，而使其具有立体效果。
     ( 纵深设置的对象 )
     在 2D 用的视频流上只想使字幕 / 图形数据具有纵深的情况下，进行图 13 的步骤 S802 ～ S809 的处理。 只是 S804 和 S807 的处理不是使用左眼用视频流的视频帧和右眼 用视频帧，而能够通过将 2D 的两眼用流上的帧用于各眼来进行。
     ( 图像平面偏移信息的保存地址 )
     在第 1 实施方式中，是以图像平面偏移信息存在于当前播放列表信息内为前提 来描述的，但是为了细腻地实现与 MVC 视频流的同步，最好在 MVC 视频流内设有偏移 量表，在这里保存图像平面偏移信息。 由此，能够以图片为单位来实现细腻的同步。 此 外，在当前流管理信息中嵌入了图像平面偏移信息来取代当前播放列表信息的情况下， 图 12 的步骤 S5 的处理也可以从当前流管理信息中取得。
     ( 逐个光盘地切换纵深 )
     在本实施方式中，平面移动引擎根据当前播放列表信息的图像平面偏移信息来 计算横向偏移值。 即，在生成左眼影像和右眼影像的输出的一系列处理时、发生了播放 列表的切换的情况下，需要图 12 的步骤 S5 的重新取得图像平面偏移信息的处理。但是， 也设想了不想逐个播放列表地变更图像平面的纵深的情况。 例如，是想以光盘为单位或 以节目为单位来决定唯一的纵深的情况。
     为了以光盘为单位来决定唯一的纵深，设想内容与以光盘为单位的信息相关 联。 例如，可考虑图 2 所示的 BDMV 目录下存在的 “Index.bdmv”、或者保存着与光 盘中放入的影像作品有关的各种各样的信息的 META 目录中保存着的元文件 (ZZZZZ. xml)。
     ( 逐个节目地切换纵深 )
     为了以节目为单位来决定唯一的纵深，设想内容与以节目为单位的信息相关联。 例如，可考虑图 2 所示的 BDMV 目录下存在的 “MovieObject.bdmv”、 BDJO 目录 下存在的 “XXXXX.bdjo”、或者保存着与光盘中放入的影像作品有关的各种各样的信 息的 META 目录中保存的元文件 (ZZZZZ.xml)。
     ( 闪烁防止策 )
     在连接 BD-ROM 等的再现装置和 TV 等的显示装置时，有时使用 HDMI，而通 过从 3D 显示切换到 2D 显示，能够防止由 HDMI 的重新认证造成的影像的闪烁。
     ( 缩放的适用 )
     在现实世界中，近处的物体看着大，远处显示的物体看起来小。 但是只用上述 平面移动，物体的尺寸没改变就被显示在近处或远处。 在这种情况下，会给观众带来不 快感。 为了消除这种不快感，与将图像平面沿一定的方向移动同时进行缩放，使其看起 来大，或者看起来小。
     例如，在增大移动幅度而使其显示在近处的情况下，通过缩放来增大字幕 / 图 形。
     ( 再现数据信息中的流登录信息 )
     再现数据信息中的流登录信息最好以 STN_table 构成。 STN_table 是对多个流种 类逐一规定在构成播放列表的多个播放项中的、包含该 STN_table 者成为当前播放项时、 允许再现用多路径的主路径参考的 AV 片断上复用的基本流、及用多路径的支路径参考的 AV 片断上复用的基本流中的哪个的表。 这里的流种类是指画中画中的主视频流、画中画 中的第二视频流、混音中的主音频流、混音中的第二音频流、显现图形文本字幕数据、 交互式图形流这些种类，STN_table 能够为每个这些流种类登录应允许再现的流。 具体地 说，STN_table 由流登录信息的数组构成。 这里，流登录是指将在 STN_table 归属的播放 项成为当前播放项时、要允许再现的基本流是何种流，与该流号相对应地表示 ；流登录 信息采用将流项目及流属性的组合与逻辑流号相对应这一数据结构。
     流登录中的流号用 1、2、3 这样的整数值来表现，流号的最大数是对应的流种 类的流个数。
     流属性包含表示流的语言码和流的编码方式的信息。 与主路径端的流对应的流 项目包含包标识符，与支路径端的流对应的项目包含标识传输流文件的标识符、标识子 播放项的标识符、以及包标识符。
     在该流项目内，描述要再现的基本流的包标识符。 由于在流项目内，能够描述 要再现的基本流的包标识符，所以将流登录信息中的流号保存到再现装置的流号寄存器 中，根据流登录信息中的流项目内的包标识符使再现装置的 PID 过滤器执行包过滤。 通 过这样做， STN_table 中允许再现的基本流的 TS 包被输出到解码器，再现基本流。
     流号表中的这些流登录信息根据流号的顺序来排列，基于流号的顺序的流登录 信息的次序在满足 “再现装置能够再现” 这一条件的流存在多个的情况下，成为优先选 择它们中的哪个的基准。
     通过这样做，创作 ( オ一サリング ) 者能够将下述方针传达给再现装置在 STN_ table 中的流登录信息中存在再现装置不能再现的流的情况下，这种流被排除到再现之 外 ；而在满足 “再现装置能够再现” 这一条件的流存在多个的情况下，应优先选择它们 中的哪个。判断是否存在满足 “再现装置能够再现” 这一条件的流、选择满足 “能够再 现” 这一条件的流中的哪个，在当前播放项切换到新的播放项时、以及在用户请求了流 切换时执行。
     在当前播放项切换到新的播放项等、发生再现装置的状态变化时，进行上述那 样的判断和选择，在再现装置中寄存器组内的寄存器之一——流号寄存器中设置流号， 将上述一系列过程称为 “状态变化时应执行的过程”。
     在流切换请求由用户发出的情况下，进行上述那样的判断和选择，在再现装置 的流号寄存器中设置流号，将上述一系列过程称为 “请求了流变化时的过程”。
     在插入了 BD-ROM 时，将流号寄存器设置为流登录信息串中的初值，将上述过 程称为 “初始化”。
     流号表中的流登录信息串向用子播放项信息指定的流、和用播放项信息指定的 流一律赋予了优先顺序，所以即使是未与视频流复用的流，如果用子播放项信息指定 了，则也成为选择要与视频流同步再现的流时选择的对象。
     在再现装置能够再现用子播放项信息指定的流、而且用子播放项信息指定的流 的优先顺序比与视频流复用了的图形流的优先顺序高的情况下，可以将用子播放项信息 指定的流供再现，来取代与视频流复用的流。
     这样，提供一种途径将用子播放项信息指定的流供再现，来取代与视频流复用 了的流，这才是 STN_table 的本质。
     作为用于立体再现的 STN_table 的改进，3D 模式特有的 STN_table 的扩展部分 ( 称为 STN_table_SS(StereoScopic)) 存在于播放列表信息内。 该 STN_table_SS 由左眼用 视频流的流登录信息串、右眼用视频流的流登录信息串、左眼用显现图形流的流登录信 息串、右眼用显现图形流的流登录信息串、左眼用交互式图形流的流登录信息串、右眼 用交互式图形流的流登录信息串构成。
     在 3D 模式时，将 STN_table_SS 内的每个流种类的流登录信息串与 STN_table 中 的流种类的流登录信息串结合。
     该结合是如下进行的 ：将 STN_tabl 中的主视频流的流登录信息串置换为 STN_ table_SS 中的左眼用视频流的流登录信息串、及右眼用视频流的流登录信息串 ；将 STN_ table 中的第二视频流的流登录信息串置换为 STN_table_SS 中的左眼用第二视频流的流登 录信息串、及右眼用第二视频流的流登录信息串 ；将 STN_table 中的显现图形流的流登录 信息串置换为 STN_table_SS 中的左眼用显现图形流的流登录信息串、及右眼用显现图形 流的流登录信息串 ；将 STN_table 中的交互式图形流的流登录信息串置换为 STN_table_ SS 中的左眼用交互式图形流的流登录信息串、及右眼用交互式图形流的流登录信息串。
     如果进行 STN_table 的结合，则通过对结合后的 STN_table 执行上述过程，而 从结合后的 STN_table 中的流登录信息串中，选出 3D 模式下要选择的基本流的流登录信 息，将该流登录信息中的流号设置到再现装置的流号寄存器中。 并且，从该流登录信息 中取出包标识符，使再现装置的 PID 过滤器根据该包标识符来执行包过滤。 通过这样 做，能够将构成左眼用流、右眼用流的 TS 包投入到解码器中，使其再现输出。 通过这样 做，能够将左眼用流、右眼用流供再现，所以如果与这些再现输出组合，则能够进行立 体再现。( 记录媒体的变形 )
     各实施方式中的记录媒体包含光盘、半导体存储卡等全部盒装媒体。 本实施方 式的记录媒体是以预先记录了所需的数据的光盘 ( 例如 BD-ROM、 DVD-ROM 等现有 的可读的光盘 ) 为例进行说明的，但是无需限定于此，例如，将经由广播或网络分发的 包含实施本发明所需的数据的 3D 内容利用具有光盘写入功能的终端装置 ( 例如可以将 左记功能包含在再现装置中，也可以是再现装置以外的装置 ) 记录到可写的光盘 ( 例如 BD-RE、 DVD-RAM 等现有的可写的光盘 ) 上，将该记录了的光盘适用于本发明的再现 装置，也能够实施本发明。
     此外，即使记录媒体是光盘以外的 SD 存储卡等半导体存储卡，也能够实施本发 明。
     ( 半导体存储卡的再现 )
     此外，说明例如将半导体存储卡用作记录媒体时的再现过程。 光盘例如经光盘 驱动器来读出数据，而在使用半导体存储卡的情况下，经用于读出半导体存储卡内的数 据的接口来读出数据即可。
     更详细地说，将半导体存储卡插入到再现装置的插槽 ( 未图示 ) 中后，再现装置 和半导体存储卡经由半导体存储卡接口电连接。 经半导体存储卡接口读出半导体存储卡 上记录着的数据即可。
     ( 程序的实施方式 )
     也可以根据各实施方式的流程图所示的处理过程来创建程序，实施记录了该程 序的计算机可读的记录媒体。
     首先，软件开发者用编程语言来描述实现各流程图或功能性构件的源程序。 在 该描述时，软件开发者根据编程语言的语法，用类结构体和变量、数组变量、外部函数 的调用，来描述具体实现各流程图和功能性构件的源程序。
     描述的源程序作为文件被提供给编译器。 编译器编译这些源程序来生成目标程 序。
     编译器进行的编译由语法分析、优化、资源分配、代码生成这些过程组成。 在 语法分析中，进行源程序的词法分析、语法分析及语义分析，将源程序变换为中间程 序。 在优化中，对中间程序进行基本块化、控制流分析、数据流分析这些作业。 在资 源分配中，为了适应目标处理器的指令集，将中间程序中的变量分配给目标处理器的处 理器具有的寄存器或存储器。 在代码生成中，将中间程序内的各中间指令变换为程序代 码，得到目标程序。
     这里生成的目标程序由使计算机执行各实施方式所示的流程图的各步骤和功能 性构件的各个过程的 1 个以上的程序代码构成。 这里，程序代码有处理器的本机代码、 JAVA 字节码这样各种各样的种类。 程序代码对各步骤的实现有各种各样的形态。 在能 够利用外部函数来实现各步骤的情况下，调用该外部函数的调用语句成为程序代码。 此 外，实现 1 个步骤的程序代码有时也归属于不同的目标程序。 在指令种类受限的 RISC 处 理器中，也可以通过组合算术运算指令和逻辑运算指令、分支指令等，来实现流程图的 各步骤。
     生成目标程序后，程序员对它们启动连接器。 连接器将这些目标程序和关联的库程序分配到存储器空间中，将它们连接为 1 个，来生成装入模块。 这样生成的装入模 块是以计算机读取为前提的，用于使计算机执行各流程图所示的处理过程和功能性构件 的处理过程。 然后，将程序记录到计算机可读的记录媒体上提供给用户。
     工业可用性
     本发明涉及在再现立体视视频流的再现机器中、在立体视视频流上叠加字幕和 图形来显示的技术，特别适用于不仅输出立体视视频流、而且一并立体输出、叠加字幕 和图形的立体视视频再现装置。

考虑特殊再现的再现装置、集成电路、再现方法.pdf_第1页
第1页 / 共91页
考虑特殊再现的再现装置、集成电路、再现方法.pdf_第2页
第2页 / 共91页
考虑特殊再现的再现装置、集成电路、再现方法.pdf_第3页
第3页 / 共91页
点击查看更多>>
资源描述

《考虑特殊再现的再现装置、集成电路、再现方法.pdf》由会员分享，可在线阅读，更多相关《考虑特殊再现的再现装置、集成电路、再现方法.pdf（91页珍藏版）》请在专利查询网上搜索。

1、10申请公布号CN102027749A43申请公布日20110420CN102027749ACN102027749A21申请号200980117335922申请日20091116200829450120081118JP200909991420090416JP61/115,74220081118US61/184,03820090604USH04N13/04200601H04N5/85200601H04N5/9120060171申请人松下电器产业株式会社地址日本大阪府72发明人大久保雅文杰尔马诺莱希森林74专利代理机构永新专利商标代理有限公司72002代理人陈萍54发明名称考虑特殊再现的再现装置、。

2、集成电路、再现方法57摘要本发明提供考虑特殊再现的再现装置、集成电路、再现方法。读出部件201从记录媒体读出包含左眼用视频流及右眼用视频流的数字流。模式存储部203存储着使用户立体观看视频帧的3D模式、使用户平面观看视频帧的2D模式中的某一个作为本装置的再现模式。维数判断部202判断从记录媒体读出的数字流是否支持3D模式；分离器204在上述数字流支持3D模式、而且上述再现模式是3D模式这一条件成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流，而在上述条件不成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流中的某一方。30优先权数据85PCT申请进入国家阶段日201011158。

3、6PCT申请的申请数据PCT/JP2009/0061352009111687PCT申请的公布数据WO2010/058547JA2010052751INTCL19中华人民共和国国家知识产权局12发明专利申请权利要求书4页说明书45页附图41页CN102027764A1/4页21一种再现装置，能够将再现模式切换到使用户立体观看视频帧的3D模式、及使用户平面观看视频帧的2D模式中的任一个，其特征在于，包括读出部件，从记录媒体读出包含左眼用视频流及右眼用视频流的数字流；模式存储部，存储着当前再现模式；维数判断部，判断从记录媒体读出的数字流是否支持3D模式；分离器，在上述数字流支持3D模式、而且当前再现。

4、模式是3D模式这一条件成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流，而在上述条件不成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流中的某一方；及视频解码器，通过对上述分离出的视频流进行解码，来得到用于立体观看或平面观看的视频帧。2如权利要求1所述的再现装置，其特征在于，上述再现装置包括再现控制部件，该再现控制部件控制上述视频解码器，使得在当前再现模式是3D模式的情况下请求了特殊再现时，将再现模式维持在3D模式，将从上述视频解码器输出的同一视频帧分别写入到右眼用视频平面、左眼用视频平面上；作为重复输出对象的视频帧是对从数字流分离出的右眼用视频流及左眼用视频流中的某一方进行。

5、解码而得到的视频帧，上述再现控制部件将从上述视频解码器输出的同一视频帧分别重复写入到右眼用视频平面、左眼用视频平面上。3如权利要求2所述的再现装置，其特征在于，上述特殊再现的指示是快进、后退中的某一个。4如权利要求2所述的再现装置，其特征在于，上述特殊再现伴有再现速度的变化；在请求了伴有再现速度的变化的特殊再现时，上述再现控制部件判断是否能够以变化后的再现速度来执行左眼用视频流的视频帧及右眼用视频流的视频帧的交替输出；上述再现控制部件将从上述视频解码器输出的同一视频帧分别重复写入到上述右眼用视频平面、上述左眼用视频平面上，是在再现控制部件判断为不能以变化后的再现速度来执行视频帧的交替输出的情况。

6、下进行的。5如权利要求4所述的再现装置，其特征在于，能够交替输出上述左眼用视频流的视频帧及右眼用视频流的视频帧的再现速度，是指特殊再现为快放的情况下的再现速度、特殊再现为逐帧前进的情况下的再现速度、特殊再现为逐帧后退的情况下的再现速度中的某一个。6如权利要求1所述的再现装置，其特征在于，包括平台部，执行字节码应用；和传输部件，通过向与再现装置相连接的显示装置传输视频帧，而使显示装置执行视频帧的输出；在上述模式存储部中存储着的再现模式被从2D模式切换到3D模式的情况下，或者从3D模式切换到2D模式的情况下，传输部件进行显示装置的重新认证；在上述重新认证后，收到能够进行与切换后的模式相应的输出的意。

7、思的通知的情况下，对上述平台部执行着的字节码应用通知能够进行与上述切换后的模式相应的输出的意思。权利要求书CN102027749ACN102027764A2/4页37如权利要求1所述的再现装置，其特征在于，在3D模式下视频流的再现停止或暂停时，上述模式存储部维持再现模式是3D模式这一设定；上述视频解码器交替输出对再现停止位置的左眼用视频流进行解码而得到的视频帧及对再现停止位置的右眼用视频流进行解码而得到的视频帧。8如权利要求7所述的再现装置，其特征在于，上述再现装置包括平台部，执行字节码应用；命令解释器，解释并执行用命令描述的程序；上述视频再现停止或暂停是下述某一种情况用户用遥控进行了操作的情。

8、况；平台部执行的字节码应用发出了指示的情况；命令解释器执行的目标程序发出了指示的情况；左眼用或右眼用视频流被再现到终点的情况。9如权利要求1所述的再现装置，其特征在于，在再现装置中的再现控制从普通再现变化到幻灯再现时，交替输出对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到的视频帧。10如权利要求9所述的再现装置，其特征在于，上述再现控制部件根据记录媒体上记录着的再现区间信息，来执行使视频解码器对数字流内的视频流进行解码的控制；上述再现区间信息包含表示上述数字流具有幻灯播放属性还是具有电影属性的属性信息；上述再现装置执行幻灯再现，是在当前再现区间信息从具有电影属性的再现区间信。

9、息切换到具有幻灯播放属性的再现区间信息时。11如权利要求1所述的再现装置，其特征在于，上述再现区间信息包含设置是否屏蔽来自用户的特殊再现的指示或来自内容的特殊再现的指示的屏蔽信息；上述再现装置包括再现控制部件，在3D模式下请求了特殊再现的情况下，判断上述屏蔽信息是否表示屏蔽来自用户的特殊再现的指示；上述再现控制部件能够在屏蔽信息表示屏蔽了的情况下，不执行特殊再现，而使视频解码器交替输出视频帧；而在屏蔽信息表示未屏蔽的情况下，将模式存储部中的再现模式维持在3D模式，将从上述视频解码器输出的同一视频帧分别重复写入到上述右眼用视频平面、上述左眼用视频平面上。12如权利要求1所述的再现装置，其特征在于。

10、，上述数字流包含图形流；上述再现装置包含图像解码器、图像平面、平面移动引擎、以及合成部；上述读出部件还从上述记录媒体读出用于移动上述图像平面的偏移位置信息；上述分离器还分离出图形流；权利要求书CN102027749ACN102027764A3/4页4上述图像解码器对上述分离出的图形流进行解码，将通过解码而得到的图形写入到上述图像平面上；上述平面移动引擎根据偏移位置信息来移动构成写入到上述图像平面上的图形的像素的坐标；上述合成部在3D模式下输出的视频帧合成通过对上述分离出的右眼用视频流及左眼用视频流进行解码而得到的右眼用及左眼用视频帧、和上述图像平面上的移动后的图形。13如权利要求2或12所述的。

11、再现装置，其特征在于，在3D模式下指示了特殊再现的情况下，执行以下某一个1不与图形进行合成，输出对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到的视频帧中的某一方；2合成对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到的视频帧中的某一方、和像素的坐标未通过平面移动而变化的图形后，输出。14如权利要求11所述的再现装置，其特征在于，在上述视频解码器的再现停止或暂停时，执行以下某一个1合成存在于再现停止位置上的、对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到的视频帧、和像素的坐标通过平面移动而变化了的图形后，交替输出；2只交替输出存在于再现停。

12、止位置上的、对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到的视频帧，不将图形合成到视频帧上。15如权利要求13所述的再现装置，其特征在于，上述再现装置包括平台部，执行字节码应用；命令解释器，解释并执行用命令描述的程序；上述视频再现停止或暂停是在下述某一时1用户用遥控进行了操作时；2平台部执行的字节码应用发出了指示时；3命令解释器执行的目标程序发出了指示时；4左眼用或右眼用视频流被再现到终点时。16如权利要求11所述的再现装置，其特征在于，在上述视频解码器的再现从普通再现变化到幻灯再现的情况下，将显示模式维持在3D模式，执行以下某一种处理1将对左眼用视频流进行解码而得到的视频。

13、帧及对右眼用视频流进行解码而得到的视频帧分别和像素的坐标通过平面移动而变化的图形合成后，交替输出；2只交替输出对左眼用视频流进行解码而得到的视频帧及对右眼用视频流进行解码而得到的视频帧，不输出图像平面上的图形。17一种集成电路，可以组装到能够将显示模式切换到使用户立体观看视频帧的3D模式、及使用户平面观看视频帧的2D模式中的任一个的再现装置中，其特征在于，包括维数判断部，如果从记录媒体读出包含左眼用视频流及右眼用视频流的数字流，则权利要求书CN102027749ACN102027764A4/4页5判断从记录媒体读出的数字流是否支持3D模式；分离器，在上述数字流支持3D模式、而且当前再现模式是3。

14、D模式这一条件成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流，而在上述条件不成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流中的某一方；及视频解码器，通过对上述分离出的视频流进行解码，来得到用于立体观看或平面观看的视频帧。18一种再现方法，用于能够将显示模式切换到使用户立体观看视频帧的3D模式、及使用户平面观看视频帧的2D模式中的任一个的计算机，其特征在于，具有读出步骤，从记录媒体上读出包含左眼用视频流及右眼用视频流的数字流；维数判断步骤，判断从记录媒体上读出的数字流是否支持3D模式；分离步骤，在上述数字流支持3D模式、而且当前显示模式是3D模式这一条件成立的情况下，从上。

15、述数字流分离出右眼用视频流及左眼用视频流，而在上述条件不成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流中的某一方；及解码步骤，通过对上述分离出的视频流进行解码，来得到用于立体观看或平面观看的视频帧。权利要求书CN102027749ACN102027764A1/45页6考虑特殊再现的再现装置、集成电路、再现方法技术领域0001本发明涉及立体视视频与字幕和图形的叠加技术的技术领域。背景技术0002上述叠加技术是指使再现装置为视频流、字幕、图形而分别具有不同的显示平面，在高像质的视频流的各个视频帧上叠加字幕和图形，并输出到相连接的显示装置等设备的技术，作为实现高临场感的技术正广泛普及。0。

16、003在作为连接对象的显示设备中，不仅能欣赏平面影像而且能欣赏凸出似的影像的立体视显示装置预计在不久的将来会普及。在立体视显示装置中，有各种各样的方式，基本原理是通过导入使左眼和右眼观看不同的图画的机制，利用该两眼间的视差，来模拟地形成立体影像。0004例如，常用方式之一是利用快门眼镜的方式。在该方式中，通过用眼镜来交替地高速遮蔽观众的左眼和右眼的视野，与该眼镜的工作同步，显示装置的显示图像也按左眼用/右眼用来高速更新，结果是能够实现下述机制快门眼镜使显示装置上显示的左眼用的图像只能由左眼看见，而右眼用的图像只能由右眼看见。0005如果想使观众观看以与普通平面影像同等的帧率而被立体化的影像，则。

17、显示装置端需要2倍于普通的响应性能，例如为了显示一秒60帧的视频，最低必须进行1秒120帧的切换。因此，显示的视频流必须以1秒120帧的状态被编码，为了用提高帧率以外的方法来得到立体效果，也有像非专利文献1那样用并列SIDEBYSIDE方式进行编码的方法。0006此外，也有像专利文献2那样使用棋盘图案CHECKEREDPATTERN的方式。0007再者，在对被立体化的影像进行特殊再现的情况下的显示技术中，有像专利文献3那样在再现被立体化的影像时暂停了的情况下也能够继续欣赏立体影像的技术。0008在重叠多个层来显示的技术中，有像专利文献4那样在多画面显示超过了规定的画面数的状态下进行GFX绘制的。

18、情况下，进行控制，使得在GFX绘制期间对判断为优先级低的输入影像的至少1个以上的输入影像进行跳帧的技术。0009现有技术文献0010专利文献0011专利文献1国际公开第2005/119675号小册子0012专利文献2美国专利申请公开第2008/0036854号说明书0013专利文献3日本特开2002950170014专利文献4日本特开20032989380015非专利文献0016非专利文献1FOUNDATIONSOFTHESTEREOSCOPICCINEMAASTUDYINDEPTHBYLENNYLIPTON0017然而，目前立体欣赏数字流的方式主要应用在剧场等中，如上述专利文献所说明书CN1。

19、02027749ACN102027764A2/45页7述，通过家庭设置用的再现装置再现立体视数字流来欣赏的使用形式预计今后也会普及。0018而为了形成3D的立体影像，当然需要使数字流支持3D。0019然而，即便数字流支持3D，在再现装置中数字流不支持3D的情况下，也不能形成3D的立体影像。此外，即使数字流支持3D，用户也有时想以2D来再现数字流。0020即，如果仅凭数字流支持2D还是支持3D，来决定再现装置以3D再现还是以2D再现数字流，则有时会不妥当。发明内容0021本发明的目的在于提供一种再现装置，在是否支持3D这一点上数字流和再现装置不同的情况下，也能够实现适当的流再现。0022能够解决。

20、上述课题的再现装置能够将显示模式切换到使用户立体观看视频帧的3D模式、及使用户平面观看视频帧的2D模式中的任一个，其特征在于，包括0023读出部件，从记录媒体上读出包含左眼用视频流及右眼用视频流的数字流；0024模式存储部，存储着当前显示模式；0025维数判断部，判断从记录媒体上读出的数字流是否支持3D模式；0026分离器，在上述数字流支持3D模式、而且当前显示模式是3D模式这一条件成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流，而在上述条件不成立的情况下，从上述数字流分离出右眼用视频流及左眼用视频流中的某一方；及0027视频解码器，通过对上述分离出的视频流进行解码，来得到用于立体。

21、观看或平面观看的视频帧。0028发明效果如下0029如上构成的再现装置进行两个判断判断数字流支持2D还是支持3D，判断再现装置被设置为以2D来再现还是被设置为以3D来再现，最终通过决定以2D来再现数字流还是以3D来再现数字流，能够适当地形成立体影像。0030在想用家用的再现装置来再现立体视视频流的情况下，当然有可能进行快进、后退等特殊再现。但是，为了模拟地形成立体影像，需要对左眼和右眼的视频流分别进行解码，交替地切换并输出它们，与进行平面性的处理的平面处理相比，处理量增加。因此，在用再现立体视视频流的再现装置进行特殊再现的情况下，立体处理有可能跟不上特殊再现的情况下的再现速度。0031为了解决。

22、这种课题，最好如下构成上述再现装置。0032即，最好上述再现装置包括再现控制部件，在当前显示模式是3D模式的情况下请求了特殊再现时，将显示模式维持在3D模式，使视频解码器进行重复2次以上输出同一视频帧的处理；0033作为重复输出对象的视频帧是对从数字流分离出的右眼用视频流及左眼用视频流中的某一方进行解码而得到的视频帧，将重复输出的视频帧分别写入到右眼用视频平面、左眼用视频平面上。该再现装置即使在用再现立体视视频流的再现装置进行特殊再现的情况下，也能够防止立体处理跟不上特殊再现的情况下的再现速度。0034在3D显示视频流的情况下，有显示到近侧或显示到远侧这两种样式。在视频流说明书CN102027。

23、749ACN102027764A3/45页8被3D显示在近侧的情况下，如果合成2D的图形流，则图形流会看不到，成问题。0035因此，通过使得图形流也能够以3D来显示，能够消除上述问题。0036此外，如果图形流也能够3D显示，则也有用户能欣赏各种各样立体影像这一效果。0037在显示模式被从3D变更到2D的情况下或显示模式被从3D变更到2D的情况下，再现装置通知显示装置已切换显示模式。收到通知的显示装置实际完成了能够以切换后的模式进行显示的准备后，通知再现装置已完成能够以切换后的模式进行显示的准备。在从通知显示装置已切换显示模式、到显示装置通知再现装置已完成能够以切换后的模式进行显示的准备的期间，。

24、成为能够写入到平面上、但是不显示到显示装置上的状态消失，BLACKOUT。因此，在此期间，写入到平面上的内容不会被显示到显示装置上。0038另一方面，应用程序是例如能够通过提供利用了电影的正片的影像的游戏等而使用户娱乐的程序。在游戏等中，也有例如按照正片的影像、声音来再现动画的情况。即，绘制构成动画的图形图像的应用程序需要与正片的影像视频流同步将图形图像绘制到交互式图形平面上。0039由以上可知，在从应用程序通知显示装置已切换显示模式、到显示装置通知再现装置已完成能够以切换后的模式进行显示的准备的期间，有时也会向交互式图形平面上写入图形图像来进行图形图像的绘制处理。0040在这种情况下，应用程。

25、序不能使图形流和视频流同步。0041在解决这种课题时，最好如下构成上述再现装置。即，上述再现装置包括0042平台部，执行字节码应用；和0043传输部件，通过向与再现装置相连接的显示装置传输视频帧，而使显示装置执行视频帧的输出；0044在上述模式存储部中存储着的显示模式被从2D模式切换到3D模式的情况下，或者从3D模式切换到2D模式的情况下，传输部件进行显示装置的重新认证；0045在上述重新认证后，收到能够进行与切换后的模式相应的输出的意思的通知的情况下，应该对上述平台部执行着的字节码应用通知能够进行与上述切换后的模式相应的输出的意思。0046为了使得在从通知显示装置已切换显示模式、到显示装置通。

26、知再现装置已完成能够以切换后的模式进行显示的准备的期间，应用程序不向交互式图形平面上写入图形图像来进行处理，可以建立显示装置通知应用程序已完成能够以切换后的模式进行显示的准备的机制。由此，能够使得应用程序能够与视频流同步地向交互式图形平面上绘制图形图像。附图说明0047图1是具备本申请的课题解决部件的、最基本的再现装置的内部结构图。0048图2是具备本申请的课题解决部件的、最基本的再现方法的流程图。0049图3是将具备本申请的课题解决部件的再现装置用作具体的电器产品时的使用形态图。0050图4是BDROM100的内部结构图。说明书CN102027749ACN102027764A4/45页900。

27、51图5是播放列表文件的内部结构中的“再现属性信息”、“再现数据信息”的内部结构的详图。0052图6示出规定2D播放列表的播放列表文件的具体描述。0053图7示出规定3D播放列表的播放列表文件的一例。0054图8是具备本申请的课题解决部件的再现装置的内部结构的结构图。0055图9是寄存器组12的内容的例子的示意图。0056图10是合成了进行过平面移动的图像平面的视频帧的图。0057图11示出通过用液晶眼镜500来观看向左平面移动后的图像平面、和向右平面移动后的图像平面而出现的立体图像。0058图12是再现装置200读入上述影像数据播放列表并放映立体影像上重叠的立体字幕/立体图形时的处理过程的流。

28、程图。0059图13是3D模式下的视频帧处理的处理过程的流程图。0060图14是2D模式下的播放列表再现的处理过程的流程图。0061图15是2D模式下的2D流的视频帧处理的处理过程的流程图。0062图16是2D模式下的3D流的视频帧处理的处理过程的流程图。0063图17是能够支持多图像平面的播放列表再现处理的处理过程的流程图。0064图18是加进了输出显示模式切换完成通知事件的过程的、3D模式下的视频帧处理的处理过程的流程图。0065图19是加进了输出显示模式切换完成通知事件的过程的、2D模式下的视频帧处理的处理过程的流程图。0066图20是在普通再现之外、考虑特殊再现的3D模式下的视频帧处理。

29、的处理过程的流程图。0067图21示出了禁止根据用户操作、来自BDJ应用程序、电影对象的指示进行特殊再现的情况下的流程图的一例。0068图22是适用了DEPTH深度运算方式的再现装置的内部结构的方框图。0069图23是采用了DEPTH运算方式的情况下的3D模式下的视频帧处理的处理过程的流程图。0070图24示出再现装置200和显示装置400的通信序列。0071图25是HDMI接口中的、模式切换的处理过程的流程图。0072图26是在显示模式按BD显现PRESENTATION模式、BB显现模式、BD显现模式那样来转移的情况下、输出的图片和显示频率、HDMI如何变化的图。0073图27示出由于从普通。

30、再现切换到快进、从快进切换到普通再现，再现装置中的解码内容及显示装置400的显示内容如何变化。0074图28示出通过选择GOP内存在的I图片、B图片、P图片中的哪个来再现、选择构成视频流的多个CLOSEDGOP闭GOP、OPENGOP开GOP中的哪个来再现、来实现速度调整的倍速再现的实现例。0075图29示出分离器及视频解码器的内部结构。0076图30是考虑到倍速再现的特殊再现的处理过程的流程图。0077图31是3D模式下的视频帧处理的处理过程的流程图。说明书CN102027749ACN102027764A5/45页100078图32是与用户操作、BDJ应用程序的请求、电影对象的请求相应的图像。

31、平面处理过程的流程图。0079图33是记录方法的处理过程的流程图。0080图34是再现装置的硬件的内部结构图。0081图35是平面偏移量的符号为正将左眼用的图形图像向右偏移，将右眼用的图形图像向左偏移的情况下、像看起来比显示画面更近的原理的说明图。0082图36是平面偏移量的符号为负将左眼用的图形图像向左偏移，将右眼用的图形图像向右偏移的情况下、像显得比显示画面更远的原理的说明图。0083图37是字幕的凸出程度如何根据平面偏移量的大小来变化的图。0084图38示出图像平面8的内部结构。0085图39示出向右移动、向左移动后的、前景区域的像素数据及背景区域的像素数据。0086图40是图像平面8上。

32、的平面移动的处理过程的图。0087图41是图形平面上保存着的像素数据的图。0088图42示出移动后的图形平面的保存内容。0089标号说明0090100BDROM；200再现装置0091300遥控；400电视0092500液晶眼镜；1ABD驱动器00931B网络设备；1C本地存储器00942A，2B读缓冲器；3虚拟文件系统00954分离器；5视频解码器00966视频平面；7A，B图像解码器00977C，D图像存储器；8图像平面00989音频解码器；10交互式图形平面009911背景平面；12寄存器组010013静态脚本存储器；14再现控制引擎010115缩放引擎；16合成部010217HDMI发。

33、送接收部；18显示功能标志保持部010319左右处理存储部；20平面移动引擎010421偏移信息存储器；22BDJ平台具体实施方式0105以下，参考附图来说明具备上述课题解决部件的再现装置的实施方式。0106图1是具备本申请的课题解决部件的、最基本的再现装置的内部结构图。本图所示的再现装置除了上述课题解决部件以外，尽量排除了无用的构件，由读出部件201、维数判断部202、模式存储部203、分离器DEMULTIPLEXER204、视频解码器205构成。0107图2是具备本申请的课题解决部件的、最基本的再现方法的流程图。本图所示的再现方法由与上述课题解决部件对应的时序要素读出步骤S101、模式存储。

34、步骤说明书CN102027749ACN102027764A6/45页11S102、分离步骤S103、解码及帧输出步骤S104构成。0108图3是将具备上述课题解决部件的再现装置用作具体的电器产品时的使用形态图。如本图所示，记录媒体的一例BDROM100、再现装置200与遥控300、显示装置400、液晶眼镜500一起构成家庭影院系统，供用户使用。0109BDROM100向上述家庭影院系统提供例如电影作品。0110再现装置200与显示装置400相连，再现BDROM100。在这样再现的再现影像中，存在2D影像、3D影像。2D影像是指将显示装置的显示画面看作XY平面、用该XY平面上的像素表现的图像，也。

35、称为平面图像。0111与此相对，3D影像是指对显示装置的画面上的XY平面上的像素加上了Z轴方向的纵深所得的图像。3D影像一起再现要用左眼观看的左眼用影像、和要用右眼观看的右眼用影像，用这些左眼用影像、右眼用影像来发挥立体效果，供用户观看。3D影像中的像素中的、具有正的Z轴坐标的像素，用户感到比显示装置的画面更近；而具有负的Z轴坐标的像素，则感到比画面更远。0112遥控300是从用户那里接受与再现控制有关的各种各样的操作、并且从用户那里接受对分级的GUI进行的操作的机器，为了接受这种操作，遥控100包括调用弹出菜单的菜单键、移动构成弹出菜单的GUI部件的焦点的箭头键、对构成弹出菜单的GUI部件进。

36、行确定操作的确定键、用于使分级的弹出菜单返回到上一级的返回键、数字键。0113显示装置400通过显示电影作品的再现影像，或者显示菜单等，而向用户提供交互式的操作环境。0114液晶眼镜500由液晶快门和控制部构成，用用户的两眼的视差来实现立体视觉。液晶眼镜500的液晶快门是采用了具有通过改变施加电压来改变光的透射率的性质的液晶镜片的快门。液晶眼镜500的控制部接受从再现装置发送的右眼用的图像和左眼用的图像的输出切换的同步信号，根据该同步信号，来切换第1状态、第2状态。0115第1状态是指调节施加电压、使得与右眼对应的液晶镜片不透过光，调节施加电压、使得与左眼对应的液晶镜片透过光的状态，在该状态下。

37、，左眼用的图像供观看。0116第2状态是指调节施加电压、使得与右眼对应的液晶镜片透过光，调节施加电压、使得与左眼对应的液晶镜片不透过光的状态，在此情况下，液晶眼镜能够使右眼用的图像供观看。0117一般由于右眼和左眼的位置差异，右眼看到的像和左眼看到的像在视觉上有若干差异。利用该差异，人能够将眼睛看到的像识别为立体。因此，液晶眼镜500如果使以上那样的第1状态、第2状态的切换与右眼用的图像和左眼用的图像的输出的切换定时同步，则用户会产生将平面显示看成立体的错觉。接着，说明显示右眼用影像、左眼用影像时的时间间隔。0118具体地说，在平面显示的图像中，右眼用的图像和左眼用的图像有与人的视差相当的视觉。

38、差异，通过以很短的时间间隔来切换显示这些图像，看起来就好像是在进行立体显示。0119该很短的时间间隔只要是通过上述切换显示足以使人产生看成立体的错觉的时间就够了。0120以上是对家庭影院系统的说明。说明书CN102027749ACN102027764A7/45页120121接着说明再现装置200再现的对象记录媒体。再现装置200再现的是BDROM100。图4是BDROM100的内部结构图。0122本图的第4排示出BDROM，第3排示出BDROM上的光道。本图的光道是将从BDROM的内周到外周螺旋状形成的光道沿横向拉伸而绘制的。该光道由导入区、卷区、以及导出区组成。此外，在导入区的内侧有称为BC。

39、ABURSTCUTTINGAREA的只能由驱动器读出的特别区域。该区域不能从应用程序读出，所以常常用于例如著作权保护技术等。0123本图的卷区具有文件系统层、应用层这样的层次模型，在文件系统层中，以文件系统信息打头，记录着影像数据等应用程序数据。文件系统是指UDF或ISO9660等，能够与普通PC同样用目录、文件结构来读出记录着的逻辑数据，能够读出255个字符的文件名、目录名。用目录结构来表现BDROM的应用层格式，则如图中的第1排所示。在该第1排中，在BDROM上，在ROOT目录下，有CERTIFICATE目录及BDMV目录。0124在CERTIFICATE目录下，存在盘的根证书的文件APP。

40、DISCROOTCERT。APPDISCROOTCERT是用JAVA注册商标虚拟机来执行进行动态脚本控制的JAVA注册商标应用程序时、用于确认应用程序是否被窜改、及应用程序的身份的过程以下称为签名验证的数字证书。0125BDMV目录是记录着BDROM处理的AV内容和管理信息等数据的目录，在BDMV目录下，存在称为PLAYLIST目录、CLIPINF目录、STREAM目录、BDJO目录、JAR目录、META目录的6个子目录，安排着INDEXBDMV和MOVIEOBJECTBDMV这2种文件。0126STREAM目录是保存着可谓传输流主体的文件的目录，存在被赋予了扩展名“M2TS”的文件00001。

41、M2TS。0127在PLAYLIST目录中，存在被赋予了扩展名“MPLS”的文件00001MPLS。0128在CLIPINF目录中，存在被赋予了扩展名“CLPI”的文件00001CLPI。0129在BDJO目录中，存在被赋予了扩展名“BDJO”的文件XXXXXBDJO。0130在JAR目录中，存在被赋予了扩展名“JAR”的文件YYYYYJAR。0131在META目录中，存在XML文件ZZZZZXML。0132以下，说明这些文件。01330134INDEXBDMV索引表是与整个BDROM有关的管理信息，将光盘插入到再现装置中后，通过首先读出INDEXBDMV，在再现装置中能唯一地识别光盘。IND。

42、EXBDMV规定构成光盘的节目结构的各个节目、和规定工作模式的工作模式对象之间的对应关系。节目结构是指在装入光盘时，开始再现伴有对观众的警告或内容提供商的徽标显示等的节目第一次播放节目，再现第一次播放节目后，再现构成电影作品的正片的一般节目用“1”、“2”、“3”这样的序列号标识的一般节目，如果正片节目的再现结束，则再现接受节目选择的节目菜单节目并等待用户选择一般节目。0135光盘的节目通过向上述那样的第一次播放节目、一般节目、菜单节目分别分配规定工作模式的工作模式对象，来详细规定各个节目以何种工作模式来工作。0136说明书CN102027749ACN102027764A8/45页130137。

43、MOVIEOBJECTBDMV保存着电影对象。电影对象是工作模式对象之一，是在基于命令的工作模式称为HDMV模式中、将多个导航命令作为批作业提供给再现装置、使再现装置根据这些导航命令来工作的批作业程序。具体地说，电影对象包含1个以上的命令、和规定在用户对GUI进行了菜单调用、节目调用的情况下是否屏蔽这些调用的屏蔽标志。导航命令是指用所谓的解释型语言描述的控制命令，多个导航命令作为批作业由解释器作业控制程序解释，使CPU执行期望的作业。导航命令由操作码和操作数组成，能够用操作码来命令再现装置进行节目分支或再现、运算等操作。操作数是播放列表的号码或节目号，能够指定待操作的对象。01380139被赋。

44、予了扩展名“M2TS”的文件是MPEGTSTRANSPORTSTREAM形式的数字AV流，通过复用视频流、1个以上的音频流、字幕数据而得到。视频流表示电影的动画部分，音频流表示电影的声音部分。将只包含2D用的流的传输流称为“2D流”，将包含3D用的流的传输流称为“3D流”。0140在3D流的情况下，可以向M2TS中放入左眼用和右眼用这两者的数据，也可以为左眼用和右眼用分别准备M2TS。为了减少流所用的容量，最好使用左眼用视频流和右眼用视频流相互参考的编解码器例如，MPEG4AVCMVC。将用这种编解码器压缩编码了的视频流称为MVC视频流。01410142被赋予了扩展名“MPLS”的文件是保存着。

45、播放列表PL信息的文件。播放列表信息是参考AV片断来定义播放列表的信息。0143在BDROM上存在着识别待再现的流是2D用还是3D用的维数识别标志，在本实施方式中，在播放列表PL信息中嵌入了维数识别标志。0144在本实施方式中，能够根据BDROM上的播放列表PL的构成格式来确定在待再现的流中是否存在3D用的流。用于再现控制的JAVATM应用程序可以通过命令JAVATM虚拟机生成再现该播放列表信息的JMF播放器实例，来开始AV再现。JMFJAVAMEDIAFRAMEWORK，JAVA媒体框架播放器实例是指根据JMF播放器类在虚拟机的堆存储器上生成的实际的数据。0145再者，作为术语定义，2D播放。

46、列表只包含2D再现用的流，而3D播放列表除了包含2D流以外，还包含3D立体视觉用的流。0146被赋予了扩展名“CLPI”的文件是与AV片断分别一一对应的CLIP片断信息。由于是管理信息，所以CLIP信息具有AV片断上的流的编码形式、帧率、比特率、分辨率等信息、和表示GOP的起始位置的EP_MAP。以上CLIP信息及播放列表信息被分类为“静态脚本”。01470148BDJ对象是使再现装置以基于字节码应用的工作模式称为BDJ模式来工作的工作模式对象。字节码应用是指用面向对象语言这样的编译型语言、例如JAVATM语言生成的应用程序。BDJ对象是用JAVATM语言等“编译型语言”来规定再现装置的工作的。

47、，所以具有与用解释型语言命令来描述的电影对象相反的意义。BDJ对象包含以下“应用程序管理表”。说明书CN102027749ACN102027764A9/45页140149应用程序管理表0150应用程序管理表包含多个项目。这些项目包含在节目中是应该自动启动应用程序AUTOSTART、还是应该等待从其他应用程序中调用来启动PRESENT这一表示启动的方法的“控制码”、用作为JAR文件的文件名的5位数值来表示作为对象的应用程序的“应用程序ID”、以及“应用程序详细信息”。0151“应用程序详细信息”为每个应用程序保存着应用程序被装入的情况下的“优先级”、表示应用程序是否是节目未绑定、是否是光盘绑定的。

48、“绑定信息”、表示应用程序的名称的字符串、表示应用程序的语言属性的“语言码”、以及指示与应用程序相对应的图标所在的“图标定位符”。应用程序管理表通过将节目作为生存周期来管理，能够以节目这一再现单位为区隔来管理各应用程序对存储资源等的消耗。由此，即使在某个节目的再现中多个应用程序竞争资源的利用、而陷入了死锁状态，如果用户选择别的节目，则也能使这些应用程序全部结束，所以死锁状态强制解除。此外，即使在某个节目的再现中失控了的应用程序占有了存储器，如果用户选择别的节目，则也能使该应用程序强制结束，所以存储容量的压力强制解除。通过这样做，能够实现不消耗无谓的存储资源、稳定的存储资源的管理。由于能够实现稳。

49、定的存储资源的管理，所以在存储资源的容量受限的家电设备的实现中，将进一步发挥其真正的价值。将用BDJ对象内的应用程序管理表来规定工作的字节码应用称为“BDJ应用程序”。0152与该JAVA注册商标应用程序的实体相当的是图2中的BDMV目录下的JAR目录中保存着的JAVA注册商标存档文件YYYYYJAR。0153应用程序是例如JAVA注册商标应用程序，由被装入到虚拟机的堆区也称为工作存储器上的1个以上的XLET程序组成。0154在META目录中保存着的元文件ZZZZZXML中，保存着与放入光盘中的影像作品有关的各种各样的信息。作为元文件中保存着的信息，有光盘的光盘名及图像、光盘由谁制作的信息、与。

50、各节目有关的节目名等。以上是对BDROM100的说明。元文件不是必须的文件，也有未保存该文件的BDROM。0155以上是对再现装置的再现对象BDROM的说明。接着，说明播放列表信息的细节。0156实现立体视觉及平面视觉的播放列表信息如下构成。一般“播放列表”是指通过在AV流的时间轴上规定再现区间、并且在逻辑上指定该再现区间之间的再现顺序而规定的再现路径，具有规定再现AV流中的哪个的哪一部分、并以何种顺序来展开场景的作用。MPLS文件中保存着的播放列表信息定义这种播放列表的“类型”。用播放列表信息定义的再现路径是所谓的“多路径”。多路径是指对主AV流定义的再现路径主路径、和对辅流定义的再现路径支。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置：首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1