信息处理装置及方法以及显示控制装置及方法 相关申请的交叉引用
本 申 请 要 求 2009 年 11 月 16 日 向 日 本 专 利 局 提 交 的 日 本 优 先 专 利 申 请 JP2009-260659 在 35U.S.C.§119 下的优先权， 通过引用将其全部内容并入于此。
技术领域 本发明涉及一种信息处理装置、 信息处理方法、 显示控制装置、 显示控制方法、 以 及程序， 并且更具体地涉及一种能够降低在执行内容的可变速度再现时所感觉到的疲劳的 信息处理装置、 信息处理方法、 显示控制装置、 显示控制方法、 以及程序。
背景技术 近来， 作为根据诸如 LCD( 液晶显示器 ) 之类的显示器像素数目的增加以及帧速率 的提高可以实现的图像显示模式， 其中观看者可以立体地识别图像的 3D( 三维 ) 显示模式 引起关注。
下文中， 适当地将在视觉上可以被立体地识别的图像称为 3D 图像， 将包括 3D 图像 的数据的内容称为 3D 内容。另外， 将用于显示 3D 图像的再现称为 3D 再现。另一方面， 将 用于显示普通 2D 图像 ( 难以被立体地识别的平面图像 ) 的再现称为 2D 再现。
作为用于观看 3D 图像的类型， 存在使用偏光滤光眼镜或快门眼镜的眼镜型、 以及 诸如不使用眼镜的透镜型之类的裸眼型。另外， 作为用于显示 3D 图像的再现方法， 存在其 中交替地显示彼此具有视差的左眼图像 (L 图像 ) 和右眼图像 (R 图像 ) 的帧顺序方法。通 过使用快门眼镜将左眼图像和右眼图像传送给观看者的左眼和右眼， 可以允许观看者体验 立体效果。
通过这种 3D 图像， 可以实现逼真的表示， 相应地， 积极开发这种 3D 再现技术。另 外， 开发了基于用于普通 2D 再现的内容来产生 3D 内容并且显示 3D 图像的技术。作为基于 2D 内容产生 3D 内容的技术， 存在使用图像视差的技术。
3D 图像和 2D 图像的特征彼此不同。 因此， 与观看 2D 图像的情况相比， 在长时间观 看 3D 图像的情况下， 可能积聚更多疲劳。另外， 感到 3D 图像比一般的 2D 图像更逼真。相 应地， 用户可能无意中长时间观看内容。
因此， 与观看普通 2D 图像的情况相比， 在观看 3D 图像的情况下， 疲劳感可能不期 望地增加。相应地， 提出了用于降低观看 3D 图像时的疲劳的各种技术。
发明内容
在诸如近来在售的记录普通 2D 内容的硬盘记录器之类的记录装置之中， 存在具 有可变速度再现模式作为用于已经记录的内容的再现模式的装置。 可变速度再现表示不以 正常速度 ( 例如， 60 分钟的电视节目再现 60 分钟 ) 进行的再现， 而是表示以高于或低于正 常速度的速度进行的再现。
可以考虑对于 3D 内容执行这种可变速度再现。 3D 图像可以实现比 2D 图像更逼真的表示。相应地， 在观看通过以比正常速度更高的速度进行的可变速度再现显示的 3D 图像 的情况下， 可能比通过以相同速度进行的可变速度再现显示的 2D 图像的情况积聚更多疲 劳。
因此， 期望降低在对内容执行可变速度再现时的疲劳。
根据本发明的一个示例实施例， 提供一种显示装置， 其确定视频的再现速度， 并且 设置与视频的再现速度相对应的视差参数。 内容控制单元然后基于由系统控制器设置的视 差参数来控制视频的再现。
这种配置允许设置视差从而与视频的再现速度相一致， 由此可以降低在执行内容 的可变速度再现时的疲劳。 附图说明
图 1 是表示根据本发明实施例的 3D 图像显示系统的配置示例的图 ； 图 2 是表示再现速度和视差参数之间的关系示例的图 ； 图 3 是表示显示控制装置的配置示例的框图 ； 图 4A 和 4B 是表示快门眼镜的状态的图 ； 图 5 是表示内容控制单元的配置示例的框图 ； 图 6 是表示 3D 图像产生的示例的图 ； 图 7 是表示内容控制单元的另一配置示例的框图 ； 图 8 是图示显示控制装置的处理的流程图 ； 图 9 是表示显示控制装置的另一配置示例的框图 ； 图 10 是表示重要部分的检测的示例的图 ； 图 11 是表示再现速度和视差参数之间的关系示例的图 ； 图 12 是表示系统控制器的配置示例的框图 ； 图 13 是图示图 9 中所示的显示控制装置的处理的流程图 ； 图 14A 和图 14B 是表示 3D 图像产生的另一示例的图 ； 图 15 是表示内容控制单元的又一配置示例的框图 ； 图 16 是表示内容控制单元的配置示例的框图 ； 图 17 是表示 3D 图像产生的又一示例的图 ； 图 18 是表示像素插值示例的图 ； 图 19 是表示 3D 图像产生的再一示例的图 ； 图 20 是表示根据本发明的另一实施例的 3D 图像显示系统的配置示例的图 ； 以及 图 21 是表示计算机硬件的配置示例的框图。具体实施方式
3D 图像显示系统
图 1 是表示根据本发明实施例的 3D 图像显示系统的配置示例的图。通过显示控 制装置 1、 TV( 电视机 )2、 以及快门眼镜 3 来配置图 1 所示的 3D 图像显示系统。换句话说， 根据图 1 所示的 3D 图像显示系统的 3D 图像的观看类型是使用眼镜的类型。作为内容观看 者的用户佩带快门眼镜 3。显示控制装置 1 再现内容并将内容的图像 ( 运动图像 ) 显示在 TV 2 上。显示控 制装置 1 例如再现记录在内置 HDD 中的内容、 或者记录在插入驱动器的蓝光 ( 商标 ) 盘中 的内容。要由显示控制装置 1 再现的内容是诸如电视节目和电影之类的内容， 并且包括图 像数据和音频数据。显示控制装置 1 和 TV2 例如通过 HDMI( 高清晰度多媒体接口 ) 规范的 电缆彼此连接。
这里， 将描述其中包括在要再现的内容中的图像数据是用于显示普通 2D 图像的 数据的情况。
显示控制装置 1 通过转换包括在要再现的内容中的 2D 图像数据来产生 3D 图像数 据， 并且将该内容的图像显示为 3D 图像。后面将描述基于 2D 图像数据产生 3D 图像数据。
在图 1 中， 在 TV 2 上显示左眼图像 L1。此后， 如图 1 的右上侧所示， 以交替方式， 诸如右眼图像 R1、 左眼图像 L2、 右眼图像 R2、 左眼图像 L3、 右眼图像 R3...， 显示左眼图像和 右眼图像。
例如通过使用红外线的无线通信， 从显示控制装置 1 向快门眼镜 3 提供包括关于 图像的垂直同步信号的信息的控制信号。通过液晶设备来配置快门眼镜 3 的左眼传输部分 和右眼传输部分， 可以控制所述液晶设备的偏光特性。 快门眼镜 3 依据控制信号交替地重复两种快门开启 / 闭合操作， 包括开启左眼和 闭合右眼的操作、 以及闭合左眼和开启右眼的操作。结果， 仅将右眼图像输入到用户的右 眼， 仅将左眼图像输入到用户的左眼。 通过交替地观看左眼图像和右眼图像， 用户将内容的 图像识别为立体图像。
如上所述， 在显示控制装置 1 中， 提供 3D 再现模式作为内容的再现模式。
另外， 在显示控制装置 1 中， 提供可变速度再现模式作为内容的再现模式。例如， 用户可以将速度设置为 1.1 倍速、 1.2 倍速、 1.3 倍速、 1.4 倍速、 1.5 倍速或者具有比作为正 常速度的 1.0 倍速更高的倍速。
在根据用户设置执行可变速度再现的情况下， 显示控制装置 1 通过根据再现速度 调节视差参数， 来控制左眼图像和右眼图像之间的视差。视差参数是定义左眼图像和右眼 图像之间的视差幅度的参数。改变左眼图像和右眼图像之间的视差， 改变了观看 3D 图像的 用户所体验的立体效果 ( 深度效果 )。
下文中， 假设视差参数的值与视差成比例。 视差参数的值越大， 左眼图像和右眼图 像之间的视差变得越宽， 观看左眼图像和右眼图像的用户更立体地体验对象。
图 2 是表示再现速度和视差参数之间的关系示例的图。
在图 2 中， 横轴表示再现速度， 纵轴表示视差参数。在正常速度用作基准的情况 下， 再现速度朝向右侧变得更高。
在图 2 所示的示例中， 当再现速度等于或高于正常速度的 S0 倍以及低于正常速度 的 S1 倍时， 使用作为视差参数的可设置范围中的最大值的值 P5 来显示 3D 图像。 换句话说， 当再现速度等于或高于 S0 以及低于 S1 时， 用户可以最立体地体验对象。
另外， 当再现速度等于或高于 S1 以及低于 S2 时， 使用比值 P5 小预定值的值 P4 作 为视差参数的值来显示 3D 图像。类似地， 当再现速度等于或高于 S2 以及低于 S3 时， 使用 比值 P4 小预定值的值 P3 作为视差参数的值。当再现速度等于或高于 S3 以及低于 S4 时， 使用比值 P3 小预定值的值 P2 作为视差参数的值。另一方面， 当再现速度等于或高于 S4 以
及低于 S5 时， 使用比值 P2 小预定值的值 P1 作为视差参数的值。
当再现速度等于或高于 S5 时， 使用比值 P1 小预定值并且作为可设置范围中最小 值的值 P0 作为视差参数的值。 视差参数的值 P0 表示左眼图像和右眼图像之间的视差为零。 在这种情况下， 可以配置显示左眼图像和右眼图像中的任何一个。当值 P0 被设置为视差参 数的值时， 用户观看到 2D 图像而不立体地体验对象。
这里， 例如， 再现速度 S1 到 S5 对应于 1.1 倍速、 1.2 倍速、 1.3 倍速、 1.4 倍速、 和 1.5 倍速。
连续观看 3D 图像所感觉到的疲劳高于连续观看 2D 图像所感觉到的疲劳。另外， 以高再现速度观看内容所感觉到的疲劳高于以低再现速度观看内容所感觉到的疲劳。 相应 地， 在再现速度高的情况下， 通过再现内容使得以比再现速度低的情况更少立体感来体验 对象， 可以缓解在 3D 内容的可变速度再现时用户感觉到的疲劳。
[ 显示控制装置 1 的配置 ]
图 3 是表示显示控制装置 1 的配置示例的框图。
系统控制器 11 根据从用户 I/F 12 提供的、 表示用户操作内容的信号， 来控制显示 控制装置 1 的整体操作。 例如， 系统控制器 11 通过控制再现处理单元 15 来调节内容的再现速度。另外， 系 统控制器 11 通过控制内容控制单元 16， 来将左眼图像和右眼图像之间的视差调节为与内 容的再现速度相一致。
通过光感测单元来配置用户 I/F 12， 该光感测单元接收从遥控器等发射的信号。 用户 I/F 12 检测用户对遥控器的操作， 并且将表示内容的信号输出到系统控制器 11。
记录介质控制单元 13 进行控制以便在记录介质 14 上记录内容以及从记录介质 14 中读取内容。记录介质 14 例如是 HDD( 硬盘驱动器 )， 并且记录内容。
另外， 记录介质控制单元 13 基于从图中未示出的天线传送的信号来接收广播内 容， 并且将该内容记录在记录介质 14 上。当用户从记录在记录介质 14 上的内容之中选择 了特定内容并指示记录介质控制单元 13 再现所选择的内容时， 记录介质控制单元 13 将被 指示为再现的内容从记录介质 14 提供到再现处理单元 15。
再现处理单元 15 执行诸如解码处理之类的再现处理， 所述解码处理解压缩要再 现的从记录介质 14 提供的内容的压缩数据。由系统控制器 11 控制再现处理单元 15 执行 的再现处理的速度。再现处理单元 15 将通过再现内容所获得的图像数据输出到内容控制 单元 16。通过图中未示出的电路， 将用于输出与内容的图像一致的音频的音频数据从再现 处理单元 15 输出到外部扬声器等。
在要显示 3D 图像时， 内容控制单元 16 基于从再现处理单元 15 提供的 2D 图像的 数据来产生左眼图像和右眼图像， 并且将已经产生的左眼图像和右眼图像的数据输出到显 示控制单元 17。另一方面， 当要基于高于图 2 中所示的作为阈值的 S5 的再现速度来显示 2D 图像时， 内容控制单元 16 将从再现处理单元 15 提供的 2D 图像的数据输出到显示控制单 元 17。
显示控制单元 17 将左眼图像和右眼图像的数据作为 3D 图像的数据或者从内容控 制单元 16 提供的 2D 图像的数据输出到 TV 2， 以便显示图像。
信号输出单元 18 将从系统控制器 11 提供的控制信号传送到快门眼镜 3。当要在
TV 2 上显示 3D 图像时， 从系统控制器 11 提供用于根据左眼图像和右眼图像的显示定时来 操作快门眼镜 3 的快门的控制信号。
在已经接收到从信号输出单元 18 传送的控制信号的快门眼镜 3 中， 控制左眼传输 部分和右眼传输部分的快门操作。
图 4A 和 4B 是表示快门眼镜 3 的控制示例的图。
当内容的再现速度高于阈值时， 因此显示 2D 图像， 将用于允许左眼传送部分和右 眼传送部分的特性 ( 快门操作 ) 相同的控制信号从显示控制装置 1 传送到快门眼镜 3。
在图 4A 中， 左图表示用于快门眼镜 3 的左眼传送部分和右眼传送部分的特性彼此 不同 ( 闭合和开启定时不同 ) 的情况的快门眼镜 3 的状态。在这种状态下， 左眼图像到达 左眼， 右眼图像到达右眼。另一方面， 图 4A 的右图表示用于快门眼镜 3 的左眼传送部分和 右眼传送部分的特性相同 ( 闭合和开启定时相同 ) 的情况的快门眼镜 3 的状态。在这种状 态下， 在 TV 2 上显示的图像同时到达右眼和左眼。
另外， 通过使用滤色器模式可以实现 3D 显示， 在滤色器模式中， 改变了颜色的图 像被用户观看为右眼图像和左眼图像。在这种情况下， 使用具有可以控制其颜色的传送部 分的眼镜， 例如使得左眼传送部分为红色并且右眼传送部分为蓝色。 图 4B 的左图表示用于左眼传送部分和右眼传送部分的特性彼此不同 ( 要传送的 颜色不同 ) 的情况的眼镜的状态。另外， 图 4B 的右图表示用于左眼传送部分和右眼传送部 分的特性相同 ( 要传送的颜色相同 ) 的情况的眼镜的状态。通过在内容的再现速度变得高 于阈值时将眼镜的特性改变为在图 4B 中右侧上表示的状态， 用户观看以高速再现的内容 的图像为 2D 图像。
图 5 是表示图 3 中所示的内容控制单元 16 的配置示例的框图。
如图 5 所示， 通过运动向量检测部分 31 和存储器 32 来配置内容控制单元 16。将 从再现处理单元 15 输出的 2D 图像的数据输入到运动向量检测部分 31 和存储器 32， 并且将 其直接输出到显示控制单元 17。在显示 3D 图像的情况下， 使用从内容控制单元 16 直接输 出的 2D 图像的数据， 例如， 作为左眼图像的数据。另外， 在显示 2D 图像的情况下， 使用 2D 图像的数据进行显示。
运动向量检测部分 31 基于输入图像数据检测表示各帧之间的运动的运动向量， 并且将该运动向量输出到系统控制器 11。运动向量检测部分 31 对于每个区域检测运动向 量， 通过将一帧划分为预定数目的部分来配置每个区域， 并且运动向量检测部分 31 将对于 每个区域所检测的运动向量的平均值检测为表示各帧之间的运动的运动向量。 在系统控制 器 11 中， 根据由运动向量检测部分 31 检测的运动向量的水平分量的幅度， 来控制存储器 32 的延迟量。
当显示 3D 图像时， 存储器 32 暂时存储输入图像数据， 将输入图像数据延迟由从系 统控制器 11 提供的视差参数表示的延迟量， 并且输出延迟后的输入图像数据。将从存储器 32 输出的图像数据用作右眼图像的数据。
观看从具有上述配置的内容控制单元 16 作为 3D 图像输出的左眼图像和右眼图 像的用户， 基于左眼图像和右眼图像之间的时间差立体地体验对象。作为与其中基于左眼 图像和右眼图像之间的时间差将对象体验为立体的现象相似的现象， 已知马克 - 德沃夏克 (Mach-Dvorak) 现象。左眼图像的显示和右眼图像的显示之间的时间差变为视差。
另外， 例如在 JP-A-7-222203 中描述了 2D 图像数据到 3D 图像数据的转换。图 5 中所示的配置基本上与 JP-A-7-222203 中描述的配置相同。
图 6 是表示右眼图像的显示定时相对于左眼图像的显示定时的延迟量的图。
例如， 延迟量 T0 与运动向量的水平分量的幅度 V0 相关联， 该运动向量的水平分量 的幅度 V0 在再现速度为正常速度的情况下变为基准。当所检测的运动向量的水平分量的 幅度为 V0 时， 选择 T0 作为延迟量， 如图 6 所示， 在相对于左眼图像 L1 的定时延迟 T0 的定 时处， 显示右眼图像 R1。
在再现速度为正常速度的情况下， 当所检测的运动向量的水平分量的幅度为大于 V0 的 V1 时， 选择作为小于 T0 的延迟量的 T1， 以便控制存储器 32 的延迟量。另一方面， 当 所检测的运动向量的水平分量的幅度为小于 V0 的 V2 时， 选择作为大于 T0 的延迟量的 T2， 以便控制存储器 32 的延迟量。
在系统控制器 11 中， 如上所述， 管理运动向量的水平分量的幅度以及延迟量以便 彼此相关联。相应地， 对于每帧控制延迟量。
用于再现速度超过正常速度的情况的延迟量例如是通过将正常速度处的延迟量 乘以小于 1 的系数 k 而获得的延迟量。例如， 在再现速度是 1.1 倍速的情况下， 当所检测的 运动向量的水平分量的幅度为 V0 时， 选择 kT0 作为延迟量。相应地， 在相对于左眼图像的 定时延迟 kT0 的定时处显示右眼图像。当再现速度变得更高时， 系数 k 变为更小的值。
在再现速度变得更高时， 使用更小的值作为系数 k。相应地， 当再现速度变得更高 时， 左眼图像和右眼图像的延迟定时之间的差减小， 观看图像的用户所体验的立体效果降 低。
图 7 是表示内容控制单元 16 的另一配置示例的框图。
在该示例中， 在内容控制单元 16 中没有布置用于检测运动向量的配置， 而从再现 处理单元 15 向系统控制器 11 提供关于变为用于控制存储器 32 的延迟量的基准的运动向 量的信息。在输入到再现处理单元 15 中的图像数据的压缩方法是 MPEG( 运动画面专家 组 )2、 H.264/AVC 等的情况下， 将关于运动向量的信息包括在图像数据中。
再现处理单元 15 将包括在输入图像数据中的关于运动向量的信息输出到系统控 制器 11， 并且将通过执行再现处理所获得的 2D 图像的数据输出到内容控制单元 16。在系 统控制器 11 中， 基于运动向量确定延迟量， 并且将表示所确定的延迟量的视差参数提供到 存储器 32。
将从再现处理单元 15 输出的 2D 图像的数据输入到存储器 32， 并且将其直接输出 到显示控制单元 17。在显示 3D 图像的情况下， 将从内容控制单元 16 直接输出的 2D 图像的 数据用作左眼图像的数据。另外， 在显示 2D 图像的情况下， 使用 2D 图像的数据进行显示。
在显示 3D 图像的情况下， 存储器 32 暂时存储输入图像数据， 将该图像数据延迟由 从系统控制器 11 提供的视差参数表示的延迟量， 并且输出延迟后的输入图像数据。将从存 储器 32 输出的图像数据用作右眼图像的数据。
[ 显示控制装置 1 的操作 ]
将参考图 8 中表示的流程图描述显示控制装置 1 的处理。
在步骤 S1， 系统控制器 11 根据用户的操作设置操作模式。例如， 当被指示执行记 录在记录介质 14 上的内容的可变速度再现时， 系统控制器 11 将可变速度再现模式设置为操作模式。
在步骤 S2， 系统控制器 11 确定所设置的模式是否是可变速度再现模式。
当在步骤 S2 中确定所设置的模式不是可变速度再现模式时， 在步骤 S3 中系统控 制器 11 通过控制每个单元来以正常速度执行再现。换句话说， 由内容控制单元 16 基于通 过使用再现处理单元 15 再现内容所获得的图像数据， 来产生左眼图像和右眼图像。将内容 控制单元 16 产生的左眼图像和右眼图像的数据从显示控制单元 17 输出到 TV 2， 以便在显 示 3D 图像时使用。
在步骤 S4 中， 系统控制器 11 确定内容再现是否完成。当确定内容再现尚未完成 时， 处理返回步骤 S3， 系统控制器 11 继续执行内容的 3D 再现。另一方面， 当在步骤 S4 中确 定内容再现完成时， 处理结束。
另一方面， 当在步骤 S2 中确定所设置的模式是可变速度再现模式时， 在步骤 S5 中 系统控制器 11 执行可变速度再现参数的初始设置。系统控制器 11 将关于再现速度的倍数 的信息输出到再现处理单元 15， 并且将与再现速度相对应的视差参数输出到内容控制单元 16 的存储器 32。
在步骤 S6 中， 系统控制器 11 通过控制每个单元来执行可变速度再现。换句话说， 由内容控制单元 16 基于通过使用再现处理单元 15 以用户设置的速度再现内容所获得的图 像数据， 来产生彼此具有视差的左眼图像和右眼图像。将内容控制单元 16 产生的左眼图像 和右眼图像的数据从显示控制单元 17 输出到 TV 2， 以便在显示 3D 图像时使用。 在步骤 S7 中， 系统控制器 11 确定再现速度是否已经改变。
当在步骤 S7 中确定再现速度已经改变时， 在步骤 S8， 系统控制器 11 通过控制再现 处理单元 15 来改变再现速度， 并且将与改变后的再现速度相对应的视差参数输出到内容 控制单元 16。此后， 处理返回步骤 S6， 并且继续可变速度再现。
另一方面， 当在步骤 S7 中确定再现速度尚未改变时， 在步骤 S9， 系统控制器 11 确 定内容再现是否已经完成。
当在步骤 S9 中确定内容再现尚未完成时， 处理返回步骤 S6， 系统控制器 11 继续执 行内容的 3D 再现。另一方面， 当在步骤 S9 中确定内容再现已经完成时， 处理结束。
如上所述， 在再现速度高的情况下， 再现内容使得以比再现速度低的情况更低的 立体感来体验对象。相应地， 可以降低在执行 3D 内容的可变速度再现时用户感觉到的疲 劳。
[ 显示控制装置 1 的配置 ]
图 9 是表示显示控制装置 1 的另一配置示例的框图。
向与图 3 中所示的组成元件相同的图 9 中所示的每个组成元件指派相同的参考标 记。另外， 将适当地省略重复描述。除了特征提取单元 41 的额外布置之外， 图 9 中所示的 显示控制装置 1 的配置与图 3 中所示的显示控制装置 1 的配置相同。
在图 9 所示的显示控制装置 1 中， 通过分析内容的图像数据和音频数据来检测作 为电视节目的内容的重要部分 ( 诸如， 高潮 )。另外， 基于当前再现位置是否是在重要部分 之内的位置或者是否是接近重要部分的位置， 控制再现速度、 以及左眼图像和右眼图像之 间的视差。
再现处理单元 15 执行诸如解码处理之类的再现处理， 所述解码处理解压缩要再
现的从记录介质 14 提供的内容的压缩数据。再现处理单元 15 将通过执行再现处理所获得 的图像数据和音频数据输出到特征提取单元 41， 并且将用于显示内容的图像的图像数据输 出到内容控制单元 16。
特征提取单元 41 提取从再现处理单元 15 提供的图像数据和音频数据的特征， 并 且将表示所提取的特征的特征数据输出到系统控制器 11。
系统控制器 11 基于从特征提取单元 41 提供的特征数据， 检测内容的重要部分。 系 统控制器 11 基于当前再现位置是否是在重要部分之内的位置或者是否是接近重要部分的 位置， 控制内容的再现速度、 以及左眼图像和右眼图像之间的视差。
图 10 是表示图像的场景和显示的高潮评估值的改变的示例的图。
在图 10 所表示的示例中， 要再现的内容是足球转播节目。足球转播节目例如记录 在记录介质 14 上。在诸如开始再现之前或者在再现期间之类的预定时间， 分析足球转播节 目的图像数据和音频数据 ( 提取其特征 )。
图像数据的特征例如是变焦 (zoom) 和摇摄 (pan) 的度数 (degree)。例如通过将 各帧的像素值彼此进行比较来检测变焦和摇摄的度数。音频数据的特征例如是音量。
显示控制装置 1 例如将通过将从图像数据提取的特征的数字化值与从音频数据 提取的特征的数字化值相加所获得的值计算为高潮评估值。图 10 上部示出的波形表示了 用于足球转播节目的每个单位时间的高潮评估值的改变， 横轴表示时间， 纵轴表示高潮评 估值。可替代地， 可以将高潮评估值配置为是基于从图像数据提取的特征与从音频数据提 取的特征之一而计算的。 显示控制装置 1 将每个单位时间的高潮评估值与阈值进行比较， 并且检测其中在 预定时间或更长时间内检测到等于或大于阈值的高潮评估值的部分， 即重要部分。在图 10 所表示的示例中， 将从时间 k1 到时间 k2 的部分检测为重要部分。
图 11 是表示再现速度和视差参数之间的关系示例的图。
如图 11 所示， 在从内容的开始时间到时间 k0 的部分 T1 中， 以高于正常速度的速 度 S5 执行再现。这里， 时间 k0 是在重要部分的开始时间 k1 之前的预定时间。另外， 在部 分 T1 中， 使用值 P0 作为视差参数， 并且显示 2D 图像。
在部分 T1 中， 用户观看以高于正常速度的速度再现的内容的 2D 图像。
在从时间 k0 到时间 k1 的部分 T2 中， 在再现速度随着时间流逝线性地从 S5 降低 到 S0 的同时执行再现。另外， 在部分 T2 中， 视差参数的值随着时间流逝线性地从值 P0 改 变到值 P5， 以便显示左眼图像和右眼图像。
在重要部分之前的部分 T2 中缓慢增加立体效果的情况下， 用户观看缓慢再现的 内容的图像。
在重要部分的从时间 k1 到时间 k2 的部分 T3 中， 以慢于其它部分中的速度的速度 S0( 正常速度 ) 执行再现。另外， 在部分 T3 中， 使用值 P5 作为视差参数， 显示具有大于其它 部分中的视差的左眼图像和右眼图像。
在作为重要部分的部分 T3 中， 用户观看以正常速度再现的内容的图像， 同时比其 它部分中更为立体地体验对象。
在从时间 k2 到时间 k3 的部分 T4 中， 在随着时间流逝线性地从 S0 增加再现速度 到 S5 的同时， 执行再现。另外， 在部分 T4 中， 视差参数的值随着时间流逝线性地从 P5 改变
到 P0， 以便显示左眼图像和右眼图像。
在作为重要部分之后的部分的部分 T4 中， 用户观看以缓慢增加的速度再现的内 容的图像， 同时所体验的其立体效果缓慢降低。
在时间 k3 之后， 类似地于部分 T1， 以高于正常速度的速度 S5 执行再现。另外， 在 时间 k3 之后， 使用 P0 作为视差参数的值， 并且显示 2D 图像。
在时间 k3 之后， 用户观看以高于正常速度的速度再现的内容的 2D 图像。
如上所述， 在除了重要部分之外的部分中， 再现内容使得将再现速度设置为高于 正常速度， 并且配置对象以便比重要部分中更少被体验为立体的。 相应地， 可以降低在对于 3D 内容执行可变速度再现时用户感觉到的疲劳。
另外， 在重要部分中降低再现速度， 从而以可以将对象感觉为最立体的形式显示 图像。相应地， 可以突出显示 (highlight) ： 在再现处理中间的部分是重要部分。
此外， 通过在重要部分之前或之后的部分中缓慢改变再现速度和视差参数， 可以 使用户习惯于再现速度的改变以及立体效果的改变。
在图 11 所表示的示例中， 已经描述在重要部分内以正常速度再现内容。然而， 可 以以高于正常速度的速度执行再现， 只要该速度低于部分 T1 和时间 k3 之后的部分的再现 速度。另外， 已经描述在部分 T1 和时间 k3 之后的部分中显示 2D 图像。然而， 可以配置使 用小于在重要部分中使用的值 P5 的值作为视差参数， 并显示 3D 图像。 图 12 是表示图 9 中所示的系统控制器 11 的配置示例的框图。
如图 12 所示， 通过重要部分检测单元 51 和控制单元 52 来配置系统控制器 11。将 从特征提取单元 41 输出的特征数据输入到重要部分检测单元 51。 将从内容控制单元 16 的 运动向量检测部分 31( 图 5) 或者再现处理单元 15( 图 7) 输出的关于运动向量的信息输入 到控制单元 52。
重要部分检测单元 51 通过基于图像数据和音频数据的特征计算评估值来检测重 要部分。重要部分检测单元 51 将表示重要部分的信息输出到控制单元 52。
控制单元 52 在内容的再现处理期间监控当前再现位置， 并且如参考图 11 所述地 根据当前再现位置控制内容的再现速度和视差参数。另外， 控制单元 52 通过将控制信号输 出到信号输出单元 18 来控制快门眼镜 3 的特性。
[ 显示控制装置 1 的操作 ]
将参考图 13 中所表示的流程图来描述图 9 中所示的显示控制装置 1 的处理。
这里， 假设预先执行重要部分的检测。将通过系统控制器 11 的重要部分检测单元 51 检测的关于重要部分的信息从重要部分检测单元 51 提供到控制单元 52。
在步骤 S21 中， 控制单元 52 根据用户的操作设置操作模式。例如， 当被指示执行 记录在记录介质 14 上的内容的可变速度再现时， 控制单元 52 将可变速度再现模式设置为 操作模式。
在步骤 S22， 控制单元 52 确定所设置的模式是否是可变速度再现模式。
当在步骤 S22 中确定所设置的模式不是可变速度再现模式时， 在步骤 S23 中控制 单元 52 通过控制每个单元来以正常速度执行 3D 再现。
在步骤 S24 中， 控制单元 52 确定内容再现是否完成。当确定内容再现尚未完成 时， 处理返回步骤 S23， 控制单元 52 继续执行内容的 3D 再现。当在步骤 S24 中确定内容再
现已经完成时， 处理结束。
另一方面， 当在步骤 S22 中确定所设置的模式是可变速度再现模式时， 在步骤 S25 中控制单元 52 执行可变速度再现参数的初始设置。在图 11 所表示的示例中， 从控制单元 52 将指示再现速度为 S5 的信息提供到再现处理单元 15， 并且从控制单元 52 将与再现速度 S5 相对应的具有值 P0 的视差参数提供到内容控制单元 16。
在步骤 S26 中， 控制单元 52 通过控制每个单元来执行可变速度再现。基于通过使 用再现处理单元 15 再现内容所获得的图像数据， 由内容控制单元 16 适当地产生左眼图像 和右眼图像。将内容控制单元 16 产生的左眼图像和右眼图像的数据从显示控制单元 17 输 出到 TV 2。
在步骤 S27 中， 控制单元 52 确定当前再现位置是否是接近重要部分的位置或者是 否是在重要部分之内的位置。
当在步骤 S27 确定当前再现位置接近重要部分或者是在重要部分之内的位置时， 如参考图 11 所述的， 在步骤 S28， 控制单元 52 通过控制再现处理单元 15 来改变再现速度。
在步骤 S29， 控制单元 52 将与改变后的再现速度相对应的视差参数输出到内容控 制单元 16。 当在步骤 S27 确定当前再现位置不是接近重要部分的位置或者不是在重要部分 之内的位置时， 跳过步骤 S28 和 S29。
在步骤 S30， 控制单元 52 确定内容再现是否已经完成。当在步骤 S30 中确定内容 再现尚未完成时， 处理返回步骤 S26， 控制单元 52 继续再现内容。另一方面， 当在步骤 S30 中确定内容再现已经完成时， 处理结束。
根据上述处理， 可以降低在执行 3D 内容的可变速度再现时用户感觉到的疲劳。
[ 修改示例 ]
如上面所呈现的， 当基于 2D 图像产生 3D 图像时， 将通过再现 2D 内容所获得的一 帧的图像设置为左眼图像， 将通过延迟该图像所获得的图像设置为右眼图像。 换句话说， 在 沿时间方向给出视差的情况下， 产生左眼图像和右眼图像。 然而， 可以在沿空间方向给出视 差的情况下， 产生左眼图像和右眼图像。
图 14A 和图 14B 是表示在沿空间方向给出视差的情况下产生左眼图像和右眼图像 的示例的图。
例如， 将描述图 14A 中所示的基于一帧的 2D 图像来产生左眼图像和右眼图像的情 况。在这种情况下， 例如如图 14B 左侧上所示， 使用与图 14A 中所示的 2D 图像的相同的图 像作为左眼图像， 如图 14B 右侧上所示， 使用其中偏移了对象位置的图像作为右眼图像。左 眼图像中对象位置和右眼图像中对象位置之间的空间量变为视差。
在与上面描述的用于延迟量的方式相同的方式， 通过根据视差参数控制对象位置 之间的空间量， 可以根据再现速度调节观看内容的用户所体验的立体效果。
另外， 如上所述， 已经描述了其中要再现的内容是 2D 内容的情况。然而， 可以配置 这样的 3D 内容以用作再现目标， 其中预先准备左眼图像的数据和右眼图像的数据。如图 14B 所示， 包括在 3D 内容中的左眼图像和右眼图像是在对象位置之间具有间隔的图像。
图 15 是表示用于要再现的内容是 3D 内容的情况的、 内容控制单元 16 的配置示例 的框图。
如图 15 所示， 通过运动向量检测部分 31-1 和 31-2 以及存储器 32-1 和 32-2 来配置内容控制单元 16。通过延迟线来配置存储器 32-1 和 32-2。
通过再现 3D 内容， 将从再现处理单元 15 输出的左眼图像的数据输入到运动向量 检测部分 31-1 和存储器 32-1， 将右眼图像的数据输入到运动向量检测部分 31-2 和存储器 32-2。
类似于图 5 中所示的运动向量检测部分 31， 运动向量检测部分 31-1 基于左眼图像 的输入数据检测运动向量， 并且将所检测的运动向量输出到系统控制器 11。类似于运动向 量检测部分 31-1， 运动向量检测部分 31-2 基于右眼图像的输入数据检测运动向量， 并且将 所检测的运动向量输出到系统控制器 11。
在系统控制器 11 中， 例如计算运动向量检测部分 31-1 所检测的运动向量和运动 向量检测部分 31-2 所检测的运动向量的平均值。另外， 如参考图 5 和 6 所述的， 基于所计 算的平均运动向量来调节视差参数。可替代地， 可以配置运动向量检测部分 31-1 和运动向 量检测部分 31-2 中的任一个检测运动向量。
存储器 32-1 暂时存储左眼图像的输入数据， 将该数据延迟由从系统控制器 11 提 供的视差参数表示的延迟量， 并且输出延迟后的数据。
存储器 32-2 暂时存储右眼图像的输入数据， 将该数据延迟由从系统控制器 11 提 供的视差参数表示的延迟量， 并且输出延迟后的数据。
通过如上所述地控制在对象位置之间具有空间的左眼图像和右眼图像的显示定 时， 换句话说， 通过沿时间方向给出视差， 可以调节对象的立体效果。
图 16 是表示内容控制单元 16 的另一配置示例的框图。
图 16 所示的内容控制单元 16 通过从已经输入的左眼图像和右眼图像提取其中在 对象位置之间存在空间的预定范围， 执行沿空间方向向左眼图像和右眼图像给出视差的处 理。
由运动向量检测部分 31-1 和 31-2 以及窗口处理部分 61-1 和 61-2 配置图 16 所 示的内容控制单元 16。向与图 15 所示的组成元件相同的每个组成元件指派相同的参考标 号。另外， 将适当地省略重复描述。
通过再现 3D 内容， 将从再现处理单元 15 输出的左眼图像的数据输入到运动向量 检测部分 31-1 和窗口处理部分 61-1， 将右眼图像的数据输入到运动向量检测部分 31-2 和 窗口处理部分 61-2。
窗口处理部分 61-1 从整个输入左眼图像提取预定范围， 并且将通过执行插值处 理所获得的图像输出为左眼图像。
类似于窗口处理部分 61-1， 窗口处理部分 61-2 从整个输入右眼图像提取预定范 围， 并且将通过执行插值处理所获得的图像输出为右眼图像。从系统控制器 11 将表示提取 范围的信息作为视差参数提供到窗口处理部分 61-1 和窗口处理部分 61-2。
图 17 是表示图像的提取范围 ( 窗口 ) 的示例的图。
例如， 如图 17 所示， 当一帧的左眼图像和一帧的右眼图像是 640×480 像素的图像 时， 在从左端或者从右端开始的 30 像素的范围内设置提取范围， 从而提取 610×480 像素的 图像。
在其中产生包括在 3D 内容中的所有右眼图像以便使得其从相应左眼图像向右侧 或左侧偏移预定像素数目的情况下， 当再现速度高于正常速度时， 沿着用于降低空间量的方向设置提取范围。通过沿着用于降低空间量的方向设置提取范围， 降低了从内容控制单 元 16 输出的左眼图像和右眼图像之间的视差。相应地， 观看图像的用户所体验的立体效果 也降低。
图 18 是表示像素插值示例的图。
当如图 17 所示地提取图像时， 640×480 像素的整个一帧图像的除了提取部分之 外的部分变为黑带。 为了消除这种黑带， 通过窗口处理部分 61-1 和 61-2 执行像素插值。 执 行像素插值， 使得从提取范围内的沿着水平方向的 610 像素的数据产生沿着水平方向的、 包括提取部分外部的像素的 640 像素的数据。
为了简化描述， 假设像素数目为实际像素数目的 1/10， 并且将考虑从 61 像素 dn(0 ≤ n ≤ 60) 的数据产生 64 像素 en(0 ≤ n ≤ 63) 的数据的情况。如图 18 所表示的， 作 为插值技术， 存在以下方法 ： 其中， 在使用要产生的像素位置作为基准的情况下， 通过将各 像素的像素值乘以与到用于插值的像素的距离相对应的加权因子来执行插值。 当以数值表 达式来表示这种插值技术时， 可以将该插值技术表示为以下公式 (1)。
公式 (1)
(Wn ： 加权因子 )Wn ∝ |en 的位置 -dn 的位置 |
图 19 是表示另一视差控制技术的示例的图。
当要再现的 2D 内容是诸如 MPEG( 运动画面专家组 )4 之类的对象编码数据时， 可 以考虑以下情况 ： 其中， 通过使用对象检测数据来检测对象并且控制对象位置来产生左眼 图像和右眼图像。在 MPEG4 数据中， 可以将人物、 背景等编码为不同的对象。相应地， 在解 码侧设备中， 可以任意地移动这种对象。
图 19 所示的再现处理单元 15 解码作为 MPEG4 编码数据的 2D 内容， 并且将 2D 图 像的数据输出到内容控制单元 16。 另外， 再现处理单元 15 将对象检测数据输出到对象检测 单元 71。
对象检测单元 71 基于对象检测数据检测前景和背景 ( 对象 )， 并且将关于前景和 背景的信息输出到系统控制器 11。
内容控制单元 16 的图像处理部分 72 产生通过在系统控制器 11 的控制下、 在由编 码数据指定的位置 ( 开始位置 ) 处合成前景和背景所获得的一帧图像作为左眼图像。 另外， 图像处理部分 72 产生通过沿预定方向将包括在左眼图像中前景偏移所获得的图像作为右 眼图像。系统控制器 11 基于视差参数控制前景位置的空间量。
在上面呈现的描述中， 将显示控制装置 1 提供为与 TV 2 不同的壳体的设备， 显示 控制装置 1 充当将图像输入到 TV 2 的信息处理装置。然而， 可以在 TV 2 的内部布置显示 控制装置 1。
另外， 在图 9 中， 由显示控制装置 1 执行重要部分的检测、 以及再现速度和视差参 数的控制。然而， 可以配置在 TV 2 侧执行再现速度和视差参数的控制。
图 20 是表示 3D 图像显示系统的另一配置示例的图。
通过传送设备 81 和显示控制装置 82 配置图 20 所示的 3D 图像显示系统。显示控 制装置 82 例如是布置在 TV 2 内部的设备， 并且通过符合 HDMI 规范的电缆与作为除了 TV 2 之外的壳体设备而外部地布置的传送设备 81 通信。
在图 20 所示的 3D 图像显示系统中， 由传送设备 81 执行重要部分的检测， 从传送 设备 81 将关于重要部分的信息与内容一起传送到显示控制装置 82。在显示控制装置 82 中， 再现从传送设备 81 传送的内容， 并且如参考图 11 所述的， 控制再现速度和视差参数。
如图 20 所示， 通过系统控制器 91、 用户 I/F 92、 记录介质控制单元 93、 记录介质 94、 再现处理单元 95、 特征提取单元 96、 以及传送单元 97 配置传送设备 81。用户 I/F 92、 记录介质控制单元 93、 记录介质 94、 再现处理单元 95、 以及特征提取单元 96 分别对应于图 9 所示的用户 I/F 12、 记录介质控制单元 13、 记录介质 14、 再现处理单元 15、 以及特征提取 单元 41。
系统控制器 91 根据从用户 I/F 92 提供的、 表示用户操作内容的信号， 来控制传送 设备 81 的整体操作。在图 20 所示的系统控制器 91 中， 布置图 12 所示的配置中包括的重 要部分检测单元 51。
例如， 系统控制器 91 基于从特征提取单元 96 提供的特征数据来检测重要部分。 系 统控制器 91 将关于所检测的重要部分的信息输出到传送单元 97。 用户 I/F 92 检测用户对遥控器的操作 ( 诸如选择要再现的节目的操作 )， 并且将 表示该内容的信号输出到系统控制器 91。
记录介质控制单元 93 基于从图中未示出的天线传送的信号来接收广播内容， 并 且将该内容记录在记录介质 94 上。当被指示再现记录在记录介质 94 上的内容时， 记录介 质控制单元 93 将要再现的内容输出到再现处理单元 95。另外， 记录介质控制单元 93 将要 再现的内容输出到传送单元 97。
再现处理单元 95 执行诸如解码处理之类的再现处理， 所述解码处理解压缩要再 现的内容的压缩数据。再现处理单元 95 将通过执行再现处理所获得的图像数据和音频数 据输出到特征提取单元 96。可以配置 ： 使用图像数据和音频数据中的任一个作为从其中提 取特征的目标。
特征提取单元 96 提取从再现处理单元 95 提供的图像数据和音频数据的特征， 并 且将作为表示所提取的特征的数据的特征数据输出到系统控制器 91。
传送单元 97 通过符合 HDMI 规范的电缆将从记录介质控制单元 93 提供的内容传 送到显示控制装置 82。另外， 传送单元 97 将从系统控制器 91 提供的关于重要部分的信息 存储在 HDMI 规范版本 1.4 中定义的 HDMI 供应商专用信息帧分组等中， 并且将该信息传送 到显示控制装置 82。
HDMI 供应商专用信息帧分组是用于由每个供应商定义的控制命令的传送和接收 的分组。通过 HDMI 的 CEC( 消费电子控制 ) 线从传送方设备向接收方设备传送 HDMI 供应 商专用信息帧分组。关于重要部分的信息包括表示重要部分的位置 ( 时间 ) 的信息。
通过系统控制器 101、 接收单元 102、 再现处理单元 103、 内容控制单元 104、 显示控 制单元 105、 显示器 106 和信号输出单元 107 来配置显示控制装置 82。再现处理单元 103、 内容控制单元 104、 显示控制单元 105 和信号输出单元 107 分别对应于图 9 中示出的再现处 理单元 15、 内容控制单元 16、 显示控制单元 17 和信号输出单元 18。
系统控制器 101 控制显示控制装置 82 的整体操作， 并且再现从传送设备 81 传送 的内容。在图 20 中所示的系统控制器 101 中， 布置包括在图 12 所示的配置中的控制单元 52。
系统控制器 101 在内容的再现处理期间监控当前再现位置， 并且如参考图 11 所述 地控制内容的再现速度和视差参数。
接收单元 102 接收从传送设备 81 传送的内容和关于重要部分的信息， 并将内容和 关于重要部分的信息输出到再现处理单元 103 和系统控制器 101。
再现处理单元 1035 执行诸如解码处理之类的再现处理， 所述解码处理解压缩从 接收单元 102 提供的内容的压缩数据。 再现处理单元 103 将通过执行再现处理所获得的 2D 图像的数据输出到内容控制单元 104。 通过图中未示出的电路， 将用于输出与内容的图像一 致的音频的音频数据输出到外部扬声器等。
内容控制单元 104 具有与图 5 或图 7 中所示的配置相同的配置。当要显示 3D 图 像时， 内容控制单元 104 基于从再现处理单元 103 提供的 2D 图像的数据来产生左眼图像和 右眼图像的数据， 并且将左眼图像和右眼图像的数据输出到显示控制单元 105。 基于从系统 控制器 101 提供的视差参数调节由内容控制单元 104 产生的左眼图像和右眼图像之间的视 差。另一方面， 当要显示 2D 图像时， 内容控制单元 104 将从再现处理单元 103 提供的 2D 图 像的数据输出到显示控制单元 105。
显示控制单元 105 基于从内容控制单元 104 提供的图像数据， 在显示器 106 中显 示 2D 图像和 3D 图像。
如参考图 4A 和 4B 所述的， 信号输出单元 107 通过传送控制信号来控制快门眼镜 3 的快门操作。
在具有上述配置的 3D 图像显示系统中， 如参考图 11 所述的， 可以基于当前再现位 置是否是重要部分中的位置或者是否是在重要部分之前和之后的位置， 来调节再现速度和 视差参数。
另外， 不能通过显示控制装置 82 的系统控制器 101 设置图 2 和 11 中所示的表示 再现速度和视差参数之间的关系的信息， 但是可以配置从传送设备 81 向显示控制装置 82 传送图 2 和 11 中所示的表示再现速度和视差参数之间的关系的信息。类似于关于重要部 分的信息， 在被存储在 HDMI 供应商专用信息帧分组等中的情况下， 传送表示再现速度和视 差参数之间的关系的信息。
已经将 3D 图像的观看类型描述为眼镜型。然而， 可以采用裸眼型。
可以通过硬件或软件执行上述处理序列。当通过软件执行处理序列时， 从程序记 录介质将配置软件的程序安装到内置于专用硬件中的计算机、 或通用个人计算机等中。
图 21 是表示通过程序执行上述处理序列的计算机硬件的配置示例的框图。
CPU( 中央处理单元 )121、 ROM( 只读存储器 )122 和 RAM( 随机存取存储器 )123 通 过总线 124 互相连接。
另外， 输入 / 输出接口 125 连接到总线 124。通过键盘或鼠标等配置的输入单元 126、 以及通过显示器或扬声器等配置的输出单元 127 连接到输入 / 输出接口 125。 另外， 通 过硬盘或非易失性存储器等配置的存储器单元 128、 通过网络接口等配置的通信单元 129、 以及驱动可移动介质 131 的驱动器 130 连接到输入 / 输出接口 125。在如上所述配置的计算机中， 例如通过经由输入 / 输出接口 125 和总线 124 将存 储在存储器单元 128 中的程序加载到 RAM 123 中、 并且使用 CPU 121 执行所加载的程序， 来 执行上述处理序列。
CPU 121 所执行的程序例如记录在可移动介质 131 上， 或者通过局域网、 因特网、 数字广播、 或有线 / 无线传输介质来提供， 并且 CPU 121 所执行的程序安装在存储器单元 128 中。
计算机所执行的程序可以是按照根据如上所述的过程以时间顺序执行处理的程 序、 以并行方式执行处理的程序、 或者在必要定时 ( 如在调用该程序时 ) 执行处理的程序。
本发明的实施例不限于上述实施例， 而是可以在不偏离本发明构思的范围内进行 各种改变。