用于深度滤波的元数据.pdf

3D视频系统从视频源设备（40）向目标设备（50）传递视频数据。目标设备具有用于提供目标深度数据的目标深度处理器（52）。源设备提供包括滤波器位置数据的深度滤波数据，深度滤波数据表示用于处理由滤波器位置数据指示的视频的滤波器区域中的目标深度数据的处理条件。目标深度处理器（52）被布置用于取决于深度滤波数据处理由滤波器位置数据指示的视频的区域中的目标深度数据。深度滤波数据使得再现过程能够改进深度数据的质量。

权利要求书1.  用于提供表示用于传递到三维[3D]视频目标设备（50）的视频的视频信号（41）的视频源设备（40），源设备包括 - 用于生成视频信号并且用于将视频信号传递到目标设备的输出单元（46）， 目标设备包括 - 用于接收视频信号的接收器（51,58,59）， - 用于提供目标深度数据的目标深度处理器（52）， 其中源设备包括 - 用于提供包括滤波器位置数据的深度滤波数据的源深度处理器（42），深度滤波数据表示用于处理由滤波器位置数据指示的视频的滤波器区域中的目标深度数据的处理条件， 并且输出单元被布置用于将深度滤波数据传递到目标设备，并且 目标深度处理器（52）被布置用于 - 取决于深度滤波数据处理由滤波器位置数据指示的视频的区域中的目标深度数据。 2.  如权利要求1中要求保护的视频源设备，其中源深度处理器（42）被布置用于在深度滤波数据中提供包括以下中的至少一个的滤波器类型 - 在N个帧之上的时间中值滤波器； - 在M x N个像素之上的空间中值、最大值或最小值滤波器； - 在M x N个像素之上的高斯模糊； - 在一维内核之上的高斯模糊； - 用于限阈于至少一个固定值的阈值滤波器； - 双边网格滤波器和用于双边网格滤波器的对象掩模； - 增益或偏移滤波器。 3.  如权利要求1中要求保护的视频源设备，其中源深度处理器（42）被布置用于在深度滤波数据中提供包括以下中的至少一个的滤波器选择指示符 - 指示滤波器区域中的运动量的时间不稳定性指示符； - 指示深度与亮度和/或色度之间的对准量的对准指示符； - 指示滤波器区域中的背景视频前面的至少一个图形对象的图形指示符。 4.  如权利要求2或3中要求保护的视频源设备，其中源深度处理器（42）被布置用于在深度滤波数据中提供包括以下中的至少一个的滤波器参数数据 - 滤波器系数； - 滤波器强度； - 滤波器区域中的视频的参数； - 区域中的图形对象的参数。 5.  如权利要求1中要求保护的视频源设备，其中源深度处理器（42）被布置用于在深度滤波数据中提供包括以下中的至少一个的滤波器位置数据 - 指示坐标和/或宽度和高度的矩形区域； - 具有预定形状类型的二维形状，形状类型包括方形、圆形、椭圆形中的至少一个，由至少中心和半径指示二维形状的位置； - 一维形状，由至少一个点的坐标、长度、包括水平、垂直或角度中的一个的方向中的至少一个指示一维形状的位置； - 指示滤波器区域与周围视频之间的转变的边界区域类型； - 标识相应滤波器区域的区域索引； - 用于双边深度滤波器的几何区域； - 与滤波器区域相关联以标识对象的对象索引参数。 6.  如权利要求1中要求保护的视频源设备，其中源深度处理器（42）被布置用于在深度滤波数据中提供包括以下中的至少一个的滤波器活动指示符 - 指示开始滤波器处理的视频帧的开始指示符； - 指示停止滤波器处理的视频帧的停止指示符； - 指示应用滤波器处理的时间段的时段指示符； - 指示在对应于索引的滤波器区域中应用滤波器处理的活动索引。 7.  如权利要求1中要求保护的视频源设备，其中输出单元（46）被布置用于生成作为视频信号的以下中的至少一个 - 用于对接到3D显示设备的显示信号； - 用于经由广播网络或互联网传递的传递信号； - 由记录载体上的光学可读标记表示的记录载体信号。 8.  用于处理表示从视频源设备（40）接收的视频的视频信号（41）的三维[3D]视频目标设备（50）， 源设备包括 - 用于生成视频信号并且用于将视频信号传递到3D目标设备的输出单元（46）， 目标设备包括 - 用于接收视频信号的接收器（51,58,59）， - 用于提供目标深度数据的目标深度处理器（52）， 其中3D源设备包括 - 用于提供包括滤波器位置数据的深度滤波数据的源深度处理器（42），深度滤波数据表示用于处理由滤波器位置数据指示的视频的滤波器区域中的目标深度数据的处理条件， 并且输出单元被布置用于将深度滤波数据传递到目标设备，并且 目标深度处理器（52）被布置用于 - 取决于深度滤波数据处理由滤波器位置数据指示的视频的区域中的目标深度数据。 9.  如权利要求8中要求保护的3D视频目标设备，其中目标深度处理器（52）包括用于提供目标深度数据的以下中的至少一个 - 用于从2D视频信号生成3D视频数据的2D到3D转换器（53）； - 用于从包括表示3D显示器上的左眼视图的第一视频信息和表示3D显示器上的右眼视图的第二视频信息的视频信号生成深度图的深度图生成器（401）； - 用于扭曲多个视图以用于自动立体3D显示器的视图扭曲器（402）。 10.  如权利要求8中要求保护的3D视频目标设备，其中设备包括以下中的至少一个 - 用于读取记录载体以用于接收视频信号的读取单元（58）， - 用于显示3D视频数据的3D显示器（63）。 11.  提供表示用于传递到三维[3D]视频目标设备（50）的视频的视频信号（41）的方法，目标设备包括 - 用于接收视频信号的接收器（51,58,59）， - 用于提供目标深度数据的目标深度处理器（52）， 所述方法包括 - 生成视频信号并且将视频信号传递到目标设备， - 提供包括滤波器位置数据的深度滤波数据，深度滤波数据表示用于处理由滤波器位置数据指示的视频的滤波器区域中的目标深度数据的处理条件， - 以及将深度滤波数据传递到目标设备，并且其中目标深度处理器（52）被布置用于 - 取决于深度滤波数据处理由滤波器位置数据指示的视频的区域中的目标深度数据。 12.  处理表示从视频源设备（40）接收的视频的视频信号（41）的方法，源设备包括 - 用于生成视频信号的输出单元（46）， - 用于提供包括滤波器位置数据的深度滤波数据的源深度处理器（42），深度滤波数据表示用于处理由滤波器位置数据指示的视频的滤波器区域中的目标深度数据的处理条件， 并且输出单元被布置用于将深度滤波数据传递到目标设备，并且 所述方法包括 - 接收视频信号， - 提供目标深度数据， - 取决于深度滤波数据处理由滤波器位置数据指示的视频的区域中的目标深度数据。 13.  表示用于传递到三维[3D]视频目标设备（50）的视频的视频信号，目标设备包括 - 用于接收视频信号的接收器（51,58,59）， - 用于提供目标深度数据的目标深度处理器（52）， 视频信号包括 - 包括滤波器位置数据的深度滤波数据，深度滤波数据表示用于处理由滤波器位置数据指示的视频的滤波器区域中的目标深度数据的处理条件， 并且其中目标深度处理器（52）被布置用于 - 取决于深度滤波数据处理由滤波器位置数据指示的视频的区域中的目标深度数据。 14.  包括如权利要求13中要求保护的三维[3D]视频信号的记录载体（54）。 15.  用于处理视频信号的计算机程序产品，所述程序操作成使处理器执行如权利要求11或12中要求保护的方法的相应步骤。

说明书用于深度滤波的元数据
技术领域
本发明涉及用于提供表示用于传递到三维[3D]视频目标设备的视频的视频信号的视频源设备。源设备具有用于生成视频信号并且用于将视频信号传递到目标设备的输出单元。目标设备具有用于接收视频信号的接收器和用于提供目标深度数据的目标深度处理器。
本发明还涉及3D视频目标设备、提供和处理3D视频信号的方法、视频信号以及处理视频信号的方法。
本发明涉及在例如广播器、互联网网站服务器、创作（authoring）系统、蓝光盘的制造商等的源设备处生成和传递视频信号到要求用于再现3D视频的深度数据的3D目标设备（例如蓝光盘播放器、3D电视机、3D显示器、移动计算设备等）的领域。
背景技术
文档“Real-time free-viewpoint viewer from multiview video plus depth representation coded by H.264/AVC MVC extension, Shinya Shimizu, Hideaki Kimata和Yoshimitsu Ohtani, NTT Cyber Space实验室，NTT公司，3DTV-CON，IEEE 2009”描述了除MPEG编码的视频传递信号之外的3D视频技术，特别是用于包括以视频格式的深度图的多视图编码（MVC）扩展。用于包括（多个）深度图视频编码的MVC扩展允许构造表示具有相关多个补充视图（即深度图视图）的多个视图的比特流。根据该文档，深度图可以添加到具有表示3D显示器上的左眼视图的第一视频信息和表示3D显示器上的右眼视图的第二视频信息的3D视频数据流。解码器侧的深度图使得能够生成除左和右视图之外的另外视图，以例如用于自动立体显示器。
另外，为了提供诸如深度图之类的目标深度数据，3D视频目标设备可以具有用于从2D视频信号生成3D视频数据的2D到3D转换器，或者用于从包括左眼视图和右眼视图的视频信号生成深度图的深度图生成器。
发明内容
从上文看起来可以通过在传输之前包括深度图或其它深度数据，或者通过在目标处生成深度数据来为视频材料提供深度数据。然而，传递附加深度数据要求数据传输容量，并且在目标处生成的深度数据可能具有低质量。
本发明的目的是在目标侧提供具有足够质量的深度数据而不与视频数据一起传输这样的深度数据。
为此目的，根据本发明的第一方面，如在开头段落中描述的源设备包括用于提供包括滤波器位置数据的深度滤波数据的源深度处理器，深度滤波数据表示用于处理由滤波器位置数据指示的视频的滤波器区域中的目标深度数据的处理条件，并且输出单元被布置用于将深度滤波数据传递到目标设备。
为此目的，在目标设备中，目标深度处理器被布置用于取决于深度滤波数据处理由滤波器位置数据指示的视频的区域中的目标深度数据。
为此目的，提供表示用于传递到3D视频目标设备的视频的视频信号的方法包括
- 生成视频信号并且将视频信号传递到目标设备，
- 提供包括滤波器位置数据的深度滤波数据，深度滤波数据表示用于处理由滤波器位置数据指示的视频的滤波器区域中的目标深度数据的处理条件，
- 以及将深度滤波数据传递到目标设备。
为此目的，处理表示从视频源设备接收的视频的视频信号的方法包括
- 接收视频信号，
- 提供目标深度数据，
- 取决于深度滤波数据处理由滤波器位置数据指示的视频的区域中的目标深度数据。
为此目的，表示用于传递到3D视频目标设备的视频的视频信号包括包含滤波器位置数据的深度滤波数据，深度滤波数据表示用于处理由滤波器位置数据指示的视频的滤波器区域中的目标深度数据的处理条件。
措施具有以下效果：使得目标设备能够接收深度滤波数据并且取决于深度滤波数据处理由滤波器位置数据指示的视频的区域中的目标深度数据。因此，通过在图像的特定区域中局部执行特定滤波器操作来获得目标深度数据的改进版本。
特别地，例如通过广播器或创作者在源侧控制特定滤波器操作和特定区域二者。在源侧，高质量深度数据和/或实质上不受限制的处理（例如离线）资源是可用的。然而，由于传输信道是受限制的，因此并不是在源处可用的所有数据都可以被传递到目标侧。替代于传输深度数据的完整集合，必须在目标侧本地提供深度数据（例如，从2D视频创建，从L/R立体视频重构或者基于低分辨率或不完整版本的深度图进行补充）。源侧意识到其中在目标侧传统地提供深度数据将失败和/或其中可能出现干扰伪像的问题区域。有利地，通过传递包括特定位置和特定滤波器或问题的深度滤波数据，源侧可以在创建深度数据的过程中有效地辅助目标侧，例如生成目标深度图以用于扭曲要显示在3D显示器上的多个视图。因而，当可用时并且在可用的地方，应用深度滤波数据以增强目标深度数据。
有效地，在源的控制之下为目标设备提供附加的深度处理数据，例如滤波器参数或指令，所述数据使得源能够控制和增强目标深度数据的处理。有利地，在其中大量处理资源可用的源处生成深度滤波数据，并且使得能够实现离线生成。目标侧处（即消费者侧处）的处理要求降低，并且3D效果增强，因为深度数据被优化。
可选地，源深度处理器被布置用于在深度滤波数据中提供包括以下中的至少一个的滤波器类型
- 在N个帧之上的时间中值滤波器；
- 在M x N个像素之上的空间中值、最大值或最小值滤波器；
- 在M x N个像素之上的高斯模糊；
- 在一维内核之上的高斯模糊；
- 用于限阈于至少一个固定值的阈值滤波器；
- 双边网格滤波器和用于双边网格滤波器的对象掩模；
- 用于滤波器区域的增益或偏移。
有利地，在目标侧选择提供特定区域中的最优改进的特定滤波器类型，并且将其传递到要被应用的目标侧。
可选地，源深度处理器被布置用于在深度滤波数据中提供包括以下中的至少一个的滤波器选择指示符
- 指示滤波器区域中的运动量的时间不稳定性指示符；
- 指示深度与亮度和/或色度之间的对准量的对准指示符；
- 指示滤波器区域中的背景视频前面的至少一个图形对象的图形对象指示符。
有利地，滤波器选择指示符指示在视频的特定区域中出现的特定有害效果或问题，并且使得目标侧能够激活适当滤波器操作以补偿有害效果。
可选地，源深度处理器被布置用于在深度滤波数据中提供包括以下中的至少一个的滤波器参数数据
- 滤波器系数；
- 滤波器强度；
- 滤波器区域中的视频的参数；
- 区域中的图形对象的参数。
有利地，传递要在目标侧应用的滤波器参数数据是在优化滤波器操作中辅助目标侧的非常简洁的方式，其要求相对非常小的数据传输容量。
可选地，源深度处理器被布置用于在深度滤波数据中提供包括以下中的至少一个的滤波器位置数据
- 指示坐标和/或宽度和高度的矩形区域；
- 具有预定形状类型的二维形状，形状类型包括方形、圆形、椭圆形中的至少一个，由至少中心和半径指示二维形状的位置；
- 一维形状，由至少一个点的坐标、长度、包括水平、垂直或角度中的一个的方向中的至少一个指示一维形状的位置；
- 指示滤波器区域与周围视频之间的转变的边界区域类型；
- 标识相应滤波器区域的区域索引；
- 用于双边深度滤波器的几何区域；
- 与滤波器区域相关联以标识对象的对象索引参数。
有利地，其中要执行滤波器操作的特定区域通过少数目的几何参数来描述，这要求相对非常小的数据传输容量。
可选地，源深度处理器被布置用于在深度滤波数据中提供包括以下中的至少一个的滤波器活动指示符
- 指示开始滤波器处理的视频帧的开始指示符；
- 指示停止滤波器处理的视频帧的停止指示符；
- 指示应用滤波器处理的时间段的时段指示符；
- 指示在对应于索引的滤波器区域中应用滤波器处理的活动索引。
有利地，使得源侧能够控制要执行滤波器操作的时间段，而不针对每一个视频帧重复数据。
可选地，输出单元被布置用于生成作为视频信号的以下中的至少一个
- 用于对接到3D显示设备的显示信号；
- 用于经由广播网络或互联网传递的传递信号；
- 由记录载体上的光学可读标记表示的记录载体信号。
有利地，通过包括深度滤波数据特征增强视频传递链（从原始创作直至最终在观看者前面的3D显示器上再现）中的不同实际源设备。
可选地，目标深度处理器包括用于提供目标深度数据的以下中的至少一个
- 用于从2D视频信号生成3D视频数据的2D到3D转换器；
- 用于从包括表示3D显示器上的左眼视图的第一视频信息和表示3D显示器上的右眼视图的第二视频信息的视频信号生成深度图的深度图生成器；
- 用于扭曲多个视图以用于自动立体3D显示器的视图扭曲器。
另外，目标设备可以包括以下中的至少一个
- 用于读取记录载体以用于接收视频信号的读取单元（58），
- 用于显示3D视频数据的3D显示器（63）。
有利地，通过包括深度滤波数据特征增强视频传递链中的不同实际目标设备。
另外，可以通过包括以上参照源设备描述的各种选项来增强目标设备、提供视频信号的方法、视频信号本身、处理视频信号的方法以及对应的计算机程序产品。
在所附权利要求中给出根据本发明的设备和方法的另外的优选实施例，其公开内容通过引用并入本文。
附图说明
本发明的这些和其它方面将从在以下描述中通过示例的方式并且参照附图描述的实施例变得显而易见，并且参照所述实施例进行进一步阐述，在附图中
图1示出用于处理3D视频数据和显示3D视频数据的系统，
图2示出使用深度滤波数据的3D解码器，
图3示出提供深度滤波数据的3D编码器，
图4示出具有自动立体显示设备并且扭曲多个视图的系统，
图5示出视频数据和滤波器位置数据的示例，
图6示出滤波器位置数据的示例，以及
图7示出滤波器选择指示符的示例。
附图纯粹是示意性的并且未按照比例绘制。在附图中，与已经描述的元件对应的元件可以具有相同参考标号。
具体实施方式
本发明涉及在源侧提供如下文进一步描述的深度滤波数据并且将深度滤波数据传递到目标侧以用于通过在目标处处理深度数据来增强3D效果。这样的传递可以以各种方式执行。例如，深度滤波数据可以包括在3D视频信号自身中。而且，深度滤波数据可以作为单独的信号但是使用相同传递介质进行传递。而且，深度滤波数据可以单独传递，例如经由互联网，而主3D视频数据以其它方式传递，例如经由广播或BD的3D版本。这样的单独传递使得能够改进观看者已经拥有的现有3D材料或者单独地或在不同时间传递给观看者的3D材料的3D质量。从源向目标传递视频数据和深度滤波数据的任何方式可以被称为传递视频信号，并且视频信号可以包含3D视频分量中的一个或多个或者可以包括用于单独传递相应分量的不同信号。
根据所谓的3D视频格式，存在其中可以格式化和传递用于3D视频的视频信号的许多不同方式。一些格式基于使用2D信道来同样承载立体信息。在3D视频信号中，图像由二维像素阵列中的图像值表示。例如，左和右视图可以交错或者可以在帧中并排或上下（在彼此的上面和下面）放置。而且，可以传递深度图，并且可能地还有3D数据，比如遮挡或透明数据。在此文本中，视差图也被视为深度图的类型。深度图同样在对应于图像的二维阵列中具有深度值，尽管深度图可以具有不同的分辨率。可以根据本身已知的压缩方法压缩3D视频数据，例如MPEG。诸如互联网或蓝光盘（BD）之类的任何3D视频系统可以从所提出的增强获益。而且，在比如蓝光播放器的3D源与比如3D显示器或电视机的目标设备（例如基于HDMI）之间传递的3D视频信号可以得到增强。
3D显示器可以是相对小的单元（例如移动电话）、要求快门眼镜的大立体显示器（STD）、任何立体显示器（STD）、考虑到可变基线的高级STD、基于头部追踪将L和R视图瞄准到观看者眼睛的主动式STD、或者自动立体多视图显示器（ASD）等。
通常，传输3D视频需要多于一个视图（相机信号）及其对应深度的压缩和传输，例如在MPEG文档N12036，2011年3月，日内瓦，瑞士“Call for Proposals on 3D Video Coding Technology”中所讨论的那样。解码器中的自动转换（从立体自动得到深度）本身是已知的，例如从MPEG文档M22668，2011年11月，日内瓦，瑞士“Description of 3D Video Coding Technology Proposal by Disney Research Zurich and Fraunhofer HHI”得知。对于所述不同类型的显示器，例如对于ASD和用于可变基线的高级STD，需要基于3D信号中的深度数据扭曲视图。然而，基于各种类型的深度数据扭曲的视图的质量可能是受限制的。
视频信号可以例如是针对3D增强的TV广播信号，诸如使用? HD帧兼容的标准立体传输、多视图编码（MVC）或帧兼容全分辨率（例如由Dolby实验室有限公司提出的FCFR）。通过构建在帧兼容基层上，Dolby开发了增强层以重创建全分辨率3D图像。已经向MPEG提出该技术以用于标准化并且其仅要求比特率方面的~10%的增加。传统3D视频信号通过如下文所阐述的深度滤波数据得到增强。
图1示出用于处理3D视频数据和显示3D视频数据的系统。被称为视频源设备40的第一视频设备提供和传递视频信号41到另外的图像处理设备，其被称为3D视频目标设备50，其耦合到3D显示设备60以用于传递3D显示信号56。
图1还示出作为增强的视频信号的载体的记录载体54。记录载体是盘形的并且具有轨道和中心孔。由物理可检测标记的图案构成的轨道依照匝的螺旋或同心图案布置，这构成一个或多个信息层上的基本上平行的轨道。记录载体可以是光学可读的，被称为光盘，例如DVD或BD（蓝光盘）。信息通过沿着轨道的可光学检测标记（例如凹陷或凸起）体现在信息层上。轨道结构还包括位置信息，例如标头和地址，以用于指示通常被称为信息块的信息单元的位置。记录载体54承载以比如DVD或BD格式的预定义的记录格式表示例如根据MPEG2或MPEG4编码系统编码的数字编码3D图像数据（比如视频）的信息。
源设备具有用于处理经由输入单元47接收的3D视频数据的源深度处理器42。输入3D视频数据43可以从存储系统、记录工作室、从3D相机等可得到。源系统可以处理被提供用于3D图像数据的深度图，所述深度图可以原始存在于系统的输入处，或者可以由如下文所描述的高质量处理系统例如从立体（L+R）视频信号中的左/右帧或从2D视频自动生成，并且可能被进一步处理或修正以提供精确表示对应于随附2D图像数据或左/右帧的深度值的源深度图。
源深度处理器42生成包括视频数据的视频信号41。视频信号可以具有表示3D显示器上的左眼视图的第一视频信息和表示3D显示器上的右眼视图的第二视频信息。源设备可以被布置用于经由输出单元46并且向3D目标视频设备传递视频信号，或者用于提供视频信号以供例如经由记录载体进行分发。视频信号是基于例如通过编码和根据预定义的格式来格式化3D视频数据而处理输入视频数据43。
源设备可以具有用于基于第一和第二视频信息生成所生成的深度图的源立体到深度转换器48。用于生成深度图的立体到深度转换器在操作中接收立体3D信号，其同样被称为左右视频信号，具有表示要针对观看者的相应眼睛显示以用于生成3D效果的左视图和右视图的左帧L和右帧R的时间序列。单元通过左视图和右视图的视差估计来产生所生成的深度图，并且还可以基于左视图和/或右视图提供2D图像。视差估计可以基于被用来比较L和R帧的运动估计算法，或者基于从图像数据得到的相应特征等。对象的L和R视图之间的大差异取决于差异的方向而被转换成显示屏前面或后面的深度值。生成器单元的输出是所生成的深度图。
所生成的深度图和/或高质量源深度图可以被用来确定目标侧所要求的深度滤波数据。如现在所讨论的，根据各个可选实施例，源深度处理器42被布置用于提供深度滤波数据。
可以基于检测在视频的哪一区域中检测到深度误差、何时将在目标侧提供深度数据来生成深度滤波数据。另外，例如当源深度图与目标侧处的所生成的深度图之间的差异超出预定阈值时，预期的误差被确定为干扰观看者。例如，预定深度差异可以构成所述阈值。还可以使阈值取决于影响深度误差的可见性的另外的图像属性，例如局部图像强度或对比度、或者纹理。还可以通过按照如下检测目标深度图的质量水平来确定阈值。目标深度图被用来扭曲具有对应于给定不同视图的取向的视图。例如，R'视图基于原始L图像数据和所生成的深度图。随后，计算R'视图和原始R视图之间的差异，例如通过众所周知的PSNR函数（峰值信噪比）。PSNR是信号的最大可能功率与影响其表示的逼真度的恶化噪声的功率之间的比值。因为许多信号具有非常宽的动态范围，所以通常以对数分贝尺度为单位表述PSNR。现在PSNR可以被用作所生成的深度图的质量的度量。该情形中的信号是原始数据R，并且噪声是通过基于所生成的深度图扭曲R'而引入的误差。另外，还可以基于另外的可见性准则，或者通过基于所生成的深度图创作或审阅结果并且控制3D视频的哪些段和/或时段需要通过深度滤波数据扩增的编辑器来评判阈值。
深度滤波数据表示用于增强目标侧的深度数据的深度处理条件。例如，视频数据中的对象的边缘不得不与对应深度差异对准。然而，当应用来自L/R视频的深度图生成时，可以预期到一些边缘未对准。然后，选择深度滤波器数据，尤其是合适的对准滤波器，其特别地改进对准，并且包含所述边缘的区域被编码在对应的滤波器位置数据中。深度滤波数据可以包括各种参数。
可选地，深度滤波数据包括滤波器类型。滤波器类型可以例如是以下中的一个
- 在N个帧之上的时间中值滤波器；
- 在M x N个像素之上的空间中值、最大值或最小值滤波器；
- 在M x N个像素之上的高斯模糊；
- 在一维内核之上的高斯模糊；
- 用于限阈于至少一个固定值的阈值滤波器；
- 双边网格滤波器和用于双边网格滤波器的对象掩模；
- 用于滤波器区域的增益或偏移。
当被应用到目标深度图时，偏移相对于显示器的平面向后或向前有效地移动对象。发信号通知偏移使得源侧能够将滤波器区域中的对象移动到任何深度位置，例如靠近3D显示平面。当被应用到目标深度图时，增益远离或朝向3D显示器的平面有效地移动滤波器区域中的所有对象。例如，目标深度图可以被定义成具有用于显示平面处的深度的零值，并且增益可以作为乘法被应用到值。发信号通知增益使得源侧能够控制重要对象相对于3D显示平面的移动。当显示3D图像时，增益确定滤波器区域中的最近和最远元素之间的差异。在上文中，可以通过MxN像素（M，N为整数）的矩形区域来确定滤波器区域。就本身而言，各种滤波器类型在图像处理领域中是众所周知的。
可选地，深度滤波数据包括滤波器选择指示符，其指示可以在目标处被滤出的问题类型，或者在视频的特定区域中出现的特定有害效果。通过指示这样的效果或问题，滤波器选择指示符使得目标侧能够激活适当的滤波器操作以补偿有害效果。滤波器选择指示符可以例如为
- 指示滤波器区域中的运动量的时间不稳定性指示符；
- 指示深度与亮度和/或色度之间的对准量的对准指示符；
- 指示滤波器区域中的背景视频前面的至少一个图形对象的图形对象指示符。
就本身而言，要被选择成对抗（counter）众所周知的深度相关有害效果的各种滤波器在图像处理领域中是众所周知的。
可选地，深度滤波数据可以包括以下中的一个或多个
- 滤波器系数；
- 滤波器强度；
- 滤波器区域中的视频的参数；
- 区域中的图形对象的参数。
就本身而言，各种滤波器参数在图像处理领域中是众所周知的。滤波器或者滤波器位置区域中的对象和元素的参数本身是已知的，例如指示滤波器位置区域中具有蓝颜色的像素处于最大深度处（例如蓝天），或者实况视频前面的图形对象（菜单、字幕）的颜色。
可选地，深度滤波数据可以包括滤波器位置数据。滤波器位置数据可以例如通过以下中的至少一个被高效地编码
- 指示坐标和/或宽度和高度的矩形区域；
- 具有预定形状类型的二维形状，形状类型包括方形、圆形、椭圆形中的至少一个，由至少中心和半径指示二维形状的位置；
- 一维形状，由至少一个点的坐标、长度、包括水平、垂直或角度中的一个的方向中的至少一个指示一维形状的位置；
- 指示滤波器区域与周围视频之间的转变的边界区域类型；
- 标识相应滤波器区域的区域索引；
- 用于双边深度滤波器的几何区域；
- 与滤波器区域相关联以标识对象的对象索引参数。
就本身而言，各种滤波器位置数据是众所周知的以定义图像中的区域。
可选地，深度滤波数据可以包括指示索引集合中的时序或操作的滤波器活动指示符，其包括以下中的至少一个
- 指示开始滤波器处理的视频帧的开始指示符；
- 指示停止滤波器处理的视频帧的停止指示符；
- 指示应用滤波器处理的时间段的时段指示符；
- 指示在对应于索引的滤波器区域中应用滤波器处理的活动索引。
就本身而言，各种滤波器位置数据是众所周知的以定义图像中的几何区域。
输出单元46被布置用于包括视频信号中的深度滤波数据。具有深度处理器42、可选的立体到深度转换器48和输出单元46的功能的处理器单元可以被称为3D编码器。
源设备可以是服务器、广播器、记录设备或创作和/或产生系统以用于制造比如蓝光盘之类的光学记录载体。蓝光盘提供交互式平台以用于为内容创建者分发视频。关于蓝光盘格式的信息在关于视听应用格式的论文中从蓝光盘协会的网站可得到，例如http://www.blu-raydisc.com/assets/Downloadablefile/BD-ROM-AV-WhitePaper_110712.pdf。光学记录载体的产生过程还包括提供轨道中的标记的物理图案，所述图案体现包括深度滤波数据的增强视频信号，以及随后根据图案对记录载体的材料进行成形以提供至少一个存储层上的标记的轨道的步骤。
3D视频目标设备50具有用于接收3D视频信号41的接收器，所述接收器具有用于解析到来的视频信号的一个或多个信号接口单元和输入单元51。例如，接收器可以包括耦合到输入单元以用于从比如DVD或蓝光盘之类的光学记录载体54检索3D视频信息的光盘单元58。可替换地（或附加地），接收器可以包括用于耦合到例如互联网、家庭网络或广播网络的网络45的网络接口单元59，这样的设备为机顶盒或移动计算设备，比如移动电话或平板计算机。3D视频信号可以从远程网站或媒体服务器（例如3D源设备40）来检索。3D图像处理设备可以是转换器，其将图像输入信号转换为具有所要求的深度信息的图像输出信号。这样的转换器可以用来将用于特定类型的3D显示器的不同输入3D视频信号（例如标准3D内容）转换成适合于特定类型或厂商的自动立体显示器的视频信号。在实践中，设备可以是3D启用的放大器或接收器、3D光盘播放器、或者卫星接收器或机顶盒、或者任何类型的媒体播放器。
3D目标设备具有耦合到输入单元51以用于处理对应于视频信号的深度数据的深度处理器52以用于生成要经由输出接口单元55传递到显示设备的3D显示信号56，例如根据HDMI标准的显示信号，参见“High Definition Multimedia Interface；2010年3月4日的规范版本1.4a”，其3D部分在用于公众下载的http://hdmi.org/manufacturer/specification.aspx处可得到。
3D目标设备可以具有视频转换器53，例如用于基于第一和第二视频信息生成目标生成的深度图的立体到深度转换器，或者用于从2D视频信号生成深度数据的2D到3D转换器。立体到深度转换器的操作等同于以上所述源设备中的立体到深度转换器。2D到3D转换器从本身已知的2D视频信号生成深度数据。具有目标深度处理器52、转换器53和输入单元51的功能的单元可以被称为3D解码器。
目标深度处理器52被布置用于生成包括在3D显示信号56中的深度数据以用于显示在显示设备60上。深度处理器可以被布置用于提供目标深度图以用于使得能够实现用于3D显示的视图的扭曲。输入单元51被布置用于从3D视频信号检索深度滤波数据，所述深度滤波数据基于涉及视频信息的源深度信息并且表示用于处理由滤波器位置数据指示的视频的滤波器区域中的目标深度数据的处理条件。目标深度处理器被布置用于处理目标深度数据，例如用于取决于从3D视频信号检索的深度滤波数据扭曲视图的深度图。深度滤波数据的处理在下文进一步阐述。
3D显示设备60用于显示3D图像数据。设备具有用于从3D目标设备50接收包括3D视频数据和目标深度数据的3D显示信号56的输入接口单元61。设备具有用于基于取决于目标深度图的视频信息来生成3D视频数据的多个视图的视图处理器62，以及用于显示3D视频数据的多个视图的3D显示器63。所传递的3D视频数据在处理单元62中被处理以用于扭曲视图以供在例如多视图LCD的3D显示器63上显示。
3D显示设备60中的视频处理器62被布置用于处理3D视频数据以用于生成用来再现一个或多个视图的显示控制信号。使用已知位置处的一个或多个2D视图和目标深度图来从3D图像数据生成视图。基于使用已知位置处的视图和深度图来生成用于不同3D显示眼睛位置的视图的过程被称为视图的扭曲。可替换地，3D播放器设备中的视频处理器52可以被布置成执行所述扭曲。针对指定3D显示器生成的多个视图可以与3D图像信号一起经由专用接口朝向3D显示器传递。
在另一实施例中，目标设备和显示设备组合成单个设备。深度处理器52和处理单元62的功能，以及输出单元55和输入单元61的其余功能可以由单个视频处理器单元执行。
要指出的是，深度滤波数据原理可以在每一3D视频传递步骤处应用，例如在工作室或创作者与进一步编码现在增强的深度图以用于传输到消费者的广播器之间。而且，深度滤波数据系统可以在相继传递上施行，例如可以通过包括基于进一步改进的源深度图的第二深度滤波数据来在初始版本上创建进一步改进的版本。这给出了在3D显示器上可实现的质量、传输深度信息所需要的比特率或者用于创建3D内容的成本方面的极大灵活性。
图2示出使用深度滤波数据的3D解码器。3D解码器20示意性地示出为具有用于标记为BS3（基础信号3D）的3D视频信号的输入。3D解码器可以是消费者侧的机顶盒（STB）的部分，并且接收符合深度滤波数据系统（BS3）的比特流。输入多路分用器21（DEMUX）将到来的数据解析成用于视频数据和深度滤波数据的比特流。第一解码器22（DEC，例如MVC/H.264）将视频数据解码为视频输出L和R，其同样耦合到消费者类型的立体到深度转换器（CE-S2D），其生成第一左深度图LD1和第一右深度图RD1。可替换地，仅生成单个第一深度图，或者深度图（例如低分辨率或部分深度图）在到来的信号中是直接可得到的。第二解码器23解码深度滤波数据并且提供深度控制信号，特别地为滤波器位置信号26和深度滤波器信号27。深度控制信号耦合到深度图处理器25，其生成目标深度图。另外，多路分用器21可以得到滤波器活动指示符，例如基于指示由索引标识的特定区域中的深度滤波器的激活的标志。在示例中，左目标深度图LD3和右目标深度图RD3通过使用深度滤波数据以修改初始深度图LD1，RD1来提供。3D解码器的最终目标深度图输出（LD3/RD3）然后被传递到3D显示设备或视图扭曲块，如参照图4所讨论的那样。
图3示出提供深度滤波数据的3D编码器。3D编码器30示意性地示出为具有用于接收3D视频信号的输入（L，R）。可以提供立体到深度转换器（例如高质量专业类型的HQ-S2D）以生成左深度图LD4和右深度图RD4，其被称为源深度图。可替换地，另外的输入可以接收另外的源深度数据，其可以离线提供（例如从相机输入，手动地编辑或改进，或者在计算机生成的内容的情况下计算），或者可以与输入3D视频信号一起可用。深度处理单元32接收源深度图LD4，RD4和/或另外的源深度数据，并且确定是否要生成深度滤波数据以及针对哪一位置要生成深度滤波数据。在示例中，深度滤波数据信号36和滤波器位置信号37耦合到编码器34。在下文给出用于深度滤波数据的各种选项。
在编码之后，通过输出多路复用器35（MUX）将深度滤波数据包括在输出信号中。多路复用器还从第一编码器33接收编码的视频数据比特流（BS1）并且从第二编码器34接收编码的深度滤波数据比特流（BS2），并且生成标记为BS3的3D视频信号。
可选地，源深度处理器被布置用于生成滤波器活动信号，其指示在一段时间内应用深度滤波数据，例如取决于3D视频信号中的镜头。有效地，深度滤波数据可以应用于具有相同3D配置（例如特定相机和变焦配置）的3D视频信号的时段。通常，配置在视频程序的镜头期间是基本上稳定的。镜头边界可以是已知的或者可以在源侧被容易地检测，并且深度滤波数据的集合有利地在对应于镜头的时间段内组合。自动地检测镜头的边界本身是已知的。而且，边界可能已经被标记或者可以在视频编辑过程期间在源处确定。深度滤波数据可以被提供用于单个镜头，并且可以改变以用于下一镜头。例如，可以针对面部的特写镜头给出偏移值，并且面部的区域由滤波器位置数据来指示，其可以继之以用于远处风景的下一镜头的不同深度滤波数据。
源深度处理器可以被布置用于提供作为滤波器位置数据的数据，其指示对准到3D视频信号中的至少一个宏模块的区域，宏模块表示经压缩的视频数据的预定块。宏模块表示经压缩的视频数据的预定块，例如在MPEG编码的视频信号中。这样的区域数据将被高效地编码和处理。
在实施例中，3D视频信号被格式化以包括编码的视频数据流并且被布置用于根据预定义的标准（例如BD标准）来递送解码信息。3D视频信号中的深度滤波数据根据这样的标准的扩展而被包括为解码信息，例如在用户数据消息或信令基本流信息[SEI]消息中，当这些消息承载在视频基本流中时。可替换地，可以将单独的表格或基于XML的描述包括在3D视频信号中。由于在解释深度图时需要使用深度滤波数据，因此信令可以包括在附加的所谓NAL单元中，其形成承载深度数据的视频流的一部分。这样的NAL单元描述在如介绍部分中所提及的文档“Working Draft on MVC extensions”中。例如，depth_range_update NAL单元可以扩展有表格，在所述表格中录入Depth_Signaling数据。
有利地，在编码过程期间，3D编码器30不仅使用高质量立体到深度转换器（HQ-S2D）生成源深度图LD4和RD4，而且模仿对应3D解码器的行为；即3D编码器还使用与通过使用消费者类型的立体到深度转换器的对应3D解码器将实现的相同的（多个）立体到深度算法重构（多个）深度图。
通过使用高质量立体到深度转换器的深度图（或者如果可用的话是准确的深度图）和消费者类型的立体到深度转换器的深度图二者，3D编码器可以使用一个或多个迭代来迭代地配置滤波。借助于比较，3D编码器可以例如标识可能要求滤波的深度图内的区域和/或可以使用这些深度图来更精确地定义或参数化滤波器。
要指出的是，上述方案的确要求3D编码器能够访问（多个）消费者类型的立体到深度算法以便实现最佳的可能结果，但是允许3D编码器精细调谐滤波器位置信号26和/或深度滤波器信号27的生成。
图4示出3D显示设备和多个视图的扭曲。3D显示设备400在BD播放器450和3D显示设备400之间的接口上接收左和右视图421以及深度滤波数据420，其可以单独传递，或者可以包括在多路复用的信号中。如在位置A处所指示的，接口传递视频数据411和深度滤波数据410并且可以根据被扩展成传递RGB和深度的HDMI标准（RGBD HDMI）。目标深度图可以通过深度处理器401基于深度滤波数据410来生成或处理。在位置B处，视频数据和深度图422耦合到视图再现单元402，其还被称为视图扭曲单元。在位置C处，多个视图423耦合到视图交错器403，其在位置D处生成要耦合到自动立体显示器（ASD）404的交错的帧424。交错器将中间视图映射到自动立体显示器的子像素上。
左和右视图421以及深度滤波数据420可以在BD播放器450和3D显示设备400之间的接口上单独地传递，或者可以包括在多路复用的信号中。在示例中，BD播放器具有3D视频源设备的角色，其向具有目标设备的角色的3D显示设备400提供深度滤波数据。
在实践中，许多3D应用都要求深度信息。其被用于立体3D显示器上的深度调节，并且用于多视图显示器中的视图生成。这样的深度信息可以以多个方式得到。其可以从2D或（立体）3D输入手动地或自动地生成，其可以使用深度范围相机单独地捕获，或者从计算机图形内容提取。在3D显示器中，通常应用自动转换，其将2D或（立体）3D内容转换成3D（立体或多视图）。该过程的第一步骤典型地是自动深度提取。这些算法中的大多数在一些位置出现误差，这可能具有多个原因（均质区域、含糊立体匹配等）。传统上，这要求手动修正，其应当应用在内容创建/传输侧。
然而，自动深度估计算法不是完美的，并且可能在一些位置出现明显的误差。假定更精确的深度数据在内容源侧是可用的，则这样的数据可以被传输以实现更高的性能。然而，存储和传输深度数据要求相当大的带宽。
代替于传输深度图，由于深度估计算法所致的局部误差可以通过经引导的后处理（例如滤波操作，诸如中值、模糊等）来克服。另外，要应用的位置和滤波器参数从源传递到目标，并且在自动深度生成算法之后在接收器侧应用。以此方式，要传输的数据减小至低量，而伪像可以被充分地解决。
用于实际使用的示例滤波器和位置数据包括：
- 在N个帧之上的时间中值滤波器；
- 在M x N个像素之上的空间中值/最大值/最小值滤波器；
- 在M x N个像素之上的高斯模糊滤波器；
- 利用1D内核的高斯模糊滤波器，其中滤波器方向可以在水平、垂直或者特定方向（由角度指示）上；
- 将阈值应用于固定值或固定值的集合的限阈滤波器；
- 双边网格滤波器和对象掩模（例如用于图形对象）；
- 指定滤波器区域内的增益和/或偏移滤波；
- 要例如在双边深度滤波中使用的几何区域（诸如在其中定义了这些几何的交叉亮度-深度双边滤波器中的取代亮度）。
与每一个几何区域相关联的索引参数可以被用来标识对象。标识对象增强用于其中通常难以进行精确的深度估计的图形重叠的深度处理。
上述滤波器可以由滤波器类型指示符、系数和/或可能的参数（例如强度）来指示。相应滤波器和区域的集合可以被索引。
图5示出视频数据和滤波器位置数据的示例。在视频帧500中，两个对象是可见的，第一对象501（Obj1）具有自然的弯曲形状，并且第二对象502（Obj2）具有矩形形状。滤波器位置数据的第一集合被定义为沿着第一对象的边界定位的三个重叠的椭圆形状510,511,512。可以确定滤波器类型，其有效地滤出对象边界处的任何干扰误差。滤波器类型和几何数据510,511,512构成深度滤波器数据的第一集合。第二对象的边界区域520被不同几何形状C有效地覆盖（矩形520）。可以确定第二滤波器类型，其有效地滤出第二对象边界处的任何干扰误差。第二滤波器类型和对应的几何数据520构成深度滤波器数据的第二集合。
图6示出滤波器位置数据的示例。该图示出作为椭圆形的第一几何形状601，其由三对坐标x1,y1；x2,y2；x3,y3定义。坐标使得能够定义图像中的任意位置中的椭圆形，即还相对于水平方向成角度。第二几何形状602是矩形，其由三对坐标x1,y1；x2,y2；x3,y3定义。坐标使得能够定义图像中的任意位置中的矩形。因而，三个坐标对确定其内的（旋转）矩形或椭圆形。要指出的是，可以预定义另外的几何形状以用于描述滤波器区域，诸如线、样条（具有半径的弯曲线）或者预定义的曲线。
第三形状603是定义滤波器区域的边界的图案。第三形状指示滤波器区域与周围深度之间的转变，其为尖锐转变。曲线的高水平指示滤波器操作为100%，并且零水平指示深度未被滤波器处理。第四形状604指示滤波器区域与周围深度之间的转变，其为柔和转变。
每一个形状还可以具有字节中的索引值a(a7..a0)。另外的参数（比如a,b...）确定滤波器类型、滤波器动作、强度、活动或不活动等。参数（滤波器位置数据和滤波器描述数据）的集合x1,y1,x2,y2,x3,y3,a,b,…可以例如通过SEI消息嵌入在视频流中。
在所述索引值中，还可以体现活动指示符。例如，开始指示符（例如，msbit=1，所述最高有效位是参数a的位7，即索引字节的a(7)）可以指示区域对于即将来临的帧是活动的直至被停止。活动可以通过具有停止指示符（例如msbit=0）的区域索引字节来停止。以此方式，并不是对于每个帧都必须重复SEI消息，这实现了比特率的进一步降低。
活动指示符还可以指示早前定义的滤波器区域中的滤波器要被再激活，或者不同滤波器的集合中的一个或多个要被激活。活动指示符还可以被用来擦除早前定义的滤波器或滤波器区域。
滤波器仅在图像的指定部分内应用，该指定部分被称为滤波器区域。这样的区域可以通过指示坐标和宽度及高度而被指定为矩形区域520，如在图5中所示，或者通过其中心和半径确定的（一系列）方形或圆形团块（blob）或椭圆形510,511,512。而且，可以通过指定坐标和滤波方向来沿着线应用滤波器。区域还可以具有沿着边界（经由a6...a0指示）的特定转变，例如柔和转变604。转变利用原始深度（0%）与处理后的（100%）深度之间的混合。
当几何参数重叠时，操作二者可以在原始输入深度数据上单独实行，并且然后将结果混合。可替换地，可以定义序列操作，例如基于索引值的序列顺序。这样的重叠滤波器操作的序列和/或优先级可以由另外的参数定义。
图7示出滤波器选择指示符的示例。该图示出具有原点的图像700。图像具有两个滤波器选择指示符，第一指示符为具有由水平坐标704和垂直坐标701指示的滤波器区域的图形指示符710。第二滤波器选择指示符720为具有由水平坐标704和垂直坐标701指示的滤波器区域的图形指示符。滤波器区域的相应大小可以如上所指示的那样进一步定义。图形的类型可以通过图形类型参数表示，例如第一图形指示符为对象类型并且第二图形指示符为字幕。另外的参数可以指示图形的颜色和/或亮度值。考虑到图形对象具有相对于周围视频的尖锐边界，滤波器选择指示符使得目标能够激活适用于改进深度估计的滤波器。
与将具有立体图形前景的立体视频转换成多视图视频相关的问题在于，在图形边缘周围将出现视觉伪像，这是由于立体到多视图转换过程中的误差所致。由于图形典型地具有强边缘和到视频内容的大深度间隙，因此那些边缘上的任何视觉伪像对于一般用户而言将是可察觉的。尤其明显的一种类型的误差是视差随时间的伪波动。这些时间非一致性通常由低纹理表面上的视差估计导致。在目标处，深度处理器，例如立体到多视图转换部件，使用滤波器选择指示符和滤波器区域来改进视差图的估计（和滤波）。
接下来描述可以如何使用滤波器选择指示符和滤波器位置数据来改进针对图形类型的视差估计过程中的处理。第一假设是图形重叠将几乎总是处于视频前面。其次，在图形区内部，深度不显示出任何突跳并且或多或少为连续的。通过使用这些假设，使用针对具有图形的滤波器区域的不同视差估计。可替换地，在一个步骤中但是利用基于图形重叠位置的特定参数执行视差估计。如果例如立体估计问题被规划为能量最小化问题，则图形位置元数据可以通过以下方式并入能量（成本）函数中：
· 将遮挡成本（如果可用的话）设定成在图形对象内为高（即不鼓励）或无穷大（即不允许）并且在边界上为极低（即鼓励）。
· 将用于非相等视差的空间平滑成本设定成在图形对象内较高，
· 将空间平滑成本设定成在图形和视频之间的边界上为零，
· 将时间平滑成本（如果可用的话）设定成在图形对象内较高。
上述成本元素可以组合。应当理解的是，几乎所有立体估计方法可以被规划为能量最小化问题。那些方法的一部分是以马尔可夫随机场（MRF）的形式，其可以通过众所周知的MRF优化方法来解答，诸如置信传播和利用α扩充的最大流/最小割，如在文档“Daniel Scharstein和Richard Szeliski，A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms，微软研究院，2001年11月”中进一步描述的那样。
如果立体估计方法基于3D递归搜索（基于周围块），则图形位置元数据可以通过基于视差候选是否跨越图形边界来调节处罚而并入。
时间一致性还可以通过适当的滤波来改进，例如具有指数衰减的双边网格。在该情形中，可以通过以下方式改进后处理：
· 单独处理图形和视频，
· 仅针对非图形部分填充和读取双边网格，
· 针对图形部分使用（平面或B样条）表面建模，
· 针对每一个网格箱基于该箱是否为图形对象的一部分来单独地调节衰减（时间平滑）因子。
总的来说，深度滤波数据使得再现过程能够从深度数据获得更好的结果以用于实际3D显示器，同时调节仍由源侧控制。深度滤波数据可以包括与处理3D显示器中的深度数据有关的滤波器参数或深度特性，以及指示其中要应用滤波器的图像中的位置的滤波器位置数据。
要指出的是，当前发明可以用于任何类型的3D图像数据，或者是静止的图片或者是移动的视频。假定3D图像数据作为电子、数字编码的数据可用。当前发明涉及这样的图像数据并且在数字域中操纵图像数据。
本发明可以通过使用可编程部件实现在硬件和/或软件中。用于实现本发明的方法具有对应于针对如参照图1-4描述的系统所定义的功能的步骤。
将领会到的是，以上描述为了清楚起见已经参照不同功能单元和处理器描述了本发明的实施例。然而，将显而易见的是，可以使用不同功能单元或处理器之间的功能性的任何适合分布而不偏离本发明。例如，被说明为由单独的单元、处理器或控制器执行的功能性可以由相同的处理器或控制器来执行。因而，对特定功能单元的引用仅被视为对用于提供所描述的功能性的合适装置的引用而非指示严格的逻辑或物理结构或组织。本发明可以以包括硬件、软件、固件或这些的任何组合的任何合适形式实现。
要指出的是，在本文档中，词语“包括”不排除除所列举的那些之外的其它元件或步骤的存在，并且元件之前的词语“一”或“一个”不排除多个这样的元件的存在，任何参考标号不限制权利要求的范围，本发明可以借助于硬件和软件二者来实现，并且若干“装置”或“单元”可以由硬件或软件的相同项表示，并且处理器可以履行一个或多个单元的功能，可能地与硬件元件协作。另外，本发明并不限于所述实施例，并且本发明在于以上所描述的或在相互不同的从属权利要求中记载的每一个新颖特征或特征的组合。