说明书多层视频编码中用于空间层的采样栅格信息
相关申请的交叉引用
本申请要求2012年8月6日提交的名称为“Signaling Of Sampling Grid Information Among Spatial Layers In Multi-Layer Video”的美国临时专利申请 No.61/680,244和2013年4月5日提交的名称为“Signaling Of Sampling Grid Information Among Spatial Layers In Multi-Layer Video Coding”的美国临时专 利申请No.61/809,102的权益，这两个申请的公开内容通过引用而被全部合 并到本申请中以用于所有目的。
背景技术
随着在智能电话和其他WTRU上实现视频应用，可以在具有各种不同 能力(例如，计算能力、存储器/存储设备大小、显示器分辨率、显示器帧率 等)的设备上适应视频消费。网络和/或传输信道也可以具有各种不同的特性 (例如，分组丢失率、可用信道带宽、突发错误率等)。而且，视频数据可 以通过有线网络和/或无线网络传送。这些设备和/或网络实体的各种配置会 使得视频数据的传输和/或编码变得复杂。
发明内容
这里描述了用于多层视频编码系统中的信令采样栅格信息的系统、方法 和装置。例如，采样栅格信息可以被接收，其可以至少指示第一视频层与第 二视频层之间采样栅格对准程度(或对准量)。与第一视频层相关联的采样 栅格可以根据接收到的采样栅格信息进行偏移，以和与第二视频层相关联的 采样栅格进行对准。
在一个或多个实施方式中，可基于采样栅格信息来执行采样栅格校正。
在一个或多个实施方式中，采样栅格可以被检测。
实施方式涵盖了用于执行多层视频编码的采样栅格校正的一种或多种 技术。技术可以包括接收可指示第一视频层与第二视频层之间的采样栅格对 准的采样栅格信息。技术还可包括将与第一视频层相关联的采样栅格和与第 二视频层相关联的采样栅格相对准。该对准可基于接收到的采样栅格信息。
实施方式涵盖了用于传递多层视频编码的采样栅格信息的一种或多种 技术。技术可以包括接收第一数据(例如，数据集或数据)。技术还可以包 括确定第一数据是否包括采样栅格信息。技术还可以包括基于确定第一数据 包括采样栅格信息来确定采样栅格信息的精度。
实施方式涵盖了用于检测多层视频编码中用于一层或多层的相对采样 栅格的一种或多种技术。技术可以包括对基层(base layer)进行上采样 (upsample)，以对增强层空间分辨率进行匹配。技术还可包括将自适应滤 波器训练应用于上采样后的基层和增强层。技术还可以包括基于从自适应滤 波器训练得到的一个或多个自适应滤波器系统来确定相对采样栅格的位置。
附图说明
图1示出了与实施方式相一致的示例性的基于块的混合可缩放视频编码 系统的框图，该系统具有N个层。
图2示出了与实施方式相一致的使用H.264/MVC的立体(2视图)视 频编码的时间(temporal)和层间预测的示例的图示。
图3示出了与实施方式相一致的示例性的空间可缩放多层(例如2层) 编码系统的框图。
图4示出了与实施方式相一致的示例性的空间可缩放多层(例如2层) 解码器的框图。
图5A(例如零相移)和图5B(例如，非零相移)示出了与实施方式相 一致的、BL视频与EL视频之间针对下采样比率(例如，每个维度2倍)的 采样栅格的示例。
图6A(例如零相移)和图6B(例如，非零相移)示出了与实施方式相 一致的、BL视频与EL视频之间针对下采样空间比率(例如，每个维度1.5 倍)的采样栅格的其他示例。
图7示出了与实施方式相一致的、在下采样和上采样(例如，2倍空间 比率，非零相移下采样和零相移上采样)之后EL视频与上采样后的BL视 频之间未对准(或未匹配)的采样栅格的示例。
图8示出了与实施方式相一致的、针对采样栅格信息(例如，视频参数 集(VPS)和/或序列参数集(SPS))的信令的示例性流程图。
图9示出了与实施方式相一致的、用于用信号发送采样栅格信息的示例。
图10示出了与实施方式相一致的、空间层(例如，两个空间层)之间 的采样栅格(例如相对采样)的示例性检测的框图。
图11示出了与实施方式相一致的、说明使用2抽头自适应滤波器(例 如，X维度)的示例性相对采样栅格检测的框图。
图12示出了与实施方式相一致的包括采样栅格信息信令、采样栅格校 正和采样栅格检测的示例性多层(例如，2层)空间可缩放编码系统的框图。
图13A是可以在其中实施所公开的一个或多个实施方式的示例性通信 系统的系统图示。
图13B是可以在图13A所示的通信系统中使用的示例性无线发射/接收 单元(WTRU)的系统图示。
图13C是可以在图13A所示的通信系统中使用的示例性无线电接入网 络和示例性核心网络的系统图示。
图13D是可以在图13A所示的通信系统中使用的另一示例性无线电接 入网络和示例性核心网络的系统图示。
图13E是可以在图13A所示的通信系统中使用的另一示例性无线电接 入网络和示例性核心网络的系统图示。
具体实施方式
现在将参照多个附图来描述说明性实施方式的详细描述。虽然该描述提 供了可能实现方式的详细示例，但是应当指出的是，这些细节旨在是示例性 的且不以任何方式来限制本申请的范围。以下所使用的冠词“一(a)”或者 “一个(an)”，不是进一步的量化或者特征化，而是可以理解为诸如“一个 或者多个”或者“至少一个”。
可以使用各种数字视频压缩技术来进行有效的数字视频通信、分发和/ 或消费。这种数字视频的商业部署标准的示例可以由ISO/IEC和ITU-T开发， 诸如H.26、MPEG-1、MPEG-2、H.263、MPEG-4part 2、H.264/MPEG-4part 10AVC和/或高效率视频编码(HEVC)(例如，其可以由ITU-T视频编码专 家组(VCEG)和ISO/IEC运动图像专家组(MPEG)联合开发)。就相同或 类似的视频质量而言，HEVC可以被用来实现更大的压缩(例如，是 H.264/AVC压缩的两倍)和/或更低的比特率(例如，一半的比特率)。
数字视频服务可以经由通过卫星、电缆、陆地广播信道、因特网(例如， 在移动设备上，诸如在智能电话、平板电脑(tablets)和/或其他WTRU上) 的TV服务和/或其他视频应用(诸如视频聊天、移动视频记录和共享和/或 视频流)来实现。可以在各种环境中执行这些视频传输。在各种类型的视频 传输场景(诸如3屏幕或N屏幕)中，各种消费者设备(例如，PC、智能 电话、平板电脑、TV等)可以适应具有各种不同能力(例如，计算能力、 存储器/存储设备大小、显示器分辨率、显示器帧率等)的视频消费。网络和 /或传输信道可以具有各种不同的特性(例如，分组丢失率、可用信道带宽、 突发错误率等)。视频数据可以通过有线网络和/或无线网络的组合进行传送， 这会使得底层传输信道特性变得复杂。在这种或其他场景中，可缩放视频编 码(SVC)的前提可以被用来改善通过各种网络在具有不同能力的设备上运 行的视频应用的体验质量。
SVC可以被用来以最高的表示(representation)(例如，时间分辨率、 空间分辨率、质量等)对信号进行编码(例如，在一些实施方式中，可能一 次)。SVC可以依赖于由客户端设备上运行的应用所实现的速率和/或表示来 实现从视频流的子集的解码。与非可缩放解决方案相比，SVC能够节省带宽 和/或存储器。国际视频标准MPEG-2视频、H.263、MPEG4视觉和H.264 可以具有可以支持至少一些可缩放性模式的工具和/或简档。
图1示出了示例性的基于块的混合可缩放视频编码系统的框图。如图1 所示，可缩放视频编码系统可以包括多个层(例如，1至N个层)。由层1 (例如，基层)所表示的空间/时间信号分辨率可以通过输入视频信号的下采 样来生成。在随后的编码阶段中，量化器(Q1)的适当设置会导致基本信息 的质量水平。为了编码(例如，有效地编码)随后的更高层，基层重构Y1、 大概的更高层分辨率水平可在随后层的编码/解码中被使用。基层重构Y1可 以被上采样至层2的分辨率，例如通过上采样单元。下采样和/或上采样可通 过各种层(例如，层1,2…N)来执行。下采样率和/或上采样率可以是不同 的，有可能在一些实施方式中依赖于两个给定层(例如，n1和n2)之间的 相对维度，或者其他因素。由两个层所表示的视频信号可以具有相同或类似 的空间分辨率。在一些实施方式中，相应的下采样和/或上采样操作可被旁路。
在图1所示的示例性可缩放系统中，对于任意给定更高层n(例如， 2≤n≤N)，可以通过从当前层n信号中减去上采样后的更低层信号(例如， 层n-1信号)来生成差分信号，并且如此获得的差分信号可以被编码。在一 些实施方式中，如图1中所实施的差分信号的编码会使得难以同时实现良好 的编码效率和/或避免潜在的视觉伪像。为了归一化差分信号的动态范围，非 线性量化和/或联合量化和归一化可以被使用。在一些实施方式中，这些过程 可能引入难以避免的视觉伪像。在一些实施方式中，可缩放视频编码(例如， 可以在视频编码标准中实施的那些，诸如H.264标准的可缩放视频编码 (SVC)和/或多视图编码(MVC))或许不使用基于残余的层间预测。相反 地，在一些实施方式中，可以使用直接基于其他层的解码后图像的层间预测。
图2示出了使用左视图(层1)和右视图(层2)的立体(2视图)视频 编码的时间和层间预测的示例。如图2所示，示例性结构可以使用MVC来 编码具有左视图(层1)和右视图(层2)的立体视频。左视图视频可以用 IBBP预测结构编码而右视图视频可以用PBBB预测结构编码。在右视图(层 2)中，与左视图(层1)中的第一I图像并置排列的第一图像可以被编码为 P图像，可能例如基于层1中的I图像的预测。右视图中的其他图像可以被 编码为B图像，其中例如第一预测源自相同层(例如右视图)中的时间参考 和/或第二预测源自层1(例如左视图)中的层间参考图像。
虽然图2示出了视图可缩放性的示例，但是可缩放系统可以执行其他类 型的可缩放性。表1示出了若干类型的可缩放性和可以对其进行支持的示例 性标准。这里描述了针对空间可缩放性的一个或多个实施方式(例如，其中 两个层的空间分辨率可以不同)。这里也描述了针对可以包括空间可缩放性 的可缩放系统的编码效率的一个或多个实施方式。
表1不同类型的可缩放性的示例
*不可以在可缩放HEVC标准化的第一阶段被规划
图3示出了可以支持空间可缩放性的示例性2层编码系统。如图所示， 基层(BL)视频输入和增强层(EL)视频输入可以与下采样过程有关。BL 视频可以由BL编码器编码。EL视频可以由EL编码器编码。可以被存储在 例如BL参考图像缓冲器中的重构后BL视频信号可以被上采样以匹配EL 视频分辨率和/或可以由EL编码器用来有效地编码和/或预测EL视频输入。 图3中所示的上采样过程可以被应用在图像级(例如，整个BL图像可以被 上采样)、区域级(例如，BL图像的部分可以被上采样)和/或块级(例如， BL图像中的一些块可以被上采样)。在编码之后，BL比特流和/或EL比特 流的视频分组可以被一起多路复用以形成可缩放比特流。图4示出了在一些 实施方式中可以对应于图3中的编码器的示例性空间可缩放解码器(例如， 具有2个层)。
在一些实施方式中，可缩放编码系统可以授权上采样过程(例如，图3 中的编码器和/或图4中的解码器所共同的过程)，以也许确保编码器与解码 器之间的比特精确性，以及其他原因。图3中的下采样过程可以是预处理步 骤和/或可以不由任何可缩放编码标准所授权。当设计可以在下采样中使用的 下采样滤波器时，编码器可以被允许确定频率特性和/或相对采样栅格的自由 度。如这里描述的，在一些实施方式中，编码器可以选择应用下采样过程， 也许当该下采样过程与可由可缩放编码系统授权的上采样过程相组合时不 会产生与EL视频信号完全对准的采样栅格。因此，可缩放编码性能可能受 到负面影响。这里描述了用于恢复EL视频的采样栅格的一个或多个实施方 式。例如，EL视频的采样栅格可以通过将采样栅格信息作为可缩放比特率 的一部分进行发送和/或也许基于采样栅格信息或其他因素将空间层之间的 采样栅格进行对准而被恢复。
图5A、5B、6A和6B示出了BL视频(例如，圆圈)与EL视频(例 如，空正方形)之间针对两个下采样率即2倍和1.5倍的采样栅格的示例。 对于每个空间比率，给出了两个示例性采样栅格，一个具有零相移(在图5A 和图6A中)，而另一个具有非零相移(图5B和图6B)。上采样滤波器可以 确保编码器与解码器之间的比特精确性。指定的上采样滤波器可以假设下采 样期间两个空间层之间的固定采样栅格。(例如，HEVC标准的)可缩放扩 展的开发可以使用采用零相移下采样滤波器生成的测试视频序列。结果，上 采样滤波器(例如，在HEVC的可缩放扩展中被指定)可以是零相移上采样 滤波器，以便上采样后的BL视频可以与EL视频相位对准。
编码器应用可以选择应用不同的下采样滤波器。例如，它们可以选择应 用具有非零相移的下采样滤波器。通过在BL与EL视频、具有非零相移的 下采样滤波器和具有零相移的上采样滤波器之间使用2倍空间比率的示例， 图7给出了EL视频与上采样后的BL视频之间未对准采样栅格的示例。在 图7中，原始EL视频以空正方形示出。也许在非零相移下采样滤波器可以 被应用之后，以及其他技术，下采样后的BL视频的采样栅格以圆圈示出。 也许在零相移上采样滤波器可以被应用于BL视频之后，以及其他技术，上 采样后的视频的采样栅格以图案化的正方形示出。在一些实施方式中，根据 例如图3和/或图4(以及其他技术)，也许当在采样栅格中呈现这些未对准 的上采样后视频可以被用来预测EL视频时，在速率-失真性能方面，增强层 视频的编码效率会受到负面影响。实施方式涵盖了也许当具有分数像素精度 的移动估计被用于补偿时，对编码性能的影响会因这里描述的一个或多个原 因而没有被充分解决。
例如，EL视频中的一些块可以使用来自基层的内部预测进行预测，诸 如通过使用例如H.264/SVC中的基层内部跳过模式，其中移动矢量可以不被 发送。视频编码可以支持针对一个或多个亮度分量而言高达四分之一像素移 动矢量精度和/或针对一个或多个色度分量而言相应的精度。在一些实施方式 中，也许如果采样栅格可以被未对准了其他更细分数(例如，被未对准八分 之一像素)，以及其他原因，分数移动补偿可以不被使用。视频编码可以支 持移动矢量预测，其中块移动矢量可以根据它们的邻近块进行预测。在一些 实施方式中，也许如果EL视频中的块可以根据上采样后的BL视频进行预 测和/或可以遭受未对准采样栅格问题，和/或其邻居可以根据时间参考进行 预测和/或可以不遭受未对准采样栅格问题，反之亦然，以及其他原因，则移 动矢量预测精度可以被降低。
这里描述的一个或多个实施方式可以被实施以用信号发送采样栅格信 息。例如，采样栅格未对准的数量(或程度)可以被用信号发送。可以对未 对准的采样栅格进行校正，也许例如基于用信号发送的采样栅格信息以及其 他因素。
编码器可以选择下采样滤波器。可缩放系统中的上采样滤波器可以被预 定和/或被固定。可以以高级别(例如以序列级或更高)对下采样滤波器进行 选择和/或固定，也许以确保相同层中的图像可以共享相同的采样栅格(例如， 即使时间预测性能可以受到负面影响)，以及其他原因。与采样栅格信息有 关的语法元素可以以序列级被发送，诸如但不局限于在视频参数集(VPS) 和/或序列参数集(SPS)中。
图8示出了采样栅格信息的示例性信令的流程图。如图8所示，可以发 送用于指示采样栅格信息是否存在的标志。在一些实施方式中，也许如果这 些信息可以不存在，以及其他原因，则可以假设默认采样栅格。例如，该默 认可以指示上采样后的基层和/或增强层的采样栅格可以被对准(例如，两个 栅格之间的零相移)。在一些实施方式中，也许如果该标志可以指示采样栅 格信息存在，以及其他原因，则采样栅格信息的精度可以被用信号发送，之 后可以跟随用于X和/或Y纬度的实际采样栅格对准信息(例如，X方向(或 第一方向，诸如但不限于水平方向)上的采样栅格偏移和/或Y方向(或第 二方向，诸如但不限于垂直方向)上的采样栅格偏移。在一些实施方式中， 这些技术可以被应用于可以包括例如VPS和/或SPS的数据集(例如，数据 的集合或数据)。参照图8的流程图所描述的单独元素中没有一个是必须或 关键的，并且这些元素中的任意元素可以以任意顺序或以任意组合被执行。
在图7的示例中，上采样后的基层和增强层之间的采样栅格对准(和/ 或对准的数量和/或程度)可以以例如四分之一像素精度被用信号发送(其在 一些实施方式中，可以根据增强层(EL)采样栅格被测量)(以及其他考虑 的精度，包括其他分数像素精度)。在一些实施方式中，值(例如，“+2”) 可以被用信号发送，以用于一个或多个维度或每个维度中的偏移(例如，以 指示相对采样栅格向右偏移了二分之一像素和/或向下偏移了二分之一像 素)。虽然在图7的示例中未示出，但是上采样后的BL与EL之间的相对采 样栅格可以在一个或两个方向(例如，第一方向和/或第二方向)上偏移。也 就是说，相对于EL栅格，上采样后的BL栅格可以偏向X维度上的右或左 和/或偏向Y维度上的上或下。在一些实施方式中，图8中的X和Y采样栅 格偏移可以是有符号的值、没有符号的整数值或有符号和没有符号的整数值 的组合。上采样后的BL和EL视频之间的相对采样栅格可以被偏移了例如 小于±1个全像素。在一些实施方式中，第一维度(例如，X维度)和第二维 度(例如，Y维度)上的偏移精度可以相同或基本上类似。在一些实施方式 中，X维度和Y维度上的偏移精度可以不同。在一个或多个实施方式中，X 维度和/或Y维度中的偏移精度可以被用信号一起或单独地发送。
采样栅格信息可以被用信号发送(例如，在视频中或在显示器上)。在 图5A、5B、6A和6B的示例中，BL和EL采样栅格可以重叠，例如以说明 相对采样栅格信息如何被用信号发送。可以根据BL采样栅格测量精度。如 图9所示，两个邻近BL像素的距离可以被(例如均匀地)划分成16个分段。 一个或多个或每个分段可以表示例如1/16像素单元的精度。可以实现其他精 度。BL和EL图像中像素的相对位置可以被检查，并且可以确定采样栅格偏 移。可以被检查的相对位置可以包括BL和EL图像中的左上像素。水平方 向上的采样栅格偏移可以使用公式(1)确定。垂直方向上的采样栅格偏移 可以使用公式(2)确定。
sampling_grid_offset_hori＝position_BL_hori-position_EL_hori
公式(1)
sampling_grid_offset_vert＝position_BL_vert-position_EL_vert
公式(2)
position_BL_hori(位置_BL_水平)和position_EL_hori(位置_EL_水平) 可以分别包括BL和EL图像中左上像素的水平位置。position_BL_vert(位 置_BL_垂直)和position_EL_vert(位置_EL_垂直)可以分别包括BL和EL 图像中左上像素的垂直位置。在图9中，采样栅格偏移 sampling_grid_offset_hori(采样_栅格_偏移_水平)和 sampling_grid_offset_vert(采样_栅格_偏移_垂直)可以等于4，具有1/16像 素精度。在一些实施方式中，也许如果BL和EL采样栅格可以被对准，例 如图5A和图6A所示，以及其他场景，则采样栅格偏移可以包括默认值零。
可以针对亮度和/或色度平面确定采样栅格偏移。可以针对亮度和/或色 度平面中的一者或多者或每一者来用信号发送一对采样栅格偏移(例如， sampling_grid_offset_hori和sampling_grid_offset_vert)。视频序列中亮度和色 度平面的相对栅格可以被预先确定和/或固定。相对栅格可以被固定，因为视 频序列可以包括标准化的颜色子采样格式，诸如4:2:0、4:2:2和/或4:4:4。针 对色度平面的采样栅格偏移可以根据针对亮度平面的采样栅格偏移来获得。 在一些实施方式中，也许当针对色度平面的采样栅格偏移可以根据针对亮度 平面的采样栅格偏移而被获得时，以及其他原因，针对色度平面的采样栅格 偏移可以在没有显式信令的情况下被确定。获取过程可以如这里所述的那样 被执行。
表2信令采样栅格信息的示例
表2示出了用信号发送采样栅格信息的示例性语法表(例如，在这里示 出的语法元素的分段中)。在这里进一步描述其中一个或多个语义。 sampling_grid_info_presented_flag(采样_栅格_信息_呈现_标志)可以等于1 和/或可以指示采样栅格信息能够(或在一些实施方式中，也许将)呈现于随 后的比特流中。sampling_grid_info_presented_flag可以等于0和/或可以指示 采样栅格信息或许不被(或在一些实施方式中，也许将不被)呈现。 sampling_grid_info_presented_flag可以指示BL和EL采样栅格被对准和/或 可以指示该偏移被设置成默认值零，也许例如当 sampling_grid_info_presented_flag可以指示采样栅格信息或许不被(或在一 些实施方式中，也许将不被)呈现时。log2_sampling_grid_precision(log2_ 采样_栅格_精度)可以指示采样栅格的精度。例如，采样栅格的精度可以由 SamplingGridPrecision＝2log2_sampling_grid_precision来确定。
sampling_grid_abs_offset_x(采样_栅格_绝对_偏移_x)可以指示水平方 向上采样栅格偏移的绝对值。sampling_grid_abs_offset_x可以被固定长度编 码。编码长度可以等于log2_sampling_grid_precision。
sampling_grid_abs_offset_y(采样_栅格_绝对_偏移_y)可以指示垂直方 向上采样栅格偏移的绝对值。sampling_grid_abs_offset_y可以被编码为固定 长度。编码长度可以等于log2_sampling_grid_precision。
sampling_grid_sign_x(采样_栅格_符号_x)可以指示水平方向上的采样 栅格偏移。sampling_grid_sign_x等于0可以指示水平方向上的采样栅格偏移 为正。sampling_grid_sign_x等于1可指示水平方向上的采样栅格偏移为负。
sampling_grid_sign_y(采样_栅格_符号_y)可以指示垂直方向上的采样 栅格偏移。sampling_grid_sign_y等于0可以指示垂直方向上的采样栅格偏移 为正。sampling_grid_sign_y等于1可指示垂直方向上的采样栅格偏移为负。
水平方向上的采样栅格偏移可以由SamplingGridOffsetX来指示。 SamplingGridOffsetX可由SamplingGridOffsetX＝(1-sampling_grid_sign_x*2) *sampling_grid_abs_offset_x确定。垂直方向上的采样栅格偏移可以由 SamplingGridOffsetY来指示。SamplingGridOffsetY可由SamplingGridOffsetY ＝(1-sampling_grid_sign_y*2)*sampling_grid_abs_offset_y确定。
色度采样栅格信息可以由chroma_sampling_grid_info_presented_flag(色 度_采样_栅格_信息_呈现_标志)指示。 chroma_sampling_grid_info_presented_flag等于1可以指示色度采样栅格信息 可以被(或在一些实施方式中，也许将被)呈现在随后的比特流中。 chroma_sampling_grid_info_presented_flag等于0可以指示也许没有(或在一 些实施方式中，也许将没有)色度采样栅格信息被呈现。在后一情况中，也 许如果sampling_grid_info_presented_flag等于1，以及其他原因，则色度采 样栅格偏移可以根据针对例如亮度的偏移而被获得。也许如果 sampling_grid_info_presented_flag等于0，以及其他原因，则色度采样栅格偏 移可以例如被设置成默认值0。
log2_chroma_sampling_grid_precision(log2_色度_采样_栅格_精度)可 以指示色度采样栅格的精度，例如如这里所描述的。 ChromaSamplingGridPrecision可以由 ChromaSamplingGridPrecision＝2log2_chroma_sampling_grid_precision确定。 chroma_sampling_grid_abs_offset_x(色度_采样_栅格_绝对_偏移_x)可以指 示水平方向上色度采样栅格偏移的绝对值。 chroma_sampling_grid_abs_offset_x可以被固定长度编码。编码长度可以等于 log2_chroma_sampling_grid_precision。chroma_sampling_grid_abs_offset_y(色 度_采样_栅格_绝对_偏移_y)可以指定垂直方向上色度采样栅格偏移的绝对 值。chroma_sampling_grid_abs_offset_y可以被编码为固定长度。编码长度可 以等于log2_chroma_sampling_grid_precision。
chroma_sampling_grid_sign_x(色度_采样_栅格_符号_x)可以指示水平 方向上的色度采样栅格偏移。chroma_sampling_grid_sign_x等于0可以指示 水平方向上的色度采样栅格偏移为正。chroma_sampling_grid_sign_x等于1 可以指示水平方向上的色度采样栅格偏移为负。
chroma_sampling_grid_sign_y(色度_采样_栅格_符号_y)可以指示垂直 方向上的色度采样栅格偏移。chroma_sampling_grid_sign_y等于0可以指示 垂直方向上的色度采样栅格偏移为正。chroma_sampling_grid_sign_y等于1 可以指示垂直方向上的色度采样栅格偏移为负。
水平方向上的色度采样栅格偏移可以由ChromaSamplingGridOffsetX来 指示。ChromaSamplingGridOffsetX可由ChromaSamplingGridOffsetX＝(1- chroma_sampling_grid_sign_x*2)*chroma_sampling_grid_abs_offset_x确定。
垂直方向上的色度采样栅格偏移可以由ChromaSamplingGridOffsetY来 指示。ChromaSamplingGridOffsetY可由ChromaSamplingGridOffsetY＝(1- chroma_sampling_grid_sign_y*2)*chroma_sampling_grid_abs_offset_y确定。
这里描述的语法和语义作为示例被提供。可替换地，或另外地，实施方 式可以被实施以用于对采样栅格信息进行编码。可变长度编码可以被应用于 对采样栅格偏移进行编码。色度采样栅格信息可以基于亮度采样栅格信息和 /或色度格式信息而直接获得。在一些实施方式中，可以跳过表2中 chroma_sampling_grid_info_present_flag、 log2_chroma_sampling_grid_precision、chroma_sampling_grid_abs_offset_x、 chroma_sampling_grid_abs_offset_y、chroma_sampling_grid_sign_x和/或 chroma_sampling_grid_sign_y中的一者或多者或每一者。
在一个或多个实施方式中，表2中的采样栅格信息 sampling_grid_information()可以作为序列参数集(SPS)的一部分而被用信 号发送，例如表2A所示。采样栅格信息可以在视频参数集(VPS)中被用 信号发送。VPS可以包括扩展vps_extension()，其可以被用来指定关于可缩 放比特流的高级信息，诸如不同层之间的层依赖性信息。如表2B所示，二 进制标志direct_dependency_flag[i][j]可以被用来指示当前层“i”是否将层 “j”用作用于编码的参考层。也许当在VPS中被用信号发送时，以及其他 场景中，当前层与一个或多个参考层之间的相对采样栅格(例如， sampling_grid_information(i,j))可以与例如层依赖性信息一起被用信号发 送。该信令可以使用表2B中所示的语法示例来执行。
在一个或多个实施方式中，也许即使层依赖性信息 direct_dependency_flag[i][j]可以表明层“i”依赖于用于编码的参考层“j”， 以及其他原因，sampling_grid_information(i,j)可以是相关的(以及在一些实 施方式中，可以仅是相关的)，也许当空间可缩放性可以被应用在层“i”与 层“j”之间时，以及其他场景。在一些实施方式中，其可以是不相关的，也 许当可以使用一个或多个其他可缩放性(诸如视图可缩放性和/或SNR可缩 放性)时以及其他场景。实施方式意识到在当前的SHVC设计中，空间可缩 放性和/或SNR可缩放性在VPS中不被区分，这可以指示它们可以共享相同 的可缩放性掩码值，例如scalability_mask，如表3所示的。在一些实施方式 中，表3可以被修改，并且空间可缩放性和SNR可缩放性可以具有不同的 值，例如如表2C所示的。scalability_mask[i][j]等于1可以指示当前层“i” 与参考层“j”之间的空间可缩放性被应用(或可以被应用)。在一个或多个 实施方式中，在表2C中，表2B中所示的元素“if(direct_dependency_flag[i] [j]),”可以被修改为如表2D中所示的“if(direct_dependency_flag[i][j]&& scalability_mask[i][j]＝＝1),”，以便采样栅格信息sampling_grid_information() 可以在VPS中被用信号发送，也许例如当(以及在一些实施方式中也许仅 当)当前层“i”将层“j”用作参考层和/或空间可缩放性被应用时，以及其 他原因。
表2A SPS中的示例性信令采样栅格信息
表2B VPS扩展中的示例性信令采样栅格信息
表2C可缩放性Id与可缩放性维度的示例性映射
可缩放性掩码索引 可缩放性维度 可缩放性Id映射
0 多视图 视图Id
1 空间可缩放性 依赖性Id
2 SNR可缩放性 依赖性Id
3-15 预留
表2D VPS扩展中的示例性信令采样栅格信息
表3可缩放性Id与可缩放性维度的示例性映射
在一些实施方式中，也许如果采样栅格信息可以指示在两个空间层之间 存在非零相对相移，以及其他场景，则采样栅格校正可以被执行以例如将上 采样后的BL视频的采样栅格与EL视频的采样栅格进行对准。由对准所提 供的校正后信号可以用作针对EL视频的编码的更好预测(例如，与在对准 之前和/或无对准情况相比，针对EL视频的编码的改善的预测)。在图7的 示例中，阴影像素的相位可以被校正，以便它们可以被置于与空正方形对准 (和/或基本对准)。
采样栅格校正可以通过上采样和/或滤波来执行。在一个或多个实施方 式中，BL图像可以使用在一个或多个标准(例如，规范上采样)中定义的 上采样滤波器进行上采样。上采样后的BL图像可以使用相位校正滤波器进 行滤波。一个或多个多相位滤波器(或相位校正滤波器)可以被用来执行采 样栅格校正。例如，多相位滤波器可以被配置为以下中的一者或多者：双线 性滤波器(例如，其可以与相移量相对应)、双三次滤波器、兰乔斯(Lanczos) 滤波器、和/或插值滤波器。视频编码，例如H.264/AVC和/或HEVC视频编 码，可以支持分数像素移动补偿。在这些系统中可以被用于移动补偿的插值 滤波器，诸如H.264/AVC中的6抽头维纳滤波器或HEVC中的DCT-IF，可 以被用来校正和/或对准采样栅格。这些插值滤波器可以由编码系统支持。在 一些实施方式中，一个或多个前述滤波器可以以一种或多种组合被使用。在 一些实施方式中，也许在插值滤波器可以被用于移动补偿的情况中，以及其 他场景中，附加滤波功能可以不被实施。
采样栅格校正可以使用这里描述的采样栅格信息来执行。在一些实施方 式中，可以使用在HEVC(SHVC)的可缩放扩展中定义的上采样滤波过程。 采样栅格校正可以使用1.5倍或2倍空间可缩放性和/或4:2:0颜色子采样格 式来执行。
通过在水平和垂直方向上使用上采样比率N，上采样过程可以通过在一 个或两个方向上将BL图像插值成其大小的16倍和/或用比率M来减小 (decimate)16倍图像而被近似，其中16≈M×N。为了执行16倍上采样， 以及其他原因，16相位插值滤波器可以被使用。分别针对亮度和色度的详细 的滤波器系数的示例在表4和表5中被提供。实施方式意识到SHVC可以支 持1.5倍和/或2倍空间可缩放性。16相位插值滤波器的子集可以在HEVC (SHVC)的可缩放性扩展中被描述(例如，如在表4的相位p＝0,5,8和11 的行和/或在表5中相位p＝0,4,5,6,8,9,11,14和15的行中所示的那样)。 实施方式设想了可以在2倍或1.5倍上采样过程中不被使用的相位滤波器可 以不被SHVC所描述。在一个或多个实施方式中，亮度滤波器可以是8抽头。 在一个或多个实施方式中，色度滤波器可以是4抽头。而且，在一个或多个 实施方式中，亮度滤波器和/或色度滤波器可以是2D可分离的滤波器。
表4示例性的16相位亮度上采样滤波器
表5示例性的16相位色度上采样滤波器
16倍插值可以或可以不针对一个或多个或每个样本而被执行。在一些实 施方式中，16倍图像中在减小之后可以被维持的样本可以被插值。为了生成 位于EL图像中的(x,y)处的样本，以及其他原因，在减小之前虚拟16倍图 像中的相应位置(x16,y16)可以使用公式(3)和/或公式(4)找到。
x16＝(x*BLPictureWidth*16+ELPictureWidth/2)/ELPictureWidth 公式(3)
y16＝(y*BLPictureHeight*16+ELPictureHeight/2)/ELPictureHeight-offset 公 式(4)
(BLPictureWidth,BLPictureHeight)和(ELPictureWidth,ELPictureHeight)可以 分别表示BL和EL图像的图像尺寸。这些尺寸可以具有亮度或色度平面， 根据这些平面可以获得(x16,y16)。在公式(4)中，offset可以如这里描述的 那样被定义。也许如果y16被针对亮度平面而计算，以及其他场景，则该offset (偏移)可以等于0。也许如果y16被针对色度平面而计算和/或空间可缩放 性的比率为1.5倍，以及其他场景，则该offset可以等于1。也许如果y16 被针对色度平面而计算和/或空间可缩放性的比率为2倍，以及其他场景，则 该offset可以等于2。
(x16,y16)处的样本值可以通过将适当的相位滤波器应用于来自BL图像 的支持区域而被生成。用于水平方向的相位滤波器的索引可以被计算为 (x16％16)。用于垂直方向的相位滤波器的索引可以被计算为(y16％16)。BL 图像中相位滤波器可以被锚定的像素位置可以被计算为(floor(x16/16), floor(y16/16))。floor(.)函数可以被用来将实数映射到最大的之前整数。在公 式(3)和/或公式(4)中，(x16,y16)的获得可以假设BL和EL图像的采样 栅格具有零相移。(x16,y16)可以使用在序列报头中用信号发送的采样栅格信 息进行计算，诸如VPS和/或SPS，和/或使用BL和/或EL图像尺寸信息进 行计算。
对于亮度平面，(x16,y16)可以如公式(5)和/或公式(6)所示的那样 获得。
x16＝(x*BLPictureWidth*16+ELPictureWidth/2)/
ELPictureWidth-SamplingGridOffsetX 公式(5)
y16＝(y*BLPictureHeight*16+ELPictureHeight/2)/
ELPictureHeight-offset-SamplingGridOffsetY 公式(6)
对于色度平面，也许如果采样栅格偏移被明确地呈现(例如， chroma_sampling_grid_info_presented_flag等于1)，以及其他原因，则(x16, y16)可以如公式(7)和/或公式(8)所示那样获得。
x16＝(x*BLPictureWidth*16+ELPictureWidth/2)/
ELPictureWidth-ChromaSamplingGridOffsetX 公式(7)
y16＝(y*BLPictureHeight*16)/
ELPictureHeight-offset-ChromaSamplingGridOffsetY 公式(8)
对于色度平面，也许如果采样栅格偏移不被明确地呈现(例如， chroma_sampling_grid_info_presented_flag被用信号发送且被设置成零，或者 没有被用信号发送和/或被确定为零)，以及其他原因，则(x16,y16)可以根据 针对亮度的采样栅格偏移而获得，如公式(9)和/或公式(10)所示的那样。
x16＝(x*BLPictureWidth*16+ELPictureWidth/2)/
ELPictureWidth-SamplingGridOffsetX/2 公式(9)
y16＝(y*BLPictureHeight*16)/
ELPictureHeight-offset-SamplingGridOffsetY/2 公式(10)
采样栅格可以被检测，例如如这里所描述的。例如图3中所示的下采样 过程可以是或不是编码器的一部分。在一些应用中，编码器可以接收更高分 辨率的EL视频，执行下采样以获得更低分辨率的BL视频，和/或将空间可 缩放编码应用于所有视频输入。编码器可以将下采样滤波器相移特性与上采 样相移特性进行比较，以确定相对相移值，以及其他原因。编码器可以直接 接收更高分辨率的EL视频和/或更低分辨率的BL视频作为输入，例如也许 在下采样过程在进行中已经被应用到别处之后，以及其他场景中。下采样滤 波器的相移特性可以是编码器未知的，和/或编码器可以检测相对采样栅格。
图10示出了使用自适应滤波器训练来检测相对采样栅格的示例。可以 使用上采样滤波器对BL视频进行上采样，以匹配EL视频空间分辨率。自 适应滤波器训练(例如，最小二乘线性滤波器训练)可以被应用在EL输入 和上采样后的BL输入上。在一些实施方式中，相对相移可以通过检查一个 或多个自适应滤波器系数进行检测。自适应滤波器系数(例如，使用LS训 练得到的那些系数)可以具有浮点精度。在一些实施方式中，一个或多个自 适应滤波器系数中的至少一个的系数量化可以被用来确定可以根据预定义 的固定精度的相对采样栅格位置(例如，如图8所示)。自适应滤波器训练 可以在一个或多个或每个维度中被单独地执行，以检测例如给定维度中的相 对采样栅格，以及其他原因。
通过使用X维度作为示例，图11示出了具有抽头长度2的自适应滤波 器的训练后系数和其可以对应的上采样后BL(图案化的正方形)与EL(空 正方形)之间的相对采样栅格的示例。如这里描述的，相对采样栅格信息可 以在输入视频的持续时间内被固定。例如，采样栅格的检测可以在输入视频 的开始处被执行(例如，至少一次)。
图12示出了增强型2层可缩放编码器(如图3中所示)，其可以合并这 里描述的其中一个或多个实施方式，诸如采样栅格信息信令、采样栅格校正 和/或采样栅格检测。虽然未示出，但是图4所示的可缩放解码器可以以基本 上类似的方式用这些实施方式中的一个或多个来实施。虽然这里用示例性的 2层空间可缩放系统来描述实施方式，但是这些实施方式可以适用于支持更 多层的空间可缩放系统。例如，这里描述的实施方式可以应用于多层系统中 的任意两个空间层。N层可缩放系统中的层可以包括(L0,L1…LN-1)并且可以 假设(La,Lb)和(Lc,Ld)，0≤a,b,c,d≤(N-1)可以是具有不同空间缩放比率和不 同相对相移特性的两对空间层。例如，(La,Lb)可以具有1.5倍的比率和二分 之一像素相移。(Lc,Ld)可以具有2倍的比率和四分之一像素相移。图8所示 的信令可以被扩展成包括层指示，层指示之后可以跟随针对特定层的采样栅 格信息信令。由于层依赖性信息可以在VPS中用信号发送，所以与例如SPS 相比，VPS可以是包括层特定采样栅格信息的地方。
图13A是可以在其中实施一个或多个所公开的实施方式的示例性通信 系统100的图示。通信系统100可以是向多个无线用户提供诸如语音、数据、 视频、消息、广播等内容的多接入系统。通信系统100可以通过包括无线带 宽在内的系统资源的共享来使多个无线用户能够访问这些内容。例如，通信 系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时 分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波 FDMA(SC-FDMA)等。
如图13A所示，通信系统100可以包括无线发射/接收单元(WTRU) 102a、102b、102c和/或102d(其通常或者整体上可以被称为WTRU 102)、 无线电接入网络(RAN)103/104/105、核心网络106/107/109、公共交换电 话网络(PSTN)108、因特网110和其他网络112，但是应当意识到，所公 开的示例设想了任意数量的WTRU、基站、网络和/或网络元件。WTRU 102a、 102b、102c、102d中的每一个WTRU可以是被配置成在无线环境中操作和/ 或通信的任意类型的设备。例如，WTRU 102a、102b、102c、102d可以被 配置成传送和/或接收无线信号，而且可以包括用户设备(UE)、移动站、固 定或移动用户单元、寻呼器、蜂窝电话、个人数字助理(PDA)、智能电话、 膝上型计算机、上网本、个人计算机、无线传感器、消费电子设备等。
通信系统100还可以包括基站114a和基站114b。基站114a和114b中 的每个基站可以是被配置成与WTRU 102a、102b、102c、102d中的至少一 个WTRU无线接口以便于接入一个或多个通信网络(诸如核心网络 106/107/109、因特网110和/或网络112)的任意类型的设备。例如，基站114a、 114b可以是基站收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e 节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b 各自都被描述为单独的元件，但是应当意识到，基站114a、114b可以包括 任意数量的互连基站和/或网络元件。
基站114a可以是RAN 103/104/105的一部分，其还可以包括其他基站 和/或网络元件(未示出)，诸如基站控制器(BSC)、无线电网络控制器(RNC)、 中继节点等。基站114a和/或基站114b可以被配置成在被称为小区(未示出) 的特定地理区域内传送和/或接收无线信号。小区还可以被进一步划分成多个 小区扇区。例如，与基站114a相关联的小区可以被划分成三个扇区。因此， 在一个实施方式中，基站114a可以包括三个收发信机，也就是说，每一个 收发信机对应于小区的一个扇区。在另一实施方式中，基站114a可以利用 多输入多输出(MIMO)技术，并且，因此可以针对小区的每个扇区应用多 个收发信机。
基站114a、114b可以通过空中接口115/116/117与WTRU 102a、102b、 102c、102d中的一个或多个WTRU通信，其中空中接口可以是任何适当的 无线通信链路(例如，射频(RF)、微波、红外线(IR)、紫外线(UV)、可 见光等)。可以使用任何适当的无线电接入技术(RAT)来建立空中接口 115/116/117。
更具体地，如上所述，通信系统100可以是多接入系统，并且可以使用 一种或多种信道接入方案，如CDMA、TDMA、FDMA、OFDMA、SC-FDMA 等。例如，RAN 103/104/105中的基站114a和WTRU 102a、102b、102c可 以实施诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的 无线电技术，其可以通过使用宽带CDMA(WCDMA)来建立空中接口 115/116/117。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型 HSPA(HSPA+)等的通信协议。HSPA可以包括高速下行链路分组接入 (HSDPA)和/或高速上行链路分组接入(HSUPA)。
在另一实施方式中，基站114a和WTRU 102a、102b、102c可以实施诸 如演进型UMTS陆地无线电接入(E-UTRA)等无线电技术，其可以使用长 期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口115/116/117。
在其他实施方式中，基站114a和WTRU 102a、102b、102c可以实施IEEE 802.16(即全球微波接入互通(WiMAX))、CDMA2000、CDMA20001X、 CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时 标准856(IS-856)、全球移动通信系统(GSM)、增强型数据速率GSM演 进(EDGE)、GSM EDGE(GERAN)等无线电技术。
图13A中的基站114b可以是例如无线路由器、家庭节点B、家庭e节 点B或接入点，并且可以利用任何适当的RAT来促成局部区域(诸如商业 场所、住宅、车辆、校园等)内的无线连接。在一个实施方式中，基站114b 和WTRU 102c、102d可以实施诸如IEEE 802.11之类的无线电技术来建立无 线局域网(WLAN)。在另一实施方式中，基站114b和WTRU 102c、102d 可以实施诸如IEEE 802.15之类的无线电技术来建立无线个域网(WPAN)。 在再一实施方式中，基站114b和WTRU 102c、102d可以利用基于蜂窝的 RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A等)来建立微微 小区或毫微微小区。如图13A所示，基站114b可以具有到因特网110的直 接连接。因此，基站114b可以不需要经由核心网络106/107/109来接入因特 网110。
RAN 103/104/105可以与核心网络106/107/109通信，该核心网络可以是 被配置成向WTRU 102a、102b、102c、102d中的一个或多个WTRU提供语 音、数据、应用和/或因特网协议上的语音(VoIP)服务的任意类型的网络。 例如，核心网络106/107/109可以提供呼叫控制、计费服务、基于移动位置 的服务、预付费呼叫、因特网连接性、视频分发等和/或执行高级安全功能(例 如用户认证)。虽然未在图13A中示出，但是应当意识到，RAN 103/104/105 和/或核心网络106/107/109可以直接或间接地和其他那些与RAN 103/104/105使用相同RAT或不同RAT的RAN进行通信。例如，除了连接 到正在利用E-UTRA无线电技术的RAN 103/104/105之外，核心网络 106/107/109还可以与采用GSM无线电技术的另一RAN(未示出)进行通 信。
核心网络106/107/109还可以用作WTRU 102a、102b、102c、102d接入 PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括用于 提供普通传统电话业务(POTS)的电路交换电话网络。因特网110可以包 括使用公共通信协议的全球互联计算机网络和设备系统，所述公共通信协议 例如是传输控制协议(TCP)/互联网协议(IP)套件中的TCP、用户数据报 协议(UDP)和IP。网络112可以包括由其他服务提供商拥有和/或运营的 有线或无线通信网络。例如，网络112可以包括与一个或多个RAN连接的 另一核心网络，其中所述一个或多个RAN可以与RAN 103/104/105使用相 同的RAT或不同的RAT。
通信系统100中的一些或所有WTRU 102a、102b、102c、102d可以包 括多模能力，即WTRU 102a、102b、102c、102d可以包括用于通过不同的 无线链路与不同的无线网络进行通信的多个收发信机。例如，图13A所示的 WTRU 102c可以被配置成与可以使用基于蜂窝的无线电技术的基站114a通 信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图13B是示例性WTRU 102的系统图示。如图13B所示，WTRU 102 可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、 键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电 源134、全球定位系统(GPS)芯片组136和其他外围设备138。应当意识 到，在保持符合实施方式的同时，WTRU 102可以包括前述元件的任意子组 合。而且，实施方式考虑了基站114a和114b和/或基站114a和114b可以表 示的节点(诸如但不局限于收发信台(BTS)、节点B、站点控制器、接入点 (AP)、家庭节点B、演进型家庭节点B(e节点B)、家庭演进型节点B (HeNB)、家庭演进型节点B网关和代理节点等)可以包括图13B所描绘 和这里描述的一些或所有元件。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处 理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控 制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电 路、任何其他类型的集成电路(IC)、状态机等。处理器118可以执行信号 编码、数据处理、功率控制、输入/输出处理和/或使WTRU 102能够在无线 环境中操作的任意其他功能。处理器118可以耦合到收发信机120，收发信 机120可以耦合到发射/接收元件122。尽管图13B中将处理器118和收发信 机120描述为独立的组件，但是处理器118和收发信机120可以被一起集成 到电子封装或者芯片中。
发射/接收元件122可以被配置成通过空中接口115/116/117向基站(例 如，基站114a)传送信号，或通过空中接口115/116/117接收来自基站(例 如，基站114a)的信号。例如，在一个实施方式中，发射/接收元件122可 以是被配置成传送和/或接收RF信号的天线。在另一实施方式中，发射/接收 元件122可以是被配置成传送和/或接收例如IR、UV或可见光信号的发射器 /检测器。在再一实施方式中，发射/接收元件122可以被配置成传送和接收 RF和光信号两者。应当意识到，发射/接收元件122可以被配置成传送和/ 或接收无线信号的任何组合。
此外，虽然在图13B中将发射/接收元件122描述成单个元件，但是 WTRU 102可以包括任意数量的发射/接收元件122。更具体地，WTRU 102 可以采用MIMO技术。因此，在一个实施方式中，WTRU 102可以包括用于 通过空中接口115/116/117传送和接收无线信号的两个或更多个发射/接收元 件122(例如，多个天线)。
收发信机120可以被配置成调制将由发射/接收元件122传送的信号以 及解调由发射/接收元件122接收到的信号。如上所述，WTRU 122可以具有 多模能力。因此，收发信机120可以包括例如用于使WTRU 102能够经由多 个RAT(诸如UTRA和IEEE 802.11)进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到并且可以接收来自扬声器/麦克风 124、键盘126和/或显示器/触摸板128(例如，液晶显示器(LCD)显示单 元或有机发光二级管(OLED)显示单元)的用户输入数据。处理器118还 可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。 此外，处理器118可以访问任意适当的存储器(例如不可移动存储器130和 /或可移动存储器132)中的信息，以及将信息存入这些存储器。不可移动存 储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或 任意其他类型的存储器存储设备。可移动存储器132可以包括用户识别模块 (SIM)卡、存储棒、安全数字(SD)存储卡等。在其他实施方式中，处理 器118可以访问那些并非物理地位于WTRU 102上(例如可以位于服务器或 家用计算机(未显示)上)的存储器中的信息，以及将数据存入这些存储器 中。
处理器118可以接收来自电源134的功率，并且可以被配置成向WTRU 102中的其他部件分配和/或控制功率。电源134可以是向WTRU 102供电的 任意适当的设备。例如，电源134可以包括一个或多个干电池(例如，镍- 镉(NiCd)、镍-锌(NiZn)、镍-氢(NiMH)、锂离子(Li-ion)等)、太阳能 电池、燃料电池等。
处理器118还可以耦合到GPS芯片组136，GPS芯片组136可以被配置 成提供关于WTRU 102的当前位置的位置信息(例如，经度和维度)。作为 来自GPS芯片组136的信息的补充或替换，WTRU 102可以通过空中接口 115/116/117从基站(例如基站114a、114b)接收位置信息，和/或基于正在 从两个或更多个邻近基站接收到的信号的时序来确定它的位置。应当意识 到，在保持符合实施方式的同时，WTRU 102可以通过任意适当的位置确定 方法来获取位置信息。
处理器118还可以耦合到外围设备138，外围设备138可以包括用于提 供其他特征、功能和/或有线或无线连接性的一个或多个软件和/或硬件模块。 例如，外围设备138可以包括加速器、电子指南针、卫星收发信机、数码相 机(用于相片或视频)、通用串行总线(USB)端口、振动设备、电视收发 信机、免提耳机、蓝牙模块、调频(FM)无线电单元、数字音乐播放器、 媒体播放器、视频游戏播放器模块、因特网浏览器等。
图13C是根据实施方式的RAN 103和核心网络106的系统图示。如这 里所述，RAN 103可以采用UTRA无线电技术来通过空中接口115与WTRU 102a、102b、102c通信。RAN 103还可以与核心网络106通信。如图13C 所示，RAN 103可以包括节点B 140a、104b、140c，其中节点B 140a、104b、 140c可以包括用于通过空中接口115与WTRU 102a、102b、102c通信的一 个或多个收发信机。节点B 140a、103b、140c可以各自与RAN 104中的特 定小区(未示出)相关联。RAN 103还可以包括RNC 142a、142b。应当意 识到，RAN 103可以包括任意数量的节点B和RNC，同时保持与实施方式 相一致。
如图13C所示，节点B 140a、140b可以与RNC 142a通信。另外，节 点B 140c可以与RNC 142b通信。节点B 140a、140b、140c可以经由Iub 接口与各自的RNC 142a、142b通信。RNC 142a、142b可以经由Iur接口彼 此进行通信。RNC 142a、142b中的每一者被配置成用于控制其所连接到的 各个节点B 140a、140b、140c。另外，RNC 142a、142b中的每一者可以被 配置成用于实现或支持其他功能，诸如外部环路功率控制、负载控制、准许 控制、分组调度、切换控制、宏分集、安全功能、数据加密等。
图13C中所示的核心网络106可以包括媒体网关(MGW)144、移动交 换中心(MSC)146、服务GPRS支持节点(SGSN)148、和/或网关GPRS 支持节点(GGSN)150。虽然每一个前述元件被描绘为核心网络106的一部 分，但是应当意识到，这些元件中的任意一个元件都可以由核心网络运营商 之外的实体所拥有和/或运营。
RAN 103中的RNC 142a可以经由IuCS接口连接到核心网络106中的 MSC 146。MSC 146可以连接到MGW 144。MSC 146和MGW 144可以向 WTRU 102a、102b、102c提供到电路交换网络(诸如PSTN 108)的接入， 以促成WTRU 102a、102b、102c与传统陆上线路通信设备的通信。
RAN 103中的RNC 142a可以经由IuPS接口连接到核心网络106中的 SGSN 148。SGSN 148可以连接到GGSN 150。SGSN 148和GGSN 150可以 向WTRU 102a、102b、102c提供到分组交换网络(诸如因特网110)的接 入，以促成WTRU 102a、102b、102c与IP使能设备的通信。
如上所述，核心网络106还可以连接到网络112，网络112可以包括由 其他服务提供商所拥有和/或操作的其他有线或无线网络。
图13D是根据实施方式的RAN 104和核心网络107的系统图示。如上 所述，RAN 104可以采用E-UTRA无线电技术来通过空中接口116与WTRU 102a、102b、102c通信。RAN 104还可以与核心网络107通信。
RAN 104可以包括e节点B 160a、160b、160c，虽然应当意识到，RAN 104可以包括任何数量的e节点B，同时保持与实施方式的一致性。e节点B 160a、160b、160c可以各自包括用于通过空中接口116与WTRU 102a、102b、 120c通信的一个或多个收发信机。在一个实施方式中，e节点B 160a、160b、 160c可以实施MIMO技术。因此，例如，e节点B 160a可以使用多个天线 来向WTRU 102a传送无线信号和从WTRU 102a接收无线信号。
e节点B 160a、160b、160c的每一个可以与特定小区(未示出)相关联， 并可以被配置成处理无线电资源管理决定、切换决定、上行链路和/或下行链 路中用户调度等。如图13D所示，e节点B 160a、160b、160c可以通过X2 接口彼此通信。
图13D中所示的核心网络107可以包括移动性管理网关(MME)162、 服务网关164和分组数据网络(PDN)网关166。虽然每一个前述元件被描 绘为核心网络107的一部分，但是应当意识到，这些元件中的任意一个元件 都可以由核心网络运营商之外的实体所拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104中的e节点B 160a、160b、 160c中的每一者。例如，MME 162可以负责认证WTRU 102a、102b、102c 的用户、承载激活/去激活、在WTRU 102a、102b、102c的初始附着期间选 择特定的服务网关等。MME 162还可以提供用于在RAN 104与采用其他无 线电技术(诸如GSM或WCDMA)的RAN(未示出)之间进行切换的控制 平面功能。
服务网关164可以经由S1接口连接到RAN 104中的每个e节点B 160a、 160b、160c。服务网关164通常可以路由和转发去往/来自WTRU 102a、102b、 102c的用户数据分组。服务网关164还可以执行其他功能，诸如在e节点B 间的切换期间锚定用户平面、在下行链路数据可由WTRU 102a、102b、102c 使用时触发寻呼、管理和存储WTRU 102a、102b、102c的上下文等。
服务网关164还可以连接到PDN网关166以促成WTRU 102a、102b、 102c与IP使能设备之间的通信，其中PDN网关166可以向WTRU 102a、 102b、102c提供到分组交换网络(诸如因特网110)的接入。
核心网络107可以促成与其他网络的通信。例如，核心网络107可以向 WTRU 102a、102b、102c提供到电路交换网络(诸如PSTN 108)的接入， 以促成WTRU 102a、102b、102c与传统陆上线路通信设备的通信。例如， 核心网络107可以包括IP网关(例如，IP多媒体子系统(IMS)服务器) 或者可以与之通信，其中IP网关用作核心网络107与PSTN 108之间的接口。 另外，核心网络107可以向WTRU 102a、102b、102c提供到网络112的接 入，其中网络112可以包括由其他服务提供商所拥有和/或运营的其他有线或 无线网络。
图13E是根据实施方式的RAN 105和核心网络109的系统图示。RAN 105可以是采用IEEE 802.16无线电技术来通过空中接口117与WTRU 102a、 102b、102c通信的接入服务网络(ASN)。如下面将进一步讨论的，WTRU 102a、102b、102c、RAN 105和核心网络109的不同功能实体之间的通信链 路可以被定位为参考点。
如图13E所示，RAN 105可以包括基站180a、180b、180c和ASN网关 182，但应当意识到，在保持符合实施方式的同时，RAN 105可以包括任意 数量的基站和ASN网关。基站180a、180b、180c中的每个基站可以与RAN 105中的特定小区(未示出)相关联并且可以各自包括用于通过空中接口117 与WTRU 102a、102b、102c通信的一个或多个收发信机。在一个实施方式 中，基站180a、180b、180c可以实施MIMO技术。因此，例如，基站180a 可以使用多个天线来向WTRU 102a传送无线信号和从WTRU 102a接收无线 信号。基站180a、180b、180c还可以提供移动性管理功能，诸如切换触发、 隧道建立、无线电资源管理、业务分类、服务质量(QoS)策略增强等。ASN 网关182可以用作业务聚合点，并且可以负责寻呼、用户简档的高速缓存、 到核心网络109的路由等。
WTRU 102a、102b、102c与RAN 105之间的空中接口117可以被定为 用于实现IEEE 802.16规范的R1参考点。另外，每个WTRU 102a、102b、 102c都可以建立与核心网络109的逻辑接口(未示出)。WTRU 102a、102b、 102c与核心网络109之间的逻辑接口可以被定义为R2参考点，其可以用于 认证、授权、IP主机配置管理和/或移动性管理。
基站180a、180b、180c的每一个之间的通信链路可以被定义为R8参考 点，其包括用于促进WTRU切换和基站之间数据传输的协议。基站180a、 180b、180c与ASN网关182之间的通信链路可以被定义为R6参考点。R6 参考点可以包括用于基于与每个WTRU 102a、102b、102c相关联的移动性 事件促成移动性管理的协议。
如图13E所示，RAN 105可以连接到核心网络109。RAN 105与核心网 络109之间的通信链路可以被定义为R3参考点，其包括用于促成例如数据 传递和移动性管理能力的协议。核心网络109可以包括移动IP归属代理 (MIP-HA)184、认证、授权、计费(AAA)服务器186和网关188。虽然 每一个前述元件被描绘为核心网络109的一部分，但是应当意识到，这些元 件中的任意一个元件都可以由核心网络运营商之外的实体所拥有和/或运营。
MIP-HA可以负责IP地址管理，并且能够使WTRU 102a、102b、102c 在不同的ASN和/或不同的核心网络之间漫游。MIP-HA 184可以向WTRU 102a、102b、102c提供到分组交换网络(诸如因特网110)的接入，以促成 WTRU 102a、102b、102c与IP使能设备的通信。AAA服务器186可以负责 用户认证和用于支持用户服务。网关188可以促成与其他网络的互通。例如， 网关188可以向WTRU 102a、102b、102c提供到电路交换网络(诸如PSTN 108)的接入，以促成WTRU 102a、102b、102c与传统陆上线路通信设备的 通信。另外，网关188可以向WTRU 102a、102b、102c提供到网络112的 接入，其中网络112可以包括由其他服务提供商所拥有和/或操作的其他有线 或无线网络。
虽然未在图13E中示出，但是应当意识到，RAN 105可以连接到其他 ASN，并且核心网络109可以连接到其他核心网络。RAN 105与其他ASN 之间的通信链路可以被定义为R4参考点，其可以包括用于协调RAN 105与 其他ASN之间的WTRU 102a、102b、102c的移动性的协议。核心网络109 与其他核心网络之间的通信链路可以被定义为R5参考点，其可以包括用于 促成归属核心网络与拜访核心网络之间的互通的协议。
上述参考的通信系统可以被用来实施这里描述的其中一个或多个实施 方式。例如，如这里描述的，这些通信系统或它们的一部分可以被用来传送 和/或对准视频数据。
虽然上面在特定的组合中描述了特征和元件，但是每个特征或元件都可 以被单独使用或者可以以与其他特征和元件的任意组合的方式使用。另外， 虽然特征和元件以特定的顺序被描述，但是这些特征和元件并不局限于所描 述的顺序。另外，本文描述的方法可以以被包括在计算机可读介质中以用于 由计算机或处理器执行的计算机程序、软件或固件的形式被实施。计算机可 读媒体的示例包括电信号(通过有线或无线连接传送)以及计算机可读存储 介质。计算机可读存储介质的示例包括但不局限于只读存储器(ROM)、随 机存储存储器(RAM)、寄存器、高速缓存存储器、半导体存储设备、诸如 内部硬盘或可移动盘之类的磁介质、磁光介质和例如CD-ROM盘和数字多 功能盘(DVD)之类的光介质。与软件相关联的处理器可以用于实施在 WTRU、WTRU、终端、基站、RNC或任意主机计算机中使用的射频收发信 机。