视听数据解码方法 本发明涉及一种对代表视听数据和由于在一个显示装置上将要再现景像的二进制描述，而可利用的一种连续的比特流形式的编码数字信号进行解码的方法，所述方法包括根据一种进化的语法语言和所提供的用于从所述比特流中抽取的处理操作，在第一步中，根据所述景像的结构区别称作物体的元素，在第二步中定义所述景像元素的单个动画，在第三步中特别定义一个用户和所述元素之间的交互作用，以及在第四步中按照申请地不同类别构成所述景像元素和相应的单独动画与/或用户交互作用之间的特殊关系。本发明将主要运用于未来的MPEG-4解码器中。
处理帧基(framed-based)视频和音频的众所周知的MPEG-1和MPEG-2标准的最重要的目标是通过压缩相关数据，使得存贮和传输更加有效。未来新的MPEG-4解码标准从根本上是不同的，因为它是将代表的是作为物体合成的视听景像而不仅仅是象素。每个景像被定义为给出了在时间和空间的关系的视听物体的编码表示，无论以任何方式，其中所述已给出的景像被预先在这些物体(或片断)中构成。
迄今为止，处理自然和合成源的标准机体通常是不同的。由于在一个终端屏幕上显示这些多介质内容，良好的三维性能正快速变为许多领域中改进的重要部分，包括使用了(VRML-或虚-实模型语言-是现在用于规定和传递基本3D-图形-交互作用虚拟环境)的多介质和万维网，MPEG-4标准共同地考虑了自然材料(视频、音频、语音)并且合成的材料(2D和3D图象以及合成声音)以及将它们结合成一个标准的比特流，为了组成景像内的这些视听信息，它们的时间空间关系需被传送到终端。
MPEG-4标准除景像描述信息之外还定义了合成描述语言以描述一个视听物体的比特流显示的二进制语法。更确切地，MPEG-4系统校验模型4.0建议景像描述为称之为用于景像的二进制格式(BIFS)的二进制格式。这种由具有属性和诸如事件源和目标等其它信息构成的描述，是基于假设景像结构是以参数描述(或字符)传输而不是以计算机程序来传输的。那么，景像描述能够通过运用编码的景像描更新来超时演化。以BIFS语法传送的节点描述也可以按照原文格式清楚地表达。一些MPEG-4节点和概念是VRML2.0节点的直接模拟。另外一些是修改VRML2.0，还有一些被加入用于特定的MPEG-4的请求。象VRML2.0语法一样，BIFS准备与用户用事件通过装置描述简单的行为和交互作用。然而以下解释的一些问题都不能通过这种格式解决。
这些编址问题首先涉及一个2D和3D混合景像的统一描述。在一个单纯的3D景像描述和一个单纯的2D景像描述以及一个混合2D/3D景像描述之间确实有根本的区别。在一个3D景像中，物体的分层是以深度信息为基础的。在2D中，缺乏层次的概念且层次布置应被清晰地定义。另外，2D和3D图象的混合可伴随有几种方法：
(1)在2D景像中嵌套3D物体：
(a)这是当想要在2D背景前重现3D物体的情况下的实例：在这种情况下，当用户航行于景像中时，背景不移动。
(b)另一个实例是一个应用，其中用户界面包含2D物体(如按钮或文本)以及一个重现景像的3D取景器。
(2)在3D景像中嵌套2D物体：
(a)这是用视频物体作为3D物体上纹理映射的情况下的实例。
(b)另一个实例是由2D图形制作的纹理(这是一个“动态图象”的特殊情况，那是一个由几个合成2D物体制作成的在3D景像中的一个2D平面)。
(3)这两种图象可以循环地混合，例如用于在2D景像中嵌套3D物体和利用合成结果作为3D物体上的一个纹理图(此图可以用于模拟一个镜子的反射)；
(4)最后一种可能性是从不同的视点同时观察同样的3D图象。
此时，利用单个的景像图形不可能描述所有这些可能性。一个景像图形是通过称作节点的物体的分层表示一个景像的一棵树。景像由组节点和子节点组成。组节点的角色是定义景像的体系和立体结构。子节点是树叶。这些节点用于定义几何物体，光源还有各种类型的传感器(对用户交互作用敏感的物体)。组节点包括子节点。这些子节点可以是子节点或其它组节点。
所有节点具有称作域的属性。此域可以是任何类型。例如球状体是一个几何节点。它具有定义其半径的域。它是一个类型浮标的单值域。组节点的子节点在一个特殊的域中确定。此域是一个多元值域(节点列表)，且每一个值是类型节点(MFNode)。
现在，为了在景像中定义动画和用户交互作用，利用一个称之为路由选择的事件通过装置建立域之间的连接是可能的。从域A到域B的路由选择意味着无论何时域A改变，域B将采用与域A相同的值。只有相同类型的域(或同样的种类)可以连接。域可以被区分；一些可能只是路由的目的地，它们被称作eventIn，其它的可能只是在路由的起点，它们被称为eventOut，其余的可能是既是路由的起点，又是路由的终点，它们被称为暴露域(exposedField)，最后，其它可能不能连接，它们仅简称为域。
在VRML，四个节点(视点，背景，图象模糊，导航信息)在景像中充当了一个重要的角色即是只有其中之一在给定时间可以是活动的。这些节点称为是束节点。
有许多理由去试图在一个相干框架中结合2D和3D的特征。
-整个2D/3D景像使用同样的事件通过装置是可能的；
-所表示的内容能够更加紧密；
-实现能够被优化，由于2D和3D的技术规范已经被设计为共同工作。
为了满足这些要求，需要在一个2D空间中合成代表2D或3D景像重现结果的2D和3D层，同样也利用2D或3D景像的重现结果作为在景像图形中向其它节点的一个输入。
还未解决的其余问题也被考虑，尤其是在以下情况：
(1)与2D物体的相互作用：可能需要与物体能够相互作用，改变分层，增加或移动物体，不用一种方法去设置2D物体的层次以适应VRML2.0的事件通过装置是不可能。
(2)单独事件路由器，为了提供交互作用和简单的状态性能：通过应用此实例能够显示一个移动中的2D地图，用于导航的地图要求确定用户从2D物体(图象)到3D景像(视点)触发事件的路由的能力。
(3)景像球状分层结构：当一个景像图形表示牵涉到景像的分层组织时，2D或3D层不应被认为是另外的图形物体，并与总的景像图形混合(还有，层是分级的，例如在图1的层次图形中所介绍的，以后再做解释)；
(4)与视频物体的交互作用：MPEG-4的特点是一个物体级交互作用，例如视频的描述是一组物体而不是一组象素，它允许与视频内容交互作用(如在一个视频中剪切或粘贴一个物体)和需要通过内容生成器为每个应用定义(所述不是终端本身的特点的交互作用，可以通过BIFS被描述，但对于此，各种视频物体的组成必须以BIFS本身描述)。
因此本发明的一个目标是提出了一个BIFS的改进，目的是为了充分描述从2D和3D物体建立的复合景像的组成。此改进允许全部景像及其布置的统一表示，事件通过也不仅仅在3D景像内(象在VRML2.0中)也在2D和3D节点之间，并且也允许定义可以用景像来传送的特殊用户界面，而不利用由终端提供的默认的用户界面。
为此，本发明涉及在前文所述中描述的一种方式，并且其特征还在于所述处理操作也包括一个额外的步骤用于描述复合景像，按照结合二维和三维特点的框架结构和统一景像结构的表示和合成设备建立任何种类的二维和三维物体。
更确切地说，所述框架结构其特征在于所述额外的描述步骤包括第一主要子步骤，用于按照所有组节点中构成的一个树状结构定义一个所述景像的层次表示，此树状结构显示出相关景像立体组合的层次连接，并且在子节点中构成的是树叶，以及一个第二附加子步骤用于定义任何种类节点之间的可能的横向连接。
在所提出的方法中的一个改进的实施例中，树结构节点包括至少一个二维和三维物体，以及附加定义子步骤包括一个第一操作，用于在至少一个所述三维物体中嵌套至少一个所述二维物体，一个可选择的第二操作，用于定义所述二维和三维物体之间的横向连接，以及一个可选择的第三步骤，用于控制在所嵌套的所有二维物体中和在相应的原始物体中至少一个单独的动画与/或至少一个特定的交互作用的定义步骤。
在此方法中另一个改进的实施例中，树结构节点至少包括二维和三维物体，以及附加定义子步骤包括第一操作，用于在至少一个所述二维物体中嵌套至少一个所述三维物体，一个可选择第二操作用于定义所述二维和三维物体之间的横向连接，以及一个可选择第三操作，用于控制在所嵌套的所有三维物体中和在相应的原始物体中至少一个单独的动画与/或至少一个特定的交互作用的定义步骤。
在此方法中另一个改进的实施例中，树结构节点至少包括三维物体，并且附加的定义子步骤包括第一操作，用于在至少所述三维物体中的任何一个中嵌套至少一个所述三维物体，一个可选择第二操作，用于定义所述三维物体之间的横向连接，以及一个可选择第三操作，用于控制在所嵌套的所有三维物体中和在相应的原始物体中至少一个单独的动画与/或至少一个特定的交互作用的定义步骤。
无论怎样这两个最终的实施例，能够注意到的是所述附加定义子步骤也可以包括一个附加的操作，用于控制从各种不同视点至少一个单个的三维景像的同时重现，同时保持第三操作用于控制单个的动画与/或特定的交互作用的定义步骤。
本发明不仅只涉及先前所述的具有或不具有选择性操作方法，还涉及到因执行它的各种各样方式中的任何一种来获得的任何信号。很清楚地说明，本发明涉及一个从输入比特流中抽取之后所获得的信号，在第一步骤中，根据景像的结构区分称之为物体的元素，在第二步骤中定义一个景像所述元素的单独的动画，在第三步骤中定义用户和所述元素之间特别的交互作用，第四步中按照不同类别的应用组织定义所述景像元素和相应的单独动画与/或用户交互作用之间的关系，并且执行一个附加步骤用于描述一个复合景像，此景像是按照结合二维和三维特点的框架结构和统一景像结构的表示和合成设备而建立的任何种类的二维和三维物体。
这样的信号允许一起描述二维和三维物体，以及按照树结构组成景像的分层表示，此树结构是在一组节点中构成定义了分层连接，并且在子节点中，所述节点允许一起构成由2D景像图形，3D景像图形，分层景像图形以及这些景像图形节点之间的横向连接组成的单个景像图形。
这些信号也允许定义已经组成的和将要在屏幕上组成的2D或3D景像，对于深度的表示，或者允许定义3D景像，其中将嵌套已经由2D或3D物体组成的其它景像，或者也定义用于由其它2D或3D物体组成的3D物体本身的纹理。事实上，这样的信号允许与任何景像的2D或3D物体相互作用并在所有这样景像的物体之间组成任何类型的传输。明显地，本发明也涉及一个用于存贮所述信号的存贮介质，无论是何种类型和它的组成。最后，本发明还涉及一种装置，用于在诸如上述信号的基础上以任何其它方式显示或传送图形景像，目的是为了重新组成包括二维和三维物体的任何类型的景像。
本发明的特点和优点从下面的描述和附图中看将变得更加明显，其中图1是一个完整的景像图形例子。
图1中的景像图形所示为按照树结构的所述景像的分层表示。此结构是一个表示显示装置屏幕的矩形区的分层体系，按照本发明，所述分层由节点构成(在组节点GN中也定义为分层连接或在子节点CN中为树叶)，可能具有这些节点之间的横向连接(在图1中，例如在子节点3D物体-2和组节点2D景像-1之间，用于图解说明包括一个2D景像的3D物体的位置，或在组节点3D景像-2和3D景像-1之间，用于说明从不同的视点观看到的两个包括相同的3D景像的3D层的位置)。
在所述图解说明的景像图形中，事实上三个不同的景像图形具有：2D形的景像图形，3D形的景像图形，以及景像图形的层次。如图中所示，3D层-2与3D层-1的景像相同，但视点不同。3D物体-3是运用2D景像-1作为纹理节点的外观节点。
本发明的原理是提出将2D/3D合成物的描述统一为一个单独的图形的新节点。
首先定义两个新节点是为了描述2D和3D层的分层结构。2D和3D层由2D投影重现区的分层集合组成：
-2D层：2D层的子节点可以是2D层，3D层，以及所有适用于2D景像的描述的节点。
-3D层：3D层的子节点可以是2D或3D层以及描述一个3D景像的景像图形。
所定义的新节点也是为了能够利用2D和3D组合景像用于在3D世界中的纹理输入，为了能在3D物体上映射。
-复合2D纹理：这是包括作为一个2D景像的子节点的纹理地图，并且所组成的2D景像被用于作为纹理映射。
-复合3D纹理：这是包括定义一个3D景像的子节点的纹理映射。复合3D景像被用于作为纹理映射。原理上是能够在利用此节点去映射从另一个视点观看到的现存3D景像的重现结果。例如此节点有利于模拟反射结果。
以上一个很有用的特殊情况是当一个复合2D景像在3D的矩形区中的映射。能够看到的是在3D区中插入一“动态图象”。由于这样一个节点的实现与复合纹理2D节点的实现区别很大，因此就意味设计一个特殊的节点用于这种情况。那么一个动态图象节点就在下面的描述中提出。
最后，为了确定视点或其它成束的子节点的预定义值到上述所指出的节点之间的发送路由，定义了一个特定的评价者节点。此节点能够被运用在BIFS规定的更宽范围，或者能够被定义为依从VRML2.0标准。
解释本发明的原理，这些新节点的语法和定义在以下段落(A)到(F)将作更精确的表示。
(A)2D层定义和语法。
2D层节点被定义为组节点。它定义了将在屏幕上重现2D物体的一个区。三个域(或属性)描述了此节点相对于其它物体将怎样被实现：它的大小，它的位置和它的层次。这些域可以是路由的起点或目的地。这样它们是暴露域(exposedField)。这个2D层节点可以是同类型其它节点(如也是2D层)或以下定义的相似类型节点(3D层)的母节点。这可以由类节点的多元值域来描述(MFNode)。此外，此节点可以是所示2D物体节点的母节点。这也可以由类节点的多元值域描述(MFNode)。
在BIFS语言中，2D层节点如下所述：
子2D域能够具有定义一个2D景像的任何2D组或子节点的值。子层域能够以2D或3D层节点中的任何一个为值。2D层节点的子节点的指令(分层)显然通过运用变换2D节点(transform2D)给出.。如果两个2D节点是同一变换2D的子节点，则2D节点的分层按照变换2D的子域的子节点的顺序进行。
2D和3D层的分层布置由位移和深度域来确定。尺寸参数用浮点数给出，并且根据前后关系情况可以用象素或“自动记录仪”中的0.0至1.0之间的值表示。对于位移参数也同样。在一方向上-1意味着2D层节点没有指定此方向上的尺寸，并且观看者可决定再现区的尺寸。
相同2D层节点下的所有2D物体构成一单独的组合物体。此组合物体被其它物体看作是一单一物体。换句话说，如果2D层节点A是按一个在另一个上面分层的两个物体B和C的母节点，如果D不是作为A(B)3D层定义和语法定义的子节点加入的话，就不可能在B和C之间插入一个新的物体D。
类似地，3D层节点被定义为组节点。它在屏幕上定义了一个再现3D物体的区。三个域(或属性)描述了此节点相对于其它物体将怎样被再现：它的尺寸，它的位置和它的深度。这些域可以是路由的起点或目的地。因此它们是暴露域(exposedField)。此节点可以是同类型其它节点(如3D层)或相似类型节点(2D层)的母节点。这可以由类节点的多元值域来描述(MFNode)。此外，此节点可以是表示3D物体节点的母节点。这也可以由类节点的多元值域描述(MFNode)。
在需要几个同样2D世界(或物体)的影像的特殊情况下，对于成束的节点提出了一个问题，因为不可能说每一个成束节点中只有一个在整个应用的同一时间是活动的。然而，每一个成束节点中只有一个可以在每一个3D层是活动的。这种情况要求3D层节点具有一个用于每一个成束节点的暴露域。
在BIFS语言中，3D层节点如下所述：
-->exposedField SFVec2f 位移 0 0exposedField SFInt32 深度 0exposedField SFVec2f 尺寸 -1-1exposedField SFNode 背景 空exposedField SFNode 景像模糊 空exposedField SFNode 导航信息 空exposedField SFNode 视点 空}]]>
子3D域能够具有定义一个3D景像的任何3D组或子节点的值。子层域能够将2D或3D层节点中的任何一个为值。2D和3D层的分层布置由位移和深度域来确定。位移域的表示，象在2D层中的情况一样也是用象素或“自动记录仪”中的0.0至1.0之间的值表示。尺寸参数象在2D层中一样具有同样的语义和单元。在一方向上-1意味着3D节点没有指定此方向上的长度，并且观看者可决定再现区的尺寸。所有成束的子节点被用作3D层节点的暴露域。在运行期间，这些域将用于3D景像的当前界限内成束子节点的值置为3D层节点的一个子节点的值。例如允许将当前视点置为3D层以响应一些事件，由于景像可以在不同之间共享，这些事件不能够通过直接运用将视点节点的设置束值(set-bind eventIn)为事件进入来实现。
在3D景像在几个3D层之间共享的情况下，各种传感器节点的状态如下所定义：无论何时，3D层中所包含传感器中的任何一个被触发，传感器就触发一个事件。
(C)复合2D纹理的定义和语义
复合2D纹理是一个象VRML2.0图象纹理节点那样的纹理节点。然而，它被定义为组节点。它可以是任何2D节点的母节点。由此节点表示的纹理起因于在子域中所描述的2D景像的合成。
在BIFS语言中，复合2D纹理节点如下所描述：
MFNode型子2D域是定义映射到3D物体上的2D景像的2D组和子节点的列表。此尺寸域定义此映射的大小。此单元与2D/3D层的情况一样。如果左边是默认值，将利用一非定义尺寸。复合2D纹理节点只能被用于作为一个外观节点的纹理域。
(D)复合3D纹理定义和语义。
复合3D纹理是一个象VRML2.0图象纹理节点那样的纹理节点。然而，它被定义为组节点。它可以是任何3D节点的母节点。由此节点表示的纹理起因于在子域中所描述的3D景像的合成。而对于3D层节点，利用暴露域解决束节点的问题。
在BIFS语言中，复合3D纹理节点如下所描述：
MFNode型子3D域是定义映射到3D物体上的3D景像的3D组和子节点的列表。尺寸域以映射象素定义尺寸(如果左边作默认值，那么将利用未定义的尺寸)。下述四个域代表3D景像中所运用的子节点束的当前值。复合3D纹理节点只能被用于作为一个显示节点的纹理域。
(E)复合映射定义和语义。
复合映射节点是局部坐标系的z＝0矩形平面所表示的复合2D纹理节点中的一个特殊情况。此有用的复合2D纹理节点的子集将能够有效地处理相结合的2D和3D组合的简单情况。
在BIFS语言中，有效映射节点如下所述：
MFNode型子2D域是定义映射到3D物体上的2D景像的2D组和子节点的列表。景像尺寸域以2D复合景像的象素定义尺寸(如果左边是默认值，将利用非定义尺寸)。中心域定义xOy坐标系中复合映射的中心坐标。映射尺寸域确定在3D空间中2D景像所映射的矩形区的尺寸。此节点能被用于任何3D子节点。
(F)赋值设备定义和语义。
赋值节点是用于按规定路由发送一个预定义值到另一个节点的域的节点。它具有每一个现存类型的暴露域。无论何时它的其中之一的暴露域被修改或通过事件输入(eventIn)被触发，则赋值域被触发。
在BIFS语言中，赋值域节点如下所述：
参数的语义是一个简单的恒定值。此值可以被路由到能够明确设置域值的相同类型的另一个域。可用事件(eventIn)设置_活动域将路径选择激活。
上述解决方案解决了编址问题。事实上是获得了用于完整2D/3D景像的单一显示以及2D和3D物体的球状交互作用，并且由于现所描述的2D和3D物体在同样的文件中(或流)，在这些域间可能会使用同样的路由器。关于此功能的一实例，其中对于由一个立方体和色彩调色板组成的3D景像在2D景像中以2D圆环显示，当用户接触到此调色板中的一种颜色时，立方体颜色被设置到所接触的颜色，在附件A中给出。
另外，如图1所示，两个节点2D层和3D层被设计为在单一球状分层结构中构成景像。也必须指明的是以纹理映射组合的2D景像和2D复合映射是概念上非常类似的。复合映射定义了与2D复合景像相映射的矩形平圆面纹理。作为纹理映射的2D复合景像是一个可以被映射在任何几何图形上的纹理。
附件B给出了一个复合映射的例子。在此实例中，具有在立体世界原点的，在一个由2个图像组成的平面上的2.0x4.0矩形区。用户可以接触2个图象中的任何一个以触发一个动作(此动作在例子中没有说明)。
附件C给出对于3D复合景像作为纹理映射的复合映射的另一个实例。在此实例中，在3D层中有一个立方体。此立方体具有一个从特殊的视点观看的一个圆柱体的再现所组成的纹理映射。用户可以接触此圆柱体来触发一个动作(此动作以例子中没有指出)。
关于同一景像的多视点观察，所提出的解决方法允许同一景像从不同的视点在几个3D层中显示。此外，此景像的视点可以通过触及一些2D图象来修改。此功能在最后的附件D中所给出的实例中表示。