使用空间可调性及同时传送编码的多投射环境的视讯压缩 【发明背景】
本申请要求1999年12月22日申请的美国专利申请No.60/171,774的优先权。
本发明和数字电视及类似者，更特别是和多投射应用的视讯编码架构有关。本发明特别适用于提供经由如网际网络通讯协议(IP)网络的计算机网络多投射视讯的冲流视讯服务器。一多投射传输可使用同时传送(″Sim″)或空间可调性(″SS″)编码。
多投射视讯服务通常需考量三个主要因素：
(1)到达收看者的费用(以视讯编码而言)；
(2)服务品质(如视觉品质)；以及
(3)编码复杂性对译码复杂性。
一些多投射系统选择只使用同时传送编码(比特流独立编码以达到视讯可调性)。该同时传送方式没有额外编码器或译码器复杂性，故符合前列的第三要素。
在一些应用环境编译码器复杂性可能并不重要，而该前二要素是主要问题。对这些服务所用视讯压缩(编码)架构的选择遵守对二或多个服务率配置之一既定总组合，对用户想要有可选择最高尖峰信号噪声比(PSNR)的编码架构的规则。另外对既定的品质需求(如各比特流的PSNR)，想要有可达最小总位配置的编码架构。
直觉上可调比特流(和编码比特流有关)表现应较同时传送编码佳。此推论建议无复性限制的一多投射实施应只使用空间可调性。但本发明人发现同时传送编码在特定作用区域表现较空间可调性佳。此惊人的发现使得必需决定对既定应用要使用的方法，并在二编码方法中提供一自适性切换技术。
最好提供一在多投射视讯服务的空间可调性及同时传送编码间选择地最佳方法。此一方法应能决定对一特定通讯链接用户的视讯编码应使用同时传送编码或是空间可调性。若除对特定状况进行决定外，该方法可用来对一般的情形架构决定区域或在该二方法间自适性切换是更好的。对用户间位配置的同时传送编码及空间可调性作用点应亦利用此方法决定。
本发明提供的系统有前述及其它优点。
【发明内容】
本发明提供一在空间可调性及同时传送编码间选择以提供有效压缩架构的最佳技术。特别是同时传送编码在配置于该基层位比例小时性能可优于空间可调性。
亦提供一技术决定应使用同时传送编码或空间可调性对特定通讯键结的用户视讯编码。亦决定同时传送编码及空间可调性的作用点。利用该作用区导控该切换，亦提供该二方式间的自适性切换。
本发明亦提供一方法用以决定同时传送编码二层的等品质点。达到等品质的配置于该基层位比例和同时传送及空间可调性的总比特率无关。提出对应方法及装置。
【附图说明】
图1是具二层的一般可调编码器/译码器(CODEC)方块图；
图2说明具二层的时间可调性；
图3说明具二层的空间可调性；
图4是提供二比特流同时传送编码的系统方块图；
图5是该QCIF车上电话视讯串行单一层编码的PSNR对比特率图；
图6是该CIF车上电话视讯串行单层编码的PSNR对比特率图；
图7是对总比特率0.29、0.32及0.35 Mbps的车上电话视讯串行QCIF/CIF同时传送、PSNR对总位配置于该较低分辨率流比例图；
图8说明求得该QCIF/CIF车上电话视讯串行同时传送编码二层等品质点所需叠接的范例；
图9是一QCIF/CIF同时传送的PSNR对总比特率图，其中对既定总比特率的较低分辨率流及较高分辨率流PSNR相等；
图10是一QCIF/CIF同时传送的总位于该较低分辨率流比例对总比特率图，其中对既定总比特率的较低分辨率流及较高分辨率流PSNR相同；
图11是该车上电话视讯串行QCIF/CIF空间可调性编码的PSNR对总比特率图；
图12是总比特率0.29、0.32及0.35Mbps的车上电话视讯串行QCIF/CIF空间可调编码的PSNR对总位于该基层比例图；
图13是QCIF/CIF空间可调性的PSNR对总比特率图，其中对既定比特率，既定视讯串行的基层及提升层PSNR相同；
图14是QCIF/CIF空间可调性的总位于该基层比例对总比特率图，其中对既定比特率，一既定视讯串行的基层及提升层PSNR相同；
图15为PSNR对QCIF/CIF同时传送的总比特率及车上电话视讯串行的空间可调编码的图，其中QCIF及CIF视讯串行对一给定的总比特率具有相同的PSNR；
图16是信息视讯串行的QCIF/CIF同时传送及空间可调性编码的PSNR对总比特率图，其中既定总比特率的QCIF及CIF视讯串行PSNR相同；
图17是该领班视讯串行的QCIF/CIF同时传送及空间可调性编码的PSNR对总比特率图，其中既定总比特率的QCIF及CIF视讯串行PSNR相同；
图18是篮式视讯串行的QCIF/CIF同时传送及空间可调性编码的PSNR对总比特率图，其中既定总比特率的QCIF及CIF视讯串行PSNR相同；
图19是静音视讯串行的QCIF/CIF同时传送及空间可调性编码的PSNR对总比特率图，其中既定总比特率的QCIF及CIF视讯串行PSNR相同；
图20是总线视讯串行的QCIF/CIF同时传送及空间可调性编码的PSNR对总比特率图，其中既定总比特率的QCIF及CIF视讯串行PSNR相同；
图21是0.29Mbps总频宽的车上电话视讯串行的PSNR对总位于该基层(对SS)或该较低分辨率流(对Sim)的比例图，其亦说明在基层及提升层(对SS)间及该较低及较高分辨率流(对Sim)间的折衷；
图22是0.32Mbps总频宽的车上电话视讯串行的PSNR对总位于该基层(对SS)或该较低分辨率流(对Sim)的比例图；
图23是0.35Mbps总频宽的车上电话视讯串行的PSNR对总位于该基层(对SS)或该较低分辨率流(对Sim)的比例图；
图24是0.29Mbps固定比特率的基层(对SS)或较低分辨率流(对Sim)的车上电话视讯串行的PSNR对该提升层(对SS)或较高分辨率流(对Sim)的图；
图25是0.05Mbps固定比特率的基层(对SS)或较低分辨率流(对Sim)的车上电话视讯串行的PSNR对该提升层(对SS)或较高分辨率流(对Sim)的图；
图26是同时传送及空间可调性决定边界的提升层(对SS)或较高分辨率流(对Sim)比特率对该基层(对SS)或较低分辨率流(对Sim)比特率的图；
图27是同时传送及空间可调性决定边界的提升层(对SS)或较高分辨率流(对Sim)归一化比特率对该基层(对SS)或较低分辨率流(对Sim)归一化比特率的图；
图28的方块图说明使用同时传送编码的多投射传送范例；
图29的方块图说明使用空间可调性编码的多投射传送范例；
图30是同时传送及空间可调性决定区域的提升层(对SS)或较高分辨率流(对Sim)比特率对基层(对SS)或较低分辨率流(对Sim)的图；
图31说明依照本发明一自适性同时传送/空间可调性编码装置。
【具体实施方式】
本发明提供在如多投射视讯的多投射服务的同时传送编码及空间可调性间选择的技术。
先提供一般可调编码(空间可调性和时间可调性)的简介。以一MPEG-4编译码器进行仿真以了解以多重空间分辨率传送相同视讯串行的相关问题。除在同时传送编码及空间可调性间做决定外，一问题是适当配置不同层的位。
提供一般的原则并详细检讨在二层达到等品质的情形。由四分的一共同中间形式(QCIF)及共同中间形式(CIF)分辨率串行得到的结果可直接用于如一多投射环境的视讯传送。
当使用QCIF做为较低分辨率数据范例及CIF做为较高分辨率数据范例时，这些只是举例，而可使用其它合适的数据形式。
CIF是用来使计算机化的视讯影像可在计算机间共享。一以CIF数字化的影像分辨率为352×288或352×240，本质上是CCIR 601分辨率的一半。国际无线电咨询委员会建议以CCIR 601将彩色视讯信号数字化，这涉及RGB至YCrCb的色隙转换，用于限制频宽的数字滤波器、取样率(定义为13.5MHz)及该水平分辨率(720作用像素)。
许多应用想能以各种分辨率及/或品质送收视讯。一种方法是利用可调或分层编码，这是将视讯编码为一独立基层及多个相关的提升层的处理。这使得一些译码器将该基层译码以接收基本视讯，而其它译码器将该基层及提升层译码以得到较高的时间分辨率、空间分辨率及/或视讯品质。
可调性的一般概念以具二层的一编译码器于图1说明。要知道可使用额外的层。该可调编码器100有二个输入串行并产生二个比特流在一mux 140多任务。详细说，在基层编码器110处理该输入基本视讯流或层，并在中间处理器120上取样，以在提升层编码器130提供该输入提升视讯流或层预测编码的一参考影像。
注意该基层的编码及译码作用完全和不可调、单一层状况相同。除了该输入提升视讯，该提升层编码器使用该中间处理器提供的基层信息有效对该提升层编码。在经可为如像网际网络的计算机网络或像有线电视网络的宽频通讯频道的一频道通讯后，该总比特流在demux150解多任务，而该可调译码器160仅利用一基层译码器170、一中间处理器180及一提升层译码器190反转该可调编码器100的作用。
该MPEG-2标准定义空间、时间及品质(SNR)可调性的可调式工具。MPEG-2着重的主要商业应用是数字视讯碟及数字电视，通常不使用可调性其它功能的应用。故过去MPEG-2可调编码的商业用途受限。但如冲流视讯的新应用可因可调性大为受益。可调式编码用途的一范例是在多投射环境的视讯传送。用户有大范围的处理能力、内存资源及可用频宽。这需要提供不同视讯品质及/或分辨率以满足客户不同能力的服务器。最近完成的多媒体标准MPEG-4版次1提供二种可调性：时间及空间。除于视讯帧(画面)引用可调性外，该标准亦定义任意形状物体的可调性。
本发明观念一般适用于任意形状物体，但本文着重于以帧为基础的可调性。除了时间及空间可调性，目前正评估将品质可调性的第三种可调性编码，所谓细颗粒可调性(FGS)包含于MPEG-4。在讨论同时传送编码前提出MPEG-4的时间及空间可调性简述。
时间可调性除该基层外利用一或多个提升层使该时间分辨率增加。
图2显示一二层的时间可调编码范例。利用只将该独立基层200译码得到基本视讯，这和该不可调单一层状况方式相同。利用该相关提升层250提供具如该基本视讯时间分辨率七倍的视讯。不论是否使用该提升层250均得相同的空间分辨率。该提升层250的一帧可由该基层显示顺序中前一或下一帧以及相同层中最近译码的帧使用动作补偿预测。
空间可调性除该基层外利用提升层使该空间分辨率增加。图3显示一二层的空间可调编码范例。利用只将该独立基层300译码得到视讯，这和该不同调单一层状况方式相同。利用该相关提升层350提供具如该基本视讯空间分辨率二倍的视讯。不论是否使用该提升层均得相同的时间分辨率。该提升层的一帧可由该基层的暂时重合帧以及相同层中最近译码的帧使用动作补偿预测。
另一以多分辨率或品质传送视讯的方法是同时传送编码。图4显示具二比特流的同时传送编码范例。对同时传送编码该等流是独立的，但可调编码通常视的为一独立基层和一或多个相依编码的提升层。和可调编码相较，一同时传送流(称为一较低分辨率流)分辨率和该基层相同，而其它同时传送比特流(称为较高分辨率流)分辨率和该提升层相同。
第一及第二输入比特流分别在对应视讯编码器420及410编码。该输入视讯#1假设为一较低分辨率流，同时该输入视讯#2假设为一较高分辨率流。这和各表示的独立编码有关及通常没可调编码有效，因未利用另一比特流的类似信息。该比特流则在一mux 430多任务，于一些频道传送，在demux 440解多任务及在一同时传送译码器450分别由视讯译码器470及460独立译码。其和可调编码不同，将该较高分辨率视讯译码无需额外的译码器复杂性。这在商业应用可能很重要，因额外的译码器复杂性常增加接收器成本。
本发明着重于空间可调性及其相对的同时传送性能。已以一MPEG-4编码器或矩形视讯进行仿真以了解以各种空间分辨率传送视讯的问题。分层编码的一问题是在层间适当配置位。除检查同时传送编码及空间可调性间的差异外，和本发明有关的研究着重于决定位配置的规则。
讨论六种不同视讯串行，即篮式、总线、车上电话、领班、音信及静音式。此组串行复杂性范围很大，故其结果一般应适用于其它串行。该篮式及总线串行有大量动作及可对大部份编码器有压力。该音信及静音串行有很多静态背景故容易有效压缩。该原始串行为CIF形式(288×352像素)及QCIF形式(144×176像素)。该串行由下取样产生(未使用任何抗混淆滤波器即杀掉)。各串行是150帧长及该来源及显示帧率为每秒30帧。使用一MPEG-4编码器将该同时传送及空间可调流以各种量化程度编码而未控制速率。表1显示该仿真所用的参数。″VOP″视为该MPEG-4标准的一视讯对象平面。同时传送流较低层同时传送流较高层可调流的基层可调流的提升层Qr QP QB 架构MN范围{4，6，8，...，24}min(1.4 Qr，32)min(1.8 Qr，32)IPPBPPB...3128{4，6，8，...，24}min(1.4 Qr，32)min(1.8 Qr，32)IPPBPPB...3126{4，6，8，...，24}min(1.4 Qr，32)min(1.8 Qr，32)IPPBPPB...3128{6，8，10，...，24} min(1.4 Qr，32) min(1.8 Qr，32) PBBPBBPBB...12---16QrQPQB架构MN范围 I-VOP的量化装置 P-VOP的量化装置 B-VOP的量化装置 画面架构 连续P-VOP间的周期 连续B-VOP间的周期 动作向量寻找范围
表1：仿真参数
在此的品质量测为该PSNR，其定义为在相同分辨率该译码视讯和该输入视讯相较的亮度(Y)部份尖峰信号噪声比。在此使用的品质量测虽为PSNR，亦可使用其它量测包含如MSE(均方误差)及一感觉失真量测。在此所用PSNR定义为20*log10(MSE)(dB)。
单层编码
图5及6显示该QCIF及CIF车上电话串行编码的单层编码。该图标″150-30fps″表示每秒30帧的一150帧串行。注意150帧是任意选择的长度，而可使用许多合适的串行长度。空间可调性及同时传送编码观念上可在每个画面发生。但这可导语律问题。在画面组(GOPs)间切换实际是可能的。
另外在此及其它图式，该比特率是一串行的平均比特率。该圆圈表示实验结果，而该虚线500、600分别表示利用以下模型的数据对数：
PSNR＝Aln(比特率)+B
该模型使各单层由二参数(常数)A及B表示(于此模型有效的比特率范围)。″ln″表示该自然对数。″比特率″是该图的″x″参数。
同时传送编码
当传送多串行面临的标准情形是该总频宽的一制约。
图7是总频宽0.29、0.32及0.35Mbps的QCIF/CIF同时传送的PSNR对总位于该较低分辨率流比例的图。该图显示利用分别限制总频宽为0.29、0.32及0.35Mbps的车上电话QCIF及CIF串行的同时传送(″Sim″)可达成的不同品质范例。二者的品质以总位于该较低分辨率流(即该QCIF流)比例的函数画出。该实线700、710、720分别代表0.29、0.32及0.35总比特率的较低分辨率(QCIF)串行的PSNR。该虚线750、760、770分别表示0.29、0.32及0.35总比特率的较高分辨率(CIF)串行的PSNR。
注意二层数据的单调性，即该PSNR为稳定增加或减少(无尖峰或凹处)。
该等图式虽以于该基层或提升层(对SS)，或于该较低分辨率流或较高分辨率流(对Sim)的位比例表示，但这些值亦可以位绝对数、百分比、一固定参考值的比例或百分比，或任何其它线性或非线性测量或标度。
同时传送编码中单一流的独立性使该QCIF流配置位增加，而其它(CIF)流减少，则品质改善。这很合理，因提供一流的额外位是由其它流中取出以维持相同总频宽。
该图式中交叉的曲线表示该函数交会点，即二个流PSNR相等的点。此点可利用各流数据的对数及二分法求出，因各流的PSNR是一较低分辨率流比特率的单调性函数。
特别是二层PSNR的单调性表示若该二函数交叉将只会在一点交叉。在一些情形可能因总频宽不足或超过而不会有交叉点。可另使用出射状况检查比特率差以决定是否不相交。为求简化，以下算法将的省略。因此以下算法假设已选择使该函数交叉的一适当总比特率。可使用利用该层间PSNR的一二分法求出等品质的点。一范例算法如下：
1.假设固定总比特率RTOT及一收敛临界T＞0。
2.令R1及R2为该较低层单一层码的最小及最大比特率。
3.令R3＝(R1+R2)/2。
4.利用各层的对数值算出R3的PSNRlower及PSNRupper。
PSNRlower＝Alower Ln(R3)+Blower
PSNRupper＝Aupper Ln(RTOT-R3)+Bupper
其中Alower及Blower为该较低(较低分辨率)层的参数，而Aupper及Bupper为该较上(较高分辨率)层的参数。
5.使DIFF＝PSNRlower-PSNRupper。
6.若DIFF的绝对值小于T，
结束演算，而R3为同时传送编码的二层达同品质的较低层比特率。否则，
设定R1＝R3若DIFF＜0。
设定R2＝R3若DIFF＞0。
回到步骤3。
此算法只是如何找出交会点的一范例。亦可用如线性内插的其它技术。
图8是求得0.32Mbps车上电话串行的QCIF/CIF同时传送编码二流等品质点800所需叠算的范例。R1(i)及R2(i)分别代表该较低分辨率流在该算法叠算i的比特率R1及R2。注意图8显示该较低分辨率流绝对比特率。而图7显示该总位于该较低分辨率流的比例。应很容易知道在此及它处如何于此二种量标间转换。
图7的PSNRs交会点可视为二流约以等品质编码的位配置，因PSNR是相对画面大小归一化。注意此点在一些总频宽可能不会发生，因各流编的动态范围受限。
在如以在此使用的分辨率经网际网络冲流视讯的应用将希望能以大略相同的品质传送不同分辨率的二流。但其它应用的需求可能不同。例如考量相同同时传送系统的二不同议题。一个应用可能希望该较低分辨率流的品质较高以使大量的接收器接收该较低分辨率。另一应用可能希望该较高分辨率流的品质较高，以使该接收器接收较高的分辨率，因接收整个同时传送流所需的频宽成本较高。以下章节的分析着重于二个流达到同品质，但这可能并非一些应用的目的，而此问题在下文重新提及。
图7另外说明位配置于该较低分辨率流以在该二流达等品质的比例本质上和总比特率无关。这是很有用的结果而其重要性可由以下范例看出。假设一多任务器和同时传送比特流组合，并已在流间决定适当的位配置。该先前的结果建议该多任务器在对总频宽的变化反应时不必重新决定适当的位配置。反而是配置于各流的位比例应维持相同。
图9及10显示对多种约束总频宽的不同串行执行上述分析的结果。图9显示该PSNR对测试串行篮式900、总线910、车上电话920、领班930、信息940及静音950的比特率。
该较低分辨率(QCIF)及较高分辨率(CIF)的品质各串行只以一曲线显示，因本图的数据由要求二流的PSNR相同而得，而所示的比特率是总比特率。例如对篮式串行900在总比特率为1Mbps时，二流的PSNR约为24dB。当总比特率缓缓增加，二流的PSNR增加，在总比特率为4.5Mbps时约达32dB。
图10显示总位于该较低分辨率流的比例对该测试串行篮式1000、总线1010、车上电话1020、领班1030、信息1040及静音1050的总比特率。此数据显示约40±4％的总频宽应配置于该较低分辨率流，以在同时传送编码的二流达同品质。此结果可做为同时传送比特流位配置的一般原则。
空间可调编码
图11显示该车上电话QCIF及CIF串行的空间可调(″SS″)编码结果。各数据点的横坐标(于该水平轴)为二流的总比特率，而纵坐标(于该垂直轴)代表使用空间可调性的提升层(该较高CIF分辨率)PSNR。各组曲线使用相同的较低分辨率QCIF基层(因此基层比特率及PSNR)，及不同的提升层比特率。该圆圈表示实验结果，而该虚线是使用相同基层的各组曲线对数值。表2列出各组曲线的对数(Y＝A ln(X)+B)参数(A及B)及该QCIF基层PSNR及比特率(单位为Mbps)。基本比特率 (Mbps) 基本 PSNR A B 0.286 0.171 0.108 0.0835 0.0714 0.0625 0.0561 0.0518 0.0492 0.0472 0.0456 36.46 34.11 32.73 31.69 31.04 30.46 29.92 29.48 29.09 28.76 28.44 9.40 6.89 5.70 5.36 5.32 5.36 5.40 5.47 5.55 5.62 5.66 41.34 40.90 40.45 40.26 40.26 40.34 40.41 40.49 40.53 40.61 40.62
表2：QCIF/CIF(车上电话)空间可调编码基(QCIF)层特性
在图11该0.286、0.171及0.108基层比特率分别示于曲线1100、1110及1120。剩余0.0835至0.0456比特率示于该集合曲线1130。
检查该总频宽的一制约的车上电话QCIF及CIF串行的空间可调编码。图12是总频宽0.29、0.32及0.35Mbps QCIF/CIF空间可调性的PSNR对于该基层的总位比例的图。该图显示可由限制该总频宽为0.29、0.32及0.35Mbps达成不同品质的范例。该实线代表该基层(QCIF)串行的PSNR及虚线代表该提升层(CIF)串行的PSNR。该实线1200、1210、1220分别代表0.29、0.32及0.35Mbps的QCIF串行PSNR。该虚线1250、1260、1270分别表示0.29、0.32及0.35Mbps的CIF串行PSNR。
注意该CIF串行PSNR并非于该基层位比例的一单调函数。即该PSNR于该CIF近20％处有一尖峰。
该QCIF串行的PSNR如预期是所配置总位比例的一单调增加函数。另外在该基层配置该总比特流不到约20％时，在二层均呈性能下降。此下降在该CIF层不严重，但对于QCIF层就相当明显。在其它测试串行亦有倾向。此结果和二层独立的同时传送方法不同，这是因该上取样QCIF基层的CIF提升层相依性所致。此基层20％配置结果可为空间可调编码基层位配置的一有效最小边界。
图12另外显示在该二层达等品质的于该基层位比例本质上和该总比特率无关。此结果和分析该同时传送实验所得结论类似，且在配置空间可调比特流时很有用。
图13及14显示对多种约束总频宽的不同串行执行上述分析的结果，其中该基层及提升层对既定总比特率的PSNR相同。图13显示该PSNR对该测试串行篮式1300、总线1310、车上电话1320、领班1330、信息1340及静音1350的总比特率。图14显示总位于该基层比例对该测试串行篮式1400、总线1410、车上电话1420、领班1430、信息1440及静音1450的总比特率。图14的数据显示约总频宽的45±5％应于该基层，以在空间可调编码比特流的二层达同品质。此百分比可做为空间可调比特流位配置的一般准则。
图15至20显示各测试串行的同时传送及空间可调性结果，其中该QCIF及CIF视讯串行对既定的总比特率PSNR相同。
图15显示车上电话串行空间可调性1500及同时传送1510的PSNR，图16显示信息串行空间可调性1600及同时传送1610的PSNR，图17显示领班串行空间可调性1700及同时传送1710的PSNR，图18显示篮式串行空间可调性1800及同时传送1810的PSNR，图19显示静音串行空间可调性1900及同时传送1910的PSNR，及图20显示总线串行空间可调性2000及同时传送2010的PSNR。
同时传送编码及空间可调性的作用区常不同，在总比特率很低时只能选择空间可调性，而在总比特率很高时则是同时传送编码。详细说，总比特率很低时若使用粗量化装置进行剩余编码，可使用空间可调性。这时可能无法使用同时传送编码，因频宽可低到即使以最粗量化装置亦无法以较高分辨率将串行编码。注意同时传送状况必需将更多信息编码，因该基层无信息可用。即在剩余信号(该未编码提升层及该译码基层-未取样部份的差)的信号能量远少于原始信号。该空间可调性提升层可视为剩余的编码，而同时传送编码第二较高分辨率流将该原始高分辨率信号编码。因空间可调性提升层及同时传送编码第二层使用的量化装置范围相同，故该二方法的编码比特率范围不同是正常的。
除了篮式串行的一些区域，于同时传送编码及空间可调性均可行的比特率使用空间可调性可改进品质。表3列出在同时传送及空间可调编码均可行时利用空间可调性的各串行PSNR改进范围。该篮式串行最小PSNR改进的负值表示同时传送编码对共同作用区域达较高品质视讯的部份。
要知道在一般商业应用，同时传送编码及空间可调性间的决定不是只看其它品质量测或PSNR之差。该较低层比特率在同时传送编码较低，这有利于同时传送编码因只接收该基层所需的频宽较小。将空间可调性比特流译码亦需要额外的译码器复杂性。 序列使用空间可调性的 最大PSNR使用空间可调性 的最小PSNR Carphone News Foreman Basket Silentvoice Bus 0.74 1.06 0.75 0.71 1.27 0.65 0.41 0.79 0.68 -0.25 1.18 0.11
表3：同时传送编码及空间可调编码均可行时使用空间可调性的PSNR改进范围
先前分析着重于二层达等PSNR。如稍早的讨论，这并非一些应用的目的。此作用点的不同看法显示同时传送编码及空间可调性间基本差异的另外观点。
图21至23分别显示0.29、0.32及0.35Mbps固定总频宽的QCIF及CIF车上电话串行的同时传送及可调编码结果。该结果以于该基层(对SS)或较低分辨率流(对Sim)位比例的函数出。
图21显示0.29Mbps的同时传送CIF 2100、空间可调性CIF 2110及QCIF 2120(对同时传送或空间可调性均相同)的PSNR。图22显示0.32Mbps的同时传送CIF 2200、空间可调性CIF 2210及QCIF 2220。图23显示0.35Mbps的同时传送CIF 2300、空间可调性CIF 2310及QCIF2320。
要知道若配置于该基层的总比特率百分比很小，该同时传送(″Sim″)性能优于空间可调性(″SS″)。一般的倾向是在较多位配置于该基层时空间可调性的优势增加。
图21的范例提供明显的标记帮助以下讨论。点A′是使用同时传送编码的二流等PSNR作用点。点B′是使用和点A′配置于该基层相同的位量的空间可调性对应点。点C′是使用空间可调性的二层等PSNR作用点。注意利用在二流或层(分别是点A′或C′)达等品质的作用点使不同的位量分别视使用同时传送(点A′)或是空间可调性(点C′)配置于该较低分辨率流或基层。
将同时传送编码及空间可调性以相同位量配置于该较低分辨率流及基层比较(分别为点A′及B′)显示该空间可调性在较高CIF分辨率的PSNR较高。注意同时传送编码及空间可调性在较低QCIF分辨率的PSNR相同。另外这和利用于二层等品质的作用点(点C′)所得的QCIF及CIF分辨率增益不同。一种解释此观念的方式是利用空间可调编码，该提升层部份PSNR增益可由自该提升层搬移位至该基层换取增加该基层。事实上可亦由该基层移动更多位至该提升层。此观念可由同时沿图21的QCIF及CIF曲线移动而清楚。这使不同分布，如点B′及C′(对SS)间或点A′及C′(对Sim)间的点变得可行。
通常比特流配置问题和二比特率(对SS的基本及提升比特流，及对Sim的较低分辨率及较高分辨率比特流)，以及同时传送编码及空间可调性间的选择有关。注意，可使用不只二流或层，在此情形该位配置问题因而扩大。
一种得到此三维数据的方法(假设二流为层)是固定该基层(或较低分辨率流)比率，并对提升层或较高分辨率流的不同比特率在同时传送编码及空间可调性间选择。由结合不同基层(较低分辨率流)率的数据可架构完整的三维数据。
图24及25是该车上电话QCIF及CIF串行传送的基层(或较低分辨率流)比特率(因此PSNR)固定的范例。图24分别显示0.29Mbps的同时传送2400及空间可调性2410较高分辨率流或提升层的PSNR，而图25显示0.05Mbps的同时传送2500及空间可调性2510的对应PSNR。注意空间可调性曲线的动态范围较小。
在图24，固定该QCIF数据得到一36.45的PSNR。总比特率则为0.29Mbps+该提升层或较高分辨率流层比特率。若未使用提升层数据即只上取样该基层(使用双线性内插)产生该提升层，得到该数据点(0Mbps，30dB)。在图25，QCIF比特率固定，得到28.36的PSNR。该总比特率则为0.05Mbps+该提升层或较高分辨率流比特率。若未使用提升层数据即只上取样该基层(使用双线性内插)产生该提升层，得到数据点(0Mbps，27dB)。一般倾向是空间可调性在较低提升层/较高分辨率流比特率较有效，而同时传送编码在较高提升层/较高分辨率流比特率较有效。同时传送编码及空间可调性相等边界的决定是一重要结果。此边界则可用来决定应使用同时传送编码或空间可调性。
该同时传送编码及空间可调性的函数可能不会交叉，利用将二曲线对数化及找出该对数化的交叉可外插该曲线找出一交插点。假设该二对数函数为：
Y1＝Aln(X)+B
Y2＝Cln(X)+D
Y1是一曲线的PSNR，如符合常数A及B曲线的同时传送编码曲线。Y2是其它曲线的PSNR，如符合常数C及D曲线的空间可调性曲线。求出该二对数函数间的交叉点符合：
Y1＝Y2
Aln(X)+B＝Cln(X)+D
(A-C)ln(X)＝D-B
ln(X)＝(D-B)/(A-C)X=eD-BA-C]]>
图式中的叉号(图24的点2420、图25的点2520)代表交叉的估计点。
图26显示所有测试串行使用此估计同时传送编码及空间可调性间边界技术的结果。此图显示该测试串行篮式2600、总线2610、车上电话2620、领班2630、信息2640及静音2650。对各视讯串行，该数据显示该曲线以上的作用点应使用同时传送编码，而该曲线以下的点应使用空间可调性，以得到该CIF视讯串行的最高PSNR(如该提升层或较高分辨率流)。要知道因此分辨率为单一层编码，指定该基本比特率将独一性决定该QCIF串行的PSNR。此决定边界倾向于对不同大小有相同的形状。
图27说明利用该数据范围及以下公式将该基层及提升层比特率(对SS)归一化及将该较低分辨率流及较高分辨率流比特率(对Sim)归一化，该决定边界的相似性：
归一化比特率＝(比特率-最小值)/(最大值-最小值)
此公式将该最小绝对比特率和0归一化比特率及该最大绝对比特率和1归一化比特率映像。
图27显示该测试串行篮式2700、总线2710、车上电话2720、领班2730、信息2740及静音2750的归一化决定边界。
以上结果使得能完全根据提供较高品质的模式在同时传送及空间可调性间选择。考量其它问题如空间可调性需要的额外接收器复杂性，可能不只需决定较佳的模式还有可得的改进，特别是在因素是支持另一模式时。这需检查三维数据。要知道不理该PSNR差决定较佳模式就如同将该三维数据投射至一二维空间。对一般情形很难使决定准则清楚及建立而最好以个案方式处理。
多投射环境
本发明可适用于多投射环境的视讯广播，如一视讯服务器经由如网际网络的计算机网络提供视讯(如电影)至使用者。使用者可由如个人计算机、网际网络信息接收器或类似者的装置接收数据。在此环境，许多用户因其处理能力、内存资源及可用频宽不同而需不同的服务类型。该服务器想提供相同视讯串行不同的分辨率及/或品质以满足各种用户。要知道服务器应连续提供所有服务率内容，否则整个用户类型不会接收服务。
此情形和该单投射环境不同，其以点对点传送提供不同服程度处理动态变化。在此情形该服务器可在比特流间自适性切换以提供和可用来源相称的服务。因此在任何情形只传送一比特流及可依该目标比特率制作。此架构提供高品质视讯并自低译码器复杂性受益，因通常是使用单层译码。
不同的服务可涉及该空间分辨率、时间分辨率及/或比特率增加的视讯传送品质。本文着重提供不同程度的空间分辨率。考量以下二服务程度的范例。较低服务率用户接收QCIF分辨率视讯而较高服务率者接收CIF分辨率视讯。二个服务率接收相同时间分辨率的视讯。
一种提供多投射服务的方法是将所有服务率的串行同时传送编码。此方法在所有服务率产生高品质视讯。但因必需提供服务给所有用户类型，该编码器必需送大量数据即所有服务率和。多投射传送的主要耗费是所用总频宽(用于传送封包总数)。网络阻塞亦是问题，故其可能需限制所有服务率的总组合率。最小频宽需为能对所有用户提供适当服务的最大单一服务率。以下讨论假设对总频宽制约，其中该约束率在最大单一服务率及所有服率和间。
由将该较高比特流降为该约束总及较低比特流间的差，仍可使用同时传送方法提供二个服务程度。另一方法是使用空间可调性。直觉上预期空间可调性性能较佳，因该基层(QCIF)串行的信息是用来帮助架构该提升层(CIF)串行。通常这是正确的，但本发明发现在小部份位配置于该基层/较低分辨率流时，同时传送编码性能可优点空间可调性。这和直觉相反，因空间可调性″重用″该基层信息而其提升层比特率和同时传送编码所用单层比特流相同。一个原因可为可调编码架构产生的耗用高于所得增益。该基层在少量位配置于其中时无法提供良好的预测。
图28及29分别是在总使用频宽限制为200kbps及使用者服务率为50kbps及200kbps时使用同时传送编码及空间可调性的多投射广播范例。
在图28服务器2800分别提供40及160kbps的同时传送编码较低分辨率及较高分辨率流至200kbps信道2810及如路由器2820的切换装置。该40kbps流由一路径2830路由至该第一服务及该160kbps流由一路径2850路由至该第二服务。该路由器2820不会将该160kbps流路由至该第一服务，因该第一服务无法处理此数据率。另外该路由器2820不会将该40kbps流路由至该第二服务，因此服务只用于一个流并可处理该较高分辨率160kbps流。
可使用任何既有计算机网络路由协议达此结果。特别是应通知该路由器2820哪些服务可处理哪些数据率。各服务可代表许多终端使用者。
在图29服务器2900分别提供40及160kbps的空间可调性编码基本及提升层至200kbps信道2910及如路由器2920的切换装置。该40kbps基层由一路径2930路由至该第一服务，而该40kbps基层及160kpbs提升层分别由路径2940及2950路由至该第二服务(可为相同路径)。该第二服务接收该二层，因其必需一起使用以得到最大信息(如影像分辨率)。
要知道50kbps服务率的视讯均相同而和所用编码方法无关。即50kbps服务的使用者在使用同时传送编码时只接收40kbps较低分辨率流或在使用可调性编码时则对等的40kbps基层。
该同时传送编码方法(图28)的200kbps服务使用该160kbps流架构较高服务率。此服务并未使用该40kbps单层流，因其和该160kbps层无关，因此用以无益。
但该空间可调性(图29)的200kbps服务在该160kbps提升层外可使用该40kbps基层，使的架构使用200kbps的较高服务率视讯。这些图式支持该空间可调性性能优于同时传送编码的直觉。
如讨论，图22显示不同位配置但总频宽固定为0.32Mbps的使用空间可调性及同时传送编码的QCIF及CIF串行车上电话串行编码结果。注意对许多不同位配置，该空间可调性性能优于同时传送编码。但若不到20％的总频宽配置于该基层/较低分辨率流，则同时传送编码会较有效。
图30显示该车上电话QCIF及CIF串行的空间可调性及同时传送编码间的一决定边界2620(见图26)。依照本发明，该决定边界上的作用点应使用同时传送编码，以下的点应使用空间可调性编码。在此所用的作用点定义为整个串行的平均比特率。要知道可使用如一组画面的较小串行子集进行类似分析。本文描述的方法可用于架构此曲线，然后用以决定应使用同时传送编码或是空间可调性将该视讯编码。
一固定总比特率只在二变量(该基本及提升比特率)提供一制约，故可使用该总比特率之任何分布。例如假设可用0.5Mbps总比特率。在一情形该QCIF分辨率使用0.25Mbps，该CIF分辨率使用0.25Mbps。因此作用点3000在该曲线2620之下，应使用空间可调性以使该CIF数据质量最佳。在另一情形该QCIF分辨率使用0.1Mbps，而该CIF分辨率使用0.4Mpbs。因此作用点3020在该曲线2620之上，应使用同时传送编码使该CIF数据质量最佳。要记住不论使用同时传送编码或可调性编码，该QCIF数据质量均相同。
在此描述的仿真虽在决定使用的传送模式前利用许多编码及译码实验，但可决定模型参数而未对每一串行进行编码/译码实验。
若已有良好的模型参数则不必决定各串行的新模型参数。这可为串行类似的情形。例如在图26该串行车上电话2620、信息2640及静音2650的编码决定边界类似。只要该数据点未靠近该决定边界，使用以这些串行之一所得边界帮助一不同串行编码决定同时传送/可调编码仍太乐观。可能希望决定各串行的新模型参数，特别是在要将视讯传送品质最佳化而不管计算成本的增加时。
图31说明依照本发明的自适性同时传送/空间可调性编码器装置。一较高分辨率视讯串行(如CIF)及一较低视讯串行(如QCIF)供至一分析功能3110及至个别的开关3130及3140。该分析功能3110根据以上讨论分析该视讯串行以提供一选择信号至该开关3130、3140，以将该二串行路由至该同时传送编码器400或可调编码器100。分别见图1及4。
该分析功能3110可包含一编码器及译码器，其中一层的PSNR是由将该译码器输出和该编码器输入比较而得。
可分析各具一些(如150)画面/帧的连续串行，以自适性路由各串行至该同时传送编码器400或该可调编码器100。另外该分析在该视讯送至使用者前可离线。以此方式可避免不必要的处理延迟。例如该视讯数据可自内存回复、分析，然后回到该储存装置。可标记各分析数据串行以显示其是否随后路由至该同时传送编码器400该可调式编码器100。可由多种方式实行此标记，如提供具该视讯数据的附加控制位。
另外注意该译码器应能决定接收的是同时传送编码或可调性编码串行。这可依照该相关数据标准(如MPGE-4)达成。另外该译码器应有可调译码能力及单层译码能力。好处是可实行本发明而无需改进此译码器。
本发明的好处是提供多投射环境的视讯数据压缩。于该压缩处理使用空间可调性及同时传送编码。仿真是用于将较低分辨率(如QCIF)及较高分辨率(如CIF)串行的空间可调性及同时传送编码性能做比较。此工作的主要结果及结论为：
利用对数模型代表单层编码结果。然后可利用此模型轻易算出在同时传送编码的二层达等品质的位配置。
配置总频宽的40±4％(如36-44％)至该较低分辨率流，于同时传送编码的二流达同品质。
对空间可调编码，配置不到20％总频宽于基层是无效率的。
配置总频宽的45±5％(如40-50％)至该基层，于空间可调编码的二层达同品质。
在提升比特率很低时空间可调性可能是唯一的选择，而在提升比特率很高时同时传送编码可能是唯一的选择，但在一般作用区域空间可调性通常提供较高的品质。
可产生决定边界以指引在空间可调性及同时传送编码间的决定。
在配置于该基层/较低分辨率流的位比例小时，同时传送编码性能可优于空间可调性。这可能是因该可调编码架构的开销及/或该基层的不良预测。
本发明虽以各种较佳实施例进行描述，但可有各种改进及应用而未偏移该权利要求所订的本发明范畴。