本发明涉及使声频/视频信号解压缩装置中的声频与视频信号分量同步的一种方法和装置。 声频和视频（A/V）的传输和接收需有声频和视频分量的适当同步。EIA标准RS-250-B将相关的声频与视频信号之间的时差限定为25ms（毫秒）的超前或40ms的滞后。电影胶片的标准则将相关的声音与图像之间的时差限定为±1/2画框（视频框），这相当于20.8ms。因此，对于观众来说，一个可接受的A/V同步标准可定为±20ms地时差。
在数字通信系统中，通常将相关的时间多路复用的信号分量放在一个信道中传输。在各A/V传输系统之间这种多路传输通常是用电缆、光纤、大地和卫星实现的。信号分量的时间多路传输有可能破坏信息传输和显示之间本来的时间关系。因此，所传输的分量信号的临界时间分量在进行多路传输之前可以与一个时间基准值联起不。这称之为对信息“作标记”，而这些定时的标记称之为时间标记（time stamps）。于是，接收机可以按各分量与其各自的时间标记相关的时间输出各分量。但是要完成这一点，该接收机必须非常精确地保留一个本地的时间基准，该基准是与编码器的时间基准同步的。
接收机必须与发送机的时基紧密配合的一个理由是须要确保实际的时间数据的输出与输入到接收机中的时间数据相匹配。如果接收机提供的（显示的）数据太快，则接收机中的缓冲器可能下溢（under-flow），造成输出信号的阻滞;而如果接收机输出数据太慢，则缓冲器可能过溢（overflow）（假设为有限级的缓冲器），造成丢失数据。
在一个推荐的系统中，其接收机是利用一些与预定的传输信息包相关的补充时间标记（即系统的时钟基准，称为SCR）而与发送机实现同步的。获得时间标记SCR的定时方式与涉及到视频数据的表示时间的标记（PTS）无关，除非它们是来自于同一计算器。SCR码是通过对一个模2N计算器（modulo 2Ncounter）（其中N≥32）作标记而产生的，该计算器计算出发送机的一个基本上为稳频的晶体时钟。接收机配有一个锁相环，该锁相环的频率能随意调整到基本上等于发送机的时钟的频率。接收机的时钟（本地时钟）也计算模2N，以及对SCR到达接收机处的每一时间，都对本地计算器作出标记，以提供一个本地时钟基准或LCR。无须让LCR等于SCR，宁可在处理LCR与SCR时间标记之间差值变化的基础上来调整本地时钟。根据以下关系式发出一误差信号：
ERR＝|SCRn-SCRn-1|-|LCRn-LCRn-1|，
其中ERR用于控制本地时钟的频率。经过这样的处理，就可使LCR任意接近发射机的时钟频率。应注意到，由于无论是系统还是本地时钟都在计算着模N，因此它们呈周期性的绕回（wrap around）。在出现这些情况时，各项SCRn-SCRn-1和LCRn-LCRn-1将是负的，且有误差。该系统监视各差值之正负，当其中差值之一为负时，则略去该差值。
按照MPEG标准来编码的视频信号包含一些表示时间的标记，即PTSvid，这些标记是与输入的视频框同步的。各PTSvid表示出将在接收机上显示的各画框的相关时间，对于NTSC源，标称值为30Hz。以系统定时的相同时基为基础，也将有关的声频编码成表示时间的标记PTSaud，这些时间标记归属在包含编码的声频数据的MPEG系统的数据包层中。一个声频系统的数据包层可以包含几个声频数据“框”，在本例中，各框等于24ms范围的原声频数据。这些声频框大约是一个传送包（127字节）期间的六倍。（将待传输的信息，如声音、图象、数据等分段成为预定大小的各个传送包，并带有受控制的各种附加字码，以提供一个校正/检测误差和使之同步的额外层。）此外，根据MPEG规约，每一MPEG系统层的声频框之数目是可以改变的。因此，相关的声音和图像源的时间表示标记PTSaud和PTSvid之间可以很少相关或互不相关，因而要想通过比较PSTaud和PTSvid来使声频分量与视频分量同步将是很困难的。本发明的目的就是要简化使相关的声频分量与视频分量同步的处理过程。
一种用以对分别带有各自的时间标记PTSvid和PTSaud的相互独立的数据“框”而以该数据“框”传输的相关的视频和声频信息分量进行译码的接收机，包括一个控制器，该控制器响应分别收到的时间标记，通过延迟或跳越一个或另一个分量各自的一些框而使两个分量在时间上差不多对准，从而实现粗略的同步。然后再通过调整与视频处理器无关的声频信号处理器的处理或时钟频率来实现精确的同步。对频率调整的控制涉及到声频和视频时间标记之间的差值。
图1为声频/视频压缩装置的方框图;
图2为使用本发明的声频/视频解压装置的方框图;
图3为时钟信号发生装置的方框图，该装置提供与压缩装置和系统时钟有大致相同比率的接收机系统时钟信号;
图4为图2所示装置的工作流程图;
图5和图6为可以完成图2中215元件功能的另一种声频处理时钟信号发生器的方框图。
图1示出可以实现本发明的一个典型系统，该系统为一数字压缩式视频信号传输装置。在该系统中，来自信号源10的视频信号加到一视频信号压缩元件11上，元件11可包括一个利用离散余弦变换的移动补偿预测编码器。从元件11输出的压缩视频信号耦合到一个格式器（formatter）12上。该格式器按照其些信号规约，例如国标准化组织（Organisafion Infernationale De Normalisation）所制定的一种MPEG标准，整理被压缩的视频信号和其他辅助数据。将已标准化的信号加到一传送处理器13上，处理器13将信号分成若干个数据包，并加上一定的额外开销（overhead），以防止传输过程中的噪声干扰。这些传送包通常是以非一致的速率加到速率缓冲器14上的，而由缓冲器输出的数据则有相当稳定的速率，从而有助于有效地利用相当窄频宽的传输信道。缓冲后的数据耦合到进行信号传输的调制解调器15上。
系统时钟22提供时钟信号，以操纵至少包括传送处理器在内的大部分装置。该时钟将以固定的频率（例如27MHz）工作。总之，如这里所示的，它是用来产生定时信息的。该系统时钟信号加到计算器23的时钟输入端，此计算器可用来例如计算模230。计算器输出的计算值加到两个锁存器24和25上。受视频源支配，销存器24在各画框间隔出现期间销存计算值。这些计算值被指定为表示时间的标记PTS，并由格式器12将其包容到压缩的视频信号流中，于是接收机利用这些计算值实现有关的音像信息的语言同步。变传送处理器13（或系统控制器21）支配，锁存器25按照预定的计划去锁存计算值。这些计算值被指定为系统的时钟基准SCR，并作为辅助数据收入各辅助传送包中。
来自信号源10的与视频信号相关的声频信号加到声频信号压缩器18。压缩器18提供框取样脉冲（与视频画框无关），以控制锁存器19。按照取样脉冲，锁存器获取由计算器23提供的计算值。这些锁存的值相应于表示声频的时间标记PTSaud。将PTSaud纳入由压缩器18提供的声频压缩信号中。该声频压缩信号耦合到传送处理器17中，再由此处理器将信号分成若干数据包，并加入一定的额外开销，以防止传输过程中的噪声干扰。由处理器17提供的声频传送包耦合到多路转接器16上，再由该多路转接器对声频和视频传送包进行多路时分。在附图中，声频和视频信号处理信道各有自己的传送处理器。对于有中等数据速率的系统，两个传送处理器及多路转接器16的功能可并入一个单独的传送处理器中完成。
系统控制器21是一个设计成协调各处理元件的可变状态的机器。须注意，只要在处理元件之间提供适当的信号交换，控制器21、压缩器11和18、传送处理器13和17、及速率缓冲器14可以或不必经一共用计时装置而同步工作。然而，两个压缩器都从同一个基准计算器23取得PTS值，于是两个压缩信号之间的精确时序关系就表现在压缩的输出信号中。
图2示出实施本发明的一个接收机装置的典型例子。其中调制解调器200执行调制解调器15的反功能，而速率缓冲器204和206实际上执行速率缓冲器14的反功能。在图2中，单设一个反向传送处理器202，以提供划分各传送包的服务，从而将各个数据分配到适当的处理信道中。如此，就将各传送包的信号主体部分与辅助数据分离开，于是可将各主体部分加到适当的信道上，而将辅助数据加到系统控制器210上。在一个替代方案中，可将一个分开的传送处理器包括在各处理信道中，该处理器仅用以识别和处理有关各信道的数据。
从反向传送处理器202输出的已压缩的视频数据加到速率缓冲器204上，该缓冲器按照系统的规程向解压器214提供压缩的视频信号。速率缓冲器204以一分裂的或不一致的速率接受数据，并按需要将数据提供给解压器214。依据视频压缩信号，解压器产生不压缩的视频信号，以供在适当的显示器或存储装置（未示出）中进行显示或储存等。
从反向传送处理器202输出的已压缩的声频数据加到速率缓冲器206上，该缓冲器按照系统的规程向声频解压器212提供压缩的声频信号。依据声频压缩信号，解压器212产生不压缩的声频信号，以供通过适当的扬声器放音，或在适当的存储装置中储存，等等（未示出）。
反向处理器202还将取自辅助传送数据的SCR以及控制信号提供给系统时钟发生器208。依据这些信号，时钟发生器发出至少与传送处理器工作同步的系统时钟信号。将这一系统时钟信号加到接收机的系统控制器210上，以控制有关的处理元件的时序。
图3示出一个典型的时钟发生器208的细节。来自接收机的调制解调器200的数据加到反向传送处理器202′上。该处理器包含一个辅助数据包检测器31。反向传送处理器202′从各传送包的主体部分中分离出传送标题数据。依据传送标题数据，处理器202′将声频和视频信号的主体部分施加到例如各解压装置（未示出）上，而将辅助数据（称为AUX）加到适当的辅助数据处理元件（未示出）上。处于辅助数据内的SCR被输送和储存到一个存储元件34中。
辅助数据包检测器31可以是一个用以识别指明含有一SCR的辅助传送包的码字的匹配过滤器，从而在出现含这类数据的传送包时产生一个控制脉冲。该控制脉冲被用来获取在精确相应于检测时间的一个时间由本地计算器36当时表示的计算值1，并将其储存到锁存器35中。本地计算器36设置成可计算由一电压控制振荡器37（VCXO）37提供的脉冲。计算器36设置成可计算模M，它可以（并非必须）与编码器中的其配对计算器（计算器23）有相同之数值。若M与N不同，其差异可在误差公式中加以调节。
电压控制振荡器37由时钟控制器39提供的经低通滤波器（LPF）38滤波的误差信号控制。该误差信号是以下述方式产生的。设时间n时到达的SCR为SCRn，在锁存器35中同时获得的本地计算值为LCRn。由时钟控制器读出相继的SCR和LCR值，并形成与差值成比例的误差信号E：
E→|SCRn-SCRn-1|-|LCRn-LCRn-1|
用此误差信号去调节电压控制振荡器37，使频率趋向于补偿这类差值。如前面所指出的，表现出负的差值是由于模计算器的绕回，因此可以忽略。由时钟控制器39产生的误差信号可以是脉冲宽度调制形式的信号，该信号可由以模拟元件制成的低通滤波器38变为一模拟误差信号。
此系统的限制在于该系统两端的计算器计算的是相同的频率抑或其倍数。这需要电压控制振荡器的标称频率相当接近编码器处的系统时钟的频率。
上述方法提供了相当快捷的同步，但可能引起一长期误差。长期误差LTE与差值成比例：
LTE→|LCRn-LCRo|-|SCRn-SCRo|，
式中SCRo和LCRo例如是第一次出现的SCR和接收机计算器的相应锁存的值。名义上误差信号E和LTE在分立的步骤中将会改变。如此一来，一旦系统被“同步”，误差信号将对零点抖动一单位。较佳的同步方法是在误差信号E发生一个单位抖动前，利用误差信号E开始控制电压控制振荡器，然后转而利用长期误差信号LTE去控制该电压控制振荡器。
由VCXO37提供的系统时钟信号用来至少操作传送处理器和速率缓冲器。由于至少使频率与编码器的系统时钟同步，因此因时钟定时误差造成速率缓冲器过溢或下溢的可能性基本上不存在。
再参看图2，以便解释声频/视频的同步。回忆一下表示时间标记的PTSvid，该标记是包括在与预先确定的视频数据相关的视频压缩信号中的。PTSvid表示有关图象将被显示的相对时间。同样，声频压缩信号包含有表示时间标记的PTSaud，该标记涉及到与各PTSaud有关的放音时间。在接收机中，因各标记可能是在不同的时刻加以确定，因此无法通过直接比较PTSaud和PTSvid来使A/V同步。各PTS值是与一个连续的时基进行比较的，该时基是由VCXO 37提供的接收机的时钟。可通过对计算值LCR的本地时间标记进行取样而完成这一比较工作。
当与有关的PTS相联系的数据出现时，对LCR进行取样。例如，当输出各声频框以便放音时，声频解压器212就发出一个PTSaud。在这些时间，以一控制信号调整锁存器220对LCR取样，其值标为LAS，作为本地声频标记。类似地，当视频解压器提供一视频框以便显示时，它给出一PTSvid和一控制脉冲，以调整锁存器222去储存当时的LCR值。这些LCR值标为LVS，作为本地视频标记。
将LAS和相应的PTSaud耦合到一减法器218的相应输入端，于是按照下列关系式求得信号△A-PTS：
△A-PTS＝PTSaud-LAS。
将LVS和相应的PTSvid耦合到减法器217的相应输入端，于是按照下列关系式求得信号△V-PTS：
△V-PTS＝PTSvid-LVS。
再将信号△V-PTS和△A-PTS耦合到另一个减法器219的相应输入端，于是可按照下列关系式求得A/V同步误差信号ERRPTS：
ERRPTS＝△V-PTS-△A-PTS。
声频和视频的同步须要将A/V同步误差变到零。这就表示，当相应的声频和视频的PTS之差值等于相应的PTS出现之间的时间（以本地基准为单位）时，声频和视频将会同步。
根据误差信号ERRPTS，有两种方式可用来调整A/V的同步：使数据段跳越和重复，及转换时钟偏差。使声频跳越若干固定的声频间隔（即声频“框”），从而使声频数据流相对于视频信号超前一段固定的间隔。重复（即无数据损失的声音抑制）可使声频数据流相对于视频信号延迟一段固定的时间间隔。在很多情况下，跳越或重复的声频框是可以听见的，因此只能用来对同步进行粗调。虽然如此，对于可察觉的声频/视频同步误差，这种简单的跳越或重复方式可能仍是适宜的。如果声频框小于40毫秒，则用跳越/重复方式可使同步误差缩到±20毫秒之内，于是使A/V的同步落在工业标准范围之内。但是，如果声频转换时基与信号源的时基不匹配，这种同步情况将会变差。一旦进行了同步的粗调后，接着就可用改变声频转换时钟频率的方式进一步细调A/V的同步。
将误差信号ERRPTS加到一个滤波器和处理元件216上。其中的滤波功能是为了使信号ERRPTS平滑，以降低可能由信号噪声引起的异常效应。然后，利用元件216的处理功能去检查已平滑的误差信号，并确定是否要用声频的跳越/重复方式去粗调声频和视频信号的同步，和/或是否要用对声频处理频率进行调整的方式去细调同步。如果决定须要对同步进行相调，则用处理器216去提供一个控制信号给声频解压器212，以调节该解压器使当时的已解除压缩的声频框跳越或重复。另外，除了粗调之处，如果决定需要细调，则由处理器216向声频时基215发出一个控制信号，以调整声频处理时钟信号的频率。
图4的流程图详细示出处理过程的演算方法。系统起动（400）以后，该系统就检测（401）声频解压器，看是否出现PTSaud，如果检测出PTSaud，就读出它（403），同时获得本地时钟基准LAS，并将其储存起来。如果PTSaud不出现，该系统就检测（402）视频解压器，看是否出现PTSvid，如果出现PTSvid，就读出PTSvid，同时获得本地时钟基准LVS，并将其储存起来（404）。当PTSaud和PTSvid均已读出，则按以下等式计算ERRPTS（405）：
ERRPTS＝△V-PTS-△A-PTS。
检查误差信号的大小（406），以判定其是否大于声频框间隔的一半。如果大于声频框间隔的一半，则检查误差信号的正负（407）。当其为正时，则重复当时的声频框（409）;当其为负时，跳越当时的声频框（408）。跳越或重复一框后，系统返回到原来的开始位置，以等待下一次出现PTS。
在步骤406中，如果误差信号的数值小于声频框间隔的一半，则检查该误差，以确定它是否大于零（410）。若误差大于零，则检查该误差（412），以确定它是否小于原先的误差信号。当其小于原先的误差信号，就表示系统趋向于同步，因而同步控制参数不用改变，于是系统返回到开始位置，以等待下一个PTS。反之，当该误差增加到超过原先的误差信号时，则应调整系统的声频处理时钟，以减小其频率（414）。
在步骤410中，若误差小于零（负值），则检查该误差（411），以确定它是否大于原先的误差信号。当其大于原先的误差信号，就也表示系统趋向于同步，因而同步控制参数不用改变。反之，如果当时的误差信号小于原先的误差信号，则表示系统进一步离开了同步，因而应增加声频处理时钟的频率（413）。在处理步骤413和414完成之后，系统返回原处，以等待下一次PTS的出现。在这一例子中应注意的是，系统仅仅是通过跳越或重复声频框而完成了粗调，即A/V同步误差减小到小于半个声频框间隔之前的粗调。
在另一个替换实施例中，将已滤波的误差信号同一预先确定的与各声频框大小有关的阈值进行比较。如果误差信号小于该阈值，就表示声频-视频时序误差小于一个声频框，这时将误差信号耦合到声频时基电路215上，在电路215中，该误差信号被用于调整声频信号处理（解压缩）时钟的频率。反应，如果误差信号大于该阈值，则可以用声频框间隔除该误差信号，以确定声频和视频信号未对正的声频框的数目。其商的整数部分加到声频解压器上，以调节声频解压器去跳越或重复该数目的声频框。误差信号的正负决定了是否应该跳越或重复若干声频框。名义上已解压缩的数据在输出之前应安放在一缓冲存储器中，因此，跳越或重复声频框是可控制地从存储器中读出/写入指令的一种简单方式。
商的小数部分加到声频时基电路215上，在该电路中，用该部分来调整声频处理时钟，以精细调整A/V的同步。
声频PTS的产生速率正比于声频解压器的处理速度。声频解压器的处理速度又正比于用于操作声频解压器的时钟信号的频率。如果声频解压器的时钟频率与用于操作视频解压器的时钟无关，且为可细调的，则声频和视频PTS出现的相对速率能加以调整，于是A/V可达到精细的同步。
图5是用以产生一个可调节的声频处理时钟信号的电路的第一个实施例。图5中，一电压控制振荡器503连接在包含元件500和501的一个锁相环中。该振荡器的输出耦合到相位检测器500的一个输入端上。系统的时钟经过二进制比率倍增器505耦合到相位检测器500的第二输入端上。由该相位检测器产生的相位误差信号在滤波器501中进行低通滤波。由其平滑后的相位误差信号耦合到振荡器的控制输入端，用以调节该振荡器，使之以与二进制比率倍增器的输出相同的频率和相位振荡。在这一例子中，系统时钟的频率大约是27MHz，而所需要的声频处理时钟频率大约为27MHz信号的1/380。来自处理元件216的控制信号耦合到二进制比率倍增器的控制输入端上，以控制其输出频率。选择这一控制信号以表示1/380的公称划分比，但要对这一值加以调制，以便调节二进制比率倍增器的输出，使之产生与瞬间必要的声频处理速率相称的输出频率。
图6示出可调节的声频处理时钟发出装置的第二个实施例。在该例中，来自系统时钟发生器208或某个其他稳定振荡器的恒定时钟频率信号加到二进制比率倍增器600的一个输入端上。该二进制比率倍增器是由来自处理元件216的一控制信号控制的，以产生一个所需的标称声频处理时钟频率。依据A/V误差信号，处理元件216改变这一控制信号，去调节二进制比率倍增强，以增加或降低该标称声频处理时钟频率。
另一种可替换的改变声频信号处理速率的装置（未示出）可包括一个产生最大标称声频处理时钟频率的振荡器和一个门电路。振荡器经门电路耦合到声频处理电路上。门电路受处理元件216的控制，以消去一些振荡器输出脉冲，从而平均地提供必需的声频处理时钟频率。
图2虚线箭头所指的一个同步装置的可替换的实施例亦可用于跳越和重复一些视频框从而影响同步。此外，亦可交替地使用跳越视频框以实现使声频超前于（或滞后于）视频和使用跳越声频框以实现使声频框滞后于（或超前于）视频。然而，在较佳实施例中，用的是跳越/重复声频框的方法使声频分别滞后和超前于视频。