本发明涉及一种使两个视频信号保持希望有的关系（例如想把它们组合以产生重新组成的视频信号）的设备。 众所周知，许多不同的视频信号处理系统利用辅助信号来扩充主信号。例如，这个辅助信号可以含有另外一些由于种种原因不能加入主视频信号中的高频图象信息。辅助信号还可以含有误差校正和人工补偿用的信息。
M.A.Ismardi等人的美国专利4，888，641公开了一种采用含扩充信息的辅助第二频道的高清晰度电视（HDTV）的一个例子。该专利公开的这个系统是双频道HDTV，其中，辅助频道传送表示主频道所传送的清晰度提高了地编码图象信息与来自清晰度更高的原图像信息源的图像信息之间的差别的信息。
由于种种原因，例如为产生较好的信噪比特性，人们希望对高频信息进行数字处理例如用一个辅助信号来传送高频信息。应用这种数字处理可能会涉及到时间压缩技术，由此产生一个可变数据速率的辅助数字信号。在这种情况下，必须采取特殊措施来确保主信号和辅助信号（它们的数据率可能不同）在最后组合以重新组成图像信号以供显示时适当同步。本发明主要就是考虑这个问题。
在处理主信号和辅助信号的视频系统的一个最佳实施例中，辅助信号是数字（二进制）形式的，且含有一系列宏场速率信息块（a sequence of macro field rate information blocks），每个上述的宏块由同步标志隔开。每个同步标志有助于使辅助信号信息与主信号的相关场速率信息保持一致。每个宏块含有一个视频信息块，该视频信息块含有时间压缩了的视频信息。一个视频块包括一系列行块，每个行块含有来自一组水平图像行的图像信息。每个行块的前面有一个行块标志或标记。这种标志在某给定场中的头一个标志叫做场标志。按照本发明的一个特点，行块标志和场标志用独特的二进制标记加以识别。此外，行块标志和场标志还含有关于一个具体的场或行块的号数的信息。
图1示出本发明的辅助信号的组分;
图2、图3和图4示出有助于理解本发明设备的工作情况的信号波形图;
图5示出适宜采用本发明的信号处理技术的高清晰度电视系统的方框图;
图6和7示出图1所示的辅助信号编码和译码用的设备的细节。
图1示出数字编码的辅助信号（A）从组分（B）直至组分（E）逐步详细的情况。组分（A）是基本的辅助信号，它含有例如声频、视频、同步和控制信息和综合数据。该组分含有一系列时分复用宏数据块。一个宏数据块是两个接续同步标志（SF）之间的一个数据块。同步标志周期性地以59、94赫的场速率出现，基本上与主信号的垂直同步信号相重合。同步标志表示由于维持各场主信号与辅助信号之间的一种适当关系而达到系统同步化的第一阶段（a first level）。
如组分（B）所示的，每个同步标志用独特的11比特二进制标记“01111111110”表示。每个宏块包括一个声频数据块和一个视频数据块，两者均含时间压缩数字数据。每个视频数据块含有一场扩充信号的时间压缩的视频信息。虽然一个宏块中的比特数是固定的，但是在一个时间压缩的视频块中的比特数却各场不同。
每个视频块含有一系列复用的行块（LB），每个复用的行块都含有时间压缩的视频信息，如组分（C）所示。每个行块用一个水平“带子”表示，且含有用于每两个色差信号（例如R-Y和B-Y）（如组分（D）中以C1和C2指定的）中的每一个的一个组12个连续水平扫描行的亮度信息和一组4个连续水平扫描行的色度信息。每个行块的亮度和色度信息以时分复用的形式存在。大部分视频信号处理规定在行块内进行，视频信号时间压缩参数则每个行块调整一次。每个视频块还含有误差保护块EP，每个误差保护块含有用于误差检测和校正或补偿用的信息。
各行块的持续时间一般不一样。每个行块前面有一个表示行块标志的15比特标志（如组分（E）所示），或某特定行块是某一给定图像场的第一块（如组分（D）所示）时则有一个场标志。场标志和行块标志表示系统同步化的第二阶段。每个行块标志以一个8比特头标“01111110”开始，这在传输比特型式中是独特的。在时间压缩视频块的数据上出现传输差错时，行块标志有利于使差错局限于行块内，从而限制了差错的蔓延。
各行块标志含有一个独特的行块标记，该标记包括8比特头标和3比特行块号以及4比特性能指示PI，如组分（E）中所示。性能指示PI用以控制量化参数（后面即将谈到）。行块号是水平行块（即“带子”）在480行场内水平行块的模8计数值，它使电视接收机对一场以内的行块妥善定位，以便重新构成图像，由于各行块（哈夫曼）编码信息量是变化无常的，因而15比特行块标志出现的时间间隔不规则。为确保各标志码在视频块中的独特性，在视频数据中每五个二进制1比特型式（即“11111”）之后将二进制0比特插入压缩视频块数据内。这个塞入的比特是在电视发射机上进行的，而在电视接收机处则在识别头标数据之后要除掉这个在每五个连续二进制1比特之后的二进制0比特。该塞入比特和除掉的比特的过程确保该压缩视频数据的连续二进制1比特不多于五个，从而防止在标志数据方面的误差。
场标志除了独特的9比特头标（011111110）后面有一个2比特场号以外都与行块标志相似。如前所述，场标志在含有多个行块的一场内的第一行块前面。每个场标志命名FN标志，这里N为0与3之间的一个整数。这里使用四个场标志名称，即F0-F3，因为在本系统中令主信号迟后于辅助信号，以确保由于传送和译码该时间压缩辅助信号的可变长度的代码需要时间而在最后组合这些信号时的同步性。具体地说，延迟四个场周期允许长达三个场周期用于传送辅助信息，一个场周期用于对辅助信号单个场可能产生的传输数据进行译码。为减小对电视接收机造价的影响，对主信号的延迟是在电视发射机上提供的。尽管在电视发射机处的延迟量和电视接收机对可变长度的代码进行译码需要一定的延迟量都会变化，但可变长度的编码信号总延迟时间是四个场周期。
FN场标志与辅助信号数据的一部分和主信号的一个场有关。对于N等于在1与3之间（包括3在内）的一个具体的数值，FN标志告诉电视接收机：在该标志后面的辅助数据将与从当前的主信号场偏离出来的第N个主信号场相组合。举例说，若场23的辅助信号数据是在主信号的场20期间开始传送，则该数据段前面会有场标志F3。场标志F0的用途不同，后面将要谈到。
场标志FN包括一个9比特头标和场延迟号N的2比特码，如图1的组分D所示。由于在视频数据上进行了比特塞入和比特消除的操作来确保行块标志8比特头标型式的独特性，因而场标志的9比特头标在视频数据中也是独特的。为确保用于同步标志SF（组分A和B）的11比特型式的独特性，也在含有视频和声频信息的综合数据信号上进行编码器的比特塞入和接收机的比特消除操作。在此情况下，在综合数据中每个8个连续的二进制1比特之后插入二进制0，在接收机处在识别出同步标志SF之后，将插入的比特从综合数据中去除;除了在压缩数据级（compressed data level）就组分D和E如上述那样进行比特塞入和消除的操作以外，还进行这个操作。
现在结合图2、3和4说明场标志的工作情况。图2示出了来自高清晰度源的信号，图3示出了在发射机输出端处的主信号，两者都有指定的场号。图4示出了处理辅助信号的发射机输出数据缓冲器的填充量（fill level）的操作情况。数据缓冲器和有关设备将在下文讨论。从图3主信号比图1所示的原源信号迟后四个场周期，而辅助信号（图4）则比原源信号迟后一个场周期。前面已谈过了要延迟四个场周期的原因。在发射机进行编码操作期间，用于辅助信号数据的一个场延迟在减去原源信号信息的编码主信号信息时是需要的。例如，当辅助信号的场1分量表示主信号的场1与原源信号的场1之间的差别时，可以看出，辅助信号的场1分量只有在主信号和原源信号的场1分量从它们的整体中可以得出之后才能得到。
图4示出宏块单元中发射机输出缓冲器的填充量，这里宏块含有可在一个场周期内传输的大量数据。因此内含两个宏块数据的缓冲器如果不加上新数据，则在两个场周期内会变空。在图4下部、形状不规则的实线表示缓冲器的瞬时填充（占用）程度。在图4上部的锯齿形线表示在各不同的时间点上能放入缓冲器内的最大数据量，以便数据及时到达接收机来译码。数据缓冲存储器的含量达到这个最大值时，停止编码。
一个例子用以说明处理辅助信号的场1。在曲线内的两条虚线示出场1前和最后的数据比特离开缓冲器的时间。第二条虚线到达零点之后主信号的场1（图3）立即开始发射。这就是说，在主信号场1开始发射之时，接收机将已收到辅助信号场1所有的编码比特。在发射主信号场1期间（历时，1个场周期），接收机能对辅助信号译码。在编码算法中进行各种变化以避免缓冲器溢出和由此引起的停止编码。这是通过对性能指示PI值所规定的每个行块的压缩参数进行选取来实现的。该指示为缓冲器填充量与最大填充量之差的函数。
在每场编码开始时，场标志符FN就插入到缓冲器内。主信号场偏移号N的值是从数字3（前面讲过，缓冲器的最大容量为3个块数据）减去该缓冲器内数据块的整数值。例如场1的数据在F3之后，因为场1编码开始时，在该缓冲器内的数据块少于一个。从图4显然可以看出，在发送主信号场号-2期间，场1的数据开始发送，而且F3会告诉接收机：该数据应与场1结合，即从场-2开始，用3个场使其向前偏移，以得出场号1。
在设计上是从来没有场标志F0的。这个标志是每当缓冲器空时（即缓冲器下溢情况），留给填充字符用的。当没有视频数据准备传送时，必须传送填充字符以将频道填满。字符这时不能输入缓冲器中，因为还不知道编码器的输入将来会产生多少数据。在缓冲器的输出端处需要有一个复用器，以使缓冲器下溢时引起填充字符F0的传送。
图5示出使用本发明的信号处理技术的对频道高清晰度电视系统。在M.A.Isnardi等人的美国专利4，888，641中详细描述了图5的系统，但单元516、518和519以及辅助信号编码器542和译码器534的具体实施方式除外。概括地说，来自信号源510（例如电视摄象机）的宽频带宽屏幕高清晰度电视（HDTV）信号Y、I和Q加到发射机512上。亮度信号Y占用0赫与20兆赫之间的频带。色度信号I和Q含有占用0赫与10兆赫之间的频带的信息。信号Y、I和Q经由Isnardi等人的美国专利4，855，811所述的那种单频道编码器514编码，以形成与NTSC制兼容的电视信号。编码信号N+1帧延迟装置516延迟之后，将其从数字形式被转换成模拟形式，然后由单元517和天线515作为清晰度提高了的电视主信号发送出去。天线515发送的电视信号，被标准NTSC制接收机522的天线520接收，也被含有一译码器525和宽屏幕显示器528的清晰度提高了的宽屏幕电视机（LEDTV）的天线524接收。译码器525是美国专利4，855，811所述的那一种，用以将所收到的信号译码成为组分EDTV亮度和色度分量（constituent EDTV luminance and chrominance components）Y′、I′和Q′。这些分量的图象信息由单元528显示出来。
辅助信号编码器542将表示“单元528待显示的宽屏幕EDTV信号与来自信号源510的原宽屏幕HDTV信号之差”的信号△Y、△I、△Q进行编码。这个差值是从来自信号源510的各原HDTV信号Y、I和Q减去从译码器540输出的信号Y′、I′和Q′得出的。译码器540可与译码器525相同。来自编码器542（如图1所示）的辅助数字信号由N帧大小的缓冲器518处理之后，由发射机单元519和相关的天线530发送出去。单元516提供的延迟要比缓冲器518的帧大小大一个帧。
由天线530发射的辅助信号和由天线515发射的主信号都由与宽屏幕HDTV接收机相关的天线532来接收。该接收机包括一个译码器534，用以对主信号和辅助信号进行译码，并用以将译码组分亮度和色度信号进行加法组合，以产生宽屏暮HDTV的各分量信号Y″、I″和Q″，这些信号适合用宽屏幕HDTV显示装置536来显示。在本实施例中，假设HDTV源的图象宽高比为5∶3，则可以是525行逐行扫描，也可以是1050行按2∶1隔行扫描。更高频率成分和校正因EDTV编码过程引起的人为差错所需要的成分都进行数字编码，并在数字辅助信号里发送出去。
图6更详细地示出了一图5辅助信号编码器542和缓冲器518的配置情况。输入的视频数据都经历可变长度编码过程，众所周知，这种编码过程包括由单元612进行量化和由单元616进行哈夫曼平均信息量编码。具体地说，利用量化阈值和阶梯值参数（该阶梯值参数是每个行块一次选取作为性能指示信号PI值的函数，该信号PI是从输出数据缓冲器625作为反馈信号得到的）对输入的视频信号进行量化。如前所述，PI信号表示输出缓冲器625的“填充”情况，因而可以改变量化过程。
将每个取样值的大小与相关的行块的量化器阈值进行比较。如果取样值超过量化器阈值，则取样值用其与阈值的差值代替。取样值的符号保持不变。然后，根据某给定行块的量化器阶梯值，对新的取样值进行均匀量化。这是通过用阶梯值对取样值定标之后将定标的取样值截尾只取其整数等效值来实现的。量化器阶梯值和阈值用量化器参数选取单元614每一个行块调整一次，量化器参数选择单元614根据某特定行块的缓冲器性能指示反馈信号PI来控制量化器612的工作。特定行块的特性指示信号PI连同其它行块识别信息（图1组分E）一起发送给接收机，以确保接收机译码过程的准确性。用定标系数或阶梯值通过单元614改变量化器参数有利于允许几个量化器使用一个哈夫曼码查询表。亮度分量和两个辅助色差信号分量在由单元616进行哈夫曼编码之前由复用器（MUX）615一起进行时分多路复用。单元616对非零取样值进行可变长度编码，并对零取值进行游程长度编码。实际编码视频数据比特跟在15个比特的始标（preamble）（图1，组成部分D、E）后面。对于一个具体的行块而言，这些视频数据比特包含亮度数据和两个色度数据。
在哈夫曼编码器616中，频繁出现的值用短的代码来编码，出现的可能性较小的值则用长的代码编码。所有预定码都存储在查询表（PROM）中。对输入值进行取样以确定它们是否含零值或非零值。对每一个非零值发送出相应的代码。遇到头一个零值时，计数器复位，对后面的每一个零值，计数器就加1。这就是零值的“游程”。游程以非零值或达到图像行的末端时终止。不然也可以将最大的游程设定到一个行块内像素的总数。在零游程终了时，就发送相应于该游程值的代码，接着是结束该游程的非零值（如有的话）的代码。
当来自单元616的哈夫曼编码信号传送到数据缓冲器625之前，借助于单元618进行比特塞入和标志插入的操作。单元618接收来自标志发生器620的独特15比特场标志或行块标志（图1，组分D和E），上述这些标志的作用是场或行块识别和分离数据。标志发生器620响应从主信号得出的并表示主信号场号的“场识别”信号，并产生独特的9或8比特的场或行块头标数据和独特的2或3比特的场或行块号数据，如图1所示。发生器620还响应来自缓冲器625的4比特PI信号，又响应与MUX 615相关的逻辑电路所产生的定时信号，以便为场标志数据和行块标志数据的建立适当的定时关系。
由标志发生器620加到单元618的场或行块标志信号的过程涉及以下步骤。在处理开始时，单元620等候主信号的“场识别”信号。“场识别”信号表示主信号的开始，还表示该场号。检测出该信号时，就为场标志FN计算2个比特的场号，场标志FN表示主信号场与压缩辅助信号场之间的关系。若没检测出“场识别”信号，则计算3个比特的行块号。从数据缓冲器得出PI值，将其与9比特的场头标和1比特的场号组合，以形成场标志，或与8比特的行块头标和3比特的行号组合以形成行块标志。该数据根据“定时”信号一起复用。由单元618将来自发生器620的15比特的场或行块标志复接成为数据流。
由于量化器612和哈夫曼编码器616产生可变长度的代码，因而压缩数据速率在时间上也是可变的。但是，数字辅助信号信道是个固定速率的信道。因此在输出调制解调器630前面的数据通路中设有异步缓冲器625。该缓冲器的大小与在于一个比特离开哈夫曼编码器616的时间与这同一比特进入接收机处的相应的哈夫曼译码器的时间之间的最大延迟有关。缓冲器大小为0.9兆比特且视频信道速率为17.5兆比特/秒时，最大延迟为51毫秒或约为三个场的间隔。如前所述，本系统规定有4个场间隔的延迟时间，或约为66.73毫秒，使其有长达一个场间隔来译码。前面也提到，缓冲器占用状态（填充程度）被用来通过反馈信号PI控制视频编码过程中的量化量。这起了输入到缓冲器625的输入比特流的流量控制机构的作用。缓冲器占用状态每一个行块检查一次。单元614使用了“用以给量化器612提供阈值和定标系数量化器参数”的查询表作为信号PI的值的函数，以便对下一个行块编码。4个比特的性能指示信号PI可使用多达16组量化器参数。
缓冲器625的内容以等于总视频数据速率（视频块大小乘以场速率）的恒定数据速率传送到同步数据复用器（MUX）626。MUX 626将视频数据、声频数据或诸如控制信息之类的混杂数据以时分复用的形式从缓冲器625传送到输出调制解调器630。比特塞入和同步标志插入单元628位于MUX 626与调制解调器630之间来插入同步标志SF，并执行另一种与单元618所执行的不同的比特塞入操作（如前所述），以避免在复用的视频数据与声频数据或诸如控制数据之类的混杂数据之间的界线处出现误差。将主信号的垂直同步信号加到MUX 626上，以便产生“启动”信号，从而便于将同步标志SF插入宏数据块中（图1，组分A）。
调制解调器630包括一些网络，它们用以将来自单元628的数字数据调制到占用6兆赫最大频带宽度的射频载波上。具体地说，调制解调器630用4个比特以产生这时由上升余弦（raised-cosine）FIR滤波器以光谱的形式形成的数据符号。两个基带数字信号分别调制正交相位的射频载波信号。调制解调器630的符号速率小于6兆赫射频信道带宽，这个带宽能支持约500万符号/秒（5兆波特）的符号速率。采用16级正交调幅，各符号载有4比特信息，这样，20兆比特/秒的总数字数据速率可以在小于6兆赫的带宽内实现了。
图7示出了用以在接收机内对数字辅助信号进行译码的设备。图1中的译码器537中可以找到辅助信号译码器连同与早先提到的美国专利4，888，641中所述的单元540和525相类似的主信号译码器一起。图7译码设备的工作与图6编码设备相似，只是工作次序是相反的。由图7设备提供的已译码的辅助信号与已译码的主信号相组合，以产生HDTV信号以供显示。
图7中，由天线532接收的辅助信号先由射频解调设备（图中未示出）进行处理，然后由调制解调器730处理，调制解调器730产生二进制数据输出信号。此输出信号加到单元728，以在压缩数据上进行的同步标志（SF）检测和比特消除的操作。单元728将单元628加在译码器的多余的“塞入”比特除掉。借助于检测出的同步标志SF（此同步标志SF出现的规则时间间隔基本上与主信号的垂直同步脉冲出现的规则的时间间隔是一致的，单元728产生一个“时钟”信号，该信号用来在分离来自单元728的信号中的视频、声频和控制数据时用以对同步的去复用器（DE-MUX）726的操作定时。来自单元726的分离后的视频数据存入缓冲器725中。
从缓冲器725输出的信号由单元718进行比特消除和检测场/行块标志的操作。单元718检测标志信息，并除掉由单元618在编码器插入的多余的“塞入”比特（图6）。单元718还恢复PI信号，并提供用以确定输出视频数据应与哪一个主信号场配用的输出“场识别”信号。假设没有检测出任何视频误差，则来自单元718的视频数据就传送到哈夫曼译码器716。若检测出视频数据误差，则可以将含有误差的行块挑出进行误差处理，例如取消该行块或用上一个行块代替它。
收自单元718的比特流由哈夫曼译码器716进行译码，译码器716响应单元718所恢复的“定时”信号且含有发射机的哈夫曼编码器所使用的代码表的副本。在本实例中，假设已建立同步。由于收到各代码，因而其相应的已译码的值得以确定。各行块的性能指示信号PI经提取之后用于以后的“去量化”过程中，以重新构成各行块。借助于场标志FN识别各种视频块。来自哈曼译码器716的输出数据由De-MUX 715分离成亮度和色度频带。
“去量化”器712利用编码器处理量化器612所用的量化参数的倒数对来自DE-MUX 715的数据进行“去量化”。“去量化”器712根据编码器处量化过程所使用的压缩参数调整各行块的非零值。在这方面，根据加到单元714经恢复的性能指示PI的值，“去量化”器712响应参数选取单元714所产生的参数。单元714包括存储有在编码器所使用的压缩参数的倒数的PROM，该参数是根据一个特定的行块的PI值读出到该行块的单元712。非零值首先用编码器量化过程中所使用的定标系数的倒数进行“取消定标”。然后非零值的量值按编码器处所使用的阈值量来增加。定标和量值的调整过程不包括零值。将来自单元712的“去量化”的输出信号与主信号数据相组合以重新构成高清晰度的视频图像，供显示用。
这里公开的设备也可用于单信道系统中，例如用以对单信道系统的DETV信号进行编码。