本发明涉及一种复合图像发生系统，该复合图像是在逐个像素的基础上通过有选择地将同时得到的多个视频信号彼此组合起来产生的。 从美国专利4，876，600可以了解到这种系统的情况。该现有技术文献公开了一种从多个独立且彼此不同步工作的信号源（例如电视摄像机、数字图像数据海量存储器和光栅图形发生器）提供的信息产生复合图像的设备。各信号源将信息提供至多个双端口缓冲器。存在缓冲器中的数据以同步化的方式读取。由哪一个缓冲器来给复合图象的某个给定像素提供信息，则是由一个预编程的掩模存储器在逐个像素的基础上进行选择的。掩模存储器提供控制数据字，各控制数据字由数量等于待处理的信号源数的许多位元组成。这就是说，可并行读取的数据宽度完全对应于信号源数。为实现出这种选择性特点，一个位元是按逐个数据字设定的。
上述现有技术文献没有谈到彼此采取不同格式的信号的问题。通常，视频信号以模拟的形式出现（例如某些电视信号），或以数字的形式出现（例如计算机产生的图形）。此外，每个这种表现形式的信息内容可按不同的方式加以编码，这取决于信号的将采用途（显示、编辑、存储、传输等）。下面举出视频信号类型的一些例子：压缩地静止图像（JPEG），未压缩的静止图像，压缩的活动图像（MPEG），未压缩的活动图像（PAL，NTSC，SECAM，D2MAC，HDMAC，YUV，Y/C，RGB，RS170A，RS330），视频图形（Video Pattern）等。视频信号和图形在同时显示在同一显示器（例如个人计算机（PC）的监示器）上之前需要将其格式重新编成公用的格式。
上面简单提到的格式问题可以说明：在实时的基础上将多个取不同格式、同时出现、彼此不同步的视频信号有选择地彼此组合起来并/或与计算机产生的图形有选择地组合起来，会使数据的处理过程的复杂性再也不是微不足道的了。
本发明的目的是提供一种用以将多个视频信号彼此组合起来的系统，其中实际上不限数量的、来自不同信号源的、同时出现的视频信号不管其格式如何，都适宜以实时的方式进行处理。本发明的另一个目的，是在应进行的操作的组织方式方面和系统的体系结构方面提出一种模件化的方法。
为达到这些目的，本发明提供一种用以产复合图像的系统，该复合图像是在逐个像素的基础上通过将同时出现的视频信号组合起来产生的。该系统包括输入装置和编码装置，输入装置工作时接收多个视频信号，各相应的视频信号具有各自的视频格式，编码装置联接至输入装置，用以将有关的视频信号编码成数据项而提供于编码器的输出端。每一个特定的数据项对应于特定的源像素，且在功能上具有一个彩色标志符和一个格式标志符，该彩色标志符用以标志特定源像素的彩色，该格式标志符用以标志有关的视频格式。本系统还包括多路调制装置和存储装置，多路调制装置的多路调制输入端接编码器的输出端，用以将所选取的其中一个数据项传送到一个多路调制输出端，存储装置则用以存储所选取的数据项，存储装置有一个接到多路调制输出端的存储输入端和一个存储输出端。本系统还包括解码装置，该解码装置接存储器的输出端，用以接收所选取的数据项，并用以解码所选取数据项的彩色标志符，以便在所选取数据项格式标志符的控制下确定复合图象的各个特定目标像素的彩色。
在本发明中，源像素都是从各视频信号提取的。源像素以特种的数据项表示出来。各数据项具有彩色信息和格式信息。复合图像的具体特定像素的彩色是通过选取其中一个数据项，并在所选取数据项格式标志符的控制下解码所选取数据项的彩色标志符而确定的。在解码之前，在存储装置中将数据项组织起来。
本发明的系统容许采用模件化的体系统构。采用视频信号的预定的通用表示方式作为带彩色标志符和带格式标志符的数据项，解除了在输入装置的视频信号因存储装置中的组织上的处理而形成的类型和格式两者之间的联系。此外，只要彩色键和格式键的功能度（the functionalities of colour key and format key）明确地、可恢复地确定下来，就可以采用用以对数据项进行编码并得到系统支持的任何内部格式。内部格式可以使其适应于例如存储管理的存储组织和处理能力，或适应于适当的、经过预定的以窗口为基础的数据处理指令集，或适应于在取统一格式的数据项上执行的另一种处理。此外，由于采用内部格式，因而还使本系统在复合图像的格式方面适应性强。复合图像的格式适用于显示、存储或处理最后所产生的复合图像的目标设备。改变目标设备的格式可能发生例如用另一种型式的监示器取代显示复合图象的某种型式的监示器的场合。这个取代可能需要适应例如新的监示器屏采用的特定荧光化合物而产生的物理性能（“伽马校正”）。改变复合图像的格式是通过解码装置进行的，这一点也不影响存储装置中进行的组织上的处理。
通过适当扩展编码装置和解码装置并扩大多路调制装置的能力，不难修改本系统从而使其可以处理大量的同时出现的视频信号。为提高系统的模件化性能，多路调制装置最好包括一个总线装置用以在选择协议的控制下将所选取的其中一个数据项传送到解码装置。
当各专用的视频源提供的视频信号其视频格式仅为单视频格式时，格式标志符在功能上可与视频源标志符相同。此外，用以对每个源像素的彩色信息进行编码的位元数也可能取决于待编码的视频信号的具体类型。这可能是由于特定类型的视频信号用以表示像素现有的彩色信息所需要的每源像素的位元数比另一种类型视频信号少的缘故。通过配备足够的存储管理装置来处理可变的字长，可以有效利用现有的存储空间。
本发明的系统最好在逐个像表的基础上有选择地将视频信号与计算机产生的图形数据有选择地组合起来。为达到此目的，本系统还具有控制装置和另一个多路调制装置，控制装置用以确定多个视频信号或计算机产生的图形数据是否应确定具体目标像素的彩色，该另一个多路调制装置则连接在存储装置与解码装置之间，用以在控制装置的控制下确定具体目标像素的彩色。该另一个多路调制装置或者是将存储装置所提供的彩色标志符转送到解码装置并将图形数据转送到解码装置以便在图形数据的控制下对彩色标志符进行解码（这里图形数据起格式标志符的作用），或者是将图形数据转送到解码装置进行解码。
本系统的存储装置包括两个部分：彩色标志符部分，供存储所选取数据项的彩色标志符;和格式标志符部分，供存储所选数据项的格式标志符。若本系统有一个图形数据发生器（例如PC），则最好至少格式标志符部分或控制装置作为图形发生器的功能部件。在本发明的系统中，存储装置有一个源标志符部分供存储源标志符以便控制起先提到的多路调制装置。这时源标志符部分最好也作为图形发生器的一个功能部件。
因此，本发明提供一种能将各种格式的视信号与计算机所产生的图形组合起来（最好基于窗口的形式表现出来）的系统。
现在以举例的方式并参照附图更详细地说明本发明的内容，附图中：
图1和2是本发明的系统的第一个实施;
图3和4示出了本发明系统的第二个实例;
图5和6示出了本发明系统的第三个实例。
附图中所有类似或相应的部件都用同样的编号表示。
图1-6举例说明了本发明系统的一些实例。该系统从多个同时出现的视频信号I1，I2，…，In产生复合图像。视频信号I1-In的图像格式可能彼此不同。复同图像是个具有特定的彩色信号电平或灰色电平的目标像素组成的图形。这个图形是在逐个像素的基础上选择视频信号I1-In确定下来的。对于各目标像素，选取视频信号I1-In的其中一个以便提供一个源像素，该源像素的彩色信号电平或灰色电平准备映象到该目标像素上的源像素。
视频信号可以在例如电视接收机、盒式磁带录像机、电视摄像机、激光视盘等里面产生。视频信号有下列几种型式和格式：压缩的静止图像（JPEG），未压缩的静止图像，压缩的活动图像（MPEG），未压缩的活动图像（PAL，NTSC，SECAM，D2MAC，HDMAC，YUV，Y/C，RGB，RS170A，RS330）。信号也可由视频图形发生器或合成器提供。
图1示出了本发明系统100的第一个实例。系统100有一个多源多格式信号处理器（MSMF）10用以从多个同时出现的具有一个或多个图象格式的视频信号I1-In产生复合图象。复合图像传送到图像目标装置20（例如存储器或监示器）。MSMF10的工作由数据处理设备30控制。设备30可以包括配备有用户接口50（例如键盘或鼠标器）的PC40和显示器60，以便编制图像时可以进行交互控制。PC40可包括一个图形机构70，该机构有例如VGA或RAM供存储图形数据用。
图2更详细地示出了MSMF10。MSMF10包括下列功能部件：编码部分102，显示存储器104，解码部分106和PC40的接口装置108。如下面即将谈到的那样，编码部分102将输进来的视频信号I1-In编码成源像素。源像素是通过MSMF10的内部处理以一种或多种数字形式提供的。显示存储器104有选择地存储呈对应于复合图像的目标像素图形的图形形式源像素。解码部分106在源像素图像格式信息的控制下解码源像素的彩色信息。经解码的彩色信息以一般数字格式表现出来，供转换成与监示器20相适应的模拟信号。
编码部分102有多个输入端110、112、……114，供接收视频信号I1-In之用，各信号具有专用的图像格式。所收到的视频信号I1-In分别加到编码器116、118……120，以便将各视频信号I1-In编码成相应的、以一个或多个内部表达方式表示的数字字序列，这一点与MSMF10的数据处理能力相适应。多路调制装置122有选择地将解码器116-120提供的各字传送到显示存储器104。
编码器116-120各具有一个DRAM（动态随机存取存储器）、VRAM或TVRAM等类型的存储器（图中未示出）供存储已编码的信号。此外，这些存储器控制着像素信息加到编码器的输出端时和从所收到的视频信号提取时在速率上差别。视频信息一般包括基于给定扫描频率且带有表示组成完整视频图像（帧）的专用视频行并表示各专用帧的标志符（同步脉冲）的模拟信号序列。同时显示视频信号的监示器可以有不同的扫描速率。因此扫描频率的转换应进行得使其适应将视频信号提供到监示器的操作。此外还需要进行时基校正，这是为了消除监示器的各行和各帧之间的时滞，另一方面是为了消除视频行和视频帧在开始时的时滞。
各存储器使来自各不同的编码器116-120的数字字可以在相同时间的基础上读出。存储器可以是DRAM，但最好是VRAM（视频RAM）或TVRAM（三端口VRAM）。如所周知，VRAM是具有双向随机存取数据端口和双向顺序存取数据端口的随机存取存储器。象VRAM和TVRAM之类的多端口RAM的速度比普通的DRAM快，而且由于能快速存取和由于视频数据通常是按像素和行顺序组成的，因而在视频应用中非常有用。VRAM是根据待存储的视频图像的扫描模式相应的地址模式进行写操作的。就是说，待存储的图像的依次相连的一序列成行的像素被映象到VRAM中的、在逻辑上具有毗邻存储地址的一组存储单元上。VRAM的读取是通过移位寄存器定期重新寄存一组存储单元的内容以便连续提供各行的像素的。VRAM的读和写可以按彼此不同的时间速率进行。TVRAM还适宜在同一时刻读和写，它配备有两个（或以上的）移位寄存器以便以逐行检索和输入像素数据。
由编码器116-120提供的各字表示获自有关视频信号的源像素，且包含若干位元，其中的第一部分含有该源像素已编码的彩色信号或灰色电平信息，其第二部分确定应作为以后最终解码该第一部分的关键的视频信号的视频格式。象电视信号之类的模拟视频信号转换成一系列数字像素的过程是公知技术。但应该指出的是，在本发明中，像素的数字彩色信息是与有关的视频格式的一个标志符相组合的，而该组合是以MSMF10所支持的数字表达方式提供的。
显示存储器104根据逐个像素接收来自多路调制装置122的数字字，且在功能上包括下列各部分：源信息部分124，彩色信息部分126和格式表示部分128。源信息部分124事先给监示器20的各目标像素指定应选取视频信号I1-In中的哪一个来产生供映象到该目标像素上的源像素。部分124控制多路调制装置122的工作。彩色信息部分126为各目标像素存储来自多路调制装置122的数字字的第一部分，即所选取的源像素的彩色信息。格式表示部分128为各目标像素存储来自多路调制装置122的数字字的第二部分，即所选取的源像素的图像格式标记。
显示存储器104可按不同的方式实施，且可包括DRAM（动态RAM）、VRAM或TVRAM。这些ARM实际上可以组成若干存储区以提高存储容量和存取速度。应该指出的是，应用存储区转换技术时（例如将以后的各目标像素的数据存入逻辑上邻接的存储区中），可以减低每个存储区的存取速度。考虑到快进快出性能（高更新率）的要求，彩色信息部分126和格式表示部分128最好采用一个或多个TVRAM。鉴于部分124的更新一般是以基本上低于更新部分126和128的更新率进行的，因而源信息部分124最好采用一个或多个普通的VRAM或DRAM。
编码器116-120可使其适宜对在输入端110-114处收到的视频信号以彼此不同的内部表示方式进行编码。就是说，编码器116-120可以编程得使其可以处理不同宽度的字。每个源像素用以对彩色信息进行编码的位元数可根据待编码视频信号的类型加以改变。这可能是因为特定类型的视频信号在表示像表现有的彩色信息时所需用的每个源像素的位元数比另一种类型视频信号少的缘故。除有足够的存储管理装置（图中未示出）外，再配备部分126来处理可变的字长，可以有效利用现有的存储空间。
解码部分106接收存入到部分126中的源像表的彩色信号部分，并管理将数字彩色信息转换成监示器20的模拟格式的过程。解码部分106由多个解码器130、132……134组成。每一个不同的解码器1130-134按不同视频格式的数字编码彩色信息部分进行工作。因此，当部分126产生源像素的彩色信息部分时，部分128提供该源像素的有关格式信息部分以选取解码器130-134中有关的一个解码器。
举例说，格式指示部分128可以指定由解码部分106从部分126收到的彩色信息位作为来自输入端110-114中的一个输入端的、呈YUV格式的模拟信号所产生的像素的编码的表示方式。选取编码器130-134中的适当的一个解码器使其在该表示方式下工作。操作过程是将该彩色信息位作为编码的YUV信息，再将该信息转换成解码器的输出信号，该输出信号的格式适用作监示器20的视频格式，例如，模拟RGB。这个转换需要有一个专用的YUV/RGB转换器来进行真实彩色空间转换，以便从YUV产生RGB。解码器输出信号在格式指示部分128的控制下由多路调制装置136传送到监示器20。
在另一个实例中，格式指示部分128可以指定由解码部分106从部分126收到的彩色信息位作为从输入端110-114中的一个输入端处呈RGB格式的模拟信号产生的像素的编码后的表示方式。选取编码器130-134中适当的一个解码器令其在该表示方式下工作。操作过程是将彩色信息位作为已编码的RGB信息，再将该信息转换成RGB解码器的输出信号，该信号的格式适宜作为监视器20的视频格式。在输入端110-114的其中一个输入端的RGB视频信号由于监示器屏使用的特定荧光化合物而需要适应监示器20的特性。这可由专用的RGB/RGB解码器负责承担。这种操作叫做“伽马校正”。
在另外一实例中，格式指示部分128可以指定由解码部分106从部分126收到的彩色信息位作为从输入端110-114中的一个输入端的信号产生的、不表示彩色信号电平或灰色电平的目标像素的彩色的编码表示方式。对于与视觉不直接有关的数据就是这种情况。这方面的例子有：空间温度分布、空间湿度分布、还有例如用遥感技术从人造卫星获得的准备显示出来的地形学表面特性及其它参数化特性。这些数据可以变成为显而易见的形式，方法是：通过给欲使其直观化的特征制定出多个参数范围，然后用空间彩色分布（即对应于某特定参数范围的特定彩色）显示该特征的空间分布。这种显示技术采用伪彩色。应用这种伪彩色时，由部分128选取解码器130-134中合适的一个解码器。所选取的解码器是个伪彩色解码器，它将来自部分126的彩色信息位解释为准备转换成彩色输出信号的被编码的非彩色信息，其格式适合监示器20的视频格式。这个解释和转换过程可由解码器通过彩色查找表（CLUT）来完成。
数字信号的多路调制要比模拟信号的多路调制要简单一些，因此解码器130-134提供的输出信号最好是数字信号。所以在多路调制装置136与监示器20之间设置了一个数/模转换器（DAC）138。
在图2所示的实例中，编码部分102、解码部分106和显示存储器104由PC40通过接口装置108控制。接口装置108有一个总线140，供读/写数据传送和控制数据传送之用。总线140与编码控制机构142、静止图像控制机构144和解码控制机构148相连接。
编码控制机构142用来控制编码器116-120的工作。例如，当视频信号I1-In中的一个或多个视频信号的视频格式变化时，可以通过机构142修改编码器116-120中的一个或多个编码器的编码操作。或者，例如当显示存储器104被以较小的显示存储器取代时，也可以往编码器116-120中引入一个经修改的编码程序。这时可以通过机构142引入数据压缩技术或较低分解力的编码方式。
解码控制机构148控制解码部分106的工作。例如，机构148为改变伪彩色表示方式可以修改解码器130-134中适当的一个解码器中的CLUT。或者，在例如用另一种型式的监示器取代监示器20时机构148也可适应解码程序。上面说过，可能需要进行“伽马校正”来正确调节所采用彩色的浓淡。
存储控制机构146控制显示存储器104的工作。源信息部分124可通过机构146编程。存储在部分126和部分128的特定地址处的字可以在PC40的控制下通过机构146加以检索，以便在PC40中进行处理或监示。另一种应用方式可以是具有选择地将PC40提供的字通过机构146存入部分126和/或部分128中。
静止图像控制机构144是为有选择地避免在部分126和/或部分128的地址区内写入而设的，从而保持所存储的信息。因此由于显示存储器104局部保持不变，因而在监示器20的对应于部分126和/或部分128的被选取的地址区的部位中产生一个或多个静止图像。机构144可例如由PC40通过总线140操作，以便存储确定监示器20中复合图像的哪些目标像素应保持静止。机构146可以通过有选择地防止重写各存储单元而直接控制显示存储器104。这一点当处理仅仅是一次的视频信号（即视频信号一旦提供完整的图像，该信号就终止）时可能有用。或者，机构144也可以通过有选择地使编码程序继续下去从而控制编码器116-120。编码器116-120可以使其具有存储功能，以便在将编码信息提供给多路调制装置122之前存储已编码的信息。这时停止编码就不会产生新的像素信息，且存入编码器116-120的存储器中的同样的像素在各新的复合图像周期期间被提供。这时编码器116-120的存储器中的同样的像素在各个新的复合图像周期期间被提供。这时编码器116-120的存储器适宜不只一次地提供同样的像素。
在另一个实施例中，静止图像控制机构144可以通过有选择地给多路调制装置122所提供的源像素指定“有效”标记或“无效”标记来控制源像素在显示存储器104中的存储过程。若现行的源像素“有效”，显示存储器接收源像素并将其存储在预定的地址。另一方面，若现行的源像素被认为是“无效”的，就废弃不用，而显示存储器104则保留已存储在预定地址的信息。
PC40可以对已工作的编码部分102、显示存储器104、解码部分106和接口装置108进行适当的时钟同步。
图3和4示出了本发明的系统200的第二个实例对，应于参照图1时已论述过的那些部件都用同样的编号表示。系统200具体将视频信号I1-In彼此组合起来，并与在例如PC40的图形总线210（功能部件总线）通过MSMF12（它与上述MSMF10略有不同）提供的计算机产生的图形数据相组合。
图3和4中，PC40具有图1和2中述及的同样的监督功能，此外还用来提供准备有选择性地在逐个像素的基础上与视频信号I1-In组合的图形数据。就功能上来说，图形数据可以以视频信号I1-In同样的方式进行处理。就是说，若编码器120适宜处理图形数据，图形数据就可以按规定的路线发送到例如图2的编码装置102中编码器120的输入端114。鉴于编码器可装备有VGA，因而这种选择方案实际上无需在PC40中设VGA70。或者，若图形数据已取适当的格式，图形数据也可以直接提供给多路调制装置122，从而无需专用的编码器。然而，与一般视频信号那种以光栅扫描为基础的情况相比，图形数据在随机存取的基础上已存在于图形机构70中。因此图形数据适宜有选择地直接通过图形总线210引入显示存储部分102中，编码部分10则旁路。
这时在功能上以上述类似的方式通过格式指示部分128选择解码器130-134中适当的一个解码器，以便通过CLUT（图中未示出）将图形数据转换成供监示器20用的信号。该CLUT最好是可例如通过解码控制机构148加以编程。
图5和6示出了本发明的系统300的第三个实施例。鉴于图形数据是在随机存取的基础上产生，因而图3中图形机构70的存储功能实际上可与图4中显示存储器104的功能合并。因此，图5中的PC42不需要带VGA和带图形数据存储器的图形机构，因为取预定数字格式的图形数据可以直接存入显示存储器104中。因此解码部分106包括适当的解码器，例如解码器134，用以将图形信息变换成在DAC138中进行数/模转换时监示器20应处理的输出信号。
图6中所示系统300的另一个实施例在存储图形数据时完全不使用显示存储器104。当图形数据如上述那样在源控制和格式控制下与视频信号合并时，图形数据本身既可作为可显示的数据又可作为控制信号来控制根据显示存储器104提供的彩色识别符进行的解码。下面就这方面进行说明。
图形数据由PC42产生，并按（N+1）位宽的形式组构成字。若附加位是逻辑“1”，则图形字的其余N位被解释为特定目标像素和由解码部分106处理的图形彩色信息。若附加位是逻辑“1”，则所有的或某些其余的N位被进行解释从而用来控制对显示存储器104所提供的彩色信息的正确解码。
PC42在RAM240中产生（N+1）位宽的数据字，在功能上其组成是一个N位宽RAM242和一个单位元宽的RAM244，它们的地址彼此相关。当RAM244在特定地址上有个“1”时，则在RAM242相应地址处的字表示特定彩色，因此应在解码部分106中解码。当RAM244在特定地址上有一个“0”时，则在RAM242的相关地址的字被解释为控制信号，用以选择在解码部分106中对于显示存储器104所提供的被选择的数据项所执行的正确解码协议。
解码部分106有选择地处理经总线210提供的图形数据和由显示存储器104提供的数据项。为达到此目的，系统300包括多路调制器212和多路调制器214。多路调制器212传送经总线210提供的图形数据或从显示存储器104收到的准备由解码部分106解码的数据项。多路调制器214传送经总线210提供的数据或提供到多路调制器输入端216的数据，以便选择适当的解码协议。多路调制器212和214是通过RAM244所提供的单一位元加以控制的。当多路调制器212被控制成使其传送从显示存储器104收到的数据时，多路调制器214就被控制成使其将经总线210收到的数据传送到解码部分106的控制输入端，从而选择处在部分106中的其中一个合适的解码器（图中未示出）。当多路调制器212被控制成使其传送经总线210收到的数据时，多路调制器214就被控制成使其将输入端216的信号传送到解码部分106，从而选择适当的解码器，例如CLUT（图中未示出），以便把多路调制器212提供的数据译成彩色。输入端216处的信号可以是一个固定字，或者可由外部因素来加以改变，或者可由PC42提供。
在图6的实施例中，图4的格式指示部分128被用作为PC42中的RA242。此外，图4的源信息部分124可以在RAM240中实施，以便作为图4的多路调制器122去控制总线246，并与RAM242协同用作格式指示部分128。图1-6示出了系统内作为单独部件的某些功能。然而，实际上可以把两个或多个功能合成到系统中的一个器件上。
应该指出的是，这里使用的“彩色”一词是用以表示凭视觉作为像素可以感觉出来的信息项的任何形式。因此对本发明来说，彩色可包括诸如灰色电平、色调之类的各种形式或任何其它能用来在视觉上区分图像组成部分的形式。