使用多个编码器的优化无损压缩的方法和装置 【技术领域】
本发明涉及数据压缩技术，更具体地讲，涉及一种在不同类型的无损压缩编码器中进行选择以优化系统性能的方法和装置。背景技术
进行数据压缩是为了使用于存储或发送信息的比特数最少，并且包含着一系列的软件和硬件压缩技术。尤其是，根据要压缩的数据类型和任何数量的其它因素，特定的压缩技术在压缩率和编码速度方面可以提供显著优越的性能。
数据压缩一般包括提取一个码元或短语流，并且将它们转换成比原始数据小的(在比特长度上)代码。已知的压缩技术和算法可以分为包括有损和无损的两个主要系列。有损数据压缩可以用于大大提高数据压缩率；但是，加大压缩是以精确性上的一定损失为代价的。结果，有损压缩一般是在一些数据损失是可以接受的情况下进行地。例如，在应用到数字化话音信号和图示图像时可以有效地使用有损压缩。另一方面，无损压缩是一种利用设计在压缩/解压缩循环之后产生输入数据流的准确复制品的技术的数据压缩系列。在存储数据库记录、字处理文件等其中信息损失是绝对不可接受的情况下需要这种类型的压缩。本发明致力于无损数据压缩。
一些无损压缩算法使用了信息理论，以便在给出了一个给定码元集的概率表时，产生可变长度代码。输出一个特定码元或码元集(即，消息)的某种代码的决定是根据一个模型作出的。这个模型是一个用于处理输入的消息，并且响应处理结果，确定输出哪些代码的规则集。算法或程序使用模型分析码元(例如，确定与码元相关的概率)，然后根据该处理输出适当的代码。有许多种方式建立数据模型，所有这些方式可以使用相同的编码技术产生它们的输出。一般情况下，为了有效地压缩数据，应当选择一个预测具有高概率的码元或短语的模型，因为具有高概率的码元或消息具有低的信息内容，因而需要较少的比特进行编码。下一个步骤是利用一个特定无损编码器对码元编码。
按照惯例，可以根据无损压缩编码器是执行统计建模还是基于字典的建模对它们进行分组。统计建模利用字符出现的概率一次读出和编码一个单一的码元，而基于字典的建模使用一个单一的代码替代码元串。尤其是，在基于字典的建模中，由于显著地减少了与编码每个码元相关的问题，模型要比在基于统计的建模更为重要。
统计数据压缩的一种形式被称为Shannon-Fano(S-F)编码。开发S-F编码是为了提供可变长度比特编码，以便能够用包含消息或码元的信息的准确(或十分近似于)的比特数编码码元。S-F编码依赖于知道一个消息中每个码元的出现概率。在确定了概率之后，构造一个代码表，表中的每个代码具有不同的比特数(最好是，低概率的码元具有更多的比特数)。这种编码技术的一个问题是，它建立了具有整数比特数的可变长度代码，即便是要编码的信息可能需要非整数的比特数。
另一种类型的编码，Huffman编码，与S-F编码的相同之处在于它建立了具有整数比特数的可变长度代码，但是它使用了一种完全不同的算法。S-F和Huffman编码在性能上总体上接近，但是，已经证明，Huffman编码总是至少等于S-F编码的效率，因而它更好一些，特别是由于两种算法采用了相同的处能力。尽管Huffman相对比较容易实现，并且对于编码和解码都比较经济，但是，由于它像S-F编码一样对每个代码使用了整数的比特数，因而它的效率不高。如果确定了一个特定码元具有1.5比特的信息内容(即，熵)，Huffman编码器将产生一个具有比特数为一或二比特的代码。如果一种统计方法可以将90％的概率赋予一个给定码元，那么最优的代码长度应当是0.15比特；但是，Huffman或S-F编码可能将一个一比特的代码赋予这个码元，这比需要的大六倍。
考虑到这种与使用整数比特数有关的问题，开发了算术编码。算术编码用一个单一的浮点输出数替代一个输入码元流，并且绕过用一个专用代码替代一个输入码元的步骤。由于算术代码并不限于仅在码元的概率是二分之一的整数幂时(大多数情况下不是这样)是最优的，它达到了要编码的码元的理论熵，因而使任何已知源的压缩效率最高。也就是说，如果一个给定字符的熵是1.5比特，那么算术编码使用1.5比特编码该码元，这对于Huffman和Shannon-Fano编码是不可能的。尽管算术编码非常有效，但是就CPU能力和存储器而言，它消耗相当大量的计算资源。这是由于必须建立要求大量存储容量的精密复杂的模型，并且算法本身需要大量的计算操作的事实。
在一种称为替换或基于字典的编码的上述无损编码类型的替代编码中，基于字典的压缩算法参照这些短语的以前出现来替代一个数据流中特定短语的出现(即，字节组)。与上述通过将码元编码成使用比原始码元少的比特的比特串完成压缩的系统不同，基于字典的算法不编码单一的码元。基于字典的压缩技术将可变长度码元串编码成单一的“标记(token)”。正是这些标记形成了对一个短语字典的索引。由于标记比它们替代的短语小，因而产生了压缩。两类主要的基于字典的压缩方案被称为Lempel-Ziv系列压缩编码器的LZ77和LZ78压缩算法。尤其是，基于字典的编码被广泛地用于桌面通用压缩，并且已经被Compuserve信息服务用于编码位映像图示图像。例如，GIF格式使用了一种LZW变量压缩重复的序列和屏幕图象。尽管基于字典的压缩技术是非常流行的压缩形式，但是这种算法的缺点在于，需要更为复杂的数据结构来处理字典。
总之，随着象互联网之类的通信媒体的发展，通过在特定领域中提供特定优点的不同压缩算法，数据压缩将继续对有效的数据通信具有非常重要的意义。本领域中存在着包括上述以及其它正在使用的多种类型的数据压缩方法。此外，不断地开发出许多有关每种已知类型的压缩算法的变化和许多改进。此外，根据与系统和要压缩的数据类型有关的任何数量的因素，可以用每一种方法来提供最优的数据编码。
由于根据包括要编码的数据在内的各种操作因素，不同的已知编码技术提供了独特的利益，因而希望有一种能够有选择地用不同类型的编码器编码数据的无损压缩系统。特别是电信工业需要一种能够实现不同类型编码器的系统，尤其是在从多个提供不同类型的未知数据的信源接收输入数据时，即，在数据流的不同部分要优选地用不同编码技术压缩时。发明内容
本发明的目的涉及一种确定多个嵌入的编码方案中哪些将最佳地压缩输入数据流的不同部分的方法和装置。设计了优选实施例的方法，以适应以具有不同的信息分组(例如，从未知的信源到编码器)，每个信息分组都具有不同的相关统计表为特征的数据流。
根据优选实施例的第一方面，一种数据流的无损压缩方法包括：提供多个无损编码器。然后，该方法包括选择一个无损编码器压缩数据流，然后用选择的无损编码器编码数据流。
根据优选实施例的另一方面，一种数据流的无损压缩方法包括：使用多个无损编码器压缩数据流的一个测试部分。一旦压缩了测试部分，该方法确定与每个无损编码器相关的性能特性。然后，该方法包括根据确定步骤选择一个无损编码器，并且利用选择的编码器编码数据流的第一部分。接下来，该方法包括对数据流的另一个测试部分和第二部分重复进行使用、确定、选择和编码步骤。应当注意，重复步骤可以包括选择一个不同的无损编码器。
根据优选实施例的再一个方面，每个无损编码器在编码步骤中，使用(1)一种压缩技术，和(2)选择步骤确定的每个字的多个比特。并且，压缩技术是算术编码、Huffman编码和LZ编码中的一种。
根据优选实施例的再一个方面，一种无损数据压缩的装置包括：一个接收数据流的接口。此外，该装置包括多个无损编码器和一个处理器。在操作中，每个无损编码器独立地压缩数据流中的一个测试部分，并且，作为响应，处理器确定与每个无损编码器相关的性能特性，然后，根据性能特性，选择一个无损编码器，以编码数据流的至少第一部分。
根据优选实施例的又一个方面，性能特性包括一个对应无损编码器的压缩率和测试部分的压缩持续时间中的至少一个。此外，编码器包括多个处理器，并且每个无损编码器对应于一个处理器，和其中无损编码器并行地压缩同一个测试部分。
通过以下的详细说明和附图，熟悉本领域的技术人员将会了解本发明的这些和其它目的、有点和特征。但是，应当知道，尽管详细说明和附图指出了本发明的优选实施例，但它们是以示例的方式而不是限制的方式给出的。在本发明的范围内可以进行多种改变和修改，而不脱离本发明的精神，并且本发明包括所有这些修改。附图说明
在附图中示出了本发明的优选示例实施例，在所有附图中相同的参考号代表相同的部件，其中：
图1是表示优选实施例的一种方法的一般操作的流程图；
图1A是表示图1所示方法中使用的一个无损编码器阵列的图表；
图2是表示优选实施例的一个编码/解码系统的总体方框图；和
图3是表示当图2中所示的系统编码/解码数据流时的数据流的示意图。具体实施方式
参考图1，方法10包括：在步骤12初始化和启动之后，在步骤14将数据输入到系统。在步骤14输入的数据可以是同步数据或异步数据。应当注意，数据流可以是从象监视一个对象的温度，压力等(例如，在军事应用中收集的数据)，并且连续地将读数发送到优选实施例的系统编码器(下面将说明)的传感器之类的未指明的信源接收的。未指明的数据必须意味着与数据相关的统计是随机的，因而与根据有关数据的统计的知识利用一个单一类型的编码器进行压缩的已知系统不同，优选实施例能够有效地编码一个由不同类型数据构成的数据流。其中这种类型的随机数据可以来源于多个信源的其它类型的应用包括医院监视应用、化工厂、核电站、以及其它应用。
随着数据连续地输入到系统，它被发送到一个有关通信数据块的一个分割部分，在这里，方法10在步骤16通过分割数据或将数据分成帧而处理数据，以利于它的进一步通信。有关通信数据块的分割是由方法10以惯用方式实现的。接下来，在步骤18，对数据进行预处理，预处理可以包括产生一个指示与在步骤16中分成帧的数据相关的统计的直方图。
一旦在步骤18中预处理了数据，方法10在步骤20加上进一步处理的标识数据流中的数据比特所需的同步和首部代码。当步骤20完成时，将数据发送到提供无损压缩的多个编码器。更具体地讲，在步骤22，方法10用多个无损编码器编码数据流的一个测试部分，并且确定与每个编码器相关的系统性能标准。在图1A的图表30的32示出了步骤22中用于编码数据的这个部分的编码器。图表的各列指出了各种不同类型的无损编码技术/算法，它们可以包括Huffman编码、算术编码、Lempel-Ziv编码、以及这些和其它编码技术的变化。应当注意，方法也将这些编码技术的输出与没有编码/压缩的数据流比较，因为在某些情况下未压缩的数据可能是最佳的。
一般而言，列包括无损编码技术。行包括可以用于编码数据的每个字的比特数的规定，bpw 1-m。例如，可以将与接口相关的每字的比特设置为8比特，10比特，等等。结果，在步骤22，方法10用n×m个无损编码器编码数据的一部分。最好是将步骤22执行一个测试时间周期，或一定的数据量，以确定哪些无损编码器最先达到了最佳系统性能。然后，进行数据编码(在以后说明)。
最好是并行地进行步骤22中编码器32执行的测试压缩，以快速地编译对应于每个无损编码器的数据。由于计算能力已经如此地廉价，以致于利益(就编码速度而言)大大超过了价格的事实，测试数据的并行编码是可能的。否则，在一个替代实施例中，图1A中所示的每个编码器32可以在一个指定时间周期中顺序地编码测试数据，产生对应的性能数据。尽管这不是优选的，但在计算能力很宝贵时可以执行顺序测试。
以下说明表1，表1示出了在步骤22中产生的九种不同无损编码器(三个不同字长×三种不同编码技术)的性能标准。首先注意，将输入比特率设置在一个预定值，同时可以根据有关使用的无损编码器的反馈信息连续地更新输出比特率，尽管最好是根据使用的传输媒体设置输出比特率。最好使输出比特率尽可能地小。如表1中所示，在压缩了一定量的测试数据之后，确定以字节表示的规定的输入速度(千比特/秒)和输出速度(千比特/秒)的输出文件长度、压缩率、和编码时间。例如，对于具有304，180，992字节的输入文件和当使用8比特每字时，Huffman编码达到了1.8272的压缩率，Lempel-Ziv编码达到了2.505的压缩率，算术编码达到2.7724的压缩率。此外，这些算法的每个的编码测试数据的时间分别是128，522秒，和1,582秒。一旦产生了每个无损编码器的性能标准，方法10执行步骤24，选择一个编码器进行编码、压缩数据一段预定的时间，或一个特定的数据量。
应当注意，在步骤24进行的选择一般不仅仅根据实现的压缩率，而是根据总的处理时间和压缩率性能特性的组合进行选择。例如，在表1中，对于每字8比特，算术编码达到了2.7724的压缩率，这大于Lempel-Ziv编码达到的2.505的压缩率。但是，算术编码使用的编码时间比Lempel-Ziv无损编码器的长15分钟。在这种情况下，方法10在步骤24中很可能选择Lempel-Ziv编码器。但是，如果所有n×m个无损编码器达到的性能都不满足一个最低水平，那么方法10可以决定发送不压缩的数据。除了其它因素之外，这种决定取决于用户的要求。
表1中指出的输入时钟速率依赖于数据通过其发送的媒体(例如，互联网)，和执行的编码算法的类型。时间性能标准是根据下面的公式产生的：
toverall＝tc+tproces sing (公式1)在公式1中，tprocessing包括与压缩数据、系统延迟等相关的时间周期。此外，tc是发送数据的时间，和等于文件长度除以压缩率和输出速度，即，比特率，并且反映了压缩数据取得的时间节省。压缩率(CR)等于输入文件长度除以输出文件长度。
表1 Huffman Lempel-Ziv 算术8比特每字 输出文件长度 (字节) 166，470，896 193，662，252 184，718，156 压缩率 1.8272 1.5707 1.6467 时间(秒) 128 265 2,742 输入速度 (千比特/秒) 19,014 9,180 887 输出速度 (千比特/秒) 10,406 5,845 53810比特每字 输出文件长度 (字节) 121，428，144 177，869，924 174，151，624 压缩率 2.505 1.7101 1.7466 时间(秒) 522 382 330 输入速度 (千比特/秒) 4,658 6,368 7,371 输出速度 (千比特/秒) 1,859 3,724 4,22012比特每字 输出文件长度 (字节) 109，716，096 142，998，504 125，961，032 压缩率 2.7724 2.1272 2.4149 时间(秒) 1,582 1,438 1,505 输入速度 (千比特/秒) 1,537 1,693 1,617 输出速度 (千比特/秒) 555 796 670
一旦在步骤24中选择了一个编码器(n，m)32(图1A)，方法10用选择的编码器编码数据，优选是，一个预定的时间。然后，程序转到步骤22，编码数据流的一个新的测试部分，并且为数据流的下一个部分选择一个最佳编码器。这个操作可能需要提供图表30中所示的一个不同的无损编码器。
转到图2，一个用于执行方法10的系统40包括一个具有一个输入接口42的编码器41，输入接口42包括一个时钟输入端C1和一个用于接收同步或异步数据流43的数据输入端D1。接口42经过输入和输出数据-控制-同步输入/输出线44耦合到一个数字信号处理(DSP)芯片46。应当注意，DSP 46优选执行图1中所示的方法10中的步骤16和18，以将数据分成帧，并且将它准备用于压缩。DSP 46的输出端经过一个将分成帧的数据通信到计算机的PCI总线48耦合到计算机50。计算机50优选将适当的首部代码加到数据流，以指示不同的数据分组，并且操作以利用图表30中所示的每个无损编码器编码/压缩测试数据。如上所述，计算机50可以包括多个处理器，每个处理器能够为从图1A中的表格30实现的一个对应无损编码器编码/压缩数据。作为替代，可以使用一个单一的计算机50在一个预定时间周期中以顺序的方式实现每个无损编码器32的测试压缩。
也可以用计算机50将首部代码添加到数据，以保证文件正确地解压缩。然后将压缩数据经过PCI总线48发送到DSP芯片46，以根据提供的特定通信系统分割数据。这种处理可以包括通过插入空数据块和/或删除现有数据块来缓存数据。然后，可以加入特殊的同步代码，并且沿输入/输出线将数据流发送回到接口42。特殊接口代码设置包括指定比特数/字，每帧的字数，同步代码，检核和，等等。然后，接口43在线路D2上输出数据流，从而使它能够通过互联网之类的媒体52发送。最好是由操作人员并且根据提供的媒体52的类型来设置输出时钟速率C2。
接下来，系统40的解码器53包括一个具有用于以对应于从接口42输出的时钟速率C2的时钟速率C3接收来自媒体52的压缩数据的数据输入端D3的接口54。应当注意，时钟C2和C3是任选的。接口54经过数据-控制-同步线路56发送压缩数据流，同时删除编码器41加入的POC同步代码。然后，DSP芯片58检测首部代码，并且从数据流删除空数据块。然后将DSP芯片58处理的数据经过PCI总线60发送到计算机62。计算机62解压缩数据，并且最好执行惯用的控制和数检验(CSC)比较技术。也可以通过计算机62实现附加的错误检测或纠错编码器。里德-索洛蒙纠错编码器是通信网的标准，并且最好包括它。应当注意，除已说明的优选实现之外，上述处理操作也可以由计算机50，62，或DSP芯片46，48执行。然后，将压缩数据以时钟速率C4＝C1，发送回到接口54，并且发送到数据线路D4上。
图3中示意地示出了对于一个遥测数据流的图1中说明的并且由图2中所示装置执行的方法的各个步骤的代表。在图3右侧，标注A的箭头指示编码过程，而沿图3中所示的数据的左侧的箭头B指出了解码过程。更具体地讲，数据流43被输入到接口42(图2)，然后，最好是通过DSP 46，以预定的方式分帧成为数据包部分64，66(优选是数千字节，例如，两个8k部分)。接下来，将部分64，66压缩成，例如，一个4.5k数据块68，和一个4.3k数据块70。然后，将首部73，75加到数据包的数据块(带有上述的接口信息)，以分别建立数据块72，74。然后，将数据块缓存以构造缓存和压缩数据包76，如果需要建立数据流78，可以再分割数据包76。然后，通过DSP芯片46加入POC同步代码，并且可以把新数据流80经过，例如，互联网52(图2)，发送到解码器53，在这里如上所述进行解码。
可以在本发明的范围内进行许多改变和修改，而不脱离本发明的精神。所附权利要求将使落入本发明范围内的其它改变和修改变得显而易见。