以特技模式译码视频流的方法和装置 在MPEG视频流存储在存储装置(例如硬盘驱动器-HDD-集成在数字视频译码器机顶盒中)并且能够被读回以及使用MPEG译码器显示的系统中，能够比如以不同速度反向播放的特技播放自然是用户期望的。
考虑到在MPEG流结构中，相应于表示一个编码图像的数据的视频存取单元可能取决于先前传送的图像，因此反向MPEG编码视频序列的显示是一个难题。的确，视频存取单元以一种便于它们的译码以正向显示的次序发送。这样，三个重构的缓存器足以译码这个方向上的流。
当要求以正常速度或加速度反向重放时，一个解决方案是在显示一组图像中的任何图像之前译码所有相应于这组图像(一般12个图像)的图像。这样一组的最后图像(在正向显示次序中)可能的确取决于该组的第一个图像，它是一个内部类型图像。只有这些译码图像中的一些可以根据重放速度显示。
通常视频译码器在每个显示周期(例如40ms)实现一个图像译码。这是不适合特技模式重放的。
本发明地目的是提供一种用于在视频译码装置中译码压缩的视频图像的方法，视频译码装置包括编码视频图像的随机存取源、视频译码器和多个用于存储译码图像的重构缓存器，其特征在于步骤：
·根据显示模式建立译码图像的次序；
·根据重构缓存器的可利用性命令所述视频译码器以异步方式译码图像。只要重构缓存器变得可以利用，就在线地译码下一个图像。译码器不在每个显示周期译码一个图像，而是以预定次序预先处理图像的译码。这特别在反向特技模式重放的情况下是重要的，因为给定图像在某些情况下取决于都需要提前译码的四个或更多的图像。
根据一实施例，本方法还包括下面的步骤：
·锁定对于包含要被显示的图像的重构缓存器的存取直到显示所述图像为止；
·根据解锁的重构缓存器的可利用性命令另一个图像的译码。
这样通过显示处理来控制译码：这个处理解锁存取重构缓存器并且控制何时译码下一个图像。
根据一实施例，建立译码图像次序的步骤包括下面的步骤：
·确定在所述流的图像中要被显示的图像的列表；
·递归地确定用于要被显示的所述图像的预测器的链路，并且根据所述预测器以在图像之前译码预测器所需的次序将所述预测器插入在要被显示的所述图像列表中。
根据一实施例，压缩视频流包括译码次序中的图像，该方法还包括确定双向图像的最近和最远预测器的步骤，其中所述最近预测器是出现在流中离所述双向图像最近的图像，所述最远预测器在所述最近预测器之前被译码。
根据一实施例，确定译码图像次序的步骤包括下面步骤：
·加载视频流内容的预定信息描述，以及
·作为选择显示模式的函数从所述信息获得译码图像的所述次序。
根据一实施例，本方法还包括在用于存储译码图像的可利用的重构缓存器中选择重构缓存器的步骤，实现所述选择以便选择可利用的重构缓存器，其中没有任何要显示的译码图像被存储最长时间。
根据一实施例，本方法还包括下列步骤，将计数器归结于每个重构缓存器，每次显示图像时将每个计数器递增，当它有关缓存器的图像被显示时复位计数器并且将具有最高计数器值的缓存器归结于要被译码的图像。
根据优选实施例，仅使用三个重构缓存器实现该方法，但不必限于该数字。
根据一实施例，本方法还包括下列步骤，在图像译码之前检验是否所述图像已经出现在重构缓存器中的一个上，以及避免在这种情况下所述图像的第二次译码。
本发明的另一个目的是提供视频译码装置，其特征在于：
·包括编码图像的压缩视频流的随机存取源；
·用于选择要被译码的图像的器件；
·若干个用于存储译码的图像的重构缓存器；
·用于译码编码图像的视频译码器；
·监控重构缓存器的写访问的可利用性并且根据重构缓存器的可利用性控制所述视频译码器译码选择的图像的器件，其中重构缓存器的可利用性通过包含在所述重构缓存器中图像显示的状态确定。
随机存取源也可以是连接到顺序源的中间存储区域。
本发明方法和装置能够仅使用三个重构缓存器以不同的速度反向重放记录的视频流。
为了译码选择的图像，本方法使用循环处理确定和译码要被显示的图像的预测器图像。
有益的是把描述记录流的预定特技信息用于确定预测器图像。这种特技模式信息可以采用描述记录流中它们的类型和相关数据位置的图像描述符的链接列表形式。
使用特定的缓存器分配机构以便确定哪个重构缓存器用于哪个图像。
禁止到包含要被显示图像的缓存器的写访问直到这个图像已经显示为止。
经过本发明非限定实施例的描述将体现出本发明的其它特征和优点。下面各图说明了实施例。
图1是数字电视接收器/译码器的方框图。
图2是相应于特技模式系统操作的图1的接收器软件部分的软件模型图。
图3是整个视频译码和显示处理的流程图。
图4是‘译码图像’命令的效果图。
图5是根据其类型(I,P或B)描述图像的译码处理的流程图。
图6是根据一实施例的空缓存器选择处理的流程图。
图7是用于反向重放例子中表示缓存器占用和译码器以及显示活动性的表。
1．整个系统综述
图1的数字电视接收器/译码器1包括由调谐器和模拟/数字转换器(未示出)馈送的前向纠错电路2。校正数字信号馈给传递流多路分解器和滤波器4。这个多路分解器和滤波器4连接到接收器1的中央通讯总线11。它的作用是在输入数据流中选择某些传递流(TS)数据包并且分配它们到接收器的不同应用中。为此目的，它包括由微处理器10编程的滤波器。
为了记录MPEG流，接收器包括经过例如接口13和EIDE接口连接到总线11的硬盘驱动器12。存储器5包括用于在硬盘上存储和检索信息的若干个缓存器和区域。
存储器5包括循环缓存器15到23。写FIFO15用于按照从多路分解器和滤波器4到达的次序存储TS数据包以记录在硬盘12上。读FIFO16用于存储从硬盘读出的TS数据包。FIFO15和16用于记录或读出接收的数据流中的子流，而不管TS数据包内容的特性。为了记录，相应于编程准则的所有TS数据包在传送到硬盘12之前被滤波并且被写到写FIFO15。这种模式称为传送流级别记录模式，并且将是本说明书中的其余部分中使用的模式。
为了全面起见，应该提到记录也可以在分组基本流(PacketizedElementary Stream)(PES)级别获得。FIFO18到23用于该目的。存储器5也拥有特技模式缓存器17。在记录期间这个缓存器由流语法分析程序3和微处理器用于产生特技模式信息，然后该信息被记录在硬盘上。在重现期间这个缓存器也用于存储从硬盘读出的特技模式信息。
这两种模式更详细的内容可以在已经提到的欧洲专利申请中找到。
为了译码一个流，接收器1还包括经过传送流多路分解器和PES语法分析程序6或直接经过PES语法分析程序6连接到中央总线11的各个音频和视频译码器8和9。根据记录模式，TS层可以或不可以预先去除。标号14表示用于产生可显示的模拟视频信号所需的视频处理电路。
指定到视频译码器9的压缩数据存储在输入位缓存器25中，译码器9从该缓存器适当地读出它。重构的图像存储在重构存储器26中，它由译码器存取，用于读出和写入。本发明的重构存储器具有三个缓存器(A,B,C)，每个相应于一个译码的图像。
接收器1还包括可重新编程的非易失性存储器24，它拥有接收器的操作系统、装置驱动器和其它软件模块。接收器的软件由微处理器来执行。
为了当前的描述，对于存储在盘上的每个视频存取单元并按记录的次序，特技模式数据包含图像(I、P或B)的类型和相关图像的位置、译码图像所需的硬盘上图像组和序列信息。特技模式信息被分为三种不同类型的表：时间系数表、视频单位描述表和若干个视频描述单元(VDU)，每个VDU描述某一数量的连续图像组的内容。
在2000年4月5日以汤姆森(THOMSON)多媒体名义申请的题目为“使用模拟标题插入来译码数字视频系统中数字视频流的方法和装置”的欧洲专利申请中描述了这种特技模式信息的一个例子。
图2是根据本发明实施例接收器1的软件模型图。它包含下面的部分：
(a)总特技模式控制
这个软件模块负责总的控制译码处理。根据特技模式(后向/前向，慢速/快速)，这种模块规定哪个图像必须被发射、译码或显示。
作为一个例子，如果选择的特技模式是正常速度X倍的快速反向重现，这种模式使用时间系数表和VDU确定哪个图像必须显示、这一图像的类型(I、B、P)，以及在P或B类型图像的情况下，需要提前译码的其它图像(预测器)。这种处理被递归地进行，因为预测器的译码可能本身要求其它的预测器。
由总特技模式控制从特技模式信息存取管理器(见下面)请求特技模式信息。
根据递归译码算法，总特技模式控制命令流存取管理器(见下面)传送特定的视频存取单元到MPEG视频译码器的输入缓存器。
总特技模式控制模块在任一步骤保持再现缓存器占用的虚像。
为了译码三个再现缓存器中特定一个的图像，它运行稍后在图5和图6的流程图描述的重构缓存器选择处理，并且在传送压缩图像之前通知译码管理器。
(b)特技模式信息存取管理器：
总特技模式控制模块需要关于记录流的特技模式信息。这个信息存储在硬盘驱动器12中。特技模式信息存取管理器负责收集来自硬盘驱动器的信息并且提供它到总特技模式控制。
(c)流存取管理器
必须译码(无论随后是否显示)的每单个图像必须传送到视频译码器9。在特技模式信息表中提供存取压缩内容的所有必需的信息。流存取管理器负责传送总特技模式控制识别的来自存储器5的图像数据到视频译码器，仅传送由流驱动器从硬盘读出的相关信息。对于每个要被译码的图像，由总特技模式控制来通知流存取管理器。
(d)流驱动器
流驱动器负责选出提供给存储器5的视频内容用于由流存取管理器处理。典型地，流驱动器将从硬盘驱动器加载包含相关数据和其他数据的一个或若干个块。在特技模式信息与流一起插入的情况下，流驱动器还负责提取特技模式信息并且将它存储在缓存器17中。
(e)视频译码管理器：
当视频译码器接收和识别新的视频存储单元时它通知视频译码管理器。视频译码管理器具有先前经过来自总控制排队的接收的定序和规定译码和/或显示这个特定图像的整个命令。根据这个命令，视频译码管理器编程新检测图像的译码，如果该图像必须显示，则经过要被显示的图像和它必须如何显示(首先顶部或底部字段，正向或反向)的排队通知显示管理器。
每个重构缓存器的软件描述符反映每个缓存器的状态。这些描述符由视频译码管理器和显示管理器共用。在对译码过程编程之前，视频译码管理器测试必须接收这个图像的重构缓存器是否是可利用的。如果不是，则视频译码管理器等待显示管理器释放该缓存器。然后，这个缓存器中的译码可以被编程并且缓存器存取可以被再次锁定。
(f)显示管理器
如果曾经译码的图像必须显示，则由视频译码管理器通知显示管理器。一旦它们不再需要显示，显示管理器也解锁锁定的重构缓存器，释放它们用于另外图像的译码。
视频译码器9能够提供API(应用可编程接口)，允许关于各个图像的译码和最终显示的某些类型的控制和操作。特别地，可以命令译码器译码各个图像并且随后在给定时间和某一数量的帧间隔显示它或者完全不显示它。
图像显示是一个同步处理。对于一个50Hz系统，显示管理器检查每40ms哪个图像要被显示。换句话说，它识别包含要被显示的图像的重构缓存器。
如果视频译码管理器填充的显示管理器的通知排队是空的，则没有图像可用于显示。然后显示的最后一图像将重复，直到一个新的图像被显示为止。
典型地，显示处理是链路中最慢的处理。所有其他处理将遵循由显示施加的节奏。
因为译码处理是异步的并且可能是非常快的，当要被显示的图像被译码时，它的重构缓存器被锁定以避免在它实际被显示之前被随后的图像重写。只有当图像被显示并且当新的图像重构可以在相同的缓存器中开始时才允许显示管理器解锁缓存器。视频译码管理器等待显示管理器显示图像并且释放缓存器，以便按总特技模式控制所请求的来译码新的图像。
总特技模式控制的译码请求的产生和流存取管理器的译码器馈送也典型地快于译码处理。
因为如果视频译码器的比特缓存器是满的并且不能馈送更多的压缩数据，它就不能用于定序新的图像译码，总特技模式控制和流存取管理器提供的编码图像被同步化。当需要和等待发出另一个请求之前完成的传输时，总特技模式控制请求新图像的传输。传输的完成由流存取管理器通知给总特技模式控制处理。
流存取管理器和总的控制等待视频译码器从位缓存器检索数据，并且在视频译码管理器的控制下视频译码器等待显示管理器释放缓存器。整个系统将最终遵循该显示节奏。
为了在显示器上显示，MPEG图像必须事先已经译码。视频处理可以分为一系列连续的操作。图3概述了给定图像的总的视频处理。若干个这种处理可以在不同的执行阶段并行地运行。第一个操作包括识别要被显示的下一个图像。当然这取决于特技模式的类型。一旦这个图像被确定，它必需被译码。这个操作可能涉及其他图像的递归译码。它也取决于一个或多个空闲重构缓存器的可利用性。最后的操作包括显示译码的图像。
本发明实施例的特技模式信息是包括链接项目的数据结构。它由根据它们在流中的次序相互链接的图像描述符形成。提醒读者，所接收的(以及在这种情况下记录的)流包含译码次序而不是显示次序的图像。每个图像描述符给出关于MPEG编码流中图像的细节以及在存储单元上定位图像的压缩资料的足够的信息。采用特别的图像标识符来识别流中的每个图像。在图3和图4中，“N”是这样的一个图像标识符，函数‘Next(N)’返回一个图像标识符。给定要显示的特技模式的类型，Next(N)函数的处理基于特技模式信息的分析。
在正向模式中，Next(N)根据正常的显示次序(即相对于时间基准)返回要被显示的下面图像的标识符。在反向模式中，Next(N)根据正常的显示次序返回先前图像的标识符(ID)。
为了快速操作(正向或反向)，图像必须被跳过，所以Next(N)返回不连续图像的标识符。
通过总特技模式控制模块实现Next(N)函数，已知N，该模块使用已经提到的专利申请中规定的特技模式表以存取译码图像所需的所有数据。
慢运动特技模式(正向或反向)是在显示管理器的控制下，因为这个特技模式简单地表示显示速率低于每40ms一个图像。
图4说明DecodePicture(译码图像)命令原理。重构缓存器的当前状态在图的左边表示。每个缓存器包含某些图像(X,Y,Z)。DecodePicture(译码图像)处理确保如果应用于图像N，缓存器中的一个将最后包含这个请求的图像，无论其他两个缓存器是什么内容。
如已经提到的，MPEG图像可能取决于其他图像并且它的译码可能要求已经重构图像的可利用性。MPEG编码流总是包含许多在内部图像形式下的入口点。没有一个在这种入口点之后的图像可能取决于入口点之前的图像。DVB标准规定这些入口点将至少在每0.5秒产生。打开的图像组是一种特殊的情况。
DecodePicture(译码图像)命令以图5流程图说明的递归方式实现。如果图像译码要求存在一个或两个先前译码的图像，则这些后者图像被首先译码。
如果目标图像(PicID)在重构缓存器中还没有存在，则它需要被译码。如果PicID识别的图像是“P”或“B”类型，则它的译码可能要求存在正向和反向预测器。这个信息在特技模式表中是可利用的。
给出要译码图像所依赖的预测器的规则是简单的：向后通过流(即朝向先前记录的视频存取单元)，遇到的第一个“P”类型或“I”类型图像是用于当前图像的预测器。使用特技模式信息可以找到这个图像。这个预测器在图5中称为“NearestID(最近的ID)”。
如果PicID识别的图像是“P”类型图像，在PicID识别的图像之前，按时标和显示次序定位NearestID(最近的ID)图像的意义上NearestID(最近的ID)是正向预测器。
如果PicID识别的图像是“B”类型图像，NearestID(最近的ID)是反向预测器。然后，通过进一步反向寻找下一个“I”或“P”类型图像就找到正向预测器。这个正向预测器在图5中称为“FarthestID(最远的ID)”。
为了译码一个图像，如果重构的预测器在重构缓存器中不存在，则必需建立它们。在这种情况下，对于这些图像命令递归重复DecodePicture。
在B图像重构之前，多达两个预测器可能必需译码，除非已经译码并且出现在重构缓存器中。如图5可以看到的，FarthestID(最远的ID)首先被译码，接着是NearestID。因为NearestID也可以取决于FarthestID，后者被首先译码：由此优化该处理并且避免相应于FarthestID的图像的两次译码。例如，如果B图像由两个P图像预测，第二个P图像在时间上取决于第一个P图像。
一旦FarthestID被加入重构缓存器，缓存器被锁定以防止NearestID的重构处理重写FarthestID，它被保留作为临时结果。
如现在将解释的，无论选择什么重放模式，只使用三个重构缓存器：
译码内部图像仅需要一个空闲的缓存器，因为不需要预测器。译码预测的图像需要一个预测器：可能必需使用一个或两个缓存器，这取决于是否预测图像的译码预测器已经在另一个缓存器中存在，即是否递归译码必需实现。
在三个缓存器之中，一个包含当前显示的图像。这样两个缓存器可用于译码另外的图像-假设它们不包含在当前图像之后要被显示的图像-并且这样任何I或P图像可以被译码而不会干扰当前图像的显示。
另一方面，B图像需要两个预测器。在闭合的图像组中，两个预测器中的一个(‘最近的预测器’)取决于另一个(‘最远的预测器’)。通过首先译码最远的预测器，接着是最近的预测器，只需要两个缓存器来译码两个预测器。在打开的图像组中，两个预测器可以是独立的，但因为这些预测器包括来自当前图像组的I图像和来自先前图像组的P(或I)图像，只要首先译码先前图像组的P或I图像就只需要两个缓存器。
在当前显示的图像不是要被显示的下一个图像的预测器中的一个时，假设这下一个图像是B类型，它必需在包含当前显示的图像的缓存器中重构。在当前可利用的译码器中，常常可能在显示的图像被完全显示之前开始重写它。重写可以例如在显示开始之后20ms开始。如果图像显示若干个帧周期，当然可以在最后的帧周期期间进行重写。
这样，可以看到当译码次序被适当选择时，只需要三个重构缓存器。
当已经译码所有必需的预测器时，必需选择一个可利用的重构缓存器以接收要被译码和显示的新图像。在某些情况下，可能没有任何选择，如在译码B图像的情况下：需要使用所有三个缓存器，一个用于正向预测器，一个用于反向预测器以及一个用于B图像本身。
在其他情况下，必须选择两个或三个缓存器。
在显示和译码之间三个重构缓存器的分配是整个系统性能的关键。的确，当没有选择适当的缓存器时，译码给定图像可能引入附加延迟。根据视频译码器的处理能力，图像在被显示之前没有完全被译码的事情偶尔会发生。
本发明人确定为了避免译码延迟，选择用于待显示图像的缓存器是最长时间以前由显示处理释放的空闲缓存器。
为了实现这种分配方法，一个计数器与每个缓存器模型元素相关。当要被显示的图像在缓存器中重构时，这个缓存器的计数器被复位而其他缓存器的计数器递增。根据本发明实施例，分配给新图像的缓存器是具有最高计数器值的缓存器。
图6是缓存器分配处理的流程图。它包括如下步骤：循环通过所有缓存器；放弃那些因为包含预测器锁定的缓存器；以及在未锁定的缓存器中选择(如果有)一个具有最大计数器值的缓存器。
如上面描述的，采用如下面数据结构的虚拟模型解决图像重新排序和缓存器分配问题，它用于三个重构缓存器中的每一个。
typedef u_int8PicID_t；
typedef struct{
PicID_t picID_t；<规定了所存储图像的PicID>
Boolean isFree_b；<规定了空闲/锁定状态>
U_int8 displayCounter_ui8；<缓存器已经释放显示图像时的计数器>
}Buffer_t；
Buffer_t DecoderState_t[BUFFER_COUNT]；
现在根据图7描述反向重放中译码处理的例子。这个例子涉及打开图像组的情况。假设视频流具有下面的结构：
…P’11-B’9-B’10’-I2-B0-B1-P5-B3-B4-P8-B6-B7-P11-B9-B10-I”2-B”00-B”1…
这里I、P和B分别表示内部、预测和双向图像，与每个字母有关的数字表示图像组中正常显示的次序。时间轴从左向右延伸，即‘最初的’图像组通常首先被显示。
每个图像的预测器在表1中表示。 图像 最近的预测器 最远的预测器 B”1 I”2 P11 B”0 I”2 P11 I”2 B10 P11 P8 B9 P11 P8 P11 P8 B7 P8 P5 B6 P8 P5 P8 P5 B4 P5 I2 B3 P5 I2 P5 I2 B1 I2 P’11 B0 I2 P’11 I2 B’10 P’11 P’8 B’9 P’11 P’8 P’11 P’8
表1
图7表示缓存器A、B和C中每一个的内容。‘帧周期’列计数40ms显示周期(无论它在图中什么厚度)。周期‘0’相应于P11的显示周期。‘显示图像’列表示在相关帧周期期间显示哪个图像。‘每个帧周期译码’表示在给定的40ms周期期间译码的图像数。灰色区域表示何时显示给定缓存器的内容。
为了简单起见，帧周期、译码周期和缓存器占用周期被对准。实际上不必如此。首先，译码图像所需的时间取决于该图像。其次，图像可以在它被完全译码之前开始显示。例如，如果表示图像B”1被译码同时被显示，这意味着显示在图像译码之后最早的20ms开始。
我们假设图像P11到B0以这个次序显示。
图7列出译码上述递归处理确定的所有图像(无论显示与否)的译码次序。
P11取决于P8,P8又取决于P5,P5又取决于I2。因此，I2在周期-4期间在缓存器A中译码，P5在周期-3期间译码，同时P8在周期-3期间译码。在周期-4期间，显示图像B”3，而在周期-3期间，显示图像I”2。如所看到的，在周期-3期间，需要译码三个图像。所需的第四个图像I2在先前的周期期间被译码，因为缓存器A是可利用的。在该相同周期期间，缓存器B和C是不可利用的，因为缓存器B包含显示图像B”3并且缓存器C被锁定，因为包含要被显示的下一个图像I”2。如所看到的，图像的译码被解锁缓存器的可利用性限制，以及图像以要求尽可能快的次序译码。
因为在这个例子中我们使用打开的图像组，在这个时刻P11没有译码用于显示，而是用作图像B”1和B”0的预测器。这两个图像的另一个预测器是I”2，在这个时刻已经出现在缓存器C中。这样B”1和B”0可以立刻(即译码开始之后20ms)被译码和显示。
然后显示P11。因为它已经出现在缓存器B中，对于这个图像不必实现新的译码并且该图像可以立刻显示。
在周期-1结束时，缓存器C变得可利用，因为B”0已经被译码并且存储在缓存器B和C的其预测器变得无用。这样I2被译码，作为进行译码B10的第一步，它取决于I2、P5、P8和P11。其他图像的译码遵循类似的模式。