一种多格式视频信号处理器的存储器结构 发明领域
本发明涉及处理显示视频信号。
背景信息
目前许多压缩视频信号传输系统，例如采用MPEG2-2(运动图象专家组)压缩格式(“运动图象及其声频信号的编码”ISO/IECJTC1/SC29/WG11N0702(修订标准)，1994年5月10日)的系统正在从若干测试场地播送HDTV(高清晰度电视)数字信号。有关机构已经计划在第一代HDTV电视机投放市场时就开始商业节目广播。HDTV信号与目前的电视接收机，例如在美国处理NTSC标准信号的那些电视机，是不兼容的。所以，将有一个过渡期，在这个期间，会继续播送根据NTSC或PAL电视标准制作的SD(标准清晰度)电视信号，以使SD电视机不会立即被废弃。而且在一段时间内，由于转换逻辑广播制式问题的制约，某些广播节目也无法采用MPEG2格式。
视频数据是以不同的格式(例如4∶3和16∶9图象显示屏幕高宽比；4∶4∶4、4∶4∶2、和4∶2∶0数据采样格式；隔行扫描和非隔行扫描)和不同的空间分辨率(例如每行352、480、544、640、720…1920象素和每帧240、480、720、1080扫描线)传播的。从美观性和成本两方面来看，为视频信号接收机配置以其传输前格式显示解压缩信号的性能通常是不实用的。而相反，可取的是使用后置解压缩处理电路以将不同格式的解压缩视频信号自动译码为所需的显示格式。
视频信号处理领域的技术人员知道目前已有许多种自动译码或空间时间转换系统。一般来说，每一种系统专用于一种特殊转换类型，例如隔行向非隔行转换，或采样率、扫描线、或场速率加倍。
即使视频解压缩系统已经包含了大量的电路，使用附加电路处理非压缩的或标准清晰度的视频信号也是可取地。在接收机中包含的后置处理电路应当将SD视频信号自动译码，而不明显增加自动译码电路的数量。但这是困难的，因为数字MPEG2格式的电视信号是以解码象素块格式进入MPEG2兼容显示处理器中的。SD电视信号通常是以NTSC或PAL格式和4∶2∶2的比率的多路模拟YCRCB准备显示象素扫描线(一种光栅扫描)进入显示处理器的。而且，SD信号的分辨率低于与MPEG2 HD信号相关的许多高清晰度(HD)显示器的分辨率。正确地补偿在图象中产生的运动的向上转换是一个复杂的过程，因为该图象在时间上表示为隔行扫描的半帧数据。要重构适合显示的图象帧需要大容量的存储器。
发明概要
根据本发明，一种数字视频信号处理系统接收MPEG2兼容数据和非MPEG2兼容数据。包括用于处理块格式MPEG2数据和经过行块转换的非MPEG2格式数据的一个块行转换器的一个显示处理器接收数字视频数据。在所说系统的处理过程中，一个共用存储器保存MPEG2格式数据和非MPEG2格式数据。
附图简介在附图中：
图1为本发明一个实施例的方框示意图。
图2A为应用本发明的一种SD/HDTV MPEG2解码器和显示处理电路的方框示意图。
图2B为表示在图2A中所使用的一种MPEG2解压缩器的一个实施例的方框示意图。
图2C为图2A所示显示处理器的方框示意图。
图3表示行块转换的一个示例。
图4、图5A和5B至图8A和图8B表示利用解码器电路实施的各种信号格式转换。
图9为在包括根据本发明构成的解码器的一个接收机中信号路径的流程图。
优选实施例介绍
图1表示本发明优选实施例的基本结构单元。来自压缩数据(CD)输入端和MPEG2输入端的压缩MPEG2数据传输到MPEG2解码器16。MPEG2数据可以是在MPEG2标准原则内压缩和传输的任何类型数据。例如，这种数据包括高清晰度数据和标准清晰度数据。经过解码的MPEG2数据传送到块存储器20，并从块存储器传送到显示处理器40。利用SD接口22接收非MPEG2格式的、标准清晰度数据，例如CCIR 601格式的视频数据，所说接口接收行式数据并将其转换成数据块。块存储器20从SD接口22中接收块格式的标准清晰度(SD)数据并根据需要将之提供给相同的显示处理器40。显示处理器40通过存储器20从两个数据源接收数据块，并根据所需显示装置的格式进行块行转换和高宽比转换。单元16、20、22、和40之间的总线结构可以是如图所示的一条公共总线，或者是分别将单元16、22和40与单元20相连的独立总线。
图2A为压缩视频信号解码器部分的方框示意图，所说解码器部分包括用于将以不同格式产生的信号转换成一种或多种优选格式的显示处理电路。也许除了外部存储器和系统控制部分以外，所有图示的电路都可以包含或不包含在一个集成电路中，这取决于特定系统的要求。图2A所示的装置可以包括在，例如，一台高级电视接收机(ATV)中，其中包含调谐/IF电路、解隔行扫描电路、误差校正电路、和用于传输例如MPEG2压缩数字视频信号的逆传输电路。图2A所示装置假定电视接收机以诸如CCIR601的数字格式提供例如解码NTSC、PAL、或SECAM信号(都称为SD信号)。此外，图2A所示装置从其它信号源接收和解码压缩视频信号，所说其它信号源可以以恒定和可变速率，连续地和以脉冲串形式传输信号。通过增加一个转换器以提供可接受格式的信号，可以将其它数据格式输入解码器10。这类格式可以是在计算机业中已知的那些，例如RGB、VGA、SVGA等格式。
解码器10包括一个输入接口12，其将除SD视频数据之外的外部压缩视频数据传送到所说解码器。例如，输入接口12与一个全系统控制器14、一个MPEG2初级解压缩器16和一个存储器接口18相连。输入接口12通过RBUS总线将外部数据和控制信号传送到解码器10的各个部分，所说RBUS总线在本实施例中为21位宽。在解压缩之前从MPEG2格式数据包中检索压缩视频数据，并且缓存在外部存储器20中。
非MPEG2格式的、标准清晰度数字视频经由一条8位总线直接从一个外部源传送到一个SD接口22。SD数据是以数字光栅线格式，即逐行扫描格式接收的。SD接口22与LMC24(本地存储器控制器)结合工作，将SD数据作为可与显示处理器40的输入要求兼容的象素数据块传送到外部存储器20。由于所说SD数据是用行格式象素表示的，所以当将SD数据写入存储器20中时通过将其排列成象素块而对所说象素数据进行简单重组。将SD数据转换成象素块的可取之处在于可以用同一个显示处理器处理SD数据和解压缩MPEG2数据。
使用SD接口22比设旁路显示处理器40或提供一个次级兼容显示处理器较为简单和成本较低。设旁路处理器要求重新编制程序和重新设置显示处理器40中的许多单元，以便当接收到SD数据时进行处理，因为象素块数据没有象光栅线数据那样经过处理。SD接口22是用于处理某些任务的一个不复杂的单元。这些任务包括接收和计数每条扫描线的象素数目，始终确保正确的数量或信息输出到外部存储器20，并且在消隐期间不输出数据。此外，LMC24仅仅需要一种简单的算法对利用SD接口22接收的数据进行重组。
图3表示将数据从行格式重组为块格式的一个示例。通常，由SD接口22接收的数据是数字形式的。但是，可以很容易地在SD接口22的输入端或在输入端之前增加一个转换器(未示出)以在必要时将输入数据转换成数字形式。从A行至L行表示具有4∶2∶2高宽比和光栅线格式的的象素数据。数据行按照所接收的数据格式延续。SD接口22将数据分离为亮度及U和V色度值进行重组。亮度数据分组成8×8数据块，而U和V色度数据分组成4×4数据块。色度数据块包括U数据块中的偶数据位置和在V数据块中的奇数据位置。而且，在重组过程中会发生从4∶2∶2向4∶2∶0高宽比的转换，但是高宽比转换取决于显示装置输入数据的要求。经过重组的数据以数据块形式存储在外部存储器20中。
压缩数据由优先级CD(压缩数据)接口32上的一个解码器10接收，所说压缩数据可能只出现一次，可能是以变化速率接收的，或者可能是以脉冲串形式接收的。当数据出现在CD接口32时，解码器10将接口动作列入优先地位以确保正确的接收。CD接口32以与MDEG2兼容的格式接收压缩数据。CD接口32包括带有一个8位输入端和一个128位输出端的缓存器，其在解压缩之前将数据译码并传送到外部存储器20。
外部存储器20还与解码器10外接，为了适应高清晰度电视信号，其容量可以大到128兆位(Mbit)。其连接线是64位的，通过一个多路复用器/多路信号分解器26相连的总线。装置26将数据从一条128位内部存储器数据总线(MEM BUS)向所说64位存储器总线转移。LMC24根据各种接口和各种处理电路的请求控制外部存储器20的读/写。LMC24经过编程以块格式将视频数据保存在存储器20中，其中一个数据块与一个MPEG2结构的8×8象素数据块一致。
因为外部帧存储器20的存储容量较大，所以解码器10使用外部帧存储器20作为压缩视频数据的接收和定时缓存器。在解压缩之前需要较大的存储空间以缓存输入的数据。将这个缓存器设置在集成电路中会占用较大的物理空间，这是不利的。而且，缓存便于形成用于帧重构的象素块。通过启动编码检测器34，由其获得解压缩所需的信息，可以剥离附加信息。
从外部存储器20检索压缩的输入视频数据以开始解压缩，并通过MEM BUS传送到MPEG2解压缩器16。可以采用其它解压缩形式而不会影响本发明的构思。对于预测帧的MPEG2解压缩要求将过去解压缩的“锚定”帧保存在存储器中和在需要时检索以解压缩和重构一个图象。可取的是，图2A所示的装置包括在将全部帧保存在存储器20中之前对于解压缩的MPEG2视频数据的二次压缩，从而显著地减少了接收器所需的外部存储器的容量。二次压缩在下文中称之为再压缩。
第一次压缩，以及其后的解压缩，就是将数据格式化为MPEG2格式以便以传输流的形式播送。图2B为MPEG2解压缩器的一个示例。图2A所示的解压缩器16被放大以表示出一个MPEG2解压缩器必需的常规单元。利用VLD(可变长度解码器)100在RBUS上接收经过编码、压缩的MPEG2数据。VLD100将经过解码的数据传送到逆量化器102，该逆量化器将没有量化的数据传送到反向离散变换处理器104，该处理器生成MPEG2解压缩的数据块。这些数据在组合器106中与来自运动处理器108的数据组合，并传送到再压缩器28。
再压缩器28与在MPEG2编码器中的MPEG2压缩不同，并且可以以许多形式实施。例如，再压缩可以包括基于块的微分脉冲编码调制和其后的固定、可变、或行程编码。或者，可以结合以数据块为基础的Huffman编码。压缩可以是无损耗的或有损耗的。
在图2A所示方案中，再压缩是由连接在MPEG2解压缩器16和MEM BUS之间的一个压缩器28执行的。因此，将经过MPEG2解码和解压缩的视频数据传送到压缩器28以进行数据再压缩，之后存储在外部存储器20中。当在一个运动处理网络中检索再压缩视频数据以重构MPEG2预测帧时，首先将它们传送到一个解压缩器30，其工作方式与压缩器28相反。检索出的数据，在通过解压缩器30之后，可以由MPEG2解码器10用于在运动补偿处理过程中重构预测帧。
从外部存储器20中同时检索HD再压缩视频帧和SD视频帧，并通过MEM BUS传输到显示处理器40，以便在显示或者作为具有所需高宽比和显示分辨率的合成信号存储起来之前进行处理，如图2C所示。将从外部存储器20检索出的数据通过FIFO42、44、46、48、50传送到显示处理器40，各个FIFO执行两种功能。第一个功能是数据的定时缓存。第二个功能是将来自MEM BUS的16字节宽的数据(128位)转换为1字节宽的数据(MPEG2数据传输到解压缩器52)或者转换为4字节宽的数据(SD数据传输到LMU54)。所指定的字节宽度是示例性的。
图2C中表示了显示处理器40。在显示处理器40中，再压缩的MPEG2视频数据首先传送到解压缩器52，该解压缩器52与解压缩器30相似。解压缩器52以逐块的方式提供解压缩的视频亮度(Y)和色度(C)视频合成信号。从解压缩器52输出的解压缩MPEG2合成信号分别传送到相应的亮度和色度块行转换器56和58。所说块行转换器分别将Y和C合成信号以逐行的方式传输到一个亮度垂直格式转换器(LUMA VFC 60)和一个色度垂直格式转换器(CHROMA VFC 62)。亮度速率转换器60和色度速率转换器62都包括用于垂直格式转换和水平采样速率转换的电路。垂直和水平转换器利用FIFO分隔开，以控制两个转换器之间的定时变换。
所说的采样速率转换器可以根据特定系统的参数编程，并且可以增加或减少每个图象的扫描线数量，和/或增加或减少每行的象素数量。从所说采样速率转换器输出的亮度和色度合成数据传输到屏幕显示器(OSD64)，如人们所知，在有选择的控制下，屏幕显示将文本和/或图表与合成视频信号重叠。系统控制器14或者输入数据流都可以提供OSD数据，这些数据保存在外部存储器20中，尽管可能不是数据块的格式。
可取的是，解码器10包括用于将SD图象格式解隔行扫描和480(有效扫描)线顺序扫描输出的电路。该电路设置在LMU54中。SD图象格式具有480条有效隔行扫描线。为了在高分辨率监视器上提供具有较高垂直分辨率的显示效果，将输出增加到480有效顺序扫描线。
LMU54(线性运动自适应向上变换器)执行输出图象显示装置所需的和由一个图象帧隔行扫描半帧引起的行变换。SD信号保存在外部存储器20中，随后又从中检索出来，因为LMU54同时需要相邻帧的SD信号以计算图象运动和以相同或更高的分辨率产生顺序扫描输出。这不是运动补偿，因为已知它是一种MPEG2格式。对于每一半帧，相关的行通过LMU54，所说LMU54根据图象运动量估算半帧行的间隙行。从以前的半帧和帧中相应的象素值之间的差值估算图象运动。如果运动值基本为零，则将来自以前半帧和后半帧的扫描行的平均值用作估算扫描行。如果在间隙附近存在较大程度的运动，则根据当前半帧的间隙行之上和之下的扫描行的平均值估算间隙行。如果只存在较小程度的运动，则根据以前半帧中扫描行与当前半帧平均扫描行的组合估算间隙行。存在的运动程度越大，则采用当前半帧中在当前扫描行之上和之下的扫描行的平均值的可能性相对于以前半帧的隔行扫描行的差值也越大。与其限制存储器20以为扫描行平均提供相邻扫描行，不如采用设置在亮度块行转换器60内部的存储器以向LMU54同时提供相邻扫描行的视频信号。但是，从转换器60的行存储器中只能获得在先或在后的行。此外，LMU54可以根据在数据帧中产生的运动用滤波器澄清数据帧和实现扫描线和/或半帧延迟。
LMU54需要存储器以处理SD数据，因为一个图象帧是用两个隔行扫描半帧表示的，必须对它们进行时间上的处理以从原始图象正确地重构出运动信息。一直到两个半帧的相邻行都获得，才能结束处理程序。一个SD数据的图象半帧大约包含240有效扫描行。对于这个功能不必象过去那样提供附加的内部存储器，而是可以将所处理的数据存储在存储器20中并从中检索出来。存储器20可以提供足够的空间，因为并没有象在处理HD数据时那样完全利用其空间(如上所述)。通过将数据从LMU54传送到存储器20，而不是传送到显示处理器集成电路中的本地存储器，可以减小集成电路的大小和成本。由于现有的存储器总线读数据总线和写数据总线，以及与LMU24相关的固件，可以快速和高效地向存储器传输数据。
数据可以经由设置在处理单元内部的FIFO存储器(为了简化附图没有示出)传输到MEM BUS和从中输出。图2A所示的单元具有输入和/或输出FIFO，它们使得解码器10可以以无缝方式操作。通过将一段数据装载到缓冲器/FIFO中，每个单元当其处于有效状态时可以存取MEM BUS，同时保持处理单元中的稳定数据流。
显示处理器具有用于控制不同部分的两个独立的时钟，即，解压缩时钟域66和显示时钟域68，如图2C所示。解压缩时钟域66包含必须与块行转换RAM56、58同步地接合的所有功能，并且以40至81MHz时钟频率运行，以实现所需的带宽。显示时钟域68包含与从27至81MHz的时钟频率的最终输出同步运行的功能。根据具体应用，这两个时钟可以以相同频率或者以不同频率工作。按照来自水平采样速率转换器控制器的FIFO读请求，通过两个时钟域之间的视频数据通过FIFO71、73(每一个均用于亮度和色度)。
每个FIFO包括响应显示处理器40和LMC24的读和写确认和请求信号的控制逻辑。控制逻辑还用于跟踪各个FIFO中的数据量，和控制使用相同的时钟作为数据总线的FIFO的“总线”端与使用解压缩时钟的FIFO的“显示”端之间的异步接口。由于显示部分包括控制逻辑，所以期望使实际上以“总线”时钟为动力运转的电路数量最少。
逐块地从外部存储器20中存取初级解压缩或MPEG2解压缩数据(但是经过二次压缩的数据)，并通过FIFO3 46和FIFO4 48传输到亮度和色度二次解压缩器中，该解压缩器提供解压缩的亮度和色度象素块值。解压缩的亮度和色度象素值块传输到包括本地RAM存储器的对应块行转换器56和58。将8×8块(亮度)或4×4块(色度)的全部行都写入对应的本地存储器中。根据与存储器输出相连的转换器电路的瞬时功能逐行地或者并行多行地读出存储器中的数据。当读取数据时，将新数据写入该位置以使所需的本地存储器容量最小。块行转换器56和58的本地存储器的示例性大小为16字节宽乘960字节深，和16字节宽乘720字节深。本地存储器包括输入多路复用器和输出多路复用器，用以将输入数据排列成16字节宽的数据以存储在本地存储器中，和将从存储器读取的16字节宽数据进行适当的排列以供相应的垂直采样速率转换器使用。
用于处理在高清晰度16∶9显示器上显示的解压缩MPEG2视频信号的水平和垂直采样速率转换器将分别执行在表I和表II中所列的行转换。所说水平转换器应当能够具有81MHz的最大象素输出速率。
表I：水平转换输入格式 输出格式352，480，544，640，720，1280，1920 1920352，480，544，640，720，960 960352，480，544，640，720， 720
表II：垂直转换输入格式 输出格式720顺序扫描480隔行扫描540顺序扫描1080隔行扫描1080隔行扫描480240CIF480隔行扫描540顺序扫描1080隔行扫描480隔行扫描540顺序扫描
表I和表II描述亮度信号转换。对于色度信号进行类似的转换。关于色度信号，压缩信号为4∶2∶0格式，前述色度转换包括从4∶2∶0向4∶2∶2的附加转换。通常这种色度处理包含在其它所需的垂直处理中。为进行垂直色度转换，通常采用二头多相滤波器进行组合再采样和4∶2∶0向4∶2∶2的转换。
从图4至图8可以看出X和O并没有对齐或者正确地重叠。尽管这些附图只是近似地表示位置，但是X与O之间的基本关系是正确的。视在的不重叠或重叠是正确的，这是由于非整数转换比产生的。
图4示意性表示当仅仅要求4∶2∶0向4∶2∶2的转换时(即接收480条顺序扫描行，显示480条间隔扫描行，或者接收1080顺序扫描行，显示1080间隔扫描行)输入和输出色度行之间的垂直/时间关系。图4表示一个半帧中的部分扫描行。圆圈代表4∶2∶0格式的原始象素。X代表经过变换的4∶2∶2信号的象素。根据相应半帧中的扫描行计算每个半帧中的插入扫描行。图4表示基于半帧的显示。在这种情况下，使用偶数色度行(从0行开始)生成第一或上半帧，使用奇数色度行生成第二或下半帧。
图5A和图6A以与以上参照图2A所述类似的方式表示亮度转换选择。图5A表示当将720顺序扫描格式转换为1080间隔扫描格式时输入和输出亮度线的垂直和时间关系。图6A表示当将720顺序扫描格式转换为480间隔扫描格式时输入和输出量亮度线的垂直和时间关系。
图5B和图6B表示相对于上述的亮度转换的相应色度转换选择。图5B表示当将720顺序扫描格式转换为1080间隔扫描格式时输入和输出色度线的垂直和时间关系。图6B表示当将720顺序扫描格式转换为480间隔扫描格式时输入和输出色度线的垂直和时间关系。
在这些示例性转换中没有包括时间处理。亮度和色度处理仅仅发生在垂直方向。此外，输入色度信息是基于帧的，只需要考虑以帧为单位的4∶2∶0向4∶2∶2的转换。
图7A和图7B是不同的。图7A表示当将1080间隔扫描格式转换成480间隔扫描格式时输入和输出亮度线的垂直和时间关系。图7B表示当将1080间隔扫描格式转换成480间隔扫描格式时输入和输出色度线的垂直和时间关系。
图8A和图8B分别示意性表示由LMU54执行的SD视频信号的亮度和色度垂直转换。在这些转换中包含垂直和时间处理，而不仅仅包含垂直处理。通常，最大仅仅对于720×480间隔扫描格式的图象大小(即CCIR601分辨率)要求使用解隔行扫描算法。这些图象可以来源于MPEG2解码程序或者从SD输入端口输入。
图9为通过包括根据本发明原理构成的解码器的接收器的信号路径的流程图。在方框120由接收器接收输入信号。如上所述将输入信号格式化为MPEG2或非MPEG2兼容信号。在方框122中识别信号格式，并传送到适合的处理路径。如果信号格式为MPEG2兼容格式，则如上所述在方框124将信号解码，生成与显示处理器兼容的数据块，并保存在存储器20中。如果信号不是MPEG2兼容的，则如上所述在方框126中处理信号，并保存在存储器20中。这种数据也是与图1所示显示处理器40兼容的数据块。与显示处理器兼容的数据块从存储器20传送到显示处理器40。在方框128生成具有与特定显示装置或者其它存储装置的格式兼容的数据。在这个过程中在显示处理器40与存储器20之间传送要求较高分辨率的数据。最后，在方框130将显示兼容数据传送到显示装置(或存储媒体)中。
以上所公开的公共结构可用于在处理其它标准清晰度数据过程中以及在存储器20没有被其它任务使用时将半帧和帧图象信息存储在存储器20中。例如，通常使用梳状滤波器对标准清晰度数据进行滤波，所说梳状滤波器可以使用足够容量的存储器保存一个图象半帧或图象帧。这个存储器一般是与用于其它功能的存储器分开的。通过采用上述的公共结构，可以使用帧存储器，从而节省设计和实施成本。屏幕显示器也可以以类似方式使用存储器20，从而不再需要使用单独的存储器。