发明内容
因此,本发明的目的是提供这样一种存储器高效的图象赝象去除
技术以克服上述问题。
本发明的另一目的是提供这样一种存储器高效的图象赝象去除
技术,它识别并分开点阵和非点阵的图象区,并分别处理这两种区以
便从点阵区去除莫尔条纹而同时保持非点阵区的鲜明度。
按照本发明的一个方面,提供一种用于从图象表示中去除图象赝
象的存储器高效的方法。这种方法包括的步骤为(a):获得图象的
象素表示;(b)把图象中每个象素归类为点阵或非点阵象素;(c)
在预定的环绕每个象素的区中检验各象素,以校验在步骤(b)中确
定的该象素的归类;以及(d)有选择地对图象中各象素应用低通滤
波器,使得当应用低通滤波器时,被低通滤波器覆盖的一个或多个象
素将根据步骤(c)的检验结果分别被低通滤波器覆盖的一个或多个
其他的象素所取代。
本方法的各个优选特征在下面给出。
归类步骤(b)包括应用一个具有预定尺寸的、以被归类的象素
为中心的第一掩膜,以便确定该中心象素是否处在具有预定的周期性
图形的区内。
第一掩膜分成多个重叠区,中心象素处在每个第一掩膜区中。
检验步骤(c)包括应用一个具有预定尺寸的、以被检验的象素
为中心的第二掩膜。
第二掩膜分成多个重叠的区,中心象素处在每个第二掩膜区中。
预定的周期性图形是一个周期为2或3的周期性的行或点的图
形。
选择性地应用步骤(e)包括根据多个第二掩膜区中的哪个区含
有点阵象素而有选择地应用低通滤波器。
上述方法还可以包括步骤(f),即为图象的至少一部分确定特
征指示;和步骤(g),即根据所确定的特征指示自适应地使至少一
部分图象鲜明化或柔和化。
本发明的另一个方面涉及一种用于从图象的表示中去除图象赝
象的设备。这样的设备包括:用于获得图象的象素表示的装置;与该
装置相联系的点阵象素识别器,用于将图象中的各象素归类为点阵或
非点阵象素;与该点阵象素识别器相联系的点阵区验证器,用于检验
每个象素预定的周围区中的象素从而校检由点阵象素识别器确定的
该象素的归类;以及与点阵区验证器相联系的低通滤波器,它被有选
择地应用到图象中的各象素,从而使得在低通滤波器被应用时,被低
通滤波器覆盖的一个或多个象素根据检验而分别被低通滤波器覆盖
的一个或多个其他的象素所取代。
该设备的各种优选特征将在下面给出。
点阵象素识别器包括预定尺寸的第一掩膜,它将第一掩膜的中心
对准应用在被归类的象素上,从而确定该中心象素是否处在具有预定
周期性的图形的区中。
第一掩膜分成多个重叠的区,中心象素处在每个第一掩膜区中。
点阵区验证器包括预定尺寸的第二掩膜,它将第二掩膜中心对准
应用在被校检的象素上。
第二掩膜分成多个重叠的区,中心象素处在每个第二掩膜区中。
预定的周期性的图形是一个具有周期为2或3的周期性的行或点
图形。
低通滤波器根据多个第二掩膜区中的哪个含有点阵象素而被有
选择地应用。
上面所描述的设备还可包括:频率归类器,它为至少一部分图象
确定特征指示;以及图象处理器,用于根据所确定的特征指示使至少
一部分图形自适应地鲜明化或柔和化。
按照本发明的另外方面,其中的上述方法或步骤可以体现在一个
指令程序(如软件)中,它可以存储到或转移到计算机或其它受处理
器控制的设备中以供执行。或者,该方法和步骤可以用硬件或软件和
硬件的组合来实现。
本发明的其它目的和优点以及对本发明更充分的理解将通过下
列说明和权利要求并结合附图而变得明显和得到理解。
附图说明
在附图中相同的参考符号表示相同的部件。
图1是说明适合于实施本发明各方面的图象投影系统各主要部件
的方块图;
图2是说明适合于实施本发明各方面的典型的计算机系统各部件
的方块图;
图3是表明处理过程和在梯形图象赝象去除(KIAR)、自适应以
场为基础的视频增强(AFBVE)、以及梯形变形操作之间的关系的功
能方块图;
图4是按照本发明实施例的KIAR功能方块图;
图5A和5B是按照本发明实施例的点阵象素识别器(SPI)掩膜
的原理图;
图6是按照本发明实施例的点阵区验证器(SRV)掩膜的原理图;
图7是在本发明实施例中使用的3×3高斯LPF内核的原理性表
示;
图8是对被LPF内核覆盖的象素进行编号的原理性表示;
图9是按照本发明实施例的AFBVE技术的功能方块图;
图10是由AFBVE操作的频率归类器产生的作为Sobel边缘检测
器输出的函数的特征指示值的图形表示;
图11A是隔行输入图象的图形表示;以及
图11B是表示例如图7所示的LPF内核的滤波器内核是如何被应
用于隔行图象数据的原理性表示。
具体实施方式
图1显示了可以采用本发明技术的典型图象投影系统10的各部
件。在所示的实施例中计算机系统12存储着数字图象,它以电的方
式沿合适的传送路径14发送到投影设备16(例如液晶投影仪
(LCP)),后者将这样的图象投射到屏幕、墙或其它显示区上。熟
悉本技术的人们知道,图1只是可用来获得数字图象并使它们投影的
多种方案之一。本发明涉及对数字图象在它们被显示或投影之前的某
些处理,但对于这一发明的目的而言,图象如何和在何处存储和数字
化并不重要。要按本发明处理的数字图象可以从扫描仪、数字相机等
得到、存入存储器、并发送到投影设备。这样的数字图象也可由计算
机产生。此外,作为本发明主题的特殊处理可以发生在投影设备本
身,也可以发生在计算机或在其它能在把处理过的图象数据发送到投
影设备之前实施本发明的处理的设备中。
在数字化的图象是由计算机12获得、存储并处理的情况下,这
种计算机可以是任何合适的类型,其中包括个人计算机或工作站。如
图2所示,计算机典型地包括提供计算资源和控制计算机的中央处理
单元(CPU)21。CPU21可由微处理器或类似物实现,并可还包括图
形处理器和/或用于算术运算的浮点协处理器。计算机12还包括可以
采取随机访问存储器(RAM)和只读存储器(ROM)形式的系统存储器
22。
如图2所示,还具有一系列控制器和外围设备。输入控制器23
代表用于一个或多个输入设备24(如键盘、鼠标或记录笔)的接口。
计算机系统12还可以具有输入控制器,用于连接输入设备例如可以
用来获得数字图象的扫描仪和/或数字相机。存储控制器25是对存储
设备26的接口,该存储设备26包括例如磁带或盘的存储介质,或光
学介质,它们可以用于记录操作系统、实用和应用程序的指令程序,
其中可包括实施本发明各方面的程序的实施例。存储设备26还可以
用于存储要按照本发明来进行处理的图象数据。输出控制器27提供
对输出设备28的接口,该输出设备28例如是阴极射线管(CRT)或
薄膜晶体管(TFT)显示装置。还提供一个输出控制器用于将投影设
备16连接到计算机12。通信控制器24与通信设备31相接口,后者
可以是调制解调器或其它网络连接。实施本发明各方面的程序和/或
已处理过的或待处理的图象数据可以从远处(如服务器)经网络传送
给计算机12。
在所示实施例中所有主要系统部件连接到总线32,后者可以代表
一个以上的物理总线。例如,有些个人计算机含有所谓工业标准结构
(ISA)总线。其它计算机含有ISA总线及更宽频带的总线。
图3表明可以在计算机12、在投影设备16或其它合适的设备中
实现的处理器100,它用于执行各种功能,包括:梯形图象赝象去除
(KIAR)35;自适应以场为基础的视频增强(AFBVE)36,它被设计
成可受到所述KIAR的支持;以及梯形变形(morphing)37。所述KIAR、
AFBVE和梯形变形之间的关系示于该图中。输入图象(I/P)传送给
KIAR方块,在那里它按照KIAR技术被处理。经KIAR处理的图象再
送到AFBVE方块,在那里使用AFBVE技术对其作进一步处理。然后可
以将梯形变形技术应用到经AFBVE处理的图象,以产生由LCP16进行
显示的输出图象(O/P)。
KIAP、AFBVE和梯形变形操作可在处理器100中以各种方式(包
括软件、硬件或其组合)来实现。这样的软件例如可以存储在计算机
12的系统存储器22或存储设备26中,并由CPU21取出以供执行。
更广泛地说,这种软件可以由任何一种机器可读的介质来传播,其中
包括磁带或盘、光盘、通过包括因特网的网络通路传送的信号、以及
包括红外信号在内的整个电磁频谱的合适载波信号。处理器100也可
以利用分立逻辑电路、一个或多个专用集成电路(ASIC)、数字信号
处理器、程序控制处理器、或其它类似物来实现。
图4是按照本发明实施例的KIAR技术的功能方块图。在一个实
施例中,KIAR35是利用点阵象素识别器(SPI)41、点阵区验证器
(SRV)42和例如低通滤波器(LPF)的滤波器43实现的。处理流程
如该图所示。SPI41检验输入到KIAR方块35的数字图象的每一象
素,并归类该象素为点阵或非点阵象素。然后SRV42对每个象素检
查其环绕区的各象素以验明该原来的归类是否正确,并对被SPI41
错误归类的任何象素进行重新归类。然后将LPF应用到点阵区象素上
(如下所示),同时保持非点阵区象素不变。
SPI41利用一维掩膜来执行其归类功能,它的一个实施例原理性
地表示在图5A中,另一个实施例表示在图5B中。掩膜51a和51b每
个具有的尺寸为25×1象素,其中心为当前被检验的象素。掩膜元素
52a和52b被如此地间隔开,以便检查该中心象素是否处在周期性的
行或点图形区内,在这里,所述周期或对应于相邻的掩膜元素之间的
距离(dist)等于某个预定的数。在图5A的掩膜中,元素52a的间
隔是使得所述预定数为2。这就是说,在对应于掩膜元素的每个象素
和被检查的象素之间有一个象素。在图5B的掩膜中,元素52b的间
距是使得该预定数为3。也就是说,在每个对应于掩膜元素和被检查
的象素之间有两个象素。
如图5A和5B所示,每个掩膜51a和51b分成重叠部分(1)和
(2),并且其中一个象素在中心重叠。采取这样的划分方式是为了
易于在边缘和角上识别点阵象素。每个区(1)和(2)对应于5到7
个象素位置,并且由“dist”将间隔表示为2或3个象素。掩膜51a
检查其间隔为2个象素的每一区中的7个象素而掩膜51b检查间隔为
3个象素的每个区中的5个象素。
在一个实施例中,如果在特定区内被检查的象素具有同样的色值
(如RGB值),则该区被认为是在点阵区内,它的预定的点阵图形周
期对应于所用的SPI掩膜。其它象素特征(如亮度或色度)也可以针
对与该预定图形相对应的图形进行检查。如果任何一个区被归类为点
阵区,则中心象素被认为是点阵象素。
在利用SPI掩膜进行处理后,任何象素的错误归类由SRV 42也
通过使用掩膜来校正。当SPI掩膜如图5A和5B所示是25×1时,SRV
掩膜61最好是25×3象素,并划分成由[1]、[2]、[3]和[4]所示的
象限,如图6所示。每个象限最好是13×2象素,相邻象限间有一个
水平和垂直行相重叠。这就是说,象限[1]的最右列与象限[2]的最左
列重叠,而象限[1]的最下行和象限[3]的最上行重叠。类似地,象限
[4]的最左列和象限[3]的最右列重叠,而象限[4]的最上行与象限[2]
的最下行重叠。将SRV掩膜61划分成象限允许SRV准确地实施在点
阵区内和在这些区的边缘和四角上进行的校正。
LPF43的滤波器内核是在利用SRV掩膜实现的处理的基础上被加
以应用的。该滤波器内核最好是一个3×3高斯LPF内核,它的系数
如图7所示。应用LPF内核的方式取决于SRV掩膜61的哪些象限的
组合含有点阵象素。如果在SRV掩膜61的4个象限的每一个中的所
有象素都是点阵象素,则使用LPF内核去平滑中心象素,这在图6中
是变黑的象素。但是,如果只有某些象限含有点阵象素,则对应的象
素被“镜象”象素所取代,如下面参考图8所说明的,它表明由LPF
内核所覆盖的各象素的编号。
如果只有象限[1]、[2]和[3]含有点阵象素,则象素9被象素1
取代。如果仅象限[1]、[2]和[4]含有点阵象素,则象素7被象素3
取代。如果仅象限[1]、[3]和[4]含点阵象素,则象素3被象素7取
代。如仅象限[2]、[3]和[4]含点阵象素,则象素1被象素9取代。
如果仅象限[1]和[2]含点阵象素,则象素7、8和9分别被象素1、2
和3取代。如果仅象限[1]和[3]含点阵象素,则象素3、6和9分别
被象素1、4和7取代。如果仅象限[2]和[4]含点阵象素,则象素1、
4和7分别被象素3、6和9取代、如果仅象限[3]和[4]含点阵象素,
则象素1、2和3分别被象素7、8和9取代。如果仅象限[1]含点阵
象素,则象素3、6、9、8和7分别被象素1、2、1、4和1所取代。
如果仅象限[2]含点阵象素,则象素1、4、7、8和9分别被象素3、2、
3、6和3所取代。如果仅象限[3]含点阵象素,则象素1、2、3、6
和9分别被象素7、4、7、8和7所取代。如果仅象限[4]含点阵象素,
则象素3、2、1、4和7分别被象素9、6、9、8和9所取代。在所有
其它情况下,被检验的象素保留不变。也就是说,不使用LPF。
对于象素(i,j),LPF的处理过程如下:
Ii/p(i,j)=KIAR操作的输入图象
Ilpf(i,j)=3×3高斯LPF
Ihpf(i,j)=Ii/p(i,j)-Ilpf(i,j)
Io/p(i,j)=KIAR操作的输出图象=Ilpf(i,j)+(1+鲜明化因数)
*Ihpf(i,j)
虽然对给定的LCP系统而言鲜明化因数可根据系统硬件特性由实
验确定,但发明人利用实验确定了(1+鲜明化因数)项的值=1/8。
这样一个值在对测试图象的所有梯形操作中都能减少点阵区中的莫
尔赝象。对于非点阵区,将输出图象做成与输入图象相同,以保持图
象的非点阵区。
如前所述,KIAR技术可与另一种称为自适应以场为基础的视频增
强(AFBVE)技术一起使用。在这种情况下,把经过KIAR处理的图象
传送给AFBVE方块,以便由AFBVE技术去确定作进一步的平滑或鲜明
化。AFBVE是一个自适应过程,它用于按需要来平滑边缘或边界或使
它们鲜明化,以便去除由隔行的视频输入所引起的模糊,这种隔行视
频输入是分别输入到LCP的奇数和偶数图象象素行。在隔行视频输入
时,通常奇数行先输入,然后是偶数行。不管哪一种方式,这样的输
入导致在每一视频帧中包括两个场,即奇数行场和偶数行场,这两个
场的相互作用引起所得到的图象的模糊。AFBVE被设计成可以校正此
类模糊。
图9是AFBVE技术的功能方块图,该技术自适应地将鲜明化和平
滑处理应用到KIAR方块35的数字输出。KIAR35的输出构成了输入
到AFBVE的图象,它是隔行的或顺序的数据。这个输入图象被传送到
LPF91、第一求和功能92、和频率分类器93。
LPF91对输入图象进行低通滤波,以得到平滑的(即柔和的)图
象。LPF91最好使用如图7所示的相同的3×3高斯内核。通过从输
入图象中减去平滑图象,可以得到图象的高通频率部分,它构成对第
一求和功能92的另一个输入。元件92将输入图象和高通频率部分组
合起来,并将其结果送到定标因子确定器94,后者产生一个定标因子
以便放大图象的高频分量。定标因子等于1表明AFBVE功能的输出图
象与该功能的输入图象相同,定标因子大于1表示输出图象要被鲜明
化,而定标因子小于1表明图象被加以柔和。发明人用实验确定优选
的定标因子为1+20/32=52/32。
与简单地用定标因子放大高频分量再把它们应用到平滑图象上
以产生输出(O/P)图象不相同,本发明的频率分类器93产生一个特
征指示(这在图9中用“f”表示),用它来调制定标因子可以实现
自适应鲜明和柔和的增强。频率分类器93确定哪些图象区要鲜明化
和哪些要柔和化,并确定要应用到图象每个象素位置的鲜明和柔和因
子的大小。也就是说,频率分类器93检测图象的空间频率信息,以
便分开主要边缘和噪声的微边缘(或非边缘)从而产生特征指示f。
具体说,频率分类器93使用3×3 Sobel边缘检测器以便检测图
象的空间频率分量,并将每一分量分类为图10所示的三个区之一。
这三个区是:柔和区,它在一个预定的较低阈值频率(thr_low)之
下;鲜明区,它在预定的较高阈值(thr_high)之上;及在柔和和鲜
明区之间的过渡区。过渡区提供在柔和及鲜明增强之间的平滑过渡。
如图10所示,f在过滤区是线性的以避免在柔和和鲜明区之间不连续
性的赝象。
如图10所示,特征指示f是Sobel边缘检测器输出的函数,其
范围为0-255。所述的thr_low和thr_high将根据图象类型、个人
观看爱好和系统硬件特性而改变。这种阈值可用实验来确定。但是,
发明人已确定:对许多图象而言,thr_low为约20和thr_high为约
40可以产生良好结果。
特征指示f是从0到1的数(在图10中表示为0-100%的百分
数),它被输入到乘法器95,在那里它被乘以定标因子确定器94的
定标因子以产生被调制的定标因子,后者被加法器96应用到LPF91
产生的平滑图象上。被调制的定标因子为1表示对LPF91的输出不
进行改变;大于1的定标因子表示这样的输出被鲜明化;小于1的定
标因子则表示这样的输出被柔和或平滑化。从加法器96所得到的结
果是AFBVE过程的输出(O/P)图象。
图11A是一个可以被输入到LCP的隔行视频图象的图形表示。如
前面所讨论的,在隔行图象格式中每个帧包括两个场:第一场例如含
有全部单数扫描行和第二场包含例如全部偶数扫描行。各图象数据场
是分开处理的,例如在处理第一场后接着处理第二场。因此在滤波过
程中,如原理性地示意于图11B中的那样,滤波器内核被应用到来自
第一或第二场的各元素。应该指出,隔行视频格式只是LCP视频输入
的一种类型。也可以使用顺序格式,即其图象具有逐行光栅的格式。
如前面说明所表明的,本发明提供一种用于平滑非点阵图象区的
技术(KIAR)以便除掉其中的莫尔条纹,而同时能保持非点阵区的鲜
明度。在KIAR过程之后可跟随着AFBVE过程,它们的每一个都可以
方便地在个人计算机中或在其它处理设备中利用软件、硬件、或它们
的组合来实现。
知道了这些实施方案,应该明白上述功能块和流程图表示的是某
些特定功能的性能和它们的关系。在这里这些功能决的边界是为了便
于说明而人为定义的。也可以规定另外的边界,只要能实施特定的功
能且它们间的关系能恰当地保持即可。各附图和相应的描述为熟悉本
领域的技术人员提供了功能信息,这些信息是设计电路或编写软件代
码执行所需处理所需要的。
虽然本发明是结合几个特定实施例而说明的,但是根据前面的说
明,许多替换、修改、变化和应用对熟悉本领域的技术人员而言是很
明显的。因此这里所描述的本发明将要求包括在所附权利要求精神和
范围之内的所有替代、修改、变化和应用。