背景技术
近年来,由于数字电子技术的大幅进步,消费者的使用习惯已逐渐倾向
数字化产品,其中数字相机即为一明显例子。数字相机可以容许使用者预览
影像帧,并选择想要保留的影像帧,而删除不想要的影像帧。这种可立即获
得拍照结果的优点,是传统底片相机所无法达到的,因为从拍照到冲洗,传
统底片相机所拍摄的影像往往需费时数小时或数日才能看到拍摄结果。
请参考图1及图2,其中图1为已知数字相机的运行流程图,图2为光
学感测器20的部分示意图。已知的数字相机是利用一影像感测系统2去捕捉
单一影像帧(image frame)。构造极为复杂的影像感测系统2包括许多元件,
例如镜头、光圈虹膜等等。然而,较特别的是在影像感测系统2的中心地带
配置有光学感测器20。光学感测器20一般为电荷耦合装置(CCD)或CMOS装
置,用来作为数字相机的底片。在图2中,光学感测器20包含有多个像素感
测器22沿着多列20r及多行20c排列。举例而言,一般的光学感测器20可
支援到达两百万个像素以上,并可达到1400×1400以上的解析度。
为了提供全彩色(full-color)影像,光学感测器20必须能够提供至少
三种色彩信息(color informtion),组成一基本色组(component color
set)。最常用的基本色组即是红(Red)、绿(Green)及蓝(Blue)三互补色。然
而,亦有使用四色组者,例如氰蓝色(Cyan)、黄色(Yellow)、紫红色(Magenta)
及绿色。以采用红、绿及蓝三互补色的基本色组为例,每一像素感测器22
需可以提供红(Red)、绿(Green)及蓝(Blue)三互补色之一的强度信息
(intensity information),其通常是以八个比特(一字节)表现。因此,像素
感测器22可以交错方式划分为:红色像素感测器22r、绿色像素感测器22g
及蓝色像素感测器22b。绿色像素感测器22g,如同人类的视觉系统,对于绿
色最为敏感。每一红色像素感测器22r可提供一字节的红色色彩强度信息,
每一绿色像素感测器22g可提供一字节的绿色色彩强度信息,而每一蓝色像
素感测器22b可提供一字节的蓝色色彩强度信息。对一个两百万(2mega)像
素光学感测器20而言,原始影像帧信息(raw image frame data)具有2
mega-pixels×1byte/pixel=2百万字节。因此,使用者每拍摄一影像,影像
感测系统2即产生2百万字节大小的原始影像帧信息。
在图1中,预处理单元4用来提供由每一像素感应器22(即所谓的像素)
产生的字节信息与其它基色(component color)的色彩信息。如此一来,每一
像素在经过预处理后,将会形成三个字节的色彩信息,分别是红色强度信息
字节,绿色强度信息字节,及蓝色强度信息字节,共24比特。预处理单元4
是利用靠近一目标像素感应器22的其它像素感应器22计算目标像素感应器
22的其它基色的色彩强度值。举例而言,以图2中红色像素感应器22r为目
标像素感应器,其周围即有八个像素感应器22包括绿色像素感应器24g及蓝
色像素感应器24b。目标像素感应器22r检测到八比特的红色强度信息并传
送至预处理单元4。同样地,周围的绿色像素感应器24g提供八比特的绿色
强度信息,而蓝色像素感应器24b提供八比特蓝色强度信息。由绿色像素感
应器24g及蓝色像素感应器24b所产生的16比特信息,将与目标像素感应器
22r检测到八比特的红色强度信息一起传到预处理单元4。如此一来,预处理
单元4即可由原始影像帧信息产生全彩的帧信息。只不过,原始影像帧信息
大小为两百万字节,由预处理单元4产生的全彩的帧信息则为六百万字节大
小。
帧缓冲器(frame buffer)10是用来缓冲并储存完整的帧信息,其必须具
有足够的容量以容纳至少一个完整的影像帧10f。然而,六百万字节的全彩
帧信息是一个十分庞大的数据,因此,为了减轻帧缓冲器10的存储器需求,
已知技术采用一高速压缩系统(high-speed compression system)6来压缩由
预处理单元4产生的全彩色帧信息。为维持数据的完整性,高速压缩系统6
理想上需为一无损失(loss less)压缩系统。高速压缩系统6主要是以差分脉
码调制(differential pulse coded modulation,DPCM)配合霍夫曼编码
(Huffman encoding)进行数据压缩。DPCM技术基本上是由一信息流(data
stream)中不同信息成分(component)之间差值衍生的差值信息流,亦即,由
预处理单元4产生的信息流所衍生的色彩强度信息差值。当影像信息趋向平
稳地改变时,这些差值只需较少的编码比特,并且趋向具有一零和均值
(zero-sum mean),理想上适合霍夫曼编码的情形。一般高速压缩系统6可以
提供约50%的压缩比,而在帧缓冲器10内的每一影像帧10f则实际上并非
全彩色影像帧信息,而是经由全彩色影像帧信息压缩的帧信息。藉由高速压
缩系统6的帮助,原本需要每一帧信息六百万字节的帧缓冲器10,只需要三
百万字节的存储器需求。
解压缩系统14是用来将压缩帧信息恢复成全彩色影像帧信息。此全彩
影色像帧信息接着会被送至损失压缩系统(lossy compression system)16
中。损失压缩系统16,顾名思义,是在压缩过程中会造成数据部分损失或流
失,不过却可提供较高的压缩比。损失压缩系统16在压缩数据过程中所造成
的数据损失一般在屏幕上不易察觉。JPEG压缩标准(JPEG compression
standard)即是数字相机最常用的损失压缩技术。损失压缩系统16将由解压
缩系统14传送来的全彩色影像帧信息再压缩成JPEG影像信息,而储存于非
逸失存储器18中。
将数字相机的成本及价格降低以提升消费者购买欲望一直以来是制造
商的重要目标。采用整合式芯片(system-on-a-chip,SOC)即是厂商降低数字
相机成本的手段之一。事实上,在图1中可能除了影像感测系统2及非逸失
存储器18之外,其它元件或系统目前都可在单一芯片的架构上进行。而整合
式芯片中成本较高的部分就算是帧缓冲器10。因此,若能够降低帧缓冲器10
的存储器需求,整合式芯片的成本即可大幅降低,进而将更低价的数字相机
带入市场。
发明内容
据此,本发明的目的是提供一具有低存储器需求帧缓冲器的数字相机。
为实现上述目的,本发明提供了一种数字相机,其包含有一影像感测系
统、一第一压缩系统、一帧缓冲器,及一影像处理系统。该影像感测系统用
以提供n个起始影像信息的像素,每一像素具有m比特由一至少三基色组之
一的强度信息(intensity information),使该起始影像信息包含n×m比特。
该第一压缩系统,用以压缩该n×m比特起始影像信息,形成r比特第二影像
信息,其中r小于n×m。该帧缓冲器,具有至少r比特来储存该第二影像信
息;该第一解压缩系统,用以解压缩储存于该帧缓冲器的r比特信息,提供
一第三影像信息。该影像处理系统,用以接收该第三影像信息,以产生一处
理影像信息,该处理影像信息包含有多个像素,而每一该像素提供该至少三
基色组中的每一基色的强度信息。
本发明的优点在于藉由在原始影像信息由光学感测器撷取并压缩储存
于帧缓冲器之后,针对每一像素产生的色彩信息判别,帧缓冲器的存储器需
求降低,从而达到降低数字相机成本的目的。
为了更进一步了解本发明的特征及技术内容,以下通过附图及较佳实施
例详细说明本发明。然而,附图仅供参考及说明之用,而非用来限制本发明
的权利范围。
具体实施方式
请参考图3及图4,其中图3为本发明数字相机50的前视图,图4为图
3中数字相机50的系统方块图。数字相机50包含有一影像感测系统60、一
系统整合芯片(SOC)70,及一非逸失存储器80。非逸失存储器80可以是插入
式记忆卡例如软盘(floppy disk)、CF卡(compact flash card)、SONY memory
stikc记忆卡、IBM微型硬盘(IBM microdrive)、或内建快闪存储器(如E
2PROM)。影像感测系统60包括一镜头62以及一光学感测器64,其中镜头62
用来将影像聚焦于光学感测器64上。光学感测器64一般为电荷耦合装置(CCD)
或CMOS装置,用来作为数字相机的底片。本发明特别适合应用于交错式CCD,
因此在以下讨论中除非特别指明,光学感测器64是为一交错式CCD。当按下
一快门按钮(shutter release button)66时,系统整合芯片70立即输入交
错的原始影像信息67。系统整合芯片70处理及压缩由光学感测器64传送来
的原始影像信息67并将压缩信息78储存于非逸失存储器80。因此,系统整
合芯片70的工作即是将光学感测器64撷取的影像信息转换成适当的格式储
存于存储器80中。
再参考图5,同时参考图3及图4,图5为光学感测器64的部分示意图。
光学感测器64的操作特性基本上与前述已知技术相同。光学感测器64包含
有n个像素感测器64p排列于多列64h及多行64v上,可以是两百万像素交
错式CCD(即n=221)。每一像素感测器64p提供一m比特至少三基色之一的色
彩强度信息。以图5为例,此三基色即为红、绿及蓝色。此外,并假设m比
特为八比特。因此,光学感测器64包含有多个红色像素感测器64r,每一红
色像素感测器64r可提供八比特的红色色彩强度信息;多个绿色像素感测器
64g,每一绿色像素感测器64g可提供八比特的绿色色彩强度信息;及多个蓝
色像素感测器64b,每一蓝色像素感测器64b可提供八比特的蓝色色彩强度
信息。在此条件下,当按下快门按钮66后,像素感测器64p产生n×m比特
的原始影像信息67,其约为两百万字节大小。
原始影像信息67接着输入系统整合芯片70中并首先传送至像素内处理
系统(intra-pixel processing system)71,其是针对不符合每一像素包含三
基色(R/G/B)信息要求的原始影像信息67进行修正,可以包括白色平衡控制
(white balance control)及gamma修正。像素内处理系统71仍产生n×m
比特,即两百万比特的起始影像信息67i。由于像素内处理系统71执行低阶
处理,可以直接设于光学感测器64上。虽然像素内处理系统71是位于系统
整合芯片70上,然而为了便于说明本发明,在以下讨论中,像素内处理系统
71视为影像感测系统60的一部分,并产生起始影像信息67i。
起始影像信息67i被传到第一压缩系统72。第一压缩系统72采用理想
上无损失压缩,或近乎无损失的压缩演绎法则72a。所谓的无损失压缩演绎
法则72a表示经压缩的起始影像信息67i可以完全利用一相对应的解压缩演
绎法则被复原成与原先一模一样的影像信息。近乎无损失压缩演绎法则可能
无法复原成与原先一模一样的影像信息,但只有最低有效比特(least
significant bits,LSBs)漏失。上述(近乎)无损失压缩演绎法则72a为本领
域的技术人员所熟知。本发明无损失压缩演绎法则72a是采用DPCM技术配合
霍夫曼编码(Huffman encoding)。在任何情形下,压缩演绎法则72a需以高
速方式进行,使起始影像信息67i在输入流出像素内处理系统71时不考虑信
息流缓冲问题。据此,本发明第一压缩系统72是采用高速压缩演绎法则72a
将起始影像信息67i转换压缩为一大小为r比特的第二影像信息67s。当然,
r必须小于n×m,也就是说,第二影像信息67s的大小必须小于起始影像信
息67i。压缩演绎法则72a的压缩比需到达50%,使两百万字节的起始影像
信息67I转换成一百万字节的第二影像信息67s。因此,r约为n×m的一半。
第二影像信息67s接着被储存于帧缓冲器73中。
为了储存第二影像信息67s,帧缓冲器73必须具有至少r比特大小的存
储器,而稍大于r比特大小的存储器以防由于压缩演绎法则72a压缩比产生
的变动则更为理想。以上述情形而言,帧缓冲器73必须具有至少一百万字节
大小的存储器。如前所述,本发明以交错式CCD作为光学感测器64,本质上,
就是将多列64h分为偶数列64e交叉于单数列64o之间。光学感测器64首先
将偶数列64e的原始影像信息输出,接着才将单数列64o的原始影像信息输
出。当第一压缩系统72以即时捕捉(“on the fly”)压缩起始影像信息67i,
随即对应一完整的起始影像信息67i帧产生两个不同的第二影像信息帧:偶
数画面(even field)73e及奇数画面(odd field)73o。偶数画面73e含有偶
数列64e第二影像信息67s,而奇数画面73o含有奇数列64o第二影像资读
67s。偶数画面73e及奇数画面73o一起即构成一完整的第二影像信息67s。
帧缓冲器73可设计成为能容纳多个第二影像信息67s,也就是多个偶数画面
73e及相对应于多个偶数画面73e的奇数画面73o。在此情形下,帧缓冲器
73的最小存储器需求为r×x,其中x为第二影像信息67s储存于帧缓冲器
73的帧数量。举例而言,若有四个帧要储存于帧缓冲器73,则帧缓冲器73
需具有四百万字节的存储器容量。
第一解压缩系统74是用来解压缩储存于偶数画面73e及奇数画面73o
的第二影像信息67s以产生一第三影像信息67t。第一解压缩系统74是采用
一与压缩演绎法则72a相反的解压缩演绎法则74a。因此,若压缩演绎法则
72a提供一无损失压缩功能,则第三影像信息67t即与起始影像信息67i完
全相同。在任何情形下,如同起始影像信息67i,第三影像信息67t会具有n
×m比特大小。因此,每一在第三影像信息67t中的像素信息具有m比特(即
八比特)三基色(R/G/B)中之一的色彩强度信息。
线缓冲器75是用来去交错第三影像信息67t,包含有多条线75L,例如
10条线。每一条线对应于第三影像信息67t中一像素列64h。举例而言,第
一解压缩系统74提供线缓冲器75由第一偶数画面73e衍生的第三影像信息
67t相对应于五个连续的偶数列64e,及由第一奇数画面73o衍生的第三影像
信息67t相对应于五个连续的奇数列64o。线缓冲器75以交替方式储存第三
影像信息67t于线75L(亦即偶数线75L第三影像信息67t紧接着一奇数线
75L),如此达到去交错第三影像信息67t。需注意的是,若数字相机需支援
变焦功能,线75L就需具备一超过像素感测器64p在每一水平列64h的像素
宽度(pixel width)。线缓冲器75同时也提供接下来的影像处理系统77一第
三影像信息67t串接块。
影像处理系统76是用来由线缓冲器75传来的第三影像信息67t产生n
像素处理影像信息67p,以第三影像信息67t串接块方式表示。以前述的例
子,n像素为两百万像素,对应于由两百万像素起始影像信息67i衍生而来
的两百万像素第三影像信息67t。在处理影像信息67p中的每一像素皆有三
基色中各色的影像强度信息。以前述的例子,在处理影像信息67p中的每一
像素皆有24比特的色彩信息:八比特红色信息、八比特绿色信息及八比特蓝
色信息。然而,其它组合亦有可能,例如提供绿色多一点比特,红色较少,
而蓝色更少,抑或采用ITU-R工业标准(ITU-R industry standard)的色度及
亮度编码(chrominance and luminance encoding)。而无论采用何种方式处
理影像信息67p的像素,每一像素仍应具有不同的三基色强度信息。这与起
始影像信息67i形成对比,因为起始影像信息67i每一像素仅含有三基色中
之一的强度信息。因此,影像处理系统76最主要的功能即在于产生第三影像
信息67t中每一像素的色彩强度信息并对其编码。
请参考图6,同时参考图4及图5。图6为本发明线缓冲器75的示意图。
以前述的例子而言,线缓冲器75假设含有10线75L,每一线含有多个像素
7 5p其数目与像素感测器64p在一列64h上的数目相同或超过。每一像素75p
的色彩强度信息应该与起始影像信息67i中相对应的色彩强度信息相等。线
缓冲器75提供一10×10像素区块75k予影像处理系统76。换句话说,十个
像素75p首先由像素区块75k第一列100输出,接着另外十个像素75p由下
一列102输出,依此类推,直到所有在像素区块75k内的像素75p依序传送
至影像处理系统75。对一串接(serialized)第三信息67s的像素75p而言,
影像处理系统76考虑像素75p周边所有的像素75p以提供像素75p其它基色
的强度信息。例如,对于一位于像素区块75k属于串接第三信息67s蓝色像
素102b,其周围具有四个红色像素102r及四个绿色像素102g。每一像素
102r、102g、102b皆只带有八比特的强度信息。影像处理系统76同时考虑
周边的红色像素102r及绿色像素102g并产生一相对应的像素包含有红、绿
及蓝色的强度信息。本发明仅提供一最简单的例说明,即处理影像信息67p
需提供有相对应的像素包含24比特的三基色信息:八比特红色信息、八比特
绿色信息及八比特蓝色信息。当然,亦可能采用其它色彩编码方法。除了色
彩插入(color interpolation)外,影像处理系统76亦可以执行其它功能,
例如影像加强。
处理影像信息67p接着输入损失压缩系统77,产生一压缩影像信息78。
损失压缩系统77在压缩过程中会造成数据部分损失或流失,不过却可提供较
高的压缩比,来换取更多的帧能够存在非逸失存储器80中。损失压缩系统
77在压缩数据过程中所造成的数据损失一般在屏幕上不易察觉。在本发明的
较佳实施例中是利用JPEG压缩标准(JPEG compression standard),其是为
一区块(block-based)损失压缩方式,适合于8×8的像素block。因此,线
缓冲器75至少需有八条线75L以上来达到足够的串接像素块75k。像素块75k
的大小至少需符合损失压缩系统76的块大小需求。如前所述,线缓冲器75
实际上有十条或更多线75L以提供一足够大的10×10或以上的像素块75k
予影像处理系统76及损失压缩系统77。当像素块75k由线缓冲器75串接,
在损失压缩系统77中的JPEG压缩的块至串(block-to-serial)转换已不再需
要。如此一来,使得block-based压缩在损失压缩系统77中执行时轻松不少。
虽然损失压缩系统77偏好block-based压缩方式,然而这并非必须。线性
(raster-based)压缩方式同样可以利用。在此情形下,像素块75k包含有三
条或三条以上的全线(full line)75L,以串接方式依序串接线75L。提供至
少三条线75L可使影像处理系统76执行色彩内插。
与已知技术相比较,本发明执行影像处理时,在原始影像信息由光学感
测器撷取并压缩储存于帧缓冲器之后,再针对每一像素产生额外的色彩信
息。在帧缓冲器中经压缩的原始影像信息因此具有每一像素中仅仅一种颜色
的强度信息,从而降低了帧缓冲器的存储器需求。增加在帧缓冲器之后的线
缓冲器可帮助串接处理后影像信息,使损失压缩系统不必串接处理后影像信
息,减轻了损失压缩系统负担。
以上所述仅为本发明的较佳实施例,凡依本发明权利要求所做的均等变
化与修饰,皆应属本发明的涵盖范围。