利用单色数字摄影机的彩色成像相关申请的交叉引用
本申请涉及2013年8月3日提交的具有相同标题的美国临时专利申请号61/861,
982并且要求其优先权，其被全文合并在此以作参考。
技术领域
这里所公开的实施例总体上涉及利用数字静止或视频摄影机的成像，并且特别涉
及利用具有透明图像传感器(即不具有彩色滤光器阵列(CFA)的传感器)的单色数字静止或
视频摄影机的彩色成像(其在这里也被称作“彩色摄影”)。
背景技术
当今所知的利用数字摄影机(静止和视频模式全部二者)的彩色成像是利用具有
CFA的像素化图像传感器来实施的，最常见的情况是R(红色)、G(绿色)和B(蓝色)滤光器的
Bayer式样。为了简单起见，这样的摄影机将在后面被称作“RGB摄影机”。CFA像素被设置成
匹配图像传感器像素。随着现今的图像传感器像素的尺寸不断减小(其逼近光的波长)，对
应于每个像素的给定光子通量的信号水平降低，并且对于每一个光子的捕获变得至关重
要。彩色滤光器阻止大多数(在某些情况下是大约70％)的光子到达图像传感器，从而显著
地影响例如灵敏度和信噪比(SNR)之类的参数。此外，CFA的制作需要若干掩蔽和沉积阶段，
因此成本较高。
彩色图像实质上是RGB“波段”图像的加权组合。因此，如果其RGB分量是已知的，则
彩色图像可以被“构建”(或“重建”)以匹配原始成像的对象。每一个R、G和B波段本身是R、G
或B波段内的不同波长(或波段)处的许多分开的光谱或超光谱(“HS”)图像的加权组合。这
里所使用的术语“超光谱”作为示例指的是多于大约10个波长。因此，可以从光谱或超光谱
图像数据重建RGB彩色图像，正如在D.H.Foster等人的“Frequencyofmatemerismin
naturalscenes(自然场景中的条件配色的频率)”(JournaloftheOpticalSocietyof
AmericaA，23，2359-2372，2006年)中所描述的那样。但是，这样的重建当前受到获取HS数
据所需要的时间和处理资源的严重限制，并且受到从HS数据重建彩色图像所需要的时间和
处理资源的严重限制。
本发明的发明人在2014年6月16日提交的标题为“Apparatusandmethodfor
snapshotspectralimaging(用于快照光谱成像的装置和方法)”的PCT专利申请PCT/
IB2014/062270教导了利用单色数字摄影机的快照(单个镜头)HS成像，所述单色数字摄影
机具有受限等距属性(RIP)漫射器元件的形式的最小硬件添加。数字摄影机适配成在一次
快照中提供大量光谱图像。所述光谱图像是从单幅漫射-发散(DD)图像重建的，其是通过摄
影机和RIP漫射器在图像传感器处获得的单幅图像。可以把硬件或软件随机化器添加到具
有RIP漫射器的摄影机，以便在图像传感器处提供单幅漫射-发散和随机化(DDR)图像。利用
压缩感知(CS)算法来实施在PCT/IB2014/062270中所描述的从单幅DD或DDR图像重建光谱
图像。更具体来说，PCT/IB2014/062270教导了二维(2D)基于CS的空间-光谱立方体重建
(SCR)或“2DCS-SCR”。
显而易见的是，如果可以利用具有不包括彩色滤光器的“透明”图像传感器的单色
数字摄影机获得静止和视频模式全部二者下的彩色图像，则在摄影机性能和图像传感器制
作成本方面将有巨大的优点。此外，需要并且有利的将是具有可以利用有限的处理资源实
时提供这样的图像的单色数字摄影机和相关联的方法。
发明内容
本发明的发明人确定，可以利用具有透明传感器的单色静止或视频数字摄影机获
得静止模式下的彩色图像或者视频模式下的一系列图像(帧)。与具有彩色传感器的数字摄
影机(其中像素覆盖有CFA，通常是Bayer类型RGB滤光器阵列)一样，在单个镜头中获得彩色
图像。后面将具体参照静止模式数字摄影机来继续进行描述，但是其明显也适用于视频模
式。利用单色数字摄影机取得快照DD或DDR图像。从获得自DD或DDR图像的K个光谱带处的尺
寸为X×Y的K幅图像(其代表尺寸为X×Y×K的“数据立方体”)重建尺寸为X×Y的“HS起源彩
色图像”。为了简单起见，后面将使用“彩色图像”而不是“HS起源彩色图像”。从直接重建的
光谱图像内插在彩色图像的重建中所使用的K幅光谱图像当中的一些。具体来说，对于在彩
色图像重建中所使用的由K幅光谱图像构成的一个集合，从DD图像直接重建R幅光谱图像(R
<K)，并且内插K-R幅光谱图像。直接光谱图像重建优选地是利用2DCS-SCR来实施的，并且
可以涉及Bregman迭代，正如在PCT/IB2014/062270中示例性地描述的那样。示例性地利用
二元样条细分算法来实施从可用波段集合重建K波段HS图像J＝
{Jk},k＝0,....,K-1，其中在A.Z.Averbuch、P.Neittaanmaki和V.A.Zheludev的“Spline
andspline-waveletmethodswithapplicationstosignalandimageprocess,
VolumeI:Periodicsplines(样条和样条-小波方法以及在信号和图像处理方面的应用，
第I卷：周期性样条)”(Springer，2014)中示例性地描述了所述二元样条细分算法(其在后
文中被称作“ANZ-book1”)。可以利用某种预设的或者动态的标准或阈值来确定获得可接受
质量的彩色图像所需要的Bregman迭代的次数。在每一次Bregman迭代之后，可以从在该次
迭代中重建(直接重建或者通过内插重建)的光谱图像形成“中间”彩色图像。
通过直接重建K幅光谱图像当中的仅仅R幅并且随后对剩下的K-R幅图像进行内
插，提供了显著的时间和计算资源的节省，同时不会显著降低彩色图像的质量。具体来说，
所述时间节省是通过在不到一秒内(即“实时”)获得彩色图像的事实来表达的，从而还允许
视频产生。
由于无法示出彩色图像，因此这里在所有附图中将这样的图像转换成灰度图像。
在一些实施例中，提供一种利用具有不包括彩色滤光器的像素化透明图像传感器
的摄影机获得对象或场景的彩色图像的方法，所述方法包括以下步骤：在快照中在图像传
感器处获得DD图像；对DD图像进行处理，以便获得K个光谱带中的K幅光谱图像，其中K≥3；
以及从所述K幅光谱图像重建彩色图像。所述彩色图像可以是静止彩色图像或视频彩色图
像或彩色帧。在一些实施例中，获得DD图像的步骤可以包括获得漫射-发散和随机化(DDR)
图像。对DD或DDR图像进行处理的步骤可以包括对DD或DDR图像进行处理以便在R个波段中
提供R<K幅光谱图像，并且使用所述R幅图像获得K-R幅内插图像，并且从K幅光谱图像重建
彩色图像的步骤可以包括使用所述R幅光谱图像和K-R幅内插光谱图像来重建彩色图像。所
述内插图像可以利用样条细分算法获得。所述样条细分算法可以是二元样条细分算法。每
一幅光谱图像可以包括由X×Y个多像素构成的一个集合，每一个多像素包括K个波段，并且
其中所述内插可以是在整个多像素集合上同时实施的。
在一些实施例中，提供一种用于获得对象或场景的彩色图像的摄影机，其包括：透
镜；不具有彩色滤光器的像素化透明图像传感器；用以在快照中在图像传感器处获得DD图
像的漫射器装置；以及处理器，其被配置成把DD图像处理成K个光谱带中的K幅光谱图像，其
中K≥3，并且从所述K幅光谱图像重建彩色图像。所述彩色图像可以是静止彩色图像或视频
彩色图像或彩色帧。在一个实施例中，所述漫射器装置包括RIP漫射器。在一个实施例中，摄
影机包括与漫射器装置相结合来使用以便在图像传感器处提供DDR图像的随机化器。所述
随机化器可以是硬件随机化器或者软件实施的随机化器。所述处理器还可以被配置成把DD
或DDR图像直接处理成R个波段中的R幅光谱图像(其中R<K)，从所述R幅光谱图像内插出K-R
幅内插光谱图像，并且利用直接处理的R幅光谱图像和K-R幅内插光谱图像重建彩色图像。
用以内插出K-R幅内插光谱图像的处理器配置可以包括用以利用样条细分算法内插出所述
K-R幅光谱图像的配置。所述样条细分算法可以是二元样条细分算法。
附图说明
通过结合附图考虑后面的详细描述，这里所公开的各个方面、实施例和特征将变
得显而易见，其中：
图1A在流程图中示意性地示出了这里所公开的利用单色数字摄影机获得彩色图
像的方法的一个实施例；
图1B示出了图1A的流程图中的步骤106的细节；
图2A示出了在仿真中使用的尺寸为1367×609×33的原始图像；
图3B(左)示出了在仿真中使用的尺寸为256x256的原始图像的一个片段；
图2B(右)示出了相同的片段，其中RGB图像是从取自原始光谱数据的9个波段以及
利用二元样条细分算法内插出的24个波段导出的；
图2C分别示出了从33个原始波段导出的前述片段的红色、绿色和蓝色图像(上方
行的三个视图)相比于从9个原始和24个内插波段导出的图像(下方行的三个视图)；
图3示出了尺寸为1024×256的DD图像；
图4A(左)示出了尺寸为256×256的原始图像的片段；
图4B(右)示出了与图4A中相同的片段，其中RGB图像是还原自DD图像的9个波段以
及利用二元样条细分算法内插出的24个波段导出的；
图4C分别示出了从33个原始波段导出的前述片段的红色、绿色和蓝色图像(上方
的三幅图片)相比于从重建自DD图像的9个波段和利用二元样条细分算法内插出的24个波
段导出的图像；
图5示出了所还原的红色、绿色和蓝色图像的PSNR与Bregman迭代的次数的相关
性；
图6A示出了这里所公开的可以被用于彩色成像的具有透明图像传感器的一种单
色摄影机的一个示例性实施例；
图6B示出了图6A的摄影机中的元件的细节；
图7A示出了这里所公开的可以被用于彩色成像的具有透明图像传感器的另一种
单色摄影机的一个示例性是；
图7B示出了图7A的摄影机中的元件的细节。
具体实施方式
图1A在流程图中示意性地示出了这里所公开的利用单色数字摄影机获得彩色图
像的方法的一个实施例。在步骤102中，在单色摄影机的透明图像传感器处获得快照DD或
DDR图像，正如在PCT/IB2014/062270中示例性地描述的那样。在步骤104中，对DD或DDR图像
进行处理，以便获得K个光谱带处的一定数目的K幅光谱图像，正如在PCT/IB2014/062270中
示例性地描述的那样。随后在重建步骤106中从K个波段重建HS起源彩色图像。
应当提到的是，虽然后面将特别参照在PCT/IB2014/062270中为之提供了实现细
节的DD或DDR图像来进行描述，但是这里所描述的方法可以被应用于利用不同于在PCT/
IB2014/062270中所描述的RIP漫射器或随机化器的其他扩散装置的快照中获得的DD图像。
在图1B的流程图中给出了重建步骤106的细节。所述重建包括在步骤110中仅从图
像传感器处的DD图像直接重建K幅光谱图像(或波段)当中的一部分的R幅，以及在步骤112
中内插重建剩下的K-R个波段。在DD图像的所有像素上而不是在单个像素上同时实施步骤
110和112。可以示例性地利用二元样条细分算法来实施用以重建内插波段的内插。
HS图像J由数据立方体C＝(Pijk)表示，其中i＝1,....V和j＝1,...H是空间变量，并且k＝
0,...,K-1是光谱变量。所述数据立方体是“多像素”的总集
其中对于固定的存在矢量 M i ‾ , j ‾ = { P i ‾ , j ‾ , k } , k = 0 , ... , K - 1. ]]>
单个多像素(MP)的重建
通过来标示将从不完整的数据重建的单个MP。我们将示
例性地说明利用二元样条细分算法来重建单个MP。
二元样条细分算法
通过Bp(t)来标示在区间(-p/2,p/2)上所支持的grid{l}上的p阶B样条。对应于B
样条的明确表达式为如下：
假设数据矢量是可用的。为了近似重建重
建偶数阶p的样条Sp(l)＝m[2rl]，其在grid{l}上内插数据矢量并且通过由双值有理点
处的样条数值构成的矢量来近似矢量
在一个实施例中，MP的重建可以如下来实施：
1、假设j是使得N＝2j＞K/2r的最小自然数。通过下式来标示对于所采样的B样条的
离散傅立叶变换：
u [ n ] = Σ i = 0 N - 1 e - 2 π i ln / N B p ( l ) , u r [ n ] = Σ i = 0 γ N - 1 e - 2 π i ln / γ N B p ( l ) - - - ( 3 ) ]]>
2、为了使用DFT并且为了消除边界效应，把数据矢量对称地扩展到其长度为N
的矢量
3、计算矢量x的DFT：
x ^ [ n ] = Σ l = 0 N - 1 e - 2 π i l n / N x [ l ] - - - ( 4 ) ]]>
4、引入长度为2rN的序列
y ^ [ n ] = 2 r u r [ n ] u [ n ] x ^ [ n ] Π q = 1 t cos p π n 2 q N - - - ( 5 ) ]]>
5、计算序列的逆离散傅立叶变换(IDFT)
y [ n ] = 1 2 r N Σ n = 0 2 r N - 1 e 2 π m / 2 r N y ^ [ n ] - - - ( 6 ) ]]>
6、把输出矢量y＝{y[l]}对称地收缩到其长度K等于的长度的矢量
矢量等于样条Sp(t)(等式2)的数值，并且近似
前面所描述的样条细分算法能够操作在一个集合上而不是操作在单个矢量上。因
此，前面的操作被同时实施在所有多像素上。尺寸为1367×609×33的数据立方体的细分花
费不到一秒的时间，也就是说可以被视为是“实时”的。
彩色图像重建的仿真
为了研究在重建中使用的光谱带的数目的减少对于彩色图像的质量的影响，运行
了几项计算机仿真，并且将其结果与直接从包含33个原始光谱带的光谱立方体获得的原始
RGB图像(图2A)进行比较。就这里所使用的K符号而言，在这里K＝33。所述比较是通过视觉
分析以及通过计算峰值信噪比(PSNR)来进行的。
图2A示出了被转换到灰度格式的原始彩色图像。原始彩色图像由33个波段处的
1367×609个像素的原始“数据立方体”表示。也就是说，该彩色图像由33个波段重建，每一
个波段利用适当的权重进行加权，正如在前面的Foster等人的论文中所描述的那样。图2B
示出了原始彩色图像(其被转换到灰度格式)的尺寸为256×256的一个片段相比于从9个原
始和24个内插光谱带重建的相同片段。就这里所使用的R和K符号而言，在这里K＝33，R＝9，
并且K-R＝24。“内插”(上采样)RGB图像关于原始图像的PSNR是37.34dB。
图2C分别示出了从33个原始波段导出的前述片段的R、G和B图像(上方行)相比于
从9个原始和24个内插波段导出的图像(下方行)。就这里所使用的R和K符号而言，在这里K
＝33，R＝9，并且K-R＝24。对应于R、G和B图像的PSNR数值分别是40.31dB、41.79dB和
32.61dB。
图3示出了作为针对重建算法的输入的尺寸为1024×256的DD图像。这样的图像的
细节可以在PCT/IB2014/062270中找到。图4A示出了原始图像(其被转换成灰度格式)的前
述片段相比于利用33个波段重建的相同片段，其中9个波段是利用在PCT/IB2014/062270中
描述的CS方案从DD图像重建的，并且其中24个波段是利用二元样条细分算法从9个重建波
段内插出来的。就这里所使用的R和K符号而言，在这里K＝33，R＝9，并且K-R＝24。PSNR数值
是27.87dB。图4B分别示出了从33个原始波段导出的前述片段的R、G和B图像(上方行)相比
于从还原自DD图像的9个波段以及通过二元样条细分算法从9个还原波段内插出来的24个
波段导出的图像(下方行)。所述9幅波段图像是利用源自在ANZ-book1中介绍的二次准内插
样条的半紧密(semi-tight)帧通过应用17次Bregman迭代从DD图像还原的。对应于R、G和B
图像的PSNR数值分别是27.94dB、28.04dB和25.9dB。
图5示出了所还原的红色、绿色和蓝色图像的PSNR与Bregman迭代的次数的相关
性。该图示出了Bregman迭代对于从DD传感器图像还原HS起源彩色图像的有用性。正如前面
所提到的那样，通过直接重建K幅光谱图像当中的仅仅R幅并且随后对剩下的K-R幅图像进
行内插，提供了显著的时间和计算资源的节省，同时几乎不会降低彩色图像重建的质量。
图6A和6B示意性地示出了基于具有受限等距属性(RIP)漫射器和透明图像传感器
的单色数字摄影机的单色快照光谱成像(SSI)设备(或者简单地称作“摄影机”)的一个实施
例。摄影机600本质上与PCT/IB2014/062270中所公开的摄影机100完全相同。设备600可以
被视为光学耦合到RIP漫射器604的数字摄影机602，所述RIP漫射器604位于摄影机与利用
摄影机成像的来源对象(图1B中的606)之间。摄影机602可以包括常规数字摄影机的组件，
比如透镜(未示出)、图像传感器608和数字处理器610。所述数字摄影机可以是任何已知的
摄影机，例如SLR摄影机、视频摄影机、蜂窝电话摄影机或者使用在胃窥镜或内窥镜中的类
型的小型化摄影机。这里所使用的“数字摄影机”可以仅包括在像素化图像传感器上获得来
源对象的图像所需要的成像部分的基本元件和功能。因此，例如存在于智能电话摄影机中
的耦合到图像处理器的透镜/传感器组合应当被视为用于这里所阐述的目的的成像部分。
这里所公开的数字摄影机可以同时具有静止成像和视频功能。
处理器610被配置成实施对于PCT/IB2014/062270中的处理器610所描述的所有功
能，并且特别是从DD图像进行2DCS-SCR。此外，处理器610被配置成从直接重建的光谱图像
实施光谱图像的内插，正如前面所解释的那样。作为示例，处理器610被配置成利用样条细
分算法来实施内插，并且特别是如前面所描述的二元样条细分算法。处理器610还被配置成
利用直接处理的光谱图像和内插光谱图像重建彩色图像。可选的是，设备600可以包括附加
的外部(处于摄影机外部)数字处理器605，其被配置成实施由前面的处理器610所实施的一
部分或所有操作。
图6B提供了设备600的更加详细的视图。除了前面的组件之外，摄影机600还包括
具有孔径614的成像透镜612，并且可选地还有带通滤波器616。RIP漫射器604可以位于成像
透镜612的入射光瞳处或其附近。对象606通过RIP漫射器604和透镜612的成像提供图像传
感器608处的快照DD图像618。与图像618相关联的图像数据由处理器610处理，其可以被配
置成还实现其他功能，比如控制各种摄影机功能和操作。
图7A示意性地示出了基于数字摄影机702的另一种SSI设备的编号为700的一个实
施例，所述数字摄影机702具有RIP漫射器704和通过配置数字摄影机702的数字处理器710
实施的软件(SW)随机化器720。在图7B中示出了设备700的更多细节。设备700还包括SW随机
化器720。SW随机化器720是操作在图像传感器平面的软件实施的随机化器“功能”。所述随
机化器在图像传感器708上提供经过漫射、发散和随机化的图像718。处理器710被配置成从
DDR图像实施2DCS-SCR，并且从直接重建的光谱图像实施光谱图像的内插，正如前面所解
释的那样。作为示例，处理器710被配置成利用样条细分算法来实施内插，并且特别是如前
面所描述的二元样条细分算法。处理器710还被配置成利用直接处理的光谱图像和内插光
谱图像来重建彩色图像。
SW随机化器可以被插入在RIP漫射器与图像传感器之间的光径中的硬件(HW)实施
的随机化器所替代。实现细节可以在PCT/IB2014/062270中找到。
虽然本公开内容描述了有限数目的实施例，但是应当认识到，可以实现这样的实
施例的许多变型、修改和其他应用。举例来说，虽然前面的仿真中的光谱带的内插和彩色图
像的重建仅仅是在最后一次Bregman迭代中进行的，但是这些操作可以从第一次Bregman迭
代开始在每一次Bregman迭代的层级来实施。此外，可以把Bregman迭代与整个迭代集合(或
其子集)的层级的迭代互换组合，不管是中间的还是最后一次。一般来说应当理解的是，本
公开内容不受限于这里所描述的具体实施例，而是仅由所附权利要求书的范围限制。
在本说明书中提到的所有参考文献在这里都被全文合并到本说明书中以作参考，
其效果与具体单独表明每一份单独的参考文献被合并在此以作参考的情况相同。此外，在
本申请中对于任何参考文件的引述或标识不应当被解释成承认这样的参考文献可用作本
申请的现有技术。