一种基于压缩传感的多视点数据采集方法.pdf

本发明公开了一种基于压缩传感的多视点数据采集方法，其特征在于，包括稀疏相机阵列，所述稀疏相机阵列包括T台相机，T台相机捕捉T*T的光场视图；在T*T区域内每一列有一台相机，每一行有一台相机。将这些相机捕捉到的图像向量化，完成超冗余字典训练完成后，使用稀疏相机阵列采集的部分光场就可以恢复原始光场信息。本发明减少了光场采集系统的相机数量，精简了系统结构，提高了可维护性，减少了系统成本。

权利要求书1.  一种基于压缩传感的多视点数据采集方法，其特征在于，包括稀疏相机阵列， 所述稀疏相机阵列包括T台相机，T＝1,2,3。。。；所述T台相机捕捉T*T的光场视图；所 述T台相机在T*T区域内每一列有一台相机，每一行有一台相机； 该方法包括以下步骤： 1)将被稀疏相机阵列捕捉到的M(M＝T)个图像向量化，可由如下数学公式表示： I＝ΦL＝ΦDα 式中： I∈Rm为向量化的稀疏相机阵列捕捉到的图像； L∈Rn为向量化的完备相机阵列捕捉到的图像，也是需还原的光场数据； Φ∈Rm×n为采集光场数据使用的测量矩阵，其中m<<n； D∈Rn×d为超冗余字典； α为表示系数； 2)字典训练： 首先生成由大量光场碎片组成的训练集：将一组自然光场图像中的每一幅图像li按 照(px×py)视图堆叠起来组成L＝[l1|l2|…lu×v]，然后多次从L中沿着二维图像li平面提 取切块，一个切块大小(px×py)像素，向量化之后获得多个光场碎片对多组自然光场图像进行上述过程，获取大量光场碎片组成训练集，训练超冗余字 典满足下式： min { D , A } | | L - DA | | F , s . t . &ForAll; j , | | α j | | 0 ≤ k ]]> 式中： L＝[l1|l2|…lq]∈Rn×q为由q个光场碎片组成的训练集； D＝[d1|d2|…ld]∈Rn×d为d大小的超冗余字典； A＝[α1|α2|…αq]∈Rd×q为使用超冗余字典表示q个光场碎片的k阶稀疏表示，A的 每一列最多有k个非零元素； 3)光场重建： 完成步骤2)之后，计算稀疏表示系数： min { α } | | α | | 1 , s . t . | | i - ΦDα | | 2 ≤ &epsiv; ]]> 式中： i为经过采样得到的部分光场信息； Φ为测量矩阵； D为训练得到的超冗余字典； ε为系统误差。 2.  如权利要求1所述的一种基于压缩传感的多视点数据采集方法，其特征在于， 步骤2)字典训练时，可以使用范数l1替代范数l0，对l1求解时，采用滑动窗口算法； 所述滑动窗口算法对已采样的部分光场图像切分成若干碎片进行迭代求解，在切分 光场碎片时，遵循预设的步长，越小碎片之间重叠的部分越大。 3.  如权利要求2所述的一种基于压缩传感的多视点数据采集方法，其特征在于， 所述滑动窗口算法包括以下步骤： 2.1)按照稀疏相机阵列的配置，计算测量矩阵Φ； 2.2)对于每一幅单独视图按照步长s切分为若干个碎片Ii； 2.3)遍历每一个碎片，进行2.4和2.5步骤的迭代； 2.4)使用Lasso ADMM算法计算Ii在ΦD的稀疏表示系数αi； 2.5)根据所得系数α，得到恢复后的光场L＝Dα。

说明书一种基于压缩传感的多视点数据采集方法
技术领域
本发明涉及立体显示技术领域，具体涉及一种基于压缩传感的多视点数据采集方法。
背景技术
立体显示技术，特别是多视点三维显示技术需要通过渲染多视点数据获得立体效果。基于相机阵列的多视点数据采集为三维显示提供了渲染所需数据，三维显示的角度分辨率和可视角度直接取决于相机的数目和角度。相机阵列具有分辨率高，成像时间快的优点。
目前光场采集的设备主要分成两种：装配特殊光学器件的单相机与阵列多相机。装配特殊光学器件的单相机通过使用微透镜阵列(internal imaging)、透镜阵列(multiple lens)或加装掩膜(mask)等器件仅用单个成像传感器就能够达到采集多个方向图像的目的。对于微透镜阵列和透镜阵列相机，它们通过在成像传感器与光圈之间加装微透镜阵列或者直接改装镜头为透镜阵列从而改变光线的方向，将不同方向的光线按照加装的器件特征分布记录在单个成像传感器平面的不同位置上，再通过后期的处理将其提取出来。而加装掩膜的单相机在掩膜上进行编码从而得到编码后的图像，利用压缩传感技术，通过计算可以从编码单张图像重建出多个方向的多张图像。另一种技术相机阵列(camera array)通过在不同物理位置上部署多相机，直接采集不同方向上的光场数据，每台相机采集一路光场。光场的角度分辨率与角度域直接取决于相机的数目和间距。
为了提高三维显示的效果，需要获得大量视点的数据，即需要大量相机，但大量的相机导致了系统体积大，结构复杂，可维护性差，制作成本高昂。同时其对应的标定程序复杂，且产生的大量数据带来了存储和传输的难题。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于压缩传感的多视点数据采集方法，通过稀疏相机阵列进行光场采集，利用压缩传感算法，对光场进行重建，解决了现有技术的问题。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于压缩传感的多视点数据采集方法，其特征在于，包括稀疏相机阵列，所述 稀疏相机阵列包括T台相机，T＝1,2,3。。。；所述T台相机捕捉T*T的光场视图；所述T台相机在T*T区域内每一列有一台相机，每一行有一台相机；
该方法包括以下步骤：
1)将被稀疏相机阵列捕捉到的M(M＝T)个图像向量化，可由如下数学公式表示：
I＝ΦL＝ΦDα   (1)
式中：
I∈Rm为向量化的稀疏相机阵列捕捉到的图像；
L∈Rn为向量化的完备相机阵列捕捉到的图像，也是需还原的光场数据；
Φ∈Rm×n为采集光场数据使用的测量矩阵，其中m<<n；
D∈Rn×d为超冗余字典；
α为表示系数；
2)字典训练： 
首先生成由大量光场碎片组成的训练集：将一组自然光场图像中的每一幅图像li按照(px×py)视图堆叠起来组成L＝[l1|l2|…lu×v]，然后多次从L中沿着二维图像li平面提取切块，一个切块大小(px×py)像素，向量化之后获得多个光场碎片
对多组自然光场图像进行上述过程，获取大量光场碎片组成训练集，训练超冗余字典满足下式：
min { D , A } | | L - DA | | F , s . t . &ForAll; j , | | a j | | 0 ≤ k - - - ( 2 ) ]]>
式中：
L＝[l1|l2|…lq]∈Rn×q为由q个光场碎片组成的训练集；
D＝[d1|d2|…ld]∈Rn×d为d大小的超冗余字典；
A＝[α1|α2|…αq]∈Rd×q为使用超冗余字典表示q个光场碎片的k阶稀疏表示，A的每一列最多有k个非零元素；
3)光场重建： 
完成步骤2)之后，计算稀疏表示系数：
min { α } | | α | | 1 , s . t . | | i - ΦDα | | 2 ≤ &epsiv; - - - ( 3 ) ]]>
式中：
i为经过采样得到的部分光场信息；
Φ为测量矩阵；
D为训练得到的超冗余字典；
ε为系统误差。
进一步的，步骤2)字典训练时，可以使用范数l1替代范数l0，对l1求解时，采用滑动窗口算法；
所述滑动窗口算法对已采样的部分光场图像切分成若干碎片进行迭代求解，在切分光场碎片时，遵循预设的步长，越小碎片之间重叠的部分越大。
进一步的，所述滑动窗口算法包括以下步骤：
2.1)按照稀疏相机阵列的配置，计算测量矩阵Φ；
2.2)对于每一幅单独视图按照步长s切分为若干个碎片Ii；
2.3)遍历每一个碎片，进行2.4和2.5步骤的迭代；
2.4)使用Lasso ADMM算法计算Ii在ΦD的稀疏表示系数αi；
2.5)根据所得系数α，得到恢复后的光场L＝Dα。
有益效果：减少了光场采集系统的相机数量，精简了系统结构，提高了可维护性，减少了系统成本。实验证明利用稀疏相机阵列拍摄所得的部分光场图像还原出原始光场是可行的，并且还原结果质量较高，较好地保存了视差信息。
附图说明
图1现有相机阵列结构
图2本发明的稀疏相机阵列结构
图3超冗余字典光场可视化结果
图4原始渲染光场与重构后光场
具体实施方式
下面结合附图对本发明作更进一步的说明。
一种基于压缩传感的多视点数据采集方法，其特征在于，包括稀疏相机阵列，所述稀疏相机阵列包括T台相机，T＝1,2,3。。。；所述T台相机捕捉T*T的光场视图；所述T台相机在T*T区域内每一列有一台相机，每一行有一台相机；
该方法包括以下步骤：
步骤1)如图1所示，将5x5的相机阵列缩减到如图2中的5台相机，这5台相机将会实现捕捉5x5的光场视图， 
将被稀疏相机阵列捕捉到的M(M＝T)个图像向量化，可由如下数学公式表示：
I＝ΦL   (1)
式中：
I∈Rm为向量化的稀疏相机阵列捕捉到的图像；
L∈Rn为向量化的完备相机阵列捕捉到的图像，也是需还原的光场数据；
Φ∈Rm×n为采集光场数据使用的测量矩阵，其中m<<n；(采样得到的向量化稀疏相机阵列捕捉到的图像的维数远远小于采样光场的维数)；
测量矩阵Φ具有全局稀疏性，同时也具有局部内聚性，携带有效信息的M个子矩阵只分布于测量矩阵的对角线上。I可看作是稀疏阵列中每个相机的光场视点和测量矩阵的乘积之和。
如要从测量得到的图像恢复出采样光场，可以使用压缩传感技术。假设存在超冗余字典D∈Rn×d，D中包含大量超冗余基使得光场L所在的信号空间可以由超冗余字典D中的基充分稀疏表示，即：
I＝ΦL＝ΦDα   (2)
当对光场L进行如上的变换时，如果其表示系数α中的大部分元素等于零或接近于零，那么称光场L可以在超冗余字典D域中稀疏表示，表示系数α为稀疏向量，光场L 在D中可以k＝||α||0稀疏表示。可将测量矩阵和超冗余字典的乘积设为等价字典  D ~ = ΦD , ]]>测量公式变为 I = D ~ α . ]]>
根据压缩传感的相关证明，如果从测量信号I∈Rm中恢复k稀疏信号α，那么测量矩阵和测量信号维数m分别要满足如下条件：
条件一：测量矩阵需要满足k阶约束等价性条件(Restricted Isometry Property，简称RIP)，对于任意的k阶稀疏信号α，拟合误差阈值δk：
( 1 - δ k ) | | α | | 2 2 ≤ | | Dα ~ | | 2 2 ≤ ( 1 + δ k ) | | α | | 2 2 - - - ( 3 ) ]]>
通过约束等价性条件的约束，就可以确定稀疏程度k。
条件二：在确定稀疏程度k后，测量信号维数m需要满足如下条件：
m≥C×k×log(n/k)   (4) 
式中n为采样信号的维数，常数C恒为正。
在本文中，如果稀疏相机阵列的测量矩阵Φ与训练得到的超冗余字典D乘积满足式(3)，且稀疏相机阵列采集到的向量化图像维数m满足式(4)，那么原始光场信息L就能实现重构。
步骤2)超冗余光场碎片字典训练：
一组光场图像就是光场在不同视角下堆叠在一起的数据栈，多层图像之间具有较高的相关性。对于图像中的每一个像素点，其在不同的视图中具有内在的规律，但对于不同视图间遮挡、高光、高维边缘的变化，各个像素点组并不能单独体现这种细节。我们将每一个视图中的(px×py)像素块按照(pu×pv)视图组织成一个光场碎片，超冗余字典的最小元素即为光场碎片。对于图像中的每一个颜色通道，都可能存储着不同视角之间的差异。在训练超冗余字典时，将所有颜色通道混合在一起训练，忽略其所带的颜色信息，而只保存光场碎片存储的空间关系信息。
在训练中，首先生成由大量光场碎片组成的训练集：将一组自然光场图像中的每一幅图像li按照(px×py)视图堆叠起来组成L＝[l1|l2|…lu×v]，然后多次从L中沿着二维图 像li平面提取切块，一个切块大小(px×py)像素，向量化之后获得多个光场碎片  l i &Element; R ( p x × p y × p u × p v ) ; ]]>
对多组自然光场图像进行上述过程，获取大量光场碎片组成训练集，训练超冗余字典满足下式：
min { D , A } | | L - DA | | F , s . t . &ForAll; j , | | a j | | 0 ≤ k - - - ( 2 ) ]]>
式中：
L＝[l1|l2|…lq]∈Rn×q为由q个光场碎片组成的训练集；
D＝[d1|d2|…ld]∈Rn×d为d大小的超冗余字典；
A＝[α1|α2|…αq]∈Rd×q为使用超冗余字典表示q个光场碎片的k阶稀疏表示，A的每一列最多有k个非零元素。
进一步的，步骤2)字典训练时，上述公式的求最优解问题也就是MP问题(matching pursuit)，可以使用MP算法和OMP算法(orthogonal matching pursuit)求解。但对于αj的l0优化问题为NP难问题，使用MP和OMP只能求得局部最优解。可以使用l1范数替代l0范数，在保证稀疏性的同时，完成优化：
arg min { a , D } | | L - DA | | F + λ | | α | | 1 - - - ( 6 ) ]]>
式中F范数约束稀疏表示与光场碎片训练集L之间的拟合误差，l1范数正则项约束光场碎片训练集L在超冗余字典中表示的稀疏性，λ控制稀疏性约束在式中的权重。
图3左为训练所得的超冗余字典光场可视化结果，右四幅是从中选取的光场碎片可视化结果。从可视化结果中可以看到光场碎片反映了边缘、高光等细节在不同视图下的变化，分别从横向和纵向看可以看到明显的图像视差细节。
步骤3)重建光场：在超冗余字典训练完成后，使用稀疏相机阵列采集的部分光场就可以恢复原始光场信息。光场重建是训练超冗余字典的逆过程。在超冗余字典已经训练完成的情况下，求原始光场数据可以优化为求原始光场数据在超冗余字典中的稀疏表示，即完成步骤2)之后，计算稀疏表示系数：
min { α } | | α | | 1 , s . t . | | i - ΦDα | | 2 ≤ &epsiv; - - - ( 7 ) ]]>
式中：
i为经过采样得到的部分光场信息；
Φ为测量矩阵；
D为训练得到的超冗余字典；
ε为系统误差。
可将上式表示为拉格朗日方程形式：
arg min { a , D } | | i - ΦDα | | 2 + λ | | α | | 1 - - - ( 8 ) ]]>
对光场恢复公式的l1最优化求解中，有两种处理方法：分块恢复与滑动窗口。这两种方法都基于对已采样的部分光场图像切分成若干碎片进行迭代求解，而非整幅图像参与求解。分块恢复算法将一幅光场图像切分成若干块，大小与超冗余字典的光场碎片相同，若干块碎片之间不重叠，对每一块碎片分别求其稀疏表示系数。滑动窗口算法同样将其切分成与光场碎片相同的若干块，但是在切分时，滑动窗口算法遵循一定的步长，步长越小碎片之间重叠的部分越大。
所述滑动窗口算法对已采样的部分光场图像切分成若干碎片进行迭代求解，在切分光场碎片时，遵循预设的步长，越小碎片之间重叠的部分越大。
本例采用滑动窗口算法，该算法具体包括以下步骤：
2.1)按照稀疏相机阵列的配置，计算测量矩阵Φ；
2.2)对于每一幅单独视图按照步长s切分为若干个碎片Ii；
2.3)遍历每一个碎片，进行2.4和2.5步骤的迭代；
2.4)使用Lasso ADMM算法计算Ii在ΦD的稀疏表示系数αi；
2.5)根据所得系数α，得到恢复后的光场L＝Dα。
试验中，通过从稀疏相机阵列采集的部分光场视图恢复原始光场，验证本文提出的光场采集与重构方法。实验在3.2GHz Intel(R)Xeon(R)CPU，16G内存的计算机上完成。
训练超冗余字典的光场训练集为4组不同角度的光场图像，每组5*5个视图，每个视图的分辨率为840*530。对于光场训练集中光场碎片(px×py)的大小选取问题上，在 分别按照6*8、7*7、8*8、9*9四种大小的配置后，发现恢复的光场质量PSNR高低差别很小，最大差别约在3％，最终选取最高PSNR的8×8作为光场碎片的大小。对于设定超冗余字典的大小d问题上，字典的冗余度越大所得的稀疏表示系数就越稀疏，恢复所得的光场PSNR就越高，但是冗余度会直接导致训练字典的时间变长。经过实验发现，冗余度到达2倍以后，增长就放缓，所以1～2倍是合适的，实验选择1.5倍冗余度。超冗余字典的大小d为5*5*8*8*1.5＝2400。测量矩阵与超冗余字典的乘积是否满足RIP很难证明，但测量矩阵只有对角线的子矩阵非稀疏，整体稀疏性强，这保证了训练超冗余字典时保持较高稀疏度，实验证明可以恢复光场。对于式(6)，设置λ为0.05可以保持较高的稀疏性。使用训练所得的超冗余光场碎片字典的可视化效果如图2所示，每个碎片包含5*5个光场方向，每个方向的视图大小为8*8。
使用软件渲染原始光场，从中选取如图2所示的5幅部分光场视图，分辨率为840*593。光场碎片大小为8×8，配置滑动窗口的步长为1。表1为在不同λ取值的情况下，使用两种算法重建得到的光场PSNR值。实验说明在使用滑动窗口算法，λ取0.004的情况下，重建的光场质量较高。表1为分块恢复与滑动窗口算法重建质量
表1
  0.003 0.004 0.005 0.006 分块恢复 29.73 29.76 29.78 29.75 滑动窗口 33.36 33.42 33.40 33.37
图4描述了实验中，原始渲染光场与重构后光场的对比。上方左列两幅分别为事先渲染的位于(1,1)和(5,5)的原始渲染光场，右列两幅分别为位于(1,1)和(5,5)的重建后计算所得光场。下方四幅为从图像同一位置截取下来的部分，从(a)、(b)可以看到原始渲染光场既有水平视差，也有纵向视差，而从(c)、(d)中可以看到重建后的光场保留了这些视差信息。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。