合成立体图像的方法和装置.pdf

合成立体图像的方法和装置
技术领域
本发明涉及计算机图像处理领域，特别涉及一种合成立体图像的方法和装置。
背景技术
随着计算机图像处理技术的发展，立体图像合成技术也越来越成熟。人眼产生立体感觉的原因在于左右眼看同一场景时存在的“视差”，即同一物体在左右眼成像时会有水平方向上的位移。所以在合成立体图像时，通常从多个(目前一般为2-8个)不同位置采集图像得到多个原始采集图像，将多个原始采集图像通过立体匹配算法生成深度图，再利用深度图和任一原始采集图像，基于深度图插值得到多个(目前一般为8或9个)视角图像，然后根据像素填充模板，将多个视角图像进行填充得到立体图像。所谓像素填充模板就是基于光栅排布方式所确定的立体图像中各视角子像素排布方式的最小图像块样板，根据显示光栅的排列参数，立体显示器有固定的像素填充模板。参见表1、表2和表3分别为一光栅倾斜角为30度的Newsight系列8视角立体显示器的红色(R，Red)通道像素填充模板、绿色(Green，G)通道像素填充模板和蓝色(B，Blue)通道像素填充模板，各个像素填充模板中的数字n(n＝1、2…8)代表使用第n个视角图像的相应位置的像素值。
表1：红色通道像素填充模板

  1  4  7  2  5  8  3  6  2  5  8  3  6  1  4  7  2  5  8  3  6  1  4  7  3  6  1  4  7  2  5  8  4  7  2  5  8  3  6  1  4  7  2  5  8  3  6  1  5  8  3  6  1  4  7  2
  6  1  4  7  2  5  8  3  6  1  4  7  2  5  8  3  7  2  5  8  3  6  1  4  8  3  6  1  4  7  2  5  8  3  6  1  4  7  2  5
表2：蓝色通道像素填充模板
  2  5  8  3  6  1  4  7  3  6  1  4  7  2  5  8  3  6  1  4  7  2  5  8  4  7  2  5  8  3  6  1  5  8  3  6  1  4  7  2  5  8  3  6  1  4  7  2  6  1  4  7  2  5  8  3  7  2  6  8  3  6  1  4  7  2  5  8  3  6  1  4  8  3  6  1  4  7  2  5  1  4  7  2  5  8  3  6
表3：绿色通道像素填充模板
  3  6  1  4  7  2  5  8  4  7  2  5  8  3  6  1  4  7  2  5  8  3  6  1  5  8  3  6  1  4  7  2  6  1  4  7  2  5  8  3  6  1  4  7  2  5  8  3  7  2  5  8  3  6  1  4  8  3  6  1  4  7  2  5  8  3  6  1  4  7  2  5  1  4  7  2  5  8  3  6  2  5  8  3  6  1  4  7  2  5  8  3  6  1  4  7
目前通过使用具有两档分辨率(640*480和1024*768)的采集摄像头，以及具有1368*768分辨率、需8个视角图像的立体显示器来合成立体图像时一般采用的方法是：选用640*480的采集分辨率，通过多个采集摄像头采集得到多个640*480分辨率的原始采集图像；根据多个原始采集图像通过立体匹配算法生成640*480分辨率的深度图；基于深度图插值得到8个640*480分辨率的视角图像。再将8个视角图像分别放大生成8个与立体显示器分辨率相等即1368*768分辨率的新视角图像，使用8个新视角图像按照像素填充模板进行填充合成得到立体图像。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
1)从像素填充模板可以看出，合成的立体图像由8个新视角图像的像素构成，每个新视角图像的每个通道中的像素只有1/8的像素值被立体图像的相应的通道使用到，综合三个通道，每幅新视角图像也只有3/8的像素值被立体图像使用到，因而存在大量的冗余像素(R、G、B通道均未被立体图像使用到的像素)，新视角图像的像素的利用率低。而分辨率越大，占用的内存空间越大且后续操作消耗时间越多，因此采用与立体图像相等分辨率的新视角图像中会消耗大量的时间和占用大量内存空间。
2)将640*480分辨率的视角图像放大成1368*768分辨率的新视角图像的过程中，视角图像被拉伸、长宽比被改变，导致画面变形失真，影响视觉效果。并且将视角图像经过放大操作生成新视角图像，增加了分辨率，导致进一步地增加了生成立体图像的时间和占用的内存空间。
发明内容
为了增加视角图像像素的利用率、提高合成立体图像的速度、减小占用的内存空间，本发明实施例提供了一种合成立体图像的方法和装置。所述技术方案如下：
一方面，本发明实施例提供了一种合成立体图像的方法，包括：
获取多个下采样视角图像；
根据像素填充模板，以及所述下采样视角图像相对立体图像的变换尺度，将所述多个下采样视角图像合成立体图像。
另一方面，本发明实施例提供了一种合成立体图像的装置，包括：
获取模块，用于获取多个下采样视角图像；
合成模块，用于在所述获取模块获取多个下采样视角图像后，根据像素填充模板，以及所述下采样视角图像相对立体图像的变换尺度，将所述多个下采样视角图像合成立体图像。
本发明实施例提供的技术方案的有益效果是：
通过下采样视角图像合成立体图像，提高了视角图像的像素的利用率，降低了合成立体图像时需要的时间和占用的内存空间；并且，由下采样视角图像合成立体图像时，不需要对下采样视角图像进行放大，避免了画面变形失真，提高了视觉效果，进一步地降低了合成立体图像时所需要的时间和占用的内存空间。
附图说明
图1是本发明实施例1提供的一种合成立体图像的方法流程图；
图2是本发明实施例2提供的一种合成立体图像的方法流程图；
图3是本发明实施例2提供的一种像素使用模式示意图；
图4是本发明实施例3提供的一种合成立体图像的装置结构示意图；
图5是本发明实施例3提供的另一种合成立体图像的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例1
参见图1，本发明实施例提供了一种合成立体图像的方法，包括：
101：获取多个下采样视角图像。
102：根据像素填充模板，以及下采样视角图像相对立体图像的变换尺度，将多个下采样视角图像合成立体图像。
具体地，获取多个下采样视角图像可以包括：
获取并对多个原始采集图像进行n倍的下采样，得到多个下采样后的原始采集图像，其中，n为大于等于1的整数；
对多个下采样后的原始采集图像进行立体匹配，得到下采样后的深度图；
对下采样后的深度图和任一下采样后的原始采集图像进行深度图插值，得到多个下采样视角图像。
具体地，获取多个下采样视角图像可以包括：
获取多个原始采集图像；
对多个原始采集图像进行立体匹配，得到深度图；
对深度图和任一原始采集图像进行深度图插值，得到多个视角图像，对多个视角图像分别进行n倍的下采样，获得多个下采样视角图像，其中，n为大于等于1的整数。
具体地，立体图像中横坐标为X、纵坐标为Y的像素的单通道值，为像素填充模板中第列、第行中所标示的下采样视角图像的第X×Ls列、第Y×Ws行的像素的单通道值；其中，h表示像素填充模板的高度，w表示像素填充模板的宽度；Ls表示宽度变换尺度，Ws表示高度变换尺度，Ls＝Li/Lo、Ws＝Wi/Wo，Li和Wi分别表示下采样视角图像的分辨率的宽度和高度，Lo和Wo分别表示立体图像的分辨率的宽度和高度。需要说明的是，立体图像中横坐标为X、纵坐标为Y的像素的单通道值与下采样视角图像的第X×Ls列、第Y×Ws行的像素的单通道值是相对应的，即当立体图像中横坐标为X、纵坐标为Y的像素的单通道值为R通道值时，使用的下采样视角图像的第X×Ls列、第Y×Ws行的像素的单通道值为R通道值。
具体地，确定n的取值的过程包括：
将n取为不同的值，分别进行立体图像的合成，并分别统计在不同的合成立体图像的过程中，下采样视角图像的冗余像素数量的比例，以及原视角图像的图像信息的重复使用比例；
在保持立体图像不失真变形的前提下，比较不同n值所对应的冗余像素数量的比例和重复使用比例；
选取冗余像素数量的比例和重复使用比例均较小的n值作为下采样的倍数值。
本发明实施例所述的方法，通过下采样视角图像合成立体图像，提高了视角图像的像素的利用率，降低了合成立体图像时需要的时间和占用的内存空间；并且，由下采样视角图像合成立体图像时，不需要对下采样视角图像进行放大，避免了画面变形失真，提高了视觉效果，进一步地降低了合成立体图像时所需要的时间和占用的内存空间。
实施例2
参见图2，本发明实施例提供了一种合成立体图像的方法，包括：
201：获取多个下采样视角图像。
其中，下采样视角图像是指该视角图像是经过下采样后获得的，为了便于区别经过下采样后获得的视角图像与不经过下采样获得的视角图像，将经过下采样后获得的视角图像称为下采样视角图像，将不经过下采样获得的的视角图像称为原视角图像。另外，具体需要获取多少个下采样视角图像可以根据具体的立体显示器来决定，目前一般需要8个或9个。
获取多个下采样视角图像，可以采用下面两种方式中任意一种：
1)获取并对多个原始采集图像进行n倍的下采样，得到多个下采样后的原始采集图像，其中，n为大于等于1的整数；对多个下采样后的原始采集图像进行立体匹配，得到下采样后的深度图；对下采样后的深度图和任一下采样后的原始采集图像进行深度图插值，得到多个下采样视角图像。
2)获取多个原始采集图像；对多个原始采集图像进行立体匹配，得到深度图；对深度图和任一原始采集图像进行深度图插值，得到多个原视角图像，对多个原视角图像分别进行n倍的下采样，获得多个下采样视角图像，其中，n为大于等于1的整数。
其中，进行下采样时的插值方式可以采用最近邻法或线性插值，但是为了减少信息损失，插值方式优先采用双线性插值。并且，由于对原始采集图像进行下采样并不会改变场景中物体的相对深度，也不会改变深度和视差的对应关系，因而上面两种方法生成的下采样视角图像近似相等。考虑到分辨率对操作时间的影响优选第一种方式。并且，进行n倍的下采样中的n可称为是下采样的倍数值，n的取值与具体采用的采集摄像头的分辨率和立体显示器的分辨率有关系，但是确定n的取值的过程相似，下面将详细描述确定n的取值的过程：
201a：选取n的初始值为2。
需要说明的是，由于计算机中的数据通过0和1来表示，当n值为整数时，下采样的速度很快，为了使下采样的运算简单，速度快，所以选择n值为大于1的整数。
201b：根据当前n的取值，进行当前立体图像合成，并在合成当前立体图像的过程中，分别统计当前下采样视角图像的冗余像素数量的比例和当前原视角图像的图像信息的重复使用比例。
具体地，根据当前n的取值，对原始采集图像或原视角图像进行n倍的下采样，获得多个下采样视角图像，设经过n倍的下采样，获得的下采样视角图像的分辨率的宽度和高度分别为Li和Wi；立体显示器的分辨率的宽度和高度分别为Lo和Wo；宽度变换尺度为Ls，高度变换尺度为Ws；则有：Ls＝Li/Lo、Ws＝Wi/Wo。并且，设像素填充模板的高度为h、宽度为w。另外，立体图像的像素的坐标原点位于立体图像的左上角，其横坐标X自左向右增加，纵坐标Y自上向下增加。则对于立体图像中横坐标为X、纵坐标为Y的像素，其R通道值为红色通道像素填充模板中第列、第行上所标示的下采样视角图像中第X×Ls列、第Y×Ws行的像素的R通道值；G通道值为绿色通道像素填充模板中第列、第行上所标示的下采样视角图像中第X×Ls列、第Y×Ws行的像素的G通道值；B通道值为蓝色通道像素填充模板中第列、第行上所标示的下采样视角图像中第X×Ls列、第Y×Ws行的像素的B通道值。从而合成得到立体图像。
下采样视角图像的冗余像素数量的比例是指下采样视角图像的冗余像素数量占下采样视角图像的总的像素数量的比例。该指标的具体计算方法为：按上述方法合成立体图像时，分别统计下采样视角图像的R、G、B通道均未被使用到的像素(即冗余像素)的数量和下采样视角图像的总的像素的数量，即可得到冗余像素数量占下采样视角图像的总的像素数量的比例，该比例值越小，则下采样视角图像的像素被利用的越充分。
原视角图像的图像信息的重复使用比例的具体计算方法为：将像素填充模板划分为m(大于1的整数)个n*n的像素矩阵单元，若某像素矩阵单元中使用到同一下采样视角图像的同一通道下的像素超过2个，则定义该像素矩阵单元重复使用了图像信息，统计出这样的像素矩阵单元的数量，并除以m，即得到原视角图像的图像信息的重复使用比例。需要说明的是，其中，m为大于1的整数，当将像素填充模板划分为m个n*n的数量，不满足m为整数时，则在像素填充模板左右两侧分别添加相应数量的黑边，满足m为整数。下面举例说明该指标的具体计算方法：设下采样的倍数为2，则8*12的像素矩阵单元缩小至4*6的像素矩阵单元，则4*6的像素矩阵单元中横坐标为X、纵坐标为Y的像素使用到了8*12的像素矩阵单元中坐标为(2X，2Y)、(2X，2Y+1)、(2X+1，2Y)、(2X+1，2Y+1)四个像素的信息。反过来也就是说，8*12的立体合成图像的像素矩阵单元中坐标为(2X，2Y)、(2X，2Y+1)、(2X+1，2Y)、(2X+1，2Y+1)这四个位置的像素，若使用到了8*12的原视角图像中相应该四个位置的像素值，则都使用4*6的下采样视角图像中坐标为(X，Y)的像素值。参见图3，对于2*2像素矩阵单元有5种典型的像素使用模式，其中，R表示使用某一像素的红色通道的值，G和B与R类似，此处不再赘述。具体地，5种典型的像素使用模式分别为：a)未使用任何像素值；b)使用某一像素的单通道的值；c)使用相邻两个像素的不同通道的值；d)使用相邻两个像素的相同通道的值；e)使用对角线上两个像素的不同通道的值。其中，对于a)模式无需讨论；对于b)模式，合成立体图像使用的是原视角图像中4个像素的某通道的像素值的加权求和，即使用了一次原视角图像的图像信息；c)e)模式下，合成立体图像使用的是原视角图像中4个像素的不同的2个通道的像素值的加权求和，这两个值彼此独立，也只使用了一次原视角图像的图像信息；d)模式下，合成立体图像使用了原视角图像中4个像素的某个通道的像素值的加权求和值两次，即相邻的像素使用了两次原视角图像的图像信息。因而d)模式下的像素矩形单元重复使用了图像信息。
201c：判断合成的当前立体图像是否失真变形，如果没有失真变形，则执行201d；否则，执行201e。
其中，立体图像是否失真变形可以通过人眼观测合成的立体图像得到。
201d：将n值加1，然后执行201b。
201e：根据各个n值所对应的上述两个指标值，选择其中一个n值作为下采样的倍数值。
其中，两个指标值分别是指冗余像素数量的比例值和原视角图像的图像信息的重复使用比例值。具体地，比较不同n值所对应的上述两个指标值的大小，根据具体情况，进行选择。例如：如果需要合成立体图像的时间短，则选择对应的冗余像素数量的比例值最小的n值作为下采样的倍数值；如果需要合成立体图像的重复使用原视角图像的图像信息较少，则选择对应的原视角图像的图像信息的重复使用比例值最小的n值作为下采样的倍数值；或者综合考虑合成立体图像的时间和原视角图像的图像信息的重复使用，选择相应的n值作为下采样的倍数值。
本发明实施例中，选择采集摄像头的分辨率为640*480、立体显示器的分辨率为1368*768，所需视角图像的数目为8的设备进行了实验，当下采样倍数为2时，得到冗余像素比例为16.7％，而原图像信息的重复使用比例为25％，且合成的立体图像基本不失真变形；当下采样倍数为3时，冗余像素比例减少至零，原图像信息的重复使用比例提高到100％，合成的立体图像基本严重失真变形。因此选择n值为2，进2倍的下采样。
202：根据像素填充模板，以及下采样视角图像相对立体图像的变换尺度，将多个下采样视角图像合成立体图像。
具体地，立体图像中横坐标为X、纵坐标为Y的像素的R通道值为红色像素填充模板中第列、第行上所标示的下采样视角图像的第X×Ls列、第Y×Ws行的像素的R通道值；立体图像中横坐标为X、纵坐标为Y的像素的G通道值为绿色像素填充模板中第列、第行上所标示的下采样视角图像的第X×Ls列、第Y×Ws行的像素的G通道值；立体图像中横坐标为X、纵坐标为Y的像素的B通道值为蓝色像素填充模板中第列、第行上所标示的下采样视角图像的第X×Ls列、第Y×Ws行的像素的B通道值；其中，立体图像的像素坐标原点位于立体图像的左上角，横坐标X自左向右增加，纵坐标Y自上向下增加；h表示像素填充模板的高度，w表示像素填充模板的宽度；Ls表示宽度变换尺度，Ws表示高度变换尺度，具体地Ls＝Li/Lo、Ws＝Wi/Wo，Li和Wi分别表示下采样视角图像分辨率的宽度和高度，Lo和Wo分别表示立体图像分辨率的宽度和高度。
本发明实施所述的合成立体图像的方法，通过下采样视角图像合成立体图像，提高了视角图像的像素的利用率，降低了合成立体图像的时间和占用的内存空间；并且，由下采样视角图像合成立体图像程时，不需要对下采样视角图像进行放大，避免了画面变形失真，提高了视觉效果，进一步地降低了合成立体图像的时间和占用的内存空间。
实施例3
参见图4，本发明实施例提供了一种合成立体图像的装置，其特征在于，包括：
获取模块301，用于获取多个下采样视角图像；
合成模块302，用于在获取模块301获取多个下采样视角图像后，根据像素填充模板，以及下采样视角图像相对立体图像的变换尺度，将多个下采样视角图像合成立体图像。
具体地，获取模块301可以包括：
第一获取单元，用于获取并对多个原始采集图像进行n倍的下采样，得到多个下采样后的原始采集图像，其中，n为大于等于1的整数；
第二获取单元，用于在第一获取单元得到多个下采样后的原始采集图像后，对多个下采样后的原始采集图像进行立体匹配，得到下采样后的深度图；
第三获取单元，用于在第二获取单元得到下采样后的深度图后，对下采样后的深度图和任一下采样后的原始采集图像进行深度图插值，得到多个下采样视角图像。
具体地，获取模块301可以包括：
第四获取单元，用于获取多个原始采集图像；
第五获取单元，用于在第四获取单元获取多个原始采集图像后，对多个原始采集图像进行立体匹配，得到深度图；
第六获取单元，用于在第四获取单元得到深度图后，对深度图和任一原始采集图像进行深度图插值，得到多个视角图像，对多个视角图像分别进行n倍的下采样，获得多个下采样视角图像，其中，n为大于等于1的整数。
具体地，立体图像中横坐标为X、纵坐标为Y的像素的单通道值，为像素填充模板中第列、第行中所标示的下采样视角图像的第X×Ls列、第Y×Ws行的像素的单通道值；其中，h表示像素填充模板的高度，w表示像素填充模板的宽度；Ls表示宽度变换尺度，Ws表示高度变换尺度，Ls＝Li/Lo、Ws＝Wi/Wo，Li和Wi分别表示下采样视角图像的分辨率的宽度和高度，Lo和Wo分别表示立体图像的分辨率的宽度和高度。需要说明的是，立体图像中横坐标为X、纵坐标为Y的像素的单通道值与下采样视角图像的第X×Ls列、第Y×Ws行的像素的单通道值是相对应的，即当立体图像中横坐标为X、纵坐标为Y的像素的单通道值为R通道值时，使用的下采样视角图像的第X×Ls列、第Y×Ws行的像素的单通道值为R通道值。
进一步地，该装置还包括：
初始值选取模块303，用于选取n的初始值为2；
统计模块304，用于根据当前n的取值，进行当前立体图像的合成，并在合成当前立体图像的过程中，分别统计当前下采样视角图像的冗余像素数量的比例，以及当前原视角图像的图像信息的重复使用比例；
第一处理模块305，用于当统计模块304合成的当前立体图像没有失真变形时，将当前n值加1，然后通知统计模块304执行根据当前n的取值，进行当前立体图像的合成的步骤；
第二处理模块306，用于当统计模块304合成的当前立体图像失真变形时，根据各个n值所对应的下采样视角图像的冗余像素数量的比例和原视角图像的图像信息的重复使用比例，选择其中一个n值作为下采样的倍数值。
本发明实施所述的合成立体图像的装置，通过下采样视角图像合成立体图像，提高了视角图像的像素的利用率，降低了合成立体图像的时间和占用的内存空间；并且，由下采样视角图像合成立体图像程时，不需要对下采样视角图像进行放大，避免了画面变形失真，提高了视觉效果，进一步地降低了合成立体图像的时间和占用的内存空间。
以上实施例提供的技术方案中的全部或部分内容可以通过软件编程实现，其软件程序存储在可读取的存储介质中，存储介质例如：计算机中的硬盘、光盘或软盘。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。