《基于图像边缘信息的2D转3D的方法.pdf》由会员分享，可在线阅读，更多相关《基于图像边缘信息的2D转3D的方法.pdf（10页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102404594 A (43)申请公布日 2012.04.04 C N 1 0 2 4 0 4 5 9 4 A *CN102404594A* (21)申请号 201110338209.5 (22)申请日 2011.10.31 H04N 13/00(2006.01) H04N 15/00(2006.01) (71)申请人庞志勇 地址 510515 广东省广州市广州大道北 1994号B栋2001房 (72)发明人庞志勇 陈弟虎 江嘉文 雷东玮 范锡添 (74)专利代理机构广州凯东知识产权代理有限 公司 44259 代理人李俊康 (54) 发明名称 基于图像边缘信息的2D。
2、转3D的方法 (57) 摘要 本发明公开了一种图像处理效果更好，适用 于多种输出方式的基于图像边缘信息的2D转3D 的方法，它包括：1)对原始2D图像进行颜色空间 转换，从RGB空间转换为YUV空间，提取图像亮度 分量；2)利用各向同性的二维高斯滤波器对亮度 图像进行去噪滤波处理；3)对去噪后的亮度图像 进行Canny边缘检测，提取图像的边缘信息；4)采 取划分条带的方法产生垂直方向上的深度图、水 平方向上的深度图或者总深度图；5)根据垂直方 向上的深度图、水平方向上的深度图或者总深度 图，将原图像的每个像素从原来的位置映射到新 的位置，得到一个新图像；6)将新图像和原图像 分别作为人眼的左右。
3、眼的图像，根据输出方式选 择适当的合成方式，左右眼图像合成后输出3D图 像。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 6 页 附图 1 页 CN 102404598 A 1/2页 2 1.基于图像边缘信息的2D转3D的方法，其特征在于，它包括： 1)对原始2D图像进行颜色空间转换，提取其亮度分量； 2)对亮度图像进行边缘检测，提取图像的边缘信息； 3)采取划分条带的方法产生渐进深度图； 4)根据深度图，将原图像的每个像素从原来的位置映射到新的位置，得到一个新图 像； 5)将新图像和原图像分别作为人眼的左右眼的图像。 2.根。
4、据权利1所述的基于图像边缘信息的2D转3D的方法，其特征在于，所述步骤1) 和步骤2)之间还包括步骤a)对亮度图像进行去噪处理。 3.根据权利2所述的基于图像边缘信息的2D转3D的方法，其特征在于，所述步骤a) 采用高斯滤波器对亮度图像进行去噪处理。 4.根据权利3所述的基于图像边缘信息的2D转3D的方法，其特征在于，所述步骤a) 高斯滤波器为各向同性的二维高斯滤波器。 5.根据权利1所述的基于图像边缘信息的2D转3D的方法，其特征在于，所述步骤2) 边缘检测采用Canny边缘检测方法，它包括： 21)梯度计算：用一阶偏导的有限差分来计算图像I(x，y)的梯度幅值A(x，y)和梯度 方向D(x。
5、，y)， 其中，x和y分别是I(x，y)的水平坐标和垂直坐标，f x (x，y)是I(x，y)在x方向的偏 导数，f x (x，y)是I(x，y)在y方向的偏导数； 22)非极大值抑制：分别对各个方向进行非极大值抑制，若像素点(x，y)的梯度幅值 A(x，y)不小于梯度方向上两个相邻像素点的梯度幅值，则该像素点为可能的边缘点，否则， 该像素点不是边缘点； 23)双门限检测：使用累计直方图的方法计算两个阈值，分别为低阈值和高阈值，对经 过上述处理后的图像进行双阈值化处理，使用低阈值，可以得到一个低阈值检测结果，使用 高阈值，可以得到一个高阈值检测结果，在高阈值结果中，连接边缘轮廓，当连接到端点时。
6、， 则在低阈值结果中寻找邻域的弱边缘点，从而弥补边缘间隙，直到找不到与它相邻接的弱 边缘点为止； 24)输出边缘图像。 6.根据权利1所述的基于图像边缘信息的2D转3D的方法，其特征在于，所述步骤3) 采取划分条带的方法产生渐进深度图的过程包括： b1)采用垂直方向对边缘图像划分条带； b2)分别统计各个条带包含边缘的数量； b3)首先，对于第一个条带赋予一个初始的深度值，然后，从第二个条带开始，将当前条 权 利 要 求 书CN 102404594 A CN 102404598 A 2/2页 3 带的边缘数量与相邻上一条带的边缘数量进行比较，如果当前条带的边缘数量较多，则当 前条带的深度值是上。
7、一条带的深度值减去一个合理值，如果当前条带的边缘数量较少， 则当前条带的深度值是上一条带的深度值加上一个合理值，其中为设定的一个固定 值； b4)形成垂直方向上渐变的深度图。 7.根据权利1所述的基于图像边缘信息的2D转3D的方法，其特征在于，所述步骤3) 采取划分条带的方法产生渐进深度图的过程包括： c1)采用水平方向对边缘图像划分条带； c2)分别统计各个条带包含边缘的数量； c3)首先，对于第一个条带赋予一个初始的深度值，然后，从第二个条带开始，将当前条 带的边缘数量与相邻上一条带的边缘数量进行比较，如果当前条带的边缘数量较多，则当 前条带的深度值是上一条带的深度值减去一个合理值，如果当。
8、前条带的边缘数量较少， 则当前条带的深度值是上一条带的深度值加上一个合理值，其中，为设定的一个固定 值； c4)形成水平方向上渐变的深度图。 8.根据权利1所述的基于图像边缘信息的2D转3D的方法，其特征在于，所述步骤3) 采取划分条带的方法产生渐进深度图的过程包括： d1)采用垂直方向对边缘图像划分条带； d2)分别统计各个条带包含边缘的数量； d3)首先，对于第一个条带赋予一个初始的深度值，然后，从第二个条带开始，将当前条 带的边缘数量与相邻上一条带的边缘数量进行比较，如果当前条带的边缘数量较多，则当 前条带的深度值是上一条带的深度值减去一个合理值，如果当前条带的边缘数量较少， 则当前条带。
9、的深度值是上一条带的深度值加上一个合理值，其中为设定的一个固定 值； d4)形成垂直方向上渐变的深度图； d5)采用水平方向对边缘图像划分条带； d6)分别统计各个条带包含边缘的数量； d7)首先，对于第一个条带赋予一个初始的深度值，然后，从第二个条带开始，将当前条 带的边缘数量与相邻上一条带的边缘数量进行比较，如果当前条带的边缘数量较多，则当 前条带的深度值是上一条带的深度值减去一个合理值，如果当前条带的边缘数量较少， 则当前条带的深度值是上一条带的深度值加上一个合理值，其中，为设定的一个固定 值； d8)形成水平方向上渐变的深度图； d9)对垂直方向上的深度图和水平方向上的深度图进行加权平。
10、均处理，以形成总的深 度图。 权 利 要 求 书CN 102404594 A CN 102404598 A 1/6页 4 基于图像边缘信息的 2D 转 3D 的方法 技术领域 0001 本发明涉及视频处理和图像处理技术领域，具体来说，涉及一种基于图像边缘信 息的2D转3D的方法。 背景技术 0002 如今，作为新一代的视觉技术革命，3D影像已经渗透到各个领域，不仅推动了相关 技术的发展，而且提高了人们的生活质量，为人们的生活带来了巨大的变化，3D影像比2D 影像更加真实，更具表现力，给人们以强烈的视觉震撼，使人们不再满足于2D影像的平淡。 0003 但是，现有大量的影像捕捉设备依然只能采集2D。
11、图像，并不能满足人们对3D影像 的需求，而一般的2D影像都是从立体场景中捕获的，图像中包含的很多信息，可作为线索 去重构原来的3D场景，这使得2D影像转换为3D影像成为可能。 发明内容 0004 针对以上的不足，本发明提供了一种图像图处理效果更好，适用于多种输出方式 的基于图像边缘信息的2D转3D的方法，它包括：1)对原始2D图像进行颜色空间转换，提 取其亮度分量；2)对亮度图像进 行边缘检测，提取图像的边缘信息；3)采取划分条带的方 法产生渐进深度图；4)根据深度图，将原图像的每个像素从原来的位置映射到新的位置， 得到一个新图像；5)将新图像和原图像分别作为人眼的左右眼的图像。 0005 所。
12、述步骤1)和步骤2)之间还包括步骤a)对亮度图像进行去噪处理。 0006 所述步骤a)采用高斯滤波器对亮度图像进行去噪处理。 0007 所述步骤a)高斯滤波器为各向同性的二维高斯滤波器。 0008 所述步骤2)边缘检测采用Canny边缘检测方法，它包括： 0009 21)梯度计算：用一阶偏导的有限差分来计算图像I(x，y)的梯度幅值A(x，y)和 梯度方向D(x，y)， 0010 0011 其中，x和y分别是I(x，y)的水平坐标和垂直坐标，f x (x，y)是I(x，y)在x方向 的偏导数，f y (x，y)是I(x，y)在y方向的偏导数； 0012 22)非极大值抑制：分别对各个方向进行非。
13、极大值抑制，若像素点(x，y)的梯度幅 值A(x，y)不小于梯度方向上两个相邻像素点的梯度幅值，则该像素点为可能的边缘点，否 则，该像素点不是边缘点； 0013 23)双门限检测：使用累计直方图的方法计算两个阈值，分别为低阈值和高阈值， 对经过上述处理后的图像进行双阈值化处理，使用低阈值，可以得到一个低阈值检测结果， 说 明 书CN 102404594 A CN 102404598 A 2/6页 5 使用高阈值，可以得到一个高阈值 检测结果，在高阈值结果中，连接边缘轮廓，当连接到端 点时，则在低阈值结果中寻找邻域的弱边缘点，从而弥补边缘间隙，直到找不到与它相邻接 的弱边缘点为止； 0014 2。
14、4)输出边缘图像。 0015 所述步骤3)采取划分条带的方法产生渐进深度图的过程包括： 0016 b1)采用垂直方向对边缘图像划分条带； 0017 b2)分别统计各个条带包含边缘的数量； 0018 b3)首先，对于第一个条带赋予一个初始的深度值，然后，从第二个条带开始，将当 前条带的边缘数量与相邻上一条带的边缘数量进行比较，如果当前条带的边缘数量较多， 则当前条带的深度值是上一条带的深度值减去一个合理值，如果当前条带的边缘数量较 少，则当前条带的深度值是上一条带的深度值加上一个合理值，其中为设定的一个固 定值； 0019 b4)形成垂直方向上渐变的深度图。 0020 所述步骤3)采取划分条带的。
15、方法产生渐进深度图的过程包括： 0021 c1)采用水平方向对边缘图像划分条带； 0022 c2)分别统计各个条带包含边缘的数量； 0023 c3)首先，对于第一个条带赋予一个初始的深度值，然后，从第二个条带开始，将当 前条带的边缘数量与相邻上一条带的边缘数量进行比较，如果当前条带的边缘数量较多， 则当前条带的深度值是上一条带的深度值减去一个合理值，如果当前条带的边缘数量较 少，则当前条带的深度值是上一条带的深度值加上一个合理值，其中，为设定的一个 固定值； 0024 c4)形成水平方向上渐变的深度图。 0025 所述步骤3)采取划分条带的方法产生渐进深度图的过程包括： 0026 d1)采用垂。
16、直方向对边缘图像划分条带； 0027 d2)分别统计各个条带包含边缘的数量； 0028 d3)首先，对于第一个条带赋予一个初始的深度值，然后，从第二个条带开始，将当 前条带的边缘数量与相邻上一条带的边缘数量进行比较，如果当前条带的边缘数量较多， 则当前条带的深度值是上一条带的深度值减去一个合理值，如果当前条带的边缘数量较 少，则当前条带的深度值是上一条带的深度值加上一个合理值，其中为设定的一个固 定值； 0029 d4)形成垂直方向上渐变的深度图； 0030 d5)采用水平方向对边缘图像划分条带； 0031 d6)分别统计各个条带包含边缘的数量； 0032 d7)首先，对于第一个条带赋予一个初。
17、始的深度值，然后，从第二个条带开始，将当 前条带的边缘数量与相邻上一条带的边缘数量进行比较，如果当前条带的边缘数量较多， 则当前条带的深度值是上一条带的深度值减去一个合理值，如果当前条带的边缘数量较 少，则当前条带的深度值是上一条带的深度值加上一个合理值，其中，为设定的一个 固定值； 0033 d8)形成水平方向上渐变的深度图； 说 明 书CN 102404594 A CN 102404598 A 3/6页 6 0034 d9)对垂直方向上的深度图和水平方向上的深度图进行加权平均处理，以形成总 的深度图。 0035 本发明的有益效果：本发明只需要单图像即可以产生左右眼图像， 从而合成3D 图像。
18、，相比需要多张参考图像输入的传统2D转3D方法，该发明降低了成本和代价；本发明 可以全硬件实现，满足实时高清的3D显示；本发明利用了图像的边缘来获得细节信息，并 从细节的丰富程度去估计景物的空间距离，可适用于绝大部分的图像；由于本发明产生的 深度图在垂直方向和水平方向都是渐变式的，所以观众在观看3D影像的时候一般不会感 到不适感，相比传统的2D转3D方法会带来晕眩，眼睛肿胀等不适感，有明显的优势；本发明 并不依赖于输出方式，适用于现在主流的3D输出方式，如主动快门式、色分式和偏振光式。 附图说明 0036 图1为本发明基于图像边缘信息的2D转3D的方法流程图； 0037 图2为本发明边缘检测的。
19、方法流程图。 具体实施方式 0038 下面结合附图对本发明进行进一步阐述。 0039 如图1和图2所示，本发明基于图像边缘信息的2D转3D的方法流程包括： 0040 1)对原始2D图像进行颜色空间转换，从RGB空间转换为YUV空间，提取出亮度分 量供后续处理。从RGB空间转换为YUV空间，采用以下公式进行： 0041 Y0.299R+0.587G+0.114B 0042 U-0.1687R-0.3313G+0.5B+128 0043 V0.5R-0.4187G-0.0813B+128 0044 2)对亮度图像进行去噪处理：由于图像在获取和传输的过程中，不 可避免地会 受到噪声影响，为了后续有效。
20、的处理，有必要对图像去噪，而高斯滤波器是广泛使用的去噪 滤波器。由于噪声一般集中在高频，而二维高斯滤波器具有低通特性，可使图像变得平滑， 从而抑制噪声，在这里，本发明采用的是各向同性的二维高斯滤波器，标准差为2，模板 大小为7，模板系数矩阵为： 0045 h1，2，3，4，3，2，1； 0046 2，4，6，7，6，4，2； 0047 3，6，9，11，9，6，3； 0048 4，7，11，12，11，7，4； 0049 3，6，9，11，9，6，3； 0050 2，4，6，7，6，4，2； 0051 1，2，3，4，3，2，1 0052 采用以上模板作为卷积核，与亮度图像进行卷积运算，遍历图。
21、像，则可以得到高斯 平滑后的图像。 0053 3)对亮度图像进行边缘检测，提取图像的边缘信息：经过高斯滤波后，本发明采 用Canny算子提取图像的边缘信息。图像的边缘定义为像素点灰度值突变的地方，边缘点 对应于一阶微分幅度的极大值点，也对应于二阶微分的零交叉点。Canny算子在边缘检测方 说 明 书CN 102404594 A CN 102404598 A 4/6页 7 面获得了良好的效果，对噪声不敏感，很快就成为了评价其他边缘检测方法的标准准则。 0054 采用Canny算子提取图像的边缘信息，包括梯度计算、非极大值抑制、双门限检测 和输出边缘图像等步骤： 0055 31)梯度计算 0056。
22、 用一阶偏导的有限差分来计算平滑后的图像I(x，y)的梯度幅值A(x，y) 和梯度 方向D(x，y)： 0057 0058 其中，x和y分别是I(x，y)的水平坐标和垂直坐标，f x (x，y)是I(x，y)在x方向 的偏导数，f x (x，y)是I(x，y)在y方向的偏导数。 0059 32)非极大值抑制 0060 分别对各个方向进行非极大值抑制，若像素点(x，y)的梯度幅值A(x，y)不小于梯 度方向上两个相邻像素点的梯度幅值，则该像素点为可能的边缘点，否则，该像素点不是边 缘点。 0061 33)双门限检测 0062 使用累计直方图的方法计算两个阈值，分别为低阈值和高阈值，对经过上述处理。
23、 后的图像进行双阈值化处理。使用低阈值，可以得到一个低阈值检测结果；使用高阈值，可 以得到一个高阈值检测结果。在高阈值结果中，连接边缘轮廓，当连接到端点时，则在低阈 值结果中寻找邻域的弱边缘点，从而弥补边缘间隙，直到找不到与它相邻接的弱边缘点为 止。 0063 34)输出边缘图像 0064 经过以上处理后，可输出Canny算子检测到的边缘图像。 0065 4)采取划分条带的方法产生渐进深度图：当相邻像素点的深度值差异较大时，渲 染出的3D图像会包含很多的空洞，所以，为了避免这种情况，应使相邻像素点的深度值具 有一致性，在这里，采取了划分条带的 方法去保持相邻像素点的深度值具有一致性。 0066。
24、 边缘往往代表的是图像的细节信息，而在图像中，前景一般是细节信息比较丰富 的区域，而背景一般是细节信息比较缺乏的区域。(在这里所说的前景，是指图像中的主体 部分；而所说的背景，则是图像中除主体外的其他区域。)通过将图像在垂直方向和水平方 向去划分条带，然后统计条带的边缘数量，则可一定程度上判断该条带在垂直方向和水平 方向的空间位置，并在上一个条带的基础上，得到定量的深度值。而在3D图像中，一般零视 差面定义为左右眼图像的重合部分所处的一个平面，偏离这个平面的距离越远，则视差越 大。所以，在这里定义的深度值越大，则认为偏离零视差面的距离越远，所处的空间位置越 靠后。 0067 本发明可以采用垂直。
25、划分条带的方法产生垂直方向上渐进深度图；也可以采用水 平划分条带的方法产生水平方向上的渐进深度图；还可以先产生垂直方向上的深度图和水 平方向上的深度图，再对上述对垂直方向上的深度图和水平方向上的深度图进行加权平均 说 明 书CN 102404594 A CN 102404598 A 5/6页 8 处理，以形成总的深度图。 0068 垂直方向上渐进深度图的形成过程为：1)在垂直方向对边缘图像划分条带。2)分 别统计各个条带包含边缘的数量。3)首先，对于第一个条带赋予一个初始的深度值；然后， 从第二个条带开始，将当前条带的边缘数量与相邻上一条带的边缘数量进行比较，如果当 前条带的边缘数量较多，则当。
26、前条带的深度值是上一条带的深度值减去一个合理值(如 1)；如果当前条带的边缘数量较少，则当前条带的深度值是上一条带的深度值加上一个合 理值。以上所述可以用如下式子表示： 0069 0070 其中，depth c 是当前条带的深度值，depth l 是上一条带的深度值，是一个合理 值，count c 是当前条带的边缘数量，count l 是上一条带的边缘数量。 0071 经过上述的处理，可以得到一张垂直方向上渐变的深度图。 0072 水平方向上渐进深度图的形成过程为：1)在水平方向对边缘图像划分条带。2)分 别统计各个条带包含边缘的数量。3)首先，对第一个条带赋予一个初始的深度值；然后，从 第二。
27、个条带开始，将当前条带的边缘数量与相邻上一条带的边缘数量进行比较，如果当前 条带的边缘数量较多，则当前条带的深度值是上一条带的深度值减去一个合理值(如1) 如果当前条带的边缘数量较少，则当前条带的深度值是上一条带的深度值加上一个合理值 。以上所述可以用如下式子表示： 0073 0074 其中，depth c 是当前条带的深度值，depth l 是上一条带的深度值，是一个合理 值，count c 是当前条带的边缘数量，count l 是上一条带的边缘数量。 0075 经过上述处理，可以得到一张水平方向上渐变的深度图。 0076 总的深度图是垂直方向上的深度图和水平方向上的深度图的加权平均，可用下。
28、式 表示： 0077 depthdepth y +(1-)depth h (01) 0078 其中，depth是总深度值，depth v 是垂直方向的深度值，depth h 是水平方向的深度 值，是加权系数。 0079 5)根据深度图，将原图像的每个像素从原来的位置映射到新的位置， 得到一个新 图像： 0080 根据垂直方向上的深度图、水平方向上的深度图或者总深度图(本发明仅以总深 度图作说明，其它雷同)，则可将原图像的每个像素从原来的位置映射到新的位置，假设像 素原来处于x位置上，该像素对应的深度是depth，则新的位置x可用下式计算： 0081 xx-depth (左移时) 0082 xx。
29、+depth (右移时) 0083 6)将新图像和原图像分别作为人眼的左右眼的图像：当新图像是左眼图像时，原 图像则是右眼图像；当新图像是右眼图像时，原图像则是左眼图像。根据输出方式去选择适 当的合成方式，左右眼图像合成后输出3D图像。 说 明 书CN 102404594 A CN 102404598 A 6/6页 9 0084 以上所述仅为本发明的较佳实施方式，本发明并不局限于上述实施方式，在实施 过程中可能存在局部微小的结构改动，如果对本发明的各种改动或变型不脱离本发明的精 神和范围，且属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动 和变型。 说 明 书CN 102404594 A CN 102404598 A 1/1页 10 图1 图2 说 明 书 附 图CN 102404594 A 。