《一种基于双目图像和距离信息的虚实遮挡处理方法.pdf》由会员分享，可在线阅读，更多相关《一种基于双目图像和距离信息的虚实遮挡处理方法.pdf（15页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102510506 A (43)申请公布日 2012.06.20 C N 1 0 2 5 1 0 5 0 6 A *CN102510506A* (21)申请号 201110299878.6 (22)申请日 2011.09.30 H04N 13/00(2006.01) G06T 7/00(2006.01) (71)申请人北京航空航天大学 地址 100191 北京市海淀区学院路37号 (72)发明人赵沁平 陈小武 李发明 许春敏 金鑫 (74)专利代理机构北京科迪生专利代理有限责 任公司 11251 代理人许玉明 顾炜 (54) 发明名称 一种基于双目图像和距离信息的虚实。
2、遮挡处 理方法 (57) 摘要 本发明提出了一种基于双目图像和距离信息 的虚实遮挡处理方法，包括：基于双目图像物体 边缘检测半遮挡现象；给出双目图像的光强阶跃 与激光测距的距离阶跃、以及两种阶跃之间的映 射关系；根据光强阶跃与距离阶跃之间的映射关 系，确定双目图像和距离信息之间的空间坐标映 射关系；利用激光测距补充双目图像的真实场景 深度信息，在半遮挡区域内实现虚拟物体与真实 物体之间的虚实遮挡处理。本发明可以广泛地应 用于军事、航空、航天、教育、娱乐等领域的虚实融 合场景生成。 (51)Int.Cl. 权利要求书1页 说明书9页 附图4页 (19)中华人民共和国国家知识产权局 (12)发明专。
3、利申请 权利要求书 1 页 说明书 9 页 附图 4 页 1/1页 2 1.一种基于双目图像和距离信息的虚实遮挡处理方法，其特征在于包括以下步骤： (1)基于双目图像的物体边缘检测半遮挡现象； (2)采用激光测距获取基于双目图像的真实场景深度信息，得出双目图像的光强阶跃 与激光测距的距离阶跃之间的映射关系，进而确定双目图像与距离信息之间的空间坐标映 射关系； (3)利用激光测距补充基于双目图像的真实场景深度信息，在双目图像的半遮挡区域 实现虚拟物体与真实物体之间的虚实遮挡处理。 2.根据权利要求1所述的基于双目图像和距离信息的虚实遮挡处理方法，其特征在 于：步骤(1)所述的基于双目图像物体边缘。
4、检测半遮挡现象包括以下步骤： (1.1)检测双目图像获得真实物体的边缘信息，提取每一个边缘点对应的若干边缘像 素，包括位于边缘两侧的像素； (1.2)将双目图像的两幅图像的边缘像素进行灰度匹配，判断是否存在真实物体之间 的半遮挡现象。 3.根据权利要求2所述的基于双目图像和距离信息的虚实遮挡处理方法，其特征在 于：步骤(1.1)所述的检测双目图像获得真实物体的边缘信息，包括边缘点生成和边缘集 合生成，通过边缘点生成获得尽可能连续的零散边缘像素点，通过边缘集合生成将已获得 的零散边缘像素点扩展成连续边缘点；边缘点生成步骤包括背景噪声消除、计算图像上每 个像素点的水平和垂直梯度值、计算像素点的方向。
5、角、像素点非最大化抑制、边缘图像像素 双阈值分割；在边缘集合生成时横向纵向扩展，即连接已知像素点上方和下方的边缘点。 4.根据权利要求2所述的基于双目图像和距离信息的虚实遮挡处理方法，其特征在 于：步骤(1.2)中边缘像素进行灰度匹配，采用最小平方差灰度图像的匹配算法，通过求取 两个像素点对应像素灰度差平方和的最小值来确定最佳匹配。 5.根据权利要求1所述的基于双目图像和距离信息的虚实遮挡处理方法，其特征在 于：步骤(2)所述的双目图像的光强阶跃与激光测距的距离阶跃，分别利用双目图像和激 光测距来确定；光强阶跃描述双目图像场景中距离近的物体向距离远的物体过渡，出现的 光线强度变化；距离阶跃描述。
6、通过测距仪测获得的物体深度的变化信息。 6.根据权利要求1所述的基于双目图像和距离信息的虚实遮挡处理方法，其特征在 于：步骤(2)所述的双目图像光强阶跃与激光测距距离阶跃之间的映射关系，是通过基于 最小能量函数结算得到的；能量函数是描述边缘点所在位置的坐标与其斜率对匹配的影响 程度，其值是通过光强阶跃集合与距离阶跃集合中两配对元素之间的来估算得到的。 7.根据权利要求1所述的基于双目图像和距离信息的虚实遮挡处理方法，其特征在 于：步骤(3)中利用激光测距补充基于双目图像的真实场景深度信息，该真实场景深度信 息由步骤(2)求解，其求解的前提条件是步骤(1)的检测结果显示真实物体之间存在半遮 挡现。
7、象。 权 利 要 求 书CN 102510506 A 1/9页 3 一种基于双目图像和距离信息的虚实遮挡处理方法 技术领域 0001 本发明属于虚拟现实领域，具体地说是一种基于双目图像和距离信息的虚实遮挡 处理方法。 背景技术 0002 增强现实，是虚拟现实的进一步拓展，它借助必要的设备使计算机生成的虚拟环 境与客观存在的真实环境共存于同一系统中，从感官上给用户呈现出虚拟对象与真实环境 融为一体的增强现实环境。在利用视频图像描绘真实环境的增强现实系统中，虚实结合技 术在获得真实环境信息的基础上，需要计算虚拟物体在视频图像中相应空间位置，确定虚 拟物体与真实物体之间的遮挡关系，建立虚拟物体与真实。
8、环境融为一体的逼真场景。虚拟 对象与真实物体的空间遮挡关系直接影响到用户对于虚实无缝融合的体验效果，所以，虚 实遮挡处理是增强现实系统中虚实结合技术的重要组成部分。而实虚遮挡的判断则需要先 获得虚拟对象、真实物体分别与观察者视点的距离，然后比较二者之间的大小 0003 增强现实系统中虚实遮挡处理多采用计算机视觉的方法解决，传统视觉计算理论 具有不确定性，其原因在于把三维世界投影成二维图像，然后通过建立起该图像数据与成 像过程及景物特征的数学关系来恢复三维景物的，因而存在信息丢失问题，其中最重要的 是深度信息。针对不确定问题，国外学者提出双目视觉方法加以补充。双目视觉理论建立 在对人类视觉系统研。
9、究的基础上，通过双目立体图像的处理，获取场景的三维信息，其结果 表现为深度图，再经过进一步处理就可得到三维空间中的景物，实现二维图像到三维空间 的重构。双目视觉模型中，双摄像机彼此参数一致，光轴平行且垂直于基线，构成一共极性 结构，这样做是为了缩小对应的搜索空间，只有水平方向的视差，简化了对应过程。 0004 利用多种传感器的融合，来完善现有增强现实中的三维处理涉及到的各种问题， 具有很现实的实用意义。在当前利用视频图像来描绘真实环境的增强现实系统中，需要确 定真实环境中的物体在视频图像中的空间位置，再通过计算虚拟物体在视频图像中的相应 空间位置，才能正确地表现二者之间的遮挡关系。虽然面向虚实。
10、遮挡处理的双目视觉方法 可以计算真实场景的深度信息，但是却难以处理真实物体之间存在半遮挡现象的场景。可 以利用距离传感器来补充半遮挡区域内的物体的深度信息。 0005 当前对于场景深度处理通常采用双目视觉技术，而双目视觉技术必然会存在半遮 挡现象。当重要目标出现在半遮挡区域时，纯粹的双目视觉已经无法满足需求。现有的对 半遮挡问题的研究仅限于针对点的匹配，消除半遮挡带来的误差与噪声，没有从根本上去 解决半遮挡问题。而基于视频设备的虚实遮挡处理，也并没有解决半遮挡问题，只是依赖利 用空间关系，事先在场景上方添加摄像机等方式回避了半遮挡问题。基于多类传感器的虚 实遮挡处理，也采用了相对较复杂的设备，。
11、并且对场景的事先布置也要求较高。丧失了双目 视觉的简单与快速以及不需要事先布置场景的优点。本发明利用距离传感器，在必要的时 候直接获取被遮挡区域目标的深度信息为双目视觉提供补充信息。从而既保持双目视觉的 被动及快速的优势，又不过分增加设备的复杂性，更好地完成了虚实遮挡处理。 说 明 书CN 102510506 A 2/9页 4 发明内容 0006 本发明的目标是提供一种基于双目图像和距离信息的虚实遮挡处理方法，基于双 目图像匹配及多传感器配准的技术，实现在增强现实环境中的进行虚实遮挡处理，解决双 目视觉固有的半遮挡问题。本发明的重点是如何根据双目图像物体边缘确定物体间的半遮 挡现象，如何利用激。
12、光测距补充基于双目图像的真实场景深度信息，为虚实融合场景生成 奠定基础。 0007 本发明采用的技术方案是：首先，通过检测双目图像获得真实物体的边缘信息，提 取每一个边缘点对应的若干边缘像素(包括位于边缘两侧的像素)，并且将两幅图像的边 缘像素进行灰度匹配，判断真实物体之间是否存在半遮挡现象；其次，利用双目图像和激光 测距分别确定光强阶跃集合与距离阶跃集合，根据阶跃之间的距离，将光强阶跃集合与距 离阶跃集合进行匹配，基于能量函数计算每次匹配的能量值，由最小能量值确认两个集合 之间的最佳匹配，并且以该最佳匹配表示光强阶跃与距离阶跃之间的映射关系；根据光强 阶跃与距离阶跃之间的映射关系，建立双目图。
13、像和距离信息之间的空间坐标映射关系，确 定补充基于双目图像的真实场景深度信息；基于激光测距补充的真实场景深度信息，在半 遮挡区域完成虚拟物体与真实物体之间的虚实遮挡处理。 0008 半遮挡现象是指在双目图像中，某个物体在一个视频设备的视场区域中出现，而 该物体在另一个视频设备的视场中却被其它物体遮挡的现象。如图1所示：由于物体A的 遮挡，左摄像机和右摄像机彼此各有一个盲区b和c，还有一个公共盲区a，而物体B恰恰处 于左摄像机的盲区b内，因此左摄像机是“看”不到物体B。于是，双目视觉算法会将整个b 区域均视为背景处于无穷远处。在虚实遮挡处理过程中，即使虚拟物体的深度应该大于物 体B的实际深度，但。
14、由于B所在的区域深度被视作无穷远，显然虚拟物体就会被直接绘制在 B之前。本发明提出的基于双目图像物体边缘的半遮挡现象检测方法，首先通过边缘识别， 再将两幅图像中物体边缘区域的局部信息进行灰度匹配。未被匹配成功的边缘信息，则在 一定概率下反应了被遮挡目标的存在性。 0009 基于双目图像的光强阶跃是指对于视频采集到的场景图像，由于光线分布的特 点，在不同景深的位置，光强是不一样的，并且由于物体本身的遮挡产生的阴影，也会造成 局部区域光线较强烈的变化，因此距离近的物体向距离远的物体过渡处(或者是物体边缘 处)，会在双目图像上产生一个光强阶跃。 0010 基于测距仪测的距离阶跃是指对于测距仪测得的物。
15、体与传感器的距离，与传感器 不同距离的物体，其边缘信息的变化，就产生了不同的距离阶跃。 0011 本发明与现有的技术相比，其有益的特点是：1、本发明根据基于双目图像物体边 缘的半遮挡现象检测结果，决定是否需要激光测距提供真实场景的补充信息，当检测结果 显示没有半遮挡现象，则不需要激光测距补充信息，一定程度上减少计算量；2、本发明通过 双目图像的光强阶跃与激光测距的距离阶跃之间的映射关系，确定双目图像和距离信息之 间的空间坐标映射关系，实现真实场景深度信息补充；3、利用激光测距补充基于双目图像 的真实场景深度信息，在半遮挡区域实现虚拟物体与真实物体之间的虚实遮挡处理。 附图说明 ： 说 明 书C。
16、N 102510506 A 3/9页 5 0012 图1是本发明半遮挡场景示意图； 0013 图2是本发明基于双目图像与距离信息的虚实遮挡处理总体流程图； 0014 图3是本发明边缘集合图； 0015 图4是本发明方差和灰度匹配图； 0016 图5是本发明算法流程图； 0017 图6是本发明基于合成深度信息的遮挡处理绘制流程图。 具体实施方式 ： 0018 参阅图2本发明的主流程图，首先根据采用双目摄像机采集的视频图像数据(即 双目图像)，进行半遮挡检测；若检测发现有半遮挡现象，则进行双目图像光强阶跃分析、 激光测距及基于激光测距的距离阶跃分析，求解使能量最小的光强阶跃和距离阶跃之间的 映射关。
17、系，再对比视觉差值及补充视觉差值；最后进行虚实遮挡处理。 0019 图像灰度信息是物体及场景所固有的，是可以量化的数据信息；而图像特征信息 则是与物体本身所固有的，可以用来进行界定与区分的信息。在理想场景中，物体之间的 间隔可以体现在物体的边缘信息上。边缘通常代表了图像信息最丰富的结构，常被用作于 图像匹配的特征。基于双目图像物体边缘的半遮挡现象的检测方法，通过图像边缘检测来 获取物体的边界信息，并以此为依据，获得用于灰度匹配的边缘信号集合，主要包括四个部 分：边缘点生成、边缘集合生成、边缘信号元素匹配、以及匹配结果修正与判断。 0020 边缘点生成，即确定两个需要匹配集合的内容。边缘信息通过。
18、边缘检测来完成。在 边缘检测之前，先对图像进行滤波，以消除噪声。常用消除噪声方法有邻点平均法、中值滤 波法和高斯滤波法。本发明采用高斯函数对双目图像对进行高斯滤波去噪。高斯滤波法， 又称滤波法，其基本思想是对被处理的像素，用它邻域内一些像素的平均值代替，不过 这些像素的灰度必须落在中心像素灰度的一个固定的范围内，其优点是对高斯分布的 噪声有很强的抑制能力，而大多数图像噪声是高斯分布。 0021 边缘检测算法通过梯度算子来实现，在求边缘的梯度时，需要计算对每个象素位 置。在实际中常用小区域模板卷积来近似计算，模板是NN的权值方阵，经典的梯度算子 模板：索贝尔模板、普鲁伊特模板、罗伯茨模板、拉普拉。
19、斯模板等。由于索贝尔算子采用图像 差分和滤波计算梯度，速度快，具有一定的噪声抑制能力，因此本发明中采用索贝尔算子。 0022 仅仅得到全局各点的梯度值并不足以确定边缘，为确定边缘，必须保留局部梯度 最大的点，即非极大值抑制。一个像素点沿其方向角方向上有两个相邻的像素点，如果当前 像素点比这两个点的梯度都大，则当前像素点可能为边界点。遍历所有点集，将可能的边界 点，保留在结果集中。 0023 所有局部梯度最大的点，只是在某个局部区域内得到了可能的边界点。但是这些 点并不代表就是真实物体的边界。因此设定一个梯度阈值T 2 ，将梯度小于此阈值的像素点 从集合中删除。T 2 通常设定为一个比较大的值，。
20、因此得到的结果含有较少的假边缘图n 2 i， j，但有间断(不闭合)。因此再次设定一个阈值T 1 (T 2 /2)。重新结合原梯度矢量矩阵 对图像进行处理，得到一个低阈值的边缘图n 1 i，j。首先把n 2 i，j中的边缘点连接成轮 廓，然后在n 1 i，j中迭代查找可以连接到轮廓上的边缘点并与之连接，直到这些轮廓成为 比较完整的物体边缘。 说 明 书CN 102510506 A 4/9页 6 0024 边缘集合的生成，即将已有的边缘点扩充为连续的曲线。以上生成的边缘集合是 单像素宽度的，尽管双阈值分割尽可能保持边缘的连续性，仍有可能同一个物体的边缘信 息会有不连续的现象。由于本发明的采集环境。
21、中，摄像设备是左右并列放置，因此主要考 查纵向边缘，故在边缘检出时，从一个起始点出发，只连接其方向角在其上方与下方的边缘 点，直到其上下方向没有相邻边缘点，左右方向的边缘点不予考虑。 0025 从某个始点开始，其上下方共有6个点，如图3所示，分别编号为1、2、3、7、8、9。如 果是采用从上至下的搜索策略，那么只搜索下方的7、8、9号点，反之就搜索上方的1、2、3号 点，并且构建一个数组Ai来记录变化趋势。本发明采用从上至下策略，优先选择8号点， 并记录Ai0。如果8号点为非边缘点，则选择7号或者9号点。同时，使用数组Ai 记录当前斜率，也即如果选择7号点，则记录Ai-1；如果选择9号点，则记。
22、录Ai 1；再以选择的点为当前点，考查其下方的三个点，重复上述过程。 0026 边缘信号元素的匹配，即匹配两幅图像的边缘信号集合。图像匹配通常分为三种： 基于灰度的匹配、基于特征值的匹配、基于纹理信息的匹配，本发明采用基于灰度的匹配。 基于灰度的匹配，直接使用像元灰度，逐像素地把一个以一定大小的实时图像窗口的灰度 矩阵与参考图像的所有可能的窗口灰度阵列按某种相似性度量方法进行搜索比较的匹配 方法。 0027 方差和算法是目前被普遍采用的一种针对灰度图像的匹配算法。该算法的基本原 理是通过求取两个像素点窗口中对应像素灰度差平方和的最小值来确定最佳匹配。如图 4所示，假设立体像对的左图中一个基准点。
23、P(i，j)，取其大小为(2k+1)(2h+1)的像素邻 域M，右图中一待定匹配点为P(i，j+d)，d为视差值，取其大小同为(2k+1)(2h+1)的 像素邻域N。如果P(i，j)和P(i，j+d)互为匹配点，那么根据方差和算法，则P(i，j)和 P(i，j+d)的像素邻域M和N对应像素灰度差平方和 k 必须满足： 0028 0029 1 ， 2 ，. k ，. z 分别指右图中预定视差搜索范围Z内的第1，2，k， z个像素点的像素邻域与P(i，j)的像素邻域M对应像素灰度差平方和。该式说明，在预定 的视差搜索范围内所有待定匹配点中，最佳匹配点与基准点的像素邻域M对应像素灰度的 差平方和是最。
24、小的。 0030 通常使用方差和的前提是有一个作为匹配模板的基准像元，用这个模板去逐块搜 索被匹配图像。从中找到差平方和最小的区域作为匹配区域。由于半遮挡区域在匹配前是 未知的，因此无法得到含有半遮挡区域中完整物体的匹配模板。本发明采用如下的边缘信 号匹配指导思想：边缘特征确定匹配区域，灰度匹配采用灰度差平方和进行量化匹配。以任 一图中每个边缘信号元素作为模板，从另一图中查找对应匹配，所述边缘信号元素是像素 间断曲线段，每一曲线段为一个边缘信号元素。对于每个边缘信号元素，从原图中对应位置 取各点的灰度值，采用灰度差平方和进行量化，将两幅图像的各个区域进行分别计算。由于 各边缘信号大小不一致，因。
25、此其边缘区域也会大小不一致，因此参照两者中比较大的区域， 将小区域的边缘信号元素进行扩展，直至两者大小一致。 0031 假设图像A的边缘信号集合为s A ESE A1 ，ESE A2 ，.，ESE Ai ，.，ESE Am ，图像B 的边缘集合为s B ESE B1 ，ESE B2 .，ESE Bj ，.，ESE Bn 。不妨假设，半遮挡区域出现在图像 说 明 书CN 102510506 A 5/9页 7 A中，也即可以理解为存在ESE occ s A ，在s B 中找不到对应匹配区域。于是我们需要将任意 ESE Ai s A 与ESE Bj s B 比较，将能够匹配出来的ESE Ai 去除，。
26、重复迭代后，剩下在集合s A 中 的边缘信息即为ESE occ 。 0032 针对s A 中的每个元素ESE Ai ，分别与s B 中的ESE Bj 进行绝对差值法匹配： 0033 0034 P u (x，y)代表ESE Ai 中第u个像素点的灰度值，Q v (x，y)代表ESE j 中第v个像素点 的灰度值。取ESE Ai min( Ai-B1 ， Ai-B2 ，. Ai-Bj ，. Ai-Bn )。在实际匹配过程中，可 能会发生多个边缘匹配到同一目标上。对于这种冲突情况，采用次小值匹配避免重复计算。 0035 为了防止由于纹理图案造成的伪边缘信号，本发明定义如下修正准则： 0036 为某边。
27、缘集合的光强，也即该区域的灰度信息总和，r为 元素ESE Ai 包含像素点的个数。对于满足条件 0037 (其中m为s A 中元素的个数)的边缘信号，则保留 在s A 中，否则去除；对于满足条件 0038 (其中n为s B 中元素的个数)的边缘信号，则保留 在s B 中，否则去除；为一个阈值，由于各场景纹理信号是不同的，因此这个阈值应该根据 不同的场景进行调整，本发明取经验值50，即边缘信号强度低于信号平均值的50 时，视为伪边缘信号元素。 0039 以边缘集合s A 中的每一个信号元素ESE Ai 作为方差和中的匹配模板去集合s B 中 找寻一个最小相异的匹配元素ESE Bj ，匹配结果记为。
28、有序偶对集合为LR.，.。因为半遮挡区域是未知的，所以上述匹配极有可能发生错误，即s A 中半遮挡 区域内的物体边缘信号元素也被匹配到s B 的边缘信号元素。再以边缘集合s B 中的每一个 元素所作为方差和中的匹配模板去s A 中找寻一个最小相异的匹配元素，所得到的结果为RL .，.。 0040 假设，左右图像没有发生半遮挡现象，并且所有匹配都是正确的，从双目视觉算法 中LRC原则的思想可以知道，“如果以左图某个区域a为模板，对应于右图的区域b，则当以 右图的b为模板时，从左图搜索到的匹配结果也应为a”。显然，若LR，则 一定会有RL。于是，若LR，但是，或者 RL而，则ESE Ai 与ESE。
29、 Bi 的配对关系是不被认可的。 0041 由于半遮挡现象必然是发生在某个物体左侧或者右侧，构造两个边缘集合： 0042 LESE Ai |LR，且 0043 且RL 说 明 书CN 102510506 A 6/9页 8 0044 则集合L、R必然有一个为空。可以得出结论：当则左图像有 半遮挡区域，即右摄像机被遮挡；当则右图像有半遮挡区域，即右摄像机 被遮挡；当则没有发生半遮挡现象。 0045 双目图像与距离信息的匹配：对于视频采集到的场景图像，由于光线分布的特点， 在不同景深的位置，光强是不一样的，并且由于物体本身的遮挡产生的阴影，也会造成局部 区域光线较强烈的变化，因此近距离物体向远距离物。
30、体过渡，会在视频图像上产生一个光 强阶跃，其与视频图像有对应的关系，即物体边缘处容易出现光强阶跃信号。对于测距仪测 得的物体与传感器的距离，相当于从上向下俯视整个场景，也即物体向水平平面投影的结 果。与传感器不同距离的物体，其边缘信息的变化，就产生了不同的距离阶跃。离测距仪测 较近的平面向物体边缘过渡，对应的投影图像就会产生距离阶跃信号。 0046 距离信息阶跃：由于传感器设备没有纵向运动的传动机构，本发明所使用的距离 传感器只做横向运动。分析距离图像的阶跃信号，主要是分析图像的边缘的变化。首先利 用角点检测算法，探测斜率有所变化的像素点所在位置。以某像素点为中心，若图像灰度沿 任何方向都变化。
31、强烈，则该像素点被检测为角点。考虑图像中任意像素点和以它为中心的 圆形区域，当任意一条直线通过中心像素点N交圆形区域边界于点P和点P时，定义角点 反应函数： 0047 R N min(f p -f N ) 2 -(f p -f N ) 2 ) 0048 其中f N 表示中心像素点的灰度值，f p 和f p 分别表示点P和P的图像灰度值，点 P和P关于点N对称。反应函数有三种取值：(a)至少有一条通过中心像素点的直线使得 角点反映函数值为零；(b)只有一条通过中心像素点的直线使得角点反映函数值为零；(c) 通过中心像素点的任何直线都使得角点反映函数值为2。在实际图像中，由于灰度值是0到 255变。
32、化而不是简单的0和1，所以(a)和(b)两种情况得到的角点反应函数值较小，而(c) 的角点反应函数值很大。选择适当的阈值可区分角点和非角点。计算分两步，首先计算水 平和竖直方向的灰度变化： 0049 r a (f a -f N ) 2 +(f a -f N ) 2 ) 0050 r b (f b -f N ) 2 +(f b -f N ) 2 ) 0051 f a 和f a 表示水平方向上点a和a的图像灰度值，f b 和f b 表示竖直方向上点b 和b的图像灰度值。取R N min(r a ，r b )，若此时R N 小于阈值R，则中心像素不是角点。否 则，利用进行线性插值的方法得到近似足够多。
33、的方向上的灰度变化。 0052 由于探测出来的角点是杂乱无序的，因此首先要对结果进行排序，排序依据是角 点x的坐标值，然后再按顺序判断前后两个角点的斜率关系，当前后角点之间连线的斜率 保持半径方向时，则可以理解为没有发生阶跃，一旦斜率显著改变，则应该认为发生了阶 跃。当再次回到半径方向时，再一次发生阶跃。如此反复，即可以得到物体的距离阶跃信息。 0053 双目图像光强阶跃：对于双目图像，取像素点沿纵向几个像素点，将其光强相加， 得到光强统计图，统计图的陡峭部分，也即是场景光强阶跃的部分。 0054 视频图像与距离图像映射视频信息图像与距离信息图像存在的某种内在映射关 系，可以利用两种阶跃的相关。
34、性来进行分析。根据以上求解，记双目图像的光强阶跃集合为 ( 1 ， 2 ， 3 ，.， n )，距离图像的距离阶跃集合为( 1 ， 2 ， 3 ，.， m )。 由于纹理及边缘检测的缘故，光强阶跃集合中存在伪阶跃，而且距离阶跃集合很少存在伪 说 明 书CN 102510506 A 7/9页 9 阶跃。因此，它们的匹配原则基于假设：距离图像的距离阶跃是准确的。以 1 、 2 为基准， 通过 1 到 n 中，任取两个边缘 i ， j 进行匹配，并以匹配结果作为比例因子，分别去计 算 3 ， 4 ，.， m 对应的光强阶跃。定义能量函数： 0055 K i X* 1 +T* 2 1 *|X -X |。
35、+ 2 *|T -T | 0056 其中， 1 与 2 为影响因子，分别代表了边缘所在位置的坐标与其斜率对匹配的 影响程度，随不同场景有所不同，X 、X 为边缘在平面图像中的坐标，T 、T 为边缘的斜率。 0057 首先假设 1 与 1 匹配：以scale( 2 - 1 )/( 2 - 1 )为比例尺，分别求 3 ， 4 ， m 对应的 j ，并且分别计算(K 1 ，K 1 ，K m-2 )，记录累加值为K 11 。再分 别以scale( 3 - 1 )/( 2 - 1 )，得到累加值K 12 ；scale( 4 - 1 )/( 2 - 1 )，得到累 加值K 13 ，得到累加值K 1(n-m。
36、+1) 。再假设 1 与 2 匹配(即 1 为伪边缘)，以scale ( 3 - 1 )/( 2 - 1 )为比例尺，分别求 3 ， 4 ， m 对应的 j ，并且分别计算(K 1 ， K 1 ，K m-2 )，记录累加值K 21 。再分别以scale( 4 - 1 )/( 2 - 1 )，得到累加值 K 22 ，得到累加值K 2(n-m) 。依此类推，最后假设 1 与 n-m+1 匹配(即 1 至 n-m 均为 伪边缘)，得到累加值K (n-m+1)1 。经过上述匹配后，可以得到一个能量值矩阵： 0058 0059 其中，K ij 代表 1 与 i 匹配， 2 与 j 匹配时，计算出的所有其。
37、它相应的能 量值的总和。取K xy min(K energy )时的scale组合，即 i 匹配 1 ， j 匹配 2 作为最终 认可的匹配。重新计算其它视频图像上的边缘与距离图像上的边缘的对应关系，最终根据 各边缘距离值，得到视频图像与距离图像的坐标变换关系。 0060 距离图像中由边缘划分的区域P 1 ，P 2 ，P i ，分别对应于双目图像中的区 域Q 1 ，Q 2 ，Q i 。于是变换公式为： 0061 0062 其中，A i 代表距离图像第i个区域内的点向视频图像进行映射的x轴变换参数，B i 为y轴变换参数，C i 为z轴变换参数，也即深度变换。M i 代表距离图像不同区域所对应的。
38、变 换矩阵，且 0063 ， 0064 于是P 1 在视频图像上对应的点为Q 1 (x，y，z)(A 1 x，B 1 y，C 1 d p )；同理，区域P 2 在视 频图像上对应的点为Q 2 (x，y，z)(A 2 x，B 2 y，C 2 d p )；依次类推，可以得到所有距离图像区域 到视频图像上的映射位置。这样我们就可以得到视频图像上对应区域之间的深度关系。依 据预先测定的深度缓存值与真实值的比例关系，我们可以同双目视觉得到的场景其它区域 的深度信息相比较，从而得到全局的完整深度信息，从而为后续的虚实遮挡处理打下基础。 0065 虚实遮挡处理包括双目视频图像的视差值获取、视差与深度映射、虚。
39、拟对象与视 说 明 书CN 102510506 A 8/9页 10 频图像场景融合。本发明采用斯坦福大学Birchfield在1998年提出来的算法计算双目 视觉的视差值。该算法的步骤简明直观，运算速度较快，精度高，是双目视觉比对中较为优 秀的算法之一。该算法计算双目视觉的视差值分两步：第一步，从左、右图像的第一行象素 开始逐行往下扫描，利用动态规划算法逐个比对象素视差；第二步，将第一步比对得到的可 信度较高的视差值“传播”修正邻近扫描线上的视差值，提高第一步比对得到的视差图的精 度，该过程如图5所示。 0066 假设左、右图像对应扫描线上的匹配序列为：SM(1，0)，(2，1)，(6，2)，。
40、.，(x， y)，.，其中(x，y)表示左扫描线上的象素x和右扫描线上y的象素对应于真实场景中同 一点，没有匹配的象素点为半遮挡区域。为了衡量匹配序列接近真实匹配序列的程度，定义 如下代价函数： 0067 0068 N occ 和N m 分别是匹配序列中遮挡和匹配的象素个数，k occ 表示遮挡的“惩罚”，可以 理解为象素之间至少相差k occ 大小的亮度，即视差；k r 表示匹配的“回报”，可以理解为匹配 的两个象素之间亮度的最大差异。d(x i ，y i )衡量匹配象素x i 和y i 对应于空间中同一点的 可信程度。定义为右扫描线上象素的线性插值函数，则x i 落入y i 周围的线性插值。
41、区域的 适合程度由以下函数衡量： 0069 0070 其中，I L 和I R 分别是左、右匹配扫描线上象素亮度的函数曲线，由下列式子计算 得出： 0071 0072 0073 令则也可以由以下 式子计算得到： 0074 0075 根据视频图像的视差深度图，距离图像的深度图，我们可以得到视差深度图与距 离深度的映射关系。设视频图像上某像素P的坐标为： 0076 P(x，y，d p )x p y p d p T (d p 为视差深度图值)，其在距离图像上对应点P的坐 标为： 0077 P(x，y，d p )x p y p d p T (d p 为距离深度值)，而半遮挡区域的像素 Q的坐标为： 00。
42、78 Q(x，y，d q )x q y q T (半遮挡区域内的距离值为无穷)，其在距离图像上 对应点Q的坐标为： 0079 Q(x，y，d q )x q y q d q T 0080 需要由P，Q的关系及Q，求解出Q的深度d q 。根据前面提到的视频图像与距离 图像映射矩阵： 说 明 书CN 102510506 A 10 9/9页 11 0081 0082 因为： 0083 Q(x，y，d q )Q(x，y，d q )M i (A i x，B i y，C i d q ) 0084 P(x，y，d q )P(x，y，d q )M j (A j x，B j y，C j d q )所以：根据上述方。
43、 式，即可以求出深度距离对应的视差值。 0085 通过双目视觉获得视差图后，可以认为对应于双目立体图像上所有象素的视差值 即是真实场景在双目视觉设置下深度值的倒数。再根据半遮挡判断，获得被遮挡目标的视 差值，从而获得完整的场景视差值。因此，可以进入下一步工作，基于深度值判断实虚空间 遮挡关系。其实现过程是：将带有视差的象素值写入OpenGL的深度缓存，并令OpenGL绘制 循环在绘制虚拟物体的三维图形时进行深度测试，如图6所示。OpenGL深度测试会比较三 维几何模型的Z值和深度缓存中的深度值，Z值小于深度缓存的深度值(即离视点更近)点 会被绘制出来，Z值大于深度缓存的深度值的点不被绘制(被真实物体遮挡)。 0086 以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变 换，均应属于本发明的保护范围。 说 明 书CN 102510506 A 11 1/4页 12 图1 说 明 书 附 图CN 102510506 A 12 2/4页 13 图2 说 明 书 附 图CN 102510506 A 13 3/4页 14 图3 图4 图5 说 明 书 附 图CN 102510506 A 14 4/4页 15 图6 说 明 书 附 图CN 102510506 A 15 。