《使用至少一个附加图像的图像增强和边缘验证方法和设备.pdf》由会员分享，可在线阅读，更多相关《使用至少一个附加图像的图像增强和边缘验证方法和设备.pdf（16页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 104272323 A (43)申请公布日 2015.01.07 CN 104272323 A (21)申请号 201380003939.7 (22)申请日 2013.08.28 2013106513 2013.02.14 RU G06K 9/40(2006.01) (71)申请人 LSI 公司 地址 美国加利福尼亚 (72)发明人 DV帕芬诺韦 DV帕克荷门科 IL马祖仁克 DV扎塞夫 DN巴宾 (74)专利代理机构 中国国际贸易促进委员会专 利商标事务所 11038 代理人 郭思宇 (54) 发明名称 使用至少一个附加图像的图像增强和边缘验 证方法和设备 (57)。
2、 摘要 本发明涉及使用至少一个附加图像的图像增 强和边缘验证方法和设备。 一种图像处理系统， 包 括图像处理器， 其被配置成对第一和第二图像分 别执行第一和第二边缘检测操作以获得各第一和 第二边缘图像， 以使用来自第一和第二边缘图像 的边缘应用联合边缘加权操作， 基于边缘加权操 作的结果生成边缘掩蔽， 利用该边缘掩蔽来获得 第三边缘图像， 并基于第三边缘图像生成第三图 像。仅以示例的方式， 在给定实施例中， 第一图像 可包括由深度成像器生成的第一深度图像， 第二 图像可包括与第一图像基本上相同场景的二维图 像， 并且第三图像可包括相对于第一深度图像具 有增强边缘质量的增强深度图像。 (30)优。
3、先权数据 (85)PCT国际申请进入国家阶段日 2014.05.20 (86)PCT国际申请的申请数据 PCT/US2013/057048 2013.08.28 (87)PCT国际申请的公布数据 WO2014/126613 EN 2014.08.21 (51)Int.Cl. 权利要求书 2 页 说明书 10 页 附图 3 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书10页 附图3页 (10)申请公布号 CN 104272323 A CN 104272323 A 1/2 页 2 1. 一种方法， 包括 ： 对第一图像和第二图像分别执行第一边缘检测操作和第。
4、二边缘检测操作以获得相应 的第一边缘图像和第二边缘图像 ； 使用来自第一边缘图像和第二边缘图像的边缘来应用联合边缘加权操作 ； 基于边缘加权操作的结果生成边缘掩蔽 ； 利用边缘掩蔽来获得第三边缘图像 ； 以及 基于第三边缘图像来生成第三图像 ； 其中， 所述执行第一边缘检测操作和第二边缘检测操作、 应用联合边缘加权操作、 生成 边缘掩蔽、 利用边缘掩蔽和生成第三图像在包括被耦合到存储器的处理器的至少一个处理 设备中实施。 2. 如权利要求 1 的方法， 其中， 第一图像包括由深度成像器生成的第一深度图像。 3. 如权利要求 2 的方法， 其中， 所述第二图像包括与第一图像基本上相同场景的二维 。
5、图像。 4. 如权利要求 3 的方法， 其中， 所述第三图像包括相对于第一深度图像具有增强边缘 质量的增强深度图像。 5. 如权利要求 1 的方法， 其中， 所述第三边缘图像包括 ： 一个或多个边缘， 其中每个边缘在第一边缘图像和第二边缘图像二者中足够紧密接近 地出现， 但是仅从那些边缘图像中的一个特定边缘图像中获取 ； 以及 一个或多个边缘， 其中每个边缘在第一边缘图像中出现而未在第二边缘图像中出现 ； 其中， 所述第三边缘图像不包括其中每个边缘在第二边缘图像中出现而未在第一边缘 图像中出现的一个或多个边缘。 6. 如权利要求 1 的方法， 其中， 所述联合边缘加权操作确定第一边缘图像中的边。
6、缘与 第二边缘图像中的边缘之间的紧密度的度量。 7. 如权利要求 1 的方法， 其中， 所述联合边缘加权操作包括 ： 限定像素近邻 ； 以及 针对第一边缘图像和第二边缘图像之一中的多个边缘像素中的每一个边缘像素， 确定 在该边缘像素的限定近邻内的第一边缘图像和第二边缘图像中的另一个中的边缘像素的 计数 ； 其中， 所述边缘掩蔽至少部分地基于针对所述多个边缘像素中的相应的一些边缘像素 确定的边缘像素的计数而生成。 8. 如权利要求 7 的方法， 其中， 用于第一边缘图像和第二边缘图像之一中的所述多个 边缘像素中的当前一个边缘像素的限定近邻包括在当前边缘像素的指定径向距离内的所 有像素。 9. 如。
7、权利要求 7 的方法， 其中， 确定边缘像素的计数包括针对第二边缘图像的多个边 缘像素中的每一个边缘像素， 确定在第二边缘图像的边缘像素的限定近邻内的第一边缘图 像的边缘像素的计数。 10. 如权利要求 1 的方法， 其中， 利用边缘掩蔽来获得第三边缘图像包括根据以下等式 对第二边缘图像逐个像素地应用边缘掩蔽 ： E3(i,j) (E2(i,j)and mask(i,j), 权 利 要 求 书 CN 104272323 A 2 2/2 页 3 其中， E3(i,j) 表示第三边缘图像的像素， E2(i,j) 表示第二边缘图像的像素， and 表示 逻辑算子， 并且 mask(i,j) 表示边缘。
8、掩蔽的像素。 11. 如权利要求 10 的方法， 其中， mask(i,j) 是基于表示为 vote(i,j) 的计数是否大于 指定阈值而确定的二进制值， 其中， 计数 vote(i,j) 表示在第二边缘图像的像素 E2(i,j) 的 限定近邻内的第一边缘图像的边缘像素的计数。 12. 如权利要求 1 的方法， 还包括对第三边缘图像执行边缘合并操作。 13. 如权利要求 1 的方法， 其中， 生成第三图像还包括对以第三边缘图像中的边缘为边 界的第一图像的各部分执行边缘去水印操作。 14. 一种具有体现在其中的计算机程序代码的计算机可读存储介质， 其中， 该计算机程 序代码当在处理设备中执行时促。
9、使处理设备执行如权利要求 1 的方法。 15. 一种装置， 包括 ： 至少一个处理设备， 包括被耦合到存储器的处理器 ； 其中， 所述至少一个处理设备被配置成对第一图像和第二图像分别执行第一边缘检测 操作和第二边缘检测操作以获得相应的第一边缘图像和第二边缘图像， 使用来自第一边缘 图像和第二边缘图像的边缘来应用联合边缘加权操作， 基于边缘加权操作的结果来生成边 缘掩蔽， 利用该边缘掩蔽来获得第三边缘图像， 并基于第三边缘图像来生成第三图像。 16. 如权利要求 15 的装置， 其中， 所述处理设备包括图像处理器， 该图像处理器包括 ： 边缘检测模块， 被配置成执行第一边缘检测操作和第二边缘检测。
10、操作 ； 联合边缘加权模块， 被配置成执行联合边缘加权操作 ； 以及 边缘掩蔽模块， 被配置成基于边缘加权操作的结果来生成边缘掩蔽 ； 其中， 使用包括图像处理器的至少一个图形处理器的图像处理电路来实现所述模块。 17. 如权利要求 15 的装置， 其中， 所述图像处理器还包括被配置成结合第三图像的生 成而对第三边缘图像的边缘执行边缘去水印操作的边缘去水印模块。 18. 一种包括如权利要求 15 的装置的集成电路。 19. 一种图像处理系统， 包括 ： 提供第一图像和第二图像的一个或多个图像源 ； 一个或多个图像目的地 ； 以及 耦合在所述一个或多个图像源和所述一个或多个图像目的地之间的图像处。
11、理器 ； 其中， 所述图像处理器被配置为对第一图像和第二图像分别执行第一边缘检测操作 和第二边缘检测操作以获得相应的第一边缘图像和第二边缘图像， 使用来自第一边缘图像 和第二边缘图像的边缘来应用联合边缘加权操作， 基于边缘加权操作的结果来生成边缘掩 蔽， 利用该边缘掩蔽来获得第三边缘图像， 并基于第三边缘图像来生成第三图像。 20. 如权利要求 19 的系统， 其中， 所述一个或多个图像源中的至少一个包括深度成像 器。 权 利 要 求 书 CN 104272323 A 3 1/10 页 4 使用至少一个附加图像的图像增强和边缘验证方法和设备 技术领域 0001 本发明一般地涉及图像处理， 并且。
12、更具体地涉及诸如深度图及其他类型的深度图 之类的图像的处理。 背景技术 0002 已知有用于检测图像中的边缘的多种不同技术。 此类技术一般地在应用于高分辨 率图像时产生可接受的结果， 诸如由数字式照相机产生的照片或其他二维 (2D) 图像。然 而， 许多重要机器视觉应用利用由诸如结构光 (SL) 照相机或飞行时间 (ToF) 照相机之类的 深度成像器产生的三维 (3D) 图像。这些深度图像常常是低分辨率图像且通常包括高噪声 且模糊的边缘。 0003 常规边缘检测技术一般地在被应用于深度图像时表现并不很好。例如， 这些常规 技术可遗漏给定深度图像中的重要边缘或将多个伪边缘连同重要边缘一起定位。 。
13、结果产生 的检测边缘质量差， 并且因此破坏后续图像处理操作的有效性， 诸如特征提取、 图案识别、 姿势识别、 对象识别和跟踪。 发明内容 0004 在一个实施例中， 一种图像处理系统包括图像处理器， 其被配置成对各第一和第 二图像执行第一和第二边缘检测操作以获得相应的第一和第二边缘图像， 以使用来自第一 和第二边缘图像的边缘应用联合边缘加权操作， 基于边缘加权操作的结果生成边缘掩蔽， 利用该边缘掩蔽来获得第三边缘图像， 并基于第三边缘图像生成第三图像。 0005 仅以示例的方式， 给定实施例中的第一图像可包括由深度成像器生成的第一深度 图像， 第二图像可包括与第一图像基本上相同场景的二维图像，。
14、 并且第三图像可包括相对 于第一深度图像具有增强边缘质量的增强深度图像。 0006 本发明的其他实施例包括但不限于方法、 设备、 系统、 处理设备、 集成电路以及具 有体现在其中的计算机程序代码的计算机可读存储介质。 附图说明 0007 图 1 是一个实施例中的包括被配置成用于图像增强和边缘验证的图像处理器的 图像处理系统的框图。 0008 图2是用于使用图1系统的图像处理器的灰度图像来产生增强深度图像的示例性 过程的流程图。 0009 图 3 图示出可在图 2 过程的联合边缘加权操作中使用的不同像素近邻。 具体实施方式 0010 在本文中将结合示例性图像处理系统来举例说明本发明的实施例， 该。
15、示例性图像 处理系统包括用于生成具有可靠边缘的增强深度图像的图像处理器或其他类型的处理设 说 明 书 CN 104272323 A 4 2/10 页 5 备。然而， 应理解的是本发明实施例更一般地可应用于涉及到通过利用一个或多个附加图 像来增强一个图像中的边缘质量的任何图像处理系统或关联设备或技术。 0011 图 1 示出了本发明的实施例中的图像处理系统 100。图像处理系统 100 包括从一 个或多个图像源105接收图像并将已处理图像提供给一个或多个图像目的地107的图像处 理器 102。图像处理器 102 还通过网络 104 与多个处理设备 106 通信。 0012 虽然图像源 105 和。
16、图像目的地 107 在图 1 中被示为与处理设备分离， 但可至少部 分地利用处理设备 106 中的一个或多个来实现此类源和目的地的至少子集。相应地， 可通 过网络 104 将图像提供给图像处理器 102 以用于来自处理设备 106 中的一个或多个的处 理。同样地， 已处理图像可被图像处理器 102 通过网络 104 传送至处理设备 106 中的一个 或多个。因此可将此类处理设备视为图像源或图像目的地的示例。 0013 给定图像源可包括例如诸如被配置成生成深度图像的 SL 照相机或 ToF 照相机之 类的3D成像器或者被配置成生成灰度图像、 彩色图像、 红外图像或其他类型的2D图像的2D 成像器。
17、。还可能的是单个成像器或其他图像源能够提供深度图像和诸如灰度图像、 彩色图 像或红外图像之类的相应 2D 图像两者。例如， 某些类型的现有 3D 照相机能够产生给定场 景的深度图以及相同场景的 2D 图像。替换地， 提供给定场景的深度图的 3D 成像器能够接 近于提供基本上相同场景的 2D 图像的单独高分辨率摄像机或其他 2D 成像器地被布置。 0014 图像源的另一示例是向图像处理器 102 提供图像以用于处理的存储设备或服务 器。 0015 给定图像目的地可包括例如计算机或移动电话的人机接口的一个或多个显示屏， 或者从图像处理器 102 接收已处理图像的至少一个存储设备或服务器。 0016。
18、 并且， 虽然图像源 105 和图像目的地 107 在图 1 中被示为与图像处理器 102 分离， 但可至少部分地将图像处理器 102 与公共处理设备的一个或多个图像源和所述一个或多 个图像目的地的至少子集组合。因此， 例如， 给定图像源和图像处理器 102 可在同一处理设 备上共同地实现。同样地， 给定图像目的地和图像处理器 102 可在同一处理设备上共同地 实现。 0017 在本实施例中， 图像处理器 102 被配置成对各第一和第二图像执行第一和第二边 缘检测操作以获得相应的第一和第二边缘图像， 使用来自第一和第二边缘图像的边缘来应 用联合边缘加权操作， 基于边缘加权操作的结果来生成边缘掩。
19、蔽， 利用该边缘掩蔽来获得 第三边缘图像， 并基于第三边缘图像来生成第三图像。 0018 如图 1 中所示的图像处理器 102 包括预处理模块 110、 边缘检测模块 112、 联合边 缘加权模块 114、 边缘掩蔽模块 115、 边缘去水印模块 116 和后处理模块 118。 0019 作为上述第一、 第二和第三图形的一个可能示例， 给定实施例中的第一图像可包 括由诸如SL照相机或ToF照相机之类的深度成像器产生的深度图像， 第二图像可包括与第 一图像基本上相同场景的 2D 图像， 并且第三图像可包括相对于第一深度图像具有增强边 缘质量的增强深度图像。 上文已指出单个成像器或其他图像源能够提。
20、供深度图像和诸如灰 度图像、 彩色图像或红外图像之类的相应 2D 图像两者。替换地， 能够分别由单独 3D 和 2D 成像器来提供第一和第二图像。 并且， 可使用多个附加图像来增强第一图像， 与在某些实施 例中仅使用第二图像相反。在其他实施例中可接收、 处理和生成其他类型和布置的图像。 0020 在其他实施例中， 能够改变图 1 实施例中的图像处理器 102 中所示的模块的特定 说 明 书 CN 104272323 A 5 3/10 页 6 数目和布置。 例如， 在其他实施例中， 可将这些模块中的两个或更多个组合成较少数目的模 块。 可使用其他常规图像处理集成电路或被适当地修改成执行如本文公开。
21、的处理操作的其 他类型的图像处理电路来实现图像处理器 102 的模块 110、 112、 115、 116 和 118 中的一个或 多个的至少一部分。 可在本发明的一个或多个实施例中使用的图像处理电路的一个可能示 例是被适当地重配置成执行与模块110、 112、 114、 115、 116和118中的一个或多个相关联的 功能的另外常规图形处理器。 0021 下面将结合图 2 的流程图来更详细地描述图像处理器 102 的操作。此流程图图示 出用于使用至少一个附加图像的图像增强和边缘验证的示例性过程， 在这种情况下， 上述 第二图像包括与输入深度图像基本上相同场景的 2D 图像。 0022 由图像。
22、处理器 102 生成的第三图形包括相对于输入深度图像具有增强边缘质量 的增强深度图像。由图像处理器 102 生成的此增强深度图像可在图像处理器 102 中经受附 加处理操作， 诸如， 例如特征提取、 图案识别、 姿势识别、 对象识别和跟踪。 0023 替换地， 可通过网络 104 将如由图像处理器 102 生成的增强深度图像提供给处理 设备 106 中的一个或多个。一个或多个此类处理设备可包括被配置成执行上述后续操作的 各图像处理器， 诸如特征提取、 图案识别、 姿势识别、 对象识别和跟踪。 0024 处理设备 106 可以任何组合包括例如计算机、 移动电话、 服务器或存储设备。一个 或多个此。
23、类设备还可包括例如被用来呈现由图像处理器 102 生成的图像的显示屏或其他 用户接口。处理设备 106 因此可包括多种不同的目的地设备， 其通过网络 104 从图像处理 器102接收已处理图像流， 举例来说， 包括从图像处理器102接收一个或多个已处理图像流 的至少一个服务器或存储设备。 0025 虽然在本实施例中被示为与处理设备 106 分离， 但可至少部分地将图像处理器 102 与处理设备 106 中的一个或多个组合。因此， 例如， 可至少部分地使用处理设备 106 中 的给定的一个来实现图像处理器102。 举例来说， 可将计算机或移动电话配置成结合图像处 理器 102 和可能的给定图像源。
24、。图像源 105 因此可包括与计算机、 移动电话或其他处理设 备相关联的照相机或其他成像器。如先前所指示的， 可至少部分地将图像处理器 102 与公 共处理设备上的一个或多个图像源或图像目的地组合。 0026 本实施例中的图像处理器 102 假设是使用至少一个处理设备实现的， 并包括被耦 合到存储器 122 的处理器 120。处理器 120 执行存储在存储器 120 中的软件代码以便控制 图像处理操作的性能。图像处理器 102 还包括支持通过网络 104 的通信的网络接口 124。 0027 处理器 120 可以任何组合方式包括例如微处理器、 专用集成电路 (ASIC)、 现场可 编程门阵列(。
25、FPGA)、 中央处理单元(CPU)、 算术逻辑单元(ALU)、 数字信号处理器(DSP)或其 他类似处理设备部件以及其他类型和布置的图像处理电路。 0028 存储器 122 存储用于由处理器 1 在实现图像处理器 120 的功能的各部分、 诸如模 块 110、 112、 114、 115、 116 和 118 的各部分时执行的代码。存储软件代码以供相应的处理器 执行的给定此类存储器是在本文中更一般地称为计算机可读介质或具有体现在其中的计 算机程序代码的其他类型的计算机程序产品的东西的示例， 并且可以任何组合方式包括例 如电子存储器， 诸如随机存取存储器 (RAM) 或只读存储器 (ROM)、。
26、 磁存储器、 光学存储器或 其他类型的存储设备。如上文所指示的， 处理器可包括微处理器、 ASIC、 FPGA、 CPU、 ALU、 DSP 或其他图像处理电路的各部分或组合。 说 明 书 CN 104272323 A 6 4/10 页 7 0029 还应认识到的是可以集成电路的形式来实现本发明的实施例。 在给定的此类集成 电路实施方式中， 通常在半导体晶片的表面上以重复图案来形成相同的管芯。每个管芯包 括如本文所述的图像处理器或其他图像处理电路， 并且可包括其他结构或电路。单独管芯 被从晶片切割或分割， 然后封装为集成电路。本领域的技术人员将知晓如何分割晶片并封 装管芯以产生集成电路。这样制。
27、造的集成电路被视为本发明的实施例。 0030 如图 1 中所示的图像处理系统 100 的特定配置仅仅是示例性的， 并且其他实施例 中的系统 100 可除具体地示出的那些之外或作为其替代而包括其他元件， 包括在此类系统 的常规实施方式中通常发现的类型的一个或多个元件。 0031 例如， 在某些实施例中， 图像处理系统 100 被实现为视频游戏系统或其他类型的 基于姿势的系统， 其处理图像流以便识别用户姿势。公开技术能够同样地适合于在要求基 于姿势的人机接口的多种其他系统中使用， 并且还能够应用于除姿势识别之外的应用， 诸 如机器人及其他工业应用中的机器视觉系统。 0032 现在参考图 2， 示出。
28、了用于图 1 的图像处理系统中的图像增强和边缘验证的示例 性过程。图 2 过程假设由图像处理器 102 使用其预处理模块 110、 边缘检测模块 112、 联合 边缘加权模块 114、 边缘掩蔽模块 115、 边缘去水印模块 116 和后处理模块 118 来实现。该 过程在本实施例中包括步骤 200 至 214。 0033 在本实施例中假设在图像处理器102中从一个或多个图像源105接收到的第一和 第二图像分别地包括输入深度图和灰度图像， 并且使用第一和第二图像生成的第三图形包 括增强深度图。 0034 要描述的过程通过从灰度图像而不是输入深度图获取输入深度图和灰度图像两 者中的相互足够接近的。
29、边缘来增强深度图质量， 因为灰度图像边缘一般地比输入深度图边 缘被更好地限定。并且， 存在于灰度图像中而不是输入深度图中的边缘被从增强深度图消 除， 并且存在于输入深度图中而不是灰度图像中的足够强的边缘被包括在增强深度图中。 0035 在步骤 200 中， 对准第一和第二图像， 假设那些图像并非源自于公共图像传感器。 并且， 在其他实施例中， 可完全消除此对准步骤 200。 0036 作为包括此类步骤的实施例中的步骤 200 的一个可能实施方式的示例， 如果使用 单独深度和 2D 成像器来生成各第一和第二图像， 则可应用各种类型的对准操作， 诸如仿射 变换或其他类型的变换。 0037 更特别地。
30、， 如果深度和 2D 成像器被放置在基本上相同的位置上， 则可使用具有一 个比例因数以匹配分辨率的简单线性变换。如果将深度和 2D 成像器放置在不同位置上且 两者都不具有光栅畸变， 则可使用具有 6 个系数的 2D 仿射变换。如果将深度和 2D 成像器 放置在不同位置上且 3D 成像器根据沿着 z 轴的值而具有线性光栅畸变， 则可使用具有 8 个 系数的 3D 至 2D 线性变换。最后， 如果将深度和 2D 成像器放置在不同位置上且至少一个具 有非线性光栅畸变， 则可使用非线性修正器， 可能与线性变换组合。 可使用许多其他类型和 组合的变换或其他对准技术。 0038 举例来说， 假设输入深度图。
31、的分辨率是 (dx， dy) 且输入灰度图像的分辨率是 (gx， gy)， 并且进一步假设深度图和灰度图像具有相同的纵横比， 使得 dx/gx dy/gy k， 其中， k 是常数。如果深度图和灰度图像并不具有相同的纵横比， 则可切割这些图像中的一个或者 使另一个沿着一个维度延伸。 说 明 书 CN 104272323 A 7 5/10 页 8 0039 在本实施例中， 通常 k 1 因为诸如 SL 或 ToF 照相机之类的深度成像器通常具有 与诸如照片或视频照相机之类的2D成像器相比明显较低的分辨率。 步骤200的输出处的对 准第一和第二图像应具有相同的坐标系和基本上相同的分辨率 (fx， 。
32、fy)， 其中 fx/fy k 且 dxfxgx。 相应地， 步骤200中的对准可涉及到例如重新调节2D图像 ： (gx,gy)(fx,fy)。 如前所述， 可消除对准， 例如在其中由相同图像传感器来提供深度图和灰度图像的实施例 中， 或者另外当从一个或多个图像源 105 供应给图像处理器 102 时已基本上对准。 0040 在步骤 202 中， 对已对准深度图应用预处理。该预处理可涉及到诸如去噪、 均衡化 等操作。在其他实施例中， 可在对准步骤 200 之前应用预处理。并且， 可另外或替换地对输 入灰度图像应用预处理器， 或者可将其一起消除。 0041 在步骤 204-1 中， 对深度图执行。
33、边缘检测操作以便获得第一边缘图像 E1。 0042 在步骤 204-2 中， 在灰度图像中执行边缘检测操作以便获得第二边缘图像 E2。 0043 可在步骤204-1和204-2中应用多种已知边缘检测技术中的任何一个以生成边缘 图像E1和E2。 例如在J.Canny在IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.PAMI-8, 第 6 期 ,pp.679-698,1986 年 11 月 中 的 “A computational approach to edge detection” 中 ； R.Kimmel和。
34、A.M.Bruckstein在International Journal of Computer Vision,53(3):225-243,2003 中的 “On regularized Laplacian zero crossings and other optimal edge integrators” 中 ； 以及 W.K.Pratt 的 Digital Image Processing,3rd Edition,John Wiley & Sons,2001中公开了此类边缘检测技术的示例， 其 被通过引用结合到本文中。在步骤 204-1 或步骤 204-2 中应用给定边缘检测操作时， 应将。
35、 任何关联边缘检测阈值设置为足够低， 从而确保重要边缘的保持， 因为将描述的后续处理 将确保拒绝不可靠边缘。并且， 可在步骤 104-1 和 104-2 中使用不同类型的边缘检测操作， 潜在地使用不同的边缘检测阈值及其他参数。 0044 应注意的是如本文所使用的术语 “图像” 意图被宽泛地理解， 并且在边缘图像 E1 和 E2 的语境下可包括例如边缘图或表征所检测边缘的其他像素信息组。术语 “边缘” 也意 图被宽泛地理解， 从而涵盖例如在与被成像对象的周界的一部分与该图像的其他部分之间 的过渡相关联的给定图像中的一组像素。 0045 在边缘图像E1或E2中的给定的一个中， 可用特定二进制像素值。
36、来指示边缘像素。 因此， 作为边缘的一部分的边缘图像像素在边缘图像中具有 “1” 的二进制值， 而不是边缘的 一部分的另一边缘图像像素在边缘图像中具有 “0” 的二进制值。术语 “白” 和 “黑” 在本文 中还可用来表示边缘图像的各边缘和非边缘像素。 0046 在步骤 204-1 和 204-2 中应用的边缘检测技术可涉及到诸如尺寸过小边缘的拒 绝之类的技术以及各种类型的边缘分段。例如， 可使用边缘分段来识别多个不同的边缘段 ESn， n 1.N， 其中， 给定边缘段的每个像素对应于边缘图像 E1 或 E2 中的一个的特定像 素， 并且所有边缘被假设为一个像素厚。每个此类边缘段具有起始像素 s。
37、n和结尾像素 en， 并且可包括已填充或未填充拐角位置或其组合。在步骤 204-1 和 204-2 中可生成许多其他 类型的边缘段。例如， 其他实施例中的边缘段可在厚度方面超过一个像素。 0047 在步骤 206 中， 使用来自第一和第二边缘图像 E1 和 E2 的边缘来应用联合边缘加 权操作。本实施例中的联合边缘加权操作一般地涉及到确定第一边缘图像 E1 中的边缘与 第二边缘图像 E2 中的边缘之间的接近度的度量。 说 明 书 CN 104272323 A 8 6/10 页 9 0048 例如， 本实施例中的联合边缘加权操作可更特别地包括限定像素近邻， 并且针对 第一和第二边缘图像E1和E2。
38、中的一个中的多个边缘像素中的每一个确定在该边缘像素的 限定近邻内的第一和第二边缘像素 E1 和 E2 中的另一个的边缘像素的计数。用于第一和第 二边缘图像中的一个中的所述多个边缘图像中的当前的一个的限定近邻可包括在当前边 缘像素的指定径向距离内的所有像素， 如下面将更详细地描述的。可出于联合边缘加权的 目的使用其他类型的距离度量来限定给定近邻。 0049 通常， 从输入灰度图像导出的第二边缘图像 E2 将比从输入深度图导出的第一边 缘图像 E1 具有更加可靠且很好地限定的边缘。相应地， 在本实施例中， 边缘像素的计数的 上述确定可包括针对第二边缘图像E2的每个边缘像素确定在第二边缘图像E2的边。
39、缘像素 的限定近邻内的第一边缘图像 E1 的边缘像素的计数。然而， 在其他实施例中， 可使本示例 性联合边缘加权操作中的第一和第二边缘图像 E1 和 E2 的作用相反。 0050 在本实施例中， 使用曼哈顿距离度量来限定近邻， 在图 3 中示出了其示例。在这 里， 针对近邻半径 r 的不同值示出了给定像素周围的示例性近邻， 其中， r 表示从给定像素 到近邻的周界的最大曼哈顿距离。在图中， 针对近邻半径 r 的三个不同值示出了近邻， 包括 其中近邻仅由给定像素组成的 r 0 的值、 其中近邻由围绕给定像素的 8 个像素组成的 r 1 的值以及其中近邻由给定像素周围的 24 个像素组成的 r 2。
40、 的值。本示例中的近邻 的尺寸随近邻半径 r 呈指数增加。近邻半径 r 的其他值能够用来在联合边缘加权操作的环 境下限定近邻。 并且， 如上文所指示的， 能够使用其他距离度量， 包括欧几里德距离、 棋盘距 离等。 0051 第一边缘图像 E1 中的边缘像素是对于其而言 E1(i,j) 1 的像素， E1 的所有其他 像素等于 0。同样地， 第二边缘图像 E2 中的边缘像素是对于其而言 E2(i,j) 1 的像素， E2 的所有其他像素等于 0。 0052 在第一示例中， 步骤210中的联合边缘加权操作涉及到对E2中的每个边缘像素执 行以下伪代码 ： 0053 0054 在第二示例中， 步骤 2。
41、10 中的联合边缘加权操作涉及到执行以下伪代码 ： 0055 说 明 书 CN 104272323 A 9 7/10 页 10 0056 上述第二示例涉及到利用距离变换来针对E2中的每个像素确定到E1中的最近边 缘像素的距离且反之亦然。 0057 在第三示例中， 步骤 210 中的联合边缘加权操作涉及到执行以下伪代码 ： 0058 0059 值 thresholdd是作为联合边缘加权操作的参数而设定的整数常数。 0060 以上伪代码中的值 vote(i,j) 是在本文中更一般地称为落在另一边缘图像的特 定像素的近邻内的一个边缘图像中的某些类型像素的 “计数” 的示例。如前所述， 在这些示 例中。
42、相对于第二边缘图像 E2 中的像素来限定近邻， 但是在其他实施例中， 可使 E2 和 E1 的 作用相反， 使得相对于第一边缘图像 E1 中的像素限定近邻。 0061 在步骤210中， 基于在步骤206中执行的边缘加权操作的结果来生成边缘掩蔽。 该 边缘掩蔽是至少部分地使用在各像素近邻范围内确定的上述计数而生成的， 并被应用于获 得第三边缘图像 E3。例如， 可在步骤 210 中根据以下等式通过边缘掩蔽的逐个像素施加到 第二边缘图像 E2 来获得第三边缘图像 ： 0062 E3(i,j) (E2(i,j)and mask(i,j), 0063 其中， E3(i,j) 表示第三边缘图像的像素， 。
43、E2(i,j) 表示第二边缘图像的像素， and 表示逻辑与运算算子， 并且 mask(i,j) 表示边缘掩蔽的像素。 说 明 书 CN 104272323 A 10 8/10 页 11 0064 在本示例中， mask(i,j) 是基于表示为 vote(i,j) 的相应计数是否大于指定阈值 而确定的二进制值， 其中， 根据前述联合边缘加权示例中的给定的一个， 计数 vote(i,j) 表 示在第二边缘图像的像素 E2(i,j) 的限定近邻内的第一边缘图像 E1 的边缘像素的计数。 0065 这些计数指示 E2 中的边缘到 E1 中的边缘的接近度。在 E1 中不具有足够接近的 配对物的 E2 。
44、中的边缘被视为不可能与实际对象边界相关联的不可靠边缘， 并且因此通过 边缘掩蔽的施加被消除。可如下更特别地表征边缘掩蔽过程 ： 0066 E3(i,j)=(E2(i,j)andvrai(vote(i,j) thresholdv)， 0067 其中， thresholdv是正常数， 并且 vrai 是提供二进制输出值 vrai(true) 1 和 vrai(false) 0 的真值函数。阈值的较小值 thresholdv将趋向于保留可能在 E1 中不具 有紧密相邻边缘的来自 E2 的更多边缘， 而阈值的较高值将导致使用 E1 中的边缘进行的 E2 中的边缘的更严格验证。在其他实施例中可使用基于来。
45、自步骤 206 中的联合边缘加权操作 的计数的其他类型的边缘掩蔽。 0068 边缘掩蔽步骤 210 的输出第三边缘图像 E3 表示一组增强边缘， 如在图中所指示 的。这些边缘中的每一个可具有能够在由图像处理器 102 执行的后续处理操作中使用的关 联置信度估计。此类置信度估计的生成被视为一种 “边缘验证” ， 如在本文中广泛使用的。 并且， 包括在基本上仅具有指定可靠性水平的那些边缘的给定边缘图像中是边缘验证的另 一示例， 如在本文中使用的。 0069 在步骤 212 中， 使用深度图滤波来执行边缘合并操作。深度图滤波在图中被示为 被说明性地应用于第三边缘图像E3以便生成已修改第三边缘图像E3。
46、。 可使用步骤212中 的涉及到深度图滤波的此操作来确保结果得到的已修改第三边缘图像 E3 包括来自在 E2 中不具有配对物的来自 E1 的强边缘， 其可能在其中输入灰度图像包括位于与成像器的不 同距离处的相等灰度亮度对象的情况下发生。作为一个示例， 可如下对第三边缘图像 E3 应 用边缘合并操作 ： 0070 E3(i,j) (E3(i,j)or(vrai(vote(i,j) thresholdc)and edge_ importance(D(i,j) thresholdi), 0071 其中， D(i,j) 表示已对准和预处理输入深度图的像素， or 表示逻辑或算子， thresholdc。
47、是确保将不会发生双边缘的相对小的阈值， 并且 thresholdi是确保在 E3 中将 包括来自 E1 的强边缘的相对大的阈值。 0072 能够以多种不同方式来定义将上述函数edge_importance。 例如， 可将此函数说明 性地定义为用 2D 高斯低通滤波器 LPF() 平滑化的梯度量值。 0073 0074 其中， 函数 thinning( ) 使得边缘为一个像素厚。能够使用许多其他函数来定义 输入深度图D中的特定边缘的重要性以供在步骤212中的通过深度图滤波的边缘合并中使 用。在深度图滤波步骤 212 中可利用步骤 204-1 中的边缘检测操作的边缘图像输出， 如在 图 2 中所指。
48、示的。 0075 在步骤 214 中， 使用来自第三边缘图像 E3 的边缘或已修改第三边缘图像 E3 来执 行边缘去水印操作， 以便生成相对于输入深度图具有增强边缘质量的增强深度图。边缘图 说 明 书 CN 104272323 A 11 9/10 页 12 像E3和边缘图像E3两者都被视为在本文中更一般地称为 “第三边缘图像” 的项目的示例。 在下面的示例中， 使用来自 E3 的边缘来应用边缘去水印， 但是其可以替代地使用来自 E3 的边缘来应用。 0076 假设在以E3的可靠边缘为边界的区域内部， 深度不作为(x,y)位置的函数而突然 改变。相应地， 步骤 214 可涉及到例如向位于由 E3。
49、 的边缘限定的边界内部的已对准和预处 理输入深度图的各部分应用 2D 平滑滤波器。在步骤 214 中应用的这些及其他类型的边缘 去水印能够用来抑制诸如深度图中的被成像对象的内部中的斑点噪声之类的噪声以及去 除其他奇异点并均匀地填充边缘附近的不确定区域。 0077 在计算上廉价的示例性边缘去水印操作包括以下步骤 ： 0078 1. 排除在 E3 中的边缘附近具有不可靠深度值的深度图像素。这可涉及到例如消 除所有深度图像素， 对于其而言 0079 distance_transform(E3(i， j) reliability_threshold， 0080 其中， reliability_threshold 是确定深度图像素必须有多接近于 E3 中的边缘以 便被认为可靠的常数。此参数是相对场景独立的， 并且能够针对给定类型的深度成像器被 优化。 。