《使用加权贝叶斯滤波的融合的增强数据关联.pdf》由会员分享，可在线阅读，更多相关《使用加权贝叶斯滤波的融合的增强数据关联.pdf（20页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103308058 A (43)申请公布日 2013.09.18 CN 103308058 A *CN103308058A* (21)申请号 201310072517.7 (22)申请日 2013.03.07 13/413861 2012.03.07 US G01C 21/28(2006.01) (71)申请人 通用汽车环球科技运作有限责任公 司 地址 美国密执安州 (72)发明人 S. 曾 L. 施 D. 甘地 J.N. 尼科劳乌 (74)专利代理机构 中国专利代理(香港)有限公 司 72001 代理人 成城 (54) 发明名称 使用加权贝叶斯滤波的融合的增强数据关。
2、联 (57) 摘要 本发明涉及使用加权贝叶斯滤波的融合的增 强数据关联， 具体是关联来自至少两个物体探测 系统的目标的方法。基于来自第一物体探测系统 和第二物体探测系统的在先目标数据来生成初始 在先对应性矩阵。基于当前时步在所述第一物体 探测系统的第一视场内识别目标。基于所述当前 时步在所述第二物体探测系统的第二视场内识别 目标。基于进入和离开相应视场的相应目标来调 节所述在先对应性矩阵。根据被调节的在先对应 性矩阵来生成在后对应性矩阵。识别所述在后对 应性矩阵中的在所述第一物体探测系统的相应目 标和所述第二物体探测系统的相应目标之间的对 应性。 (30)优先权数据 (51)Int.Cl. 权。
3、利要求书 2 页 说明书 11 页 附图 6 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书11页 附图6页 (10)申请公布号 CN 103308058 A CN 103308058 A *CN103308058A* 1/2 页 2 1. 一种关联来自至少两个物体探测系统的目标的方法， 所述方法包括步骤 ： 基于来自第一物体探测系统和第二物体探测系统的在先目标数据来生成初始在先对 应性矩阵 ； 基于当前时步在所述第一物体探测系统的第一视场内识别目标 ； 基于所述当前时步在所述第二物体探测系统的第二视场内识别目标 ； 基于进入和离开相应视场的相应目标来调。
4、节所述在先对应性矩阵 ； 根据被调节的在先对应性矩阵来生成在后对应性矩阵 ； 以及 识别所述在后对应性矩阵中的在所述第一物体探测系统的相应目标和所述第二物体 探测系统的相应目标之间的对应性。 2. 根据权利要求 1 所述的方法， 其特征在于还包括步骤 ： 最小化从所述第一视场的坐 标系到所述第二视场的坐标系的变换的偏移。 3. 根据权利要求 2 所述的方法， 其特征在于， 利用刚性变换来实现所述变换， 所述刚性 变化由如下公式确定 ： 其中 T 是更新的变换， T 是过去的变换，是当前变换， 并且 是 01 的学习因 子。 4. 根据权利要求 3 所述的方法， 其特征在于， 所述当前变换由坐标。
5、偏移 代表， 其中是所述第一视场的坐标系和所述第二视场的坐标系之间的x 坐标偏移，是 y 坐标偏移，是角位移偏移。 5. 根据权利要求 4 所述的方法， 其特征在于， x 坐标偏移由如下公式代表 ： 其中是在后矩阵，是第 j 个视觉目标的纵向位移， 是角位移偏移，是第 k 个雷达目标的横向位移， 并且是第 k 个雷达目标的纵向位移。 6. 根据权利要求 4 所述的方法， 其特征在于， 所述 y 坐标偏移由如下公式代表 ： 其中是在后矩阵，是第 j 个视觉目标的横向位移， 是角位移偏移，是第 k 个雷达目标的横向位移。 权 利 要 求 书 CN 103308058 A 2 2/2 页 3 7. 。
6、根据权利要求 4 所述的方法， 其特征在于， 所述角位移偏移由如下公式确定 ： 其中是在后矩阵，是第 j 个视觉目标的横向位移， 是角位移偏移，是第 k 个雷达目标的横向位移，是第j个视觉目标的纵向位移， 以及是第k个雷达目标的纵 向位移。 8. 根据权利要求 1 所述的方法， 其特征在于， 所述生成初始在先对应性矩阵包括通过 将所述第一视场内的目标和所述第二视场内的目标之间的所有对应性设定成相等来将所 述在先对应性矩阵初始化成无信息。 9. 根据权利要求 1 所述的方法， 其特征在于还包括步骤 ： 将所述在先对应性矩阵设定成等于所述在后对应性矩阵 ； 针对下一时步确定可从所述第一物体探测系统。
7、和所述第二物体探测系统获得新数据 帧 ； 基于在所述下一时步进入和离开相应视场的目标来调节所述在先对应性矩阵 ； 针对所述下一时步根据被调节的在先对应性矩阵来生成下一在后对应性矩阵 ； 以及 针对所述下一时步， 识别所述下一在后对应性矩阵内的在所述第一物体探测系统的相 应目标和所述第二物体探测系统的相应目标之间的对应性。 10. 根据权利要求 1 所述的方法， 其特征在于， 基于进入和离开相应视场的目标来调节 所述在先对应性矩阵的步骤还包括步骤 ： 确定相应目标在先前时步内处于所述第一物体探测系统的视场内 ； 确定所述相应目标在当前时步内不处于所述第一物体探测系统的视场内 ； 以及 在与所述第。
8、一物体探测系统的所述相应目标相关联的在先对应性矩阵中去除相应行。 权 利 要 求 书 CN 103308058 A 3 1/11 页 4 使用加权贝叶斯滤波的融合的增强数据关联 技术领域 0001 实施例涉及物体传感器融合。 背景技术 0002 视觉成像系统被用于车辆中来增强应用， 例如物体探测系统和其他视觉 / 定位系 统。这样的系统利用摄像机来捕捉图像并且之后从图像提取物体。这样的物体可以是其他 车辆、 行人、 或者甚至行驶道路内的物体。 0003 雷达系统也被用于探测行驶道路内的物体。 雷达系统利用无线电波来确定物体的 距离、 海拔、 方向或速度。 发射器发射无线电波的脉冲， 其从它们路。
9、径中的任意物体弹回。 从 物体弹回的脉冲将极小部分的波能量返回到通常与发射器位于相同部位的接收器。 0004 通过配合地利用视觉成像系统和雷达系统来探测物体将增加关于探测和定位车 辆行驶路径内的物体的置信度。 当车辆沿平坦无俯仰的道路行驶时会容易地实现在不同模 式之间的数据关联或数据对应 ； 然而， 如果由于道路结构的原因或者由于急刹车造成行驶 道路是不平坦的或者道路俯仰突变， 则来自不同模式的互补传感器的数据的融合会变得越 来越困难。 发明内容 0005 实施例的优点在于， 整体合并来自两个单独的物体探测系统的数据， 其减少了这 两个物体探测系统之间的偏差以使得每个物体探测系统的位置可被合并。
10、以便提供关于行 驶道路中物体位置的更大置信度。 这里描述的技术提供了来自不同模式的数据的稳健且准 确的关联。 该技术提供了特定处理离开和进入每个模式的视场的目标以便可以对被捕获视 场内的相应目标之间的对应性做出假定。此外， 这里描述的数据关联技术可以被用作通过 目标跟踪来融合来自不同传感器的数据的融合架构技术的子系统。 0006 实施例设想了关联来自至少两个物体探测系统的目标的方法。 基于来自第一物体 探测系统和第二物体探测系统的在先目标数据来生成初始在先对应性矩阵。 基于当前时步 在第一物体探测系统的第一视场内识别目标。 基于当前时步在第二物体探测系统的第二视 场内识别目标。基于进入和离开相。
11、应视场的相应目标来调节在先对应性矩阵。根据被调节 的在先对应性矩阵来生成在后对应性矩阵。 在在后对应性矩阵中在第一物体探测系统的相 应目标和第二物体探测系统的相应目标之间识别对应性。 0007 本发明还提供了以下技术方案。 0008 方案 1. 一种关联来自至少两个物体探测系统的目标的方法， 所述方法包括步 骤 ： 基于来自第一物体探测系统和第二物体探测系统的在先目标数据来生成初始在先对 应性矩阵 ； 基于当前时步在所述第一物体探测系统的第一视场内识别目标 ； 基于所述当前时步在所述第二物体探测系统的第二视场内识别目标 ； 说 明 书 CN 103308058 A 4 2/11 页 5 基于进。
12、入和离开相应视场的相应目标来调节所述在先对应性矩阵 ； 根据被调节的在先对应性矩阵来生成在后对应性矩阵 ； 以及 识别所述在后对应性矩阵中的在所述第一物体探测系统的相应目标和所述第二物体 探测系统的相应目标之间的对应性。 0009 方案 2. 根据方案 1 所述的方法， 其特征在于还包括步骤 ： 最小化从所述第一视场 的坐标系到所述第二视场的坐标系的变换的偏移。 0010 方案 3. 根据方案 2 所述的方法， 其特征在于， 利用刚性变换来实现所述变换， 所 述刚性变化由如下公式确定 ： 其中 T 是更新的变换， T 是过去的变换，是当前变换， 并且 是 01 的学习因 子。 0011 方案 。
13、4. 根据方案 3 所述的方法， 其特征在于， 所述当前变换由坐标偏移 代表， 其中是所述第一视场的坐标系和所述第二视场的坐标系之间的x 坐标偏移，是 y 坐标偏移，是角位移偏移。 0012 方案 5. 根据方案 4 所述的方法， 其特征在于， x 坐标偏移由如下公式代表 ： 其中是在后矩阵，是第 j 个视觉目标的纵向位移， 是角位移偏移，是第 k 个雷达目标的横向位移， 并且是第 k 个雷达目标的纵向位移。 0013 方案6. 根据方案4所述的方法， 其特征在于， 所述y坐标偏移由如下公式代 表 ： 其中是在后矩阵，是第 j 个视觉目标的横向位移， 是角位移偏移，是第 k 个雷达目标的横向位。
14、移。 0014 方案 7. 根据方案 4 所述的方法， 其特征在于， 所述角位移偏移由如下公式 确定 ： 说 明 书 CN 103308058 A 5 3/11 页 6 其中是在后矩阵，是第 j 个视觉目标的横向位移， 是角位移偏移，是第 k 个雷达目标的横向位移，是第j个视觉目标的纵向位移， 以及是第k个雷达目标的纵 向位移。 0015 方案 8. 根据方案 1 所述的方法， 其特征在于， 所述生成初始在先对应性矩阵包括 通过将所述第一视场内的目标和所述第二视场内的目标之间的所有对应性设定成相等来 将所述在先对应性矩阵初始化成无信息。 0016 方案 9. 根据方案 1 所述的方法， 其特征。
15、在于还包括步骤 ： 将所述在先对应性矩阵设定成等于所述在后对应性矩阵 ； 针对下一时步确定可从所述第一物体探测系统和所述第二物体探测系统获得新数据 帧 ； 基于在所述下一时步进入和离开相应视场的目标来调节所述在先对应性矩阵 ； 针对所述下一时步根据被调节的在先对应性矩阵来生成下一在后对应性矩阵 ； 以及 针对所述下一时步， 识别所述下一在后对应性矩阵内的在所述第一物体探测系统的相 应目标和所述第二物体探测系统的相应目标之间的对应性。 0017 方案 10. 根据方案 1 所述的方法， 其特征在于， 基于进入和离开相应视场的目标 来调节所述在先对应性矩阵的步骤还包括步骤 ： 确定相应目标在先前时。
16、步内处于所述第一物体探测系统的视场内 ； 确定所述相应目标在当前时步内不处于所述第一物体探测系统的视场内 ； 以及 在与所述第一物体探测系统的所述相应目标相关联的在先对应性矩阵中去除相应行。 0018 方案 11. 根据方案 1 所述的方法， 其特征在于， 基于进入和离开相应视场的目标 来调节所述在先对应性矩阵的步骤还包括步骤 ： 确定相应目标在当前时步内处于所述第一物体探测系统的视场内 ； 确定所述相应目标在先前时步内不处于所述第一物体探测系统的视场内 ； 以及 在与所述第一物体探测系统的所述相应目标相关联的在先对应性矩阵中添加相应行。 0019 方案 12. 根据方案 11 所述的方法， 。
17、其特征在于， 通过将所述相应行内的第一组视 觉目标和第二组视觉目标之间的所有对应性设定成相等来将所述相应行初始化成在所述 在先对应性矩阵内无信息。 0020 方案 13. 根据方案 1 所述的方法， 其特征在于， 基于进入和离开相应视场的目标 来调节所述在先对应性矩阵的步骤还包括步骤 ： 确定相应目标在先前时步内处于所述第二物体探测系统的视场内 ； 确定所述相应目标在当前时步内不处于所述第二物体探测系统的视场内 ； 以及 在与所述第二物体探测系统的所述相应目标相关联的所述在先对应性矩阵中去除相 应列。 0021 方案 14. 根据方案 1 所述的方法， 其特征在于， 基于进入和离开相应视场的目。
18、标 来调节所述在先对应性矩阵的步骤还包括步骤 ： 说 明 书 CN 103308058 A 6 4/11 页 7 确定相应目标在当前时步内处于所述第二物体探测系统的视场内 ； 确定所述相应目标在先前时步内不处于所述第二物体探测系统的视场内 ； 以及 在与所述第二物体探测系统的所述相应目标相关联的所述在先对应性矩阵中添加相 应行。 0022 方案 15. 根据方案 1 所述的方法， 其特征在于， 所述在后对应性矩阵由以下公式 确定 ： 其中是在后矩阵，是第 j 个视觉目标 Vj与第 k 个目标 Rk关联的概率， 并 且是使得成为概率分布的标准化因数。 0023 方案 16. 根据方案 1 所述的。
19、方法， 其特征在于， 所述第一物体探测系统使用雷达 来探测目标并且所述第二物体探测系统使用视觉来探测物体。 0024 方案 17. 根据方案 1 所述的方法， 其特征在于， 所述第一物体探测系统使用雷达 来探测目标并且所述第二物体探测系统使用从目标运动模型确定的预测目标， 所述目标运 动模型根据最后计算的在后对应性矩阵来确定目标的预测位置。 0025 方案 18. 根据方案 1 所述的方法， 其特征在于， 所述第一物体探测系统使用视觉 来探测目标并且所述第二物体探测系统使用从目标运动模型确定的预测目标， 所述目标运 动模型根据最后计算的在后对应性矩阵来确定目标的预测位置。 0026 方案 19。
20、. 根据方案 1 所述的方法， 其特征在于还包括步骤 ： 使用所述在后对应性矩阵内识别的对应目标基于目标运动模型估计下一时步的目标 位置 ； 将所述在先对应性矩阵设定成等于所述在后对应性矩阵 ； 将所述在先对应性矩阵应用到第一数据关联模块和第二数据关联模块 ； 基于下一时步离开和进入所述第一物体探测系统的目标并且基于从所述目标运动模 型输出的所述预测目标来调节应用到所述第一数据关联模块的在先对应性矩阵 ； 根据所述第一数据关联模块的被调节的对应性矩阵来生成第一在后对应性矩阵 ； 基于下一时步离开和进入所述第二物体探测系统的目标并且基于从所述目标运动模 型输出的预测目标来调节应用到所述第二数据关。
21、联模块的在先对应性矩阵 ； 根据所述第二数据关联模块的被调节的对应性矩阵来生成第二在后对应性矩阵 ； 融合所述第一在后对应性矩阵和所述第二在后对应性矩阵 ； 以及 识别所融合的在后对应性矩阵内的从所述第一数据关联模块和所述第二数据关联模 块识别的相应目标之间的对应性。 0027 方案 20. 根据方案 19 所述的方法， 其特征在于还包括步骤 ： 在识别所融合的对应性矩阵内的对应目标之后生成时间延迟 ； 以及 将目标运动分析应用到所述对应目标来估计下一时步的每个所述对应目标的目标位 置。 说 明 书 CN 103308058 A 7 5/11 页 8 附图说明 0028 图 1 是装备有物体探。
22、测系统的车辆的示意图。 0029 图 2 是被在平坦且笔直的道路表面上驾驶的车辆所捕获的示例性图像。 0030 图 3 是被沿弯曲且俯仰的道路表面行驶的车辆所捕获的示例性图像。 0031 图 4 是在雷达系统和视觉系统之间的示例性目标对应性图表。 0032 图 5 是示出目标关联技术的一般性原理的框图。 0033 图 6 是用于递归目标关联技术的方法的流程图。 0034 图 7 是并入递归目标关联技术的融合技术的框图。 具体实施方式 0035 图 1 中示出了装备有第一物体探测系统 12 和第二物体探测系统 14 的车辆 10。每 个系统利用不同类型的传感器来探测物体。 每个相应系统内的每个传。
23、感器能够探测和跟踪 其相应视场内的多个目标。这里为了示例性目的， 第一物体探测系统 12 包括基于视觉的系 统， 并且第二物体探测系统 14 包括基于雷达的系统。应该理解， 相应系统是示例性的并且 可以使用任意两种或更多种不同的物体探测系统。 0036 在 16 处大体示出了视觉系统 12 的视场。视觉系统 12 所探测到的一组目标被识 别为 V1、 V2和 V3。视觉系统 12 所识别的每个相应目标均包括测量值， 例如纵向位移、 横向位 移、 纵向速度和横向速度。 0037 在 18 处大体示出了雷达系统 14 的视场。雷达系统 14 所探测到的一组目标被识 别为 R1、 R2和 R3。视觉。
24、系统 12 所识别的每个相应目标均包括测量值， 例如纵向位移、 横向位 移、 纵向速度和横向速度。 0038 想法是要在其公共视场内确定雷达目标和视觉目标之间的对应性。图 1 示出了雷 达目标和视觉目标之间的对应性的示例 V1 R1、 V2 R2和 V3 R3。因为测量值由于车辆 方向、 速度和与其他车辆遮挡的变化而不断改变， 必须在每个瞬时由每个相应探测系统来 跟踪相应目标。 0039 对于目标跟踪而言准确关联来自不同模式的数据是重要的， 不过数据关联是具有 挑战性的任务。 在某些情况下， 例如非平坦道路表面、 曲率以及本车辆的突然的俯仰角改变 （例如由道路或者急刹车所导致） ， 视觉系统的。
25、目标会导致显著地偏离于其真实值。因此， 视 觉目标之间的距离会相当大。用于对应问题的公知技术是被称为最近相邻匹配的技术。在 最近相邻匹配中， 对于每一雷达目标， 每个雷达目标均被指定到具有距其最近距离的视觉 目标。最近匹配方法的问题在于该决定仅基于当前数据。 0040 最近相邻匹配方法对于图 2-4 所示的场景是无效的。图 2 示出了时间 t1 时在没 有俯仰变化的平坦且笔直的道路表面 19 上驾驶的车辆 17 的图像。在这样的驾驶条件下， 如果行驶的道路继续是平坦且笔直的道路表面而没有俯仰变化， 则在时间位移图像上视觉 目标和雷达目标之间存在显著对应性。 0041 图 3 示出了在稍后时间沿。
26、行驶道路行驶的车辆 17 的图像。如图像所示， 道路 19 包括俯仰变化以及弯曲。除了图像内捕获的车辆位置的变化之外， 视觉系统捕获的距目标 的距离变得不可预测。如图 4 图示的图表所示， 不平坦且弯曲的道路表面导致了雷达目标 说 明 书 CN 103308058 A 8 6/11 页 9 测量值和视觉目标测量值之间的显著距离。Y 轴线代表距离， 并且 x 轴线代表时间。视觉系 统的目标跟踪由 20 表示， 并且雷达系统的目标跟踪由 22 表示。如图 4 所示， 在时间 t1 处 视觉系统和雷达系统之间的目标对应性是显著的。也就是说， 视觉系统和雷达系统所确定 的目标被测量于基本相同的纵向距离。
27、。随着时间流逝， 雷达系统和视觉系统跟踪的目标之 间的对应性变差并且对应性也变得愈发不明确。 这是道路由笔直且平坦的道路表面向俯仰 且不平坦的道路表面转变的结果。仅在从 t2 经过一时间段之后 （即当行驶道路转变到一致 的道路表面时） 视觉系统和雷达系统之间的目标对应性获得置信度。如图 4 所示， 从时间段 t1 到 t2， 目标的关联性存在下降。 0042 这里描述的技术克服了雷达系统和视觉系统之间目标关联性的不足。 为了找到雷 达目标和视觉目标之间的对应性， 在每个时步维持尺寸为 MN 的布尔矩阵 A。M 是视觉目 标的数量， 而 N 是雷达目标的数量。在每个时步更新布尔矩阵 A 以便再次。
28、确定哪个相应雷 达目标被关联于哪个相应视觉目标。为了识别相应视觉目标 Vj和相应雷达目标 Rk之间的 对应性， 当对应性元素 ajk=1 时识别出相应视觉目标 Vj和相应雷达目标 Rk之间的匹配。假 定每个视觉目标仅对应于最多一个物体。因此， 对于布尔矩阵 A 中的每个 N 列， 每一列被求 和并且最大求和值被识别作为相应视觉目标和相应雷达目标之间的对应匹配。 用于识别视 觉目标和雷达目标之间是否存在对应性的公式被表述如下 ： （1） 其中如果 Vj是异常值则和等于 0， 否则和等于 1。 0043 首先假定在雷达系统和视觉系统所探测的被捕获图像序列中存在相同的目标集 合。还假定每个单独传感器。
29、中存在跟踪器。基于目标识别 （即目标识别器的信号） ， 得知相 应时步 t-1、 t-2、 1 处的历史矩阵， A(t-1)、 A(t-2)、 A(1)。 0044 定义刚性 2D 变换 T， 其被看作从雷达坐标系向视觉坐标系的变换。T(Rk) 被 定义为视觉坐标系处的雷达目标位置。雷达目标 (R1， R2， RN) 被建模为具有参数 Rk|k=1， N 的高斯混合模型 （GMM） 分布， 其中 Rk代表雷达位置的测量值 （即雷达的 纵向和横向位移） 。具有参数的 GMM 的公式能够由如下公式表示 ： （2） 其中是 2D 高斯分布， 即 对于 k=1， N （3） 其中 v 是可能的视觉目标。
30、位置的随机变量， 并且 是标准偏差。 0045 在另一实施例中，是 2D 高斯分布， 即 说 明 书 CN 103308058 A 9 7/11 页 10 对于 k=1， N 其中 v=(x,y) 是视觉目标位置的随机变量 ； x 和 y 分别是视觉目标的纵向和横向偏移 ； x 和 y 是在视觉系统坐标系中第 k 个投影的雷达目标 T(Rk) 的纵向和横向偏移 ； 并且 x 和 y分别是纵向和横向方向的标准偏差。在这种实施例中， 能够建模视觉系统的多个特 定特征， 例如粗略的纵向测量值但精确的方位角测量值。 0046 给定距离 r 处的视觉目标， 则标准偏差被分别设定成 x=r 和 y=r， 。
31、其中由 视觉系统的性能规格来确定常数 和 。 0047 之后针对噪音或异常值将向量建模成由如下公式代表的一致分布 ： （4） 其中是视觉视场的面积。GMM 的系数由如下公式表示 ： （5） 对于 k=1,N 并且 N+1=w， 其中 w 表示目标是异常值的概率。视觉目标 (V1,V2, ,VM) 被看作 GMM 的独立的且相等分布的样本。对应性矩阵能够被处理为布尔随机矩阵。 每种实现 （realization） A 均代表雷达和视觉目标之间的对应性。这可以如下被验证 ： （6） 是通常被设定成在时步 0 时无信息的对应性在先分布。这假定了在时步 0 每个视 觉目标以相等概率被指定到每个雷达目标。
32、。这由以下公式代表 ： 对于所有 j （7） 给定在先， 则能够计算作为最终对应性的在后。在观测到视觉目标 之后， 在后由如下公式代表 ： ， 对于 j=1、 M， k=1、 N （8） 其中是矩阵的在后概率 ；是第j个视觉目标Vj与第k个目标Rk关 联的概率， 如等式 （3） 所定义 ； 并且是使得成为概 率分布的标准化因数。 0048 因此， 视觉目标 Vj被指定到第 kj个雷达目标， 其中。应该 说 明 书 CN 103308058 A 10 8/11 页 11 注意到， 如果 kj=N+1， 则视觉目标是异常值并且不被指定给任何雷达目标。 0049 图 5 示出了说明目标关联技术的大体。
33、原理的框图。探测到的雷达目标数据 24 和 视觉目标数据 26 被输入到贝叶斯框架模型以用于在时间 t1 的数据关联推断。还被输入到 贝叶斯框架模型 30 的是在最后时段确定的在先对应性矩阵28。递归数据关联技术 被应用到输入数据以便生成在后对应性矩阵32。因此， 针对当前时段被生成的在后 对应性矩阵32 被用作下一确定阶段的在先对应性。 0050 图6示出了用于递归目标关联技术的方法的流程图。 在步骤40， 在时步零时， 在先 对应性矩阵被初始化为无信息对应性矩阵。这在例程初始时将所有对应性处理成相等的， 这是因此不存在对任意视觉目标和任意雷达目标之间的任意关系的预先假设。 这被表示为 对于。
34、所有的 j=1、 M 和 k=1、 N+1，。 0051 在步骤 41， 做出是否已经从每个感测系统到达新数据帧的判定。数据帧包括来自 于雷达系统和视觉系统二者的数据。 如果在步骤 41 做出新数据帧还未到达的判定， 则例程继续检查来自视觉系统和雷达系统二者的新数据 帧的到达。如果在步骤 41 做出新数据帧已经到达的判定， 则例程前进到步骤 42。 0052 在步骤 42， 分析数据帧以便确定目标是离开还是进入雷达传感器或视觉传感器的 视场并且调节在先对应性矩阵。 0053 在步骤 43， 分析数据帧以便确定相应视觉目标 j 是否显示在当前目标列表中而没 有显示在先前目标列表中。如果相应视觉目。
35、标 j 显示在当前目标列表中但是没有显示在先 前目标列表中， 则相应行 （即相应视觉目标 j） 被初始化为无信息。这被表示为对于所有 k， ， 其中 j 是新添加的行索引。 0054 在步骤 44， 分析数据帧以便确定相应雷达目标 k 是否显示在先前目标列表中而没 有显示在当前目标列表中。如果相应雷达目标 k 显示在先前目标列表中但是没有显示在当 前目标列表中， 则从在先对应性矩阵移除相应列 （即相应雷达目标 k） 。 0055 在步骤 45， 分析数据帧以便确定相应视觉目标 j 是否显示在先前目标列表中而没 有显示在当前目标列表中。如果相应视觉目标 j 显示在先前目标列表中但是没有显示在当 。
36、前目标列表中， 则从在先对应性矩阵移除相应行 （即相应视觉目标 j） 。 0056 在步骤 46， 分析数据帧以便确定相应雷达目标 k 是否显示在当前目标列表中而没 有显示在先前目标列表中。如果相应雷达目标 k 显示在当前目标列表中但是没有显示在先 前目标列表中， 则相应零值列被添加到对应性矩阵中。 0057 在步骤 47， 计算在后矩阵。针对所有 j 和 k 使用等式 （8） 中所示的公式来确定在 后对应性矩阵。 0058 在步骤 48， 基于在后对应性矩阵确定与目标对应性有关的指定。即， 具有 最接近 1 的最大值的列被指定成相应雷达目标和相应视觉目标之间的目标对应性 （例如 说 明 书 。
37、CN 103308058 A 11 9/11 页 12 等于 1 或 0） 。 0059 在 步 骤 49， 输 出 每 个 视 觉 目 标 到 雷 达 目 标 的 指 定。 对 应 于 视 觉 目 标 输出索引列表。索引列表里的每个元素代表视觉 目标被指定到的雷达目标索引。第 j 个视觉目标 Vj被指定给第 kj个雷达目标并且 。 0060 在步骤 50， 执行传感器配准。传感器配准包括去除来自不同传感器集合的数据的 误差和偏差。这包括通过估计 2D 刚性变换来最小化两个传感器之间的目标匹配误差。通 过使用在先值来推导每个时步的更新值从而递归地估计这两个传感器之间的变换。 这通过 将 2D 。
38、刚性变换从 T 更新到 T 来实现， 其中 T 是过去的变换并且 T 是更新的变换。通过如 下公式来确定刚性变换 ： 其中是基于雷达目标和视觉目标之间的匹配对变换的当前估计， 并且通过公 式来计算， 并且预定义的小学习因子 （）是 01。 0061 可以利用过去的变换的三个参数 tx、 ty、 来推导如上所示的变换 T*的解。参数 tx代表从雷达坐标系到视觉坐标系的 x 偏移， 参数 ty代表从雷达坐标系到视觉坐标系的 y 偏移， 并且 代表从雷达坐标系到视觉坐标系的角位移偏移。通过如下两个等式来定义变 换参数 ： 上述公式将点 (x,y) 转换到新位置 (x,y)。 0062 假定并且，和是。
39、第 j 个视觉目标的 纵向和横向位移。和是第 k 个雷达目标的纵向和横向位移。之后能计算。 以及用于推导的变换参数能够被如下计算 ： 说 明 书 CN 103308058 A 12 10/11 页 13 其中是在后矩阵，是第j个视觉目标的横向位移， 是角位移偏移， 是第 k 个雷达目标的横向位移，是第 j 个视觉目标的纵向位移， 以及是第 k 个雷达目 标的纵向位移。 0063 在步骤 51， 下一时步的在先对应性矩阵被设定成当前时步的在后 对应性矩阵， 其中对于所有 j 和 k，。即， 时步 t 处计算的在后对应 性矩阵被用作先前的对应性矩阵以便计算下一时步 t+1 的下一在后对应性矩阵。 。
40、0064 返回到步骤 41 以便等待新数据帧并且递归地更新对应性矩阵。 0065 图 7 示出了将递归目标关联技术整合到目标融合算法中的替代性实施例的框图。 0066 在框 60， 第一物体探测系统 （例如雷达） 感测第一物体探测系统的视场内的物体。 类似地， 在框 61， 第二物体探测系统 （例如视觉） 感测第二物体探测系统的视场内的物体。 0067 在框 62， 在第一物体探测系统的视场内识别目标。例如目标与雷达探测系统所捕 获的物体有关。 0068 在框 63， 在第二物体探测系统的视场内识别目标。例如目标与视觉探测系统所捕 获的物体有关。 0069 雷达目标 62 和视觉目标 63 二。
41、者均被看作是独立且相等的分布样本。 0070 数据关联技术可以被用于直接关联来自雷达探测系统和视觉探测系统的目标， 如 图 6 所述。不过， 如这里所述的整合技术相应地利用与雷达目标整合的第三变量， 并且相应 地利用该第三变量与视觉目标整合。此后， 来自两个整合的结果被融合。 0071 在框 64 中， 当反馈数据涉及来自运动模型的融合目标时， 该反馈数据被用作相应 地与雷达目标的数据关联技术以及相应地与视觉目标的数据关联技术的输入。 来自目标运 动模型的反馈数据基于其最后已知的位置和运动分析被识别作为预测融合目标。 在下文将 具体讨论预测融合目标的细节。 0072 在框 65 中， 探测的雷。
42、达目标 62 和预测融合目标 64 被提供作为第一数据关联模块 的输入， 该模块利用递归目标关联技术。如图 6 所述的数据关联被应用到雷达目标 62 和预 测融合目标 64 以便生成第一在后对应性矩阵。 0073 在框 66 中， 探测的视觉目标 63 和预测融合目标 64 被提供作为第二数据关联模块 的输入， 该模块利用递归目标关联技术。如图 6 所述的数据关联被应用到视觉目标 63 和预 测融合目标 64 以便生成第二在后对应性矩阵。 0074 在框 67 中， 来自框 65 的递归目标关联技术的输出和来自递归目标关联技术 66 的 输出被提供给融合系统， 该融合系统通过使用传感器融合来利。
43、用目标跟踪。融合系统融合 说 明 书 CN 103308058 A 13 11/11 页 14 来自每个在后对应性矩阵的数据以便估计给定目标的位置。能够在框 67 中使用的融合技 术被描述于授权日为2008年12月2日的美国专利7,460,951， 其全部内容通过参考并入本 文。 0075 在框 68 中， 从框 67 中的融合系统输出识别融合目标。融合目标被建模作为高斯 混合模型 （GMM） 分布。 0076 在框 69 中， 在前进到框 70 之前， 将延迟施加到融合目标数据。 0077 在框 70 中， 目标运动模型被施加到融合目标。目标运动模型利用融合目标数据并 且基于目标的最后已知位。
44、置和轨迹来预测目标的未来位置。 运动跟踪包括锁定目标并且跟 随物体通过多个帧并且基于目标轨迹预测目标路径。在每个融合目标中， 目标的纵向偏移 （x） 、 横向偏移 （y） 、 纵向速度 （v_x） 和横向速度 （v_y） 是估计的状态变量。因此， 如果目标 的当前状态是已知的， 则可以使用下述公式来估计时间 dT 之后的未来状态变量 ： x =x+dTv_x y =y+dTv_y v_x =v_x v_y =v_y 因此， 目标运动模型将目标的当前状态变换成如下述公式所表示的其未来状态 s ： s=F(s)+w 其中 w 是具有适当维度的随机变量， 其通常具有零均值并且具有协方差矩阵 Q。 0。
45、078 在生成目标的目标运动模型之后， 在框 64 中确定目标的预测位置并且将其用作 在框 65 和框 66 中的数据关联技术的输入。 0079 虽然已经具体描述了本发明的某些实施例， 不过熟悉本发明涉及的领域的那些技 术人员将意识到各种替代性设计和实施例来实现所附权利要求所限定的发明。 说 明 书 CN 103308058 A 14 1/6 页 15 图 1 图 2 说 明 书 附 图 CN 103308058 A 15 2/6 页 16 图 3 说 明 书 附 图 CN 103308058 A 16 3/6 页 17 图 4 说 明 书 附 图 CN 103308058 A 17 4/6 页 18 图 5 说 明 书 附 图 CN 103308058 A 18 5/6 页 19 图 6 说 明 书 附 图 CN 103308058 A 19 6/6 页 20 图 7 说 明 书 附 图 CN 103308058 A 20 。