一种基于张量重建的交通数据丢失恢复方法.pdf

1、(10)申请公布号 CN 103136239 A (43)申请公布日 2013.06.05 CN 103136239 A *CN103136239A* (21)申请号 201110384954.3 (22)申请日 2011.11.29 G06F 17/30(2006.01) (71)申请人 北京理工大学 地址 100081 北京市中关村南大街 5 号院机 械与车辆学院 (72)发明人 谭华春 王武宏 冯广东 冯建帅 成斌 夏红卫 吴艳新 朱湧 阳钟兴 (54) 发明名称 一种基于张量重建的交通数据丢失恢复方法 (57) 摘要 本发明公开了一种基于张量重建的交通数据 丢失恢复方法， 以解决现有传

2、统交通数据丢失恢 复方法中采用的基于向量或矩阵形式来恢复丢失 数据所导致的精度不高和多天丢失无法处理问 题。本发明提供的方法包括 ： A、 将交通数据组建 为多维张量形式， 并用标记张量表示丢失的交通 张量数据 ； B、 将张量数据展开到各个模式上， 计 算各模式的相关性， 求取各模式权重 ； C、 根据张 量数据的构建和各模式权重的计算， 建立丢失值 恢复目标函数及其求解丢失值。本发明建立在多 维张量模型的基础上， 能够包含所有交通时空信 息和充分利用多模式相关性， 同时保持了交通数 据多维特性等原始结构， 恢复精度明显优于传统 的基于向量和矩阵的恢复方法， 并且能较好地解 决多天丢失极端情

3、况。 (51)Int.Cl. 权利要求书 1 页 说明书 5 页 附图 2 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书5页 附图2页 (10)申请公布号 CN 103136239 A CN 103136239 A *CN103136239A* 1/1 页 2 1. 一种基于张量重建的交通数据丢失恢复方法， 包括以下步骤 ： A. 根据交通数据的多重分布规律， 将交通数据组建为多维张量数据形式， 并且用标记 表示交通数据的丢失点 ； B. 通过计算各模式数据的相关性， 将各模式相关性系数归一化， 获得各模式权重 ； C. 建立张量形式的交通数据丢失恢复

4、目标函数， 采用张量重建理论转化目标函数， 结 合丢失点标记和各模式权重， 构建基于张量重建理论的交通数据恢复模型 ； 所述目标函数为 ： 所述目标函数的约束条件为 ： 其中， A 表示原始交通数据， 表示恢复的交通数据 ； 为标示张量， 标记丢失点， 在交 通数据丢失的地方其元素值为 0， 其余为 1 ； C 表示最大通行能力。 2. 根据权利要求 1 的交通数据丢失恢复方法， 其中， 采用张量重建理论转换目标函数 的具体方式为 ： 采用松弛方式的拉格朗日法转换所述目标函数， 得到转换后的目标函数 ： 为避免奇异值分解， 对所求数据 进行 Tucker 分解 ： 其中， S1X2Y3Z 表示

5、张量的 Tucker 分解 ； 为拉格朗日系数。 权 利 要 求 书 CN 103136239 A 2 1/5 页 3 一种基于张量重建的交通数据丢失恢复方法 技术领域 0001 本发明属于智能交通领域， 具体涉及交通数据丢失恢复方法。 背景技术 0002 交通数据丢失恢复是智能交通系统中一个很有意义的问题， 对交通丢失数据进行 恢复可以改善智能交通系统的功能， 例如交通信息发布系统， 交通管理系统等， 都需要完整 准确的交通数据， 但是在实际交通中， 由于设备故障、 传输失误等原因常常导致交通数据不 完整， 根据有关研究报告丢失率为 16 -93， 导致部分智能交通子系统无法正常工作， 因

6、此需要针对不完整交通数据估计其丢失值。 0003 目前， 对交通数据丢失的恢复方法主要分为两类 ： 基于向量形式的恢复方法， 将交 通数据组建为向量形式， 采用插值方法或者回归方法来恢复丢失值 ； 基于矩阵形式的恢复 方法， 将交通数据组建为矩阵形式， 采用矩阵重建理论来恢复丢失值。但是， 这两类恢复方 法都有其限制条件和不足， 前者必须在丢失率极低时方可采用， 而且只能依靠单一模式上 丢失点的附近点信息进行恢复， 恢复精度较低 ； 后者利用两个模式上的交通信息和数据相 关性， 能在一定程度上提高恢复精度， 但当丢失率较高时， 该方法无能为力。 此外， 以上两类 方法都没能完全利用交通数据的多

7、维相关特性， 严重制约了恢复精度的提高。且当面临丢 失一天甚至几天交通数据时， 上述两类方法均不能处理。 0004 基于张量重建的丢失数据恢复研究交通数据多维相关特性， 并建立相关性准则， 判断各模式权重， 进而充分利用多模式相关性和交通时空信息， 以便获得丢失点的最优估 计值， 从而完善交通数据。相比之下， 这种方法保持了交通数据的原始结构， 得到的结果更 加准确， 面临丢失一天甚至多天数据时依然能够取得较为理想的效果。一些学者利用基于 主成分分析 (PCA) 的概率模型， 对交通矩阵数据进行丢失值估计， 其中由屈力等最近采用 的一种基于贝叶斯主成分分析 (BPCA) 的矩阵交通数据丢失恢复

8、方法最为引人关注。对 于这种方法的介绍， 可以参考论文 A BPCA Based Missing Value Imputing Method for Traffic Flow Volume Data( 一种基于贝叶斯主成分分析的交通流数据丢失恢复方法 ) ( 作者 ： 屈力等， 载于 2008 IEEE Intelligent Vehicles Symposium， 2008 年 6 月 ) 和论 文 PPCA-Based Missing Data Imputation for Traffic Flow Vblume ： A Systematical Approach( 一种基于概率主成分分析

9、的交通流数据丢失恢复方法 ) ( 作者 ： 屈力等， 载于 IEEE Transaction on Intelligent Transportation Systems(ITS)， 2009 年 9 月 )。这种 方法的核心就在于通过 PCA 获取矩阵交通数据的主成分和全局结构， 但此方法只能在丢失 率低于 50时能才获得一定的效果， 所以难以满足对一天或多天交通数据丢失极端情况的 恢复要求。 0005 在此背景下， 研究一种既能提高恢复精度， 又能自适应地处理各种丢失情况的恢 复方法显得尤为重要。 发明内容 说 明 书 CN 103136239 A 3 2/5 页 4 0006 针对现有交通

10、数据丢失恢复方法的局限性， 本发明所要解决的技术问题是提供一 种基于张量重建的交通数据丢失恢复方法， 不仅能够提高丢失值的恢复精度， 而且能够处 理随机丢失高达 90和丢失一天或者多天等特殊的情况。 0007 本发明为解决上述技术问题所采用的技术方案是 ： 0008 一种基于张量重建的交通数据丢失恢复方法， 该方法包括以下步骤 ： 0009 A. 根据交通数据的多重分布规律， 将交通数据组建为多维张量数据形式， 并且用 标记表示交通数据的丢失点 ； 0010 B. 通过计算各模式数据的相关性， 将各模式相关性系数归一化， 获得各模式权 重 ； 0011 C. 建立张量形式的交通数据丢失恢复目标

11、函数， 采用张量重建理论转换目标函 数， 结合丢失点标记和各模式权重， 构建基于张量重建理论的交通数据恢复模型， 该模型对 随机丢失和特殊丢失均能取得较好的恢复效果。 0012 求取完整交通数据的表达式为 ： 0013 约束条件 ： 0014 其中， A 表示原始交通数据， 表示恢复的交通数据 ； 为标示张量， 标记丢失点， 在交通数据丢失的地方其元素值为0， 其余为1。 C表示最大通行能力， 确保恢复值满足交通 实际状况。 0015 对目标函数采用拉格朗日法进行转换可得 ： 0016 在该方法中， 为了避免奇异值分解， 对所求数据 进行Tucker分解， 其中Tucker分 解是张量分解中的

12、一种分解方式。 0017 这里S1X2Y3Z表示张量分解中的Tucker分解 ； 为拉格朗日系数。 采用Tucker 分解可以很好的解决张量的秩问题， 因为 Tucker 分解是考虑张量的模式秩， 也就是对张量 进行矩阵展开后的矩阵的秩， 在实际应用中， Tucker 模型更容易表达多维数据的低秩性质。 0018 此外， 将多维交通数据经过 Tucker 分解到 X、 Y、 Z 模式上， 根据各模式上权重分配 算法， 赋予各模式不同的权重， 达到多模式信息利用的最优化， 进而通过一阶 ( 或二阶 ) 最 优化方法求解。 0019 由于目前的普通拉格朗日法存在收敛次线性的不足， 本发明采用增广拉

13、格朗日乘 子法 (Augmented Lagrangian Multipliers) 进行优化。增广拉格朗日乘子法在矩阵恢复 算法上已经得到很好的应用， 并被证明收敛具有 Q 线性的性质， 相比于一般的拉格朗日法 提速非常明显。 0020 首先对于公式 (1) 中的道路通行能力限制对这一约束可进行适 当的松弛， 转化为如下形式 ： L-C 0 (4) 说 明 书 CN 103136239 A 4 3/5 页 5 0021 其中， C 中的每个元素值均为道路的最大通行能力值。公式 (1) 可转化为 ： minL， S： |L|*+|S|1 (5) 0022 约束条件 ： A L+S L-C 0

14、0023 其增广拉格朗日函数可表示为 ： 0024 其中 L 表示最终恢复得到的交通数据 ( 低秩部分 )， S 表示受噪声污染数据 ( 稀疏 部分 )， A 为失真的交通数据， ， 均为正数， M， N 为拉格朗日乘子。相对于普通的拉格朗 日法， 由于上式引入了拉格朗日乘子， 可使其收敛速度提高很多。 0025 所述步骤 A 为 ： 0026 交通数据一般按照时间序列统计， 通常被看作一维向量或二维矩阵形式。但是交 通数据具有多维相关性， 例如天与天、 周与周、 小时与小时之间都存在较高的相似性 ( 近似 周期性 )， 对交通数据进行估计时， 为了尽可能多的利用相关性， 需将交通数据构建为多

15、维 张量。 0027 所述的交通数据多维张量数据形式按以下表达式确定 ： A RweekDayHour (7) 0028 其中， A 表示交通数据 ； Week 表示 “周” 模式 ； Day 表示 “天” 模式 ； Hour 表示 “小时” 模式。 0029 对于发生丢失的交通数据， 按以下表示式确定 ： 其中， 0030 其中， 为标示张量，表示交通数据。 0031 步骤 B 包括 ： 0032 B1、 将多维交通数据展开到各个模式上， 利用相似性系数计算各模式的相关性 ； 0033 B2、 将各模式相关性归一化， 赋予各模式权重 ； 0034 所述各模式权重按以下表达式计算 ： 0035

16、 其中， Wk表示第 k 模式上的权重 (0 wk 1) ； sk表示第 k 模式上的相似性系数 (0 sk 1)。 0036 所述步骤 B1 包括 ： 0037 将张量交通数据展开到各个模式上， 各模式相似性系数按以下表达式计算 ： 0038 其中， Rk(i， j) 表示第 k 模式的相关系数矩阵 ； nk表示第 k 模式的数据点个数 ； sk 表示第 k 模式的相似性， 0 sk 1。 说 明 书 CN 103136239 A 5 4/5 页 6 0039 本发明的有益效果 ： 0040 本发明涉及的检测方法具有的优点如下 ： 0041 本发明方法运行速度快， 效果好， 不仅能处理丢失率

17、高达 99的交通数据， 还能处 理丢失一天或多天这种极端情况， 具有很好的通用性， 并且恢复精度相比以往恢复方法都 有较大提高。选取大小为 16*12*24 实地交通数据， 采用 Matlab 7.0 在 Pentium(R)D， 的 PC 机进行实验对比， 图 4、 图 5 显示了本发明方法与传统基于向量形式的恢复方法以及最新的 交通数据丢失恢复方法， 如屈力在 ITS 09 和在 ITS 10 上所提的方法的效果比较。从恢 复精度来讲， 传统基于向量形式的方法在丢失率偏大时失效， 并且不能处理丢失极端情况。 新近提出的张氏方法在丢失率高于 50时恢复精度急剧下降， 处理极端情况时恢复能力效

18、 果不佳。而本发明方法建立在张量重建理论的基础上， 丢失率低于 50时恢复精度比张氏 方法稍好， 而在丢失率高于 50时恢复精度依然能维持很好的效果， 丢失率高和丢失率低 时恢复精度都得到了不同程度的提高， 并且在处理极端情况时， 表现出较好的效果。 0042 此外， 本发明方法由于采用了基于相关性的权重分配方法， 较大地提高了各模式 相关性的利用效率， 进而提高恢复精度。 附图说明 0043 图 1 为本发明实施例中基于张量重建的交通数据丢失恢复方法的流程图 ； 0044 图 2 为本发明中实施例中获取各模式权重的流程图 ； 0045 图 3 为本发明中发明内容 A 步骤的多维交通数据张量形

19、式示意图 ； 0046 图4a和图4b为实施例1的交通数据随机丢失及各恢复方法的处理效果图 ； 其中， 图4a为为原始交通数据 ； 图4b为屈氏方法和本发明方法恢复效果对比图 ； 其中， RMSE(Root Mean Square Error) 为均方根误差， 越小表示效果越好 ； 0047 图 5 为实施例 2 的交通数据丢失一天或多天时本发明恢复方法和 Evrim Acar 恢 复方法的处理效果比较 ； 其中， RMSE(Root Mean Square Error)为均方根误差， 越小表示效 果越好。 具体实施方式 0048 下面结合附图和具体实施例对本发明做进一步说明。 实施例 1 0

20、049 本实施例是针对交通数据随机丢失， 根据图 1 所示， 其恢复过程如下三个步骤进 行 ： 0050 1. 将交通数据组建为张量形式， 标记丢失点 0051 由于图 4(a) 的交通数据为 16 天交通数据， 可通过以下表达式来组建为张量交通 数据 ： A R161224 (11) 0052 其中， A 包含 16 天， 一天 24 小时， 一小时 12 个 5 分钟。根据 A 大小为 16*12*24， 则标记张量大小也为 16*12*24， 所述的丢失交通数据按以下表达式确定 ： A *A (12) 0053 其中， A 表示丢失的交通数据。 说 明 书 CN 103136239 A

21、6 5/5 页 7 0054 2. 求取各模式权重 0055 实现此处理过程的具体流程图请参看图 2. 包括以下步骤 ： 0056 首先， 将张量交通数据展开到各个模式上， 因本实施例中交通数据为 3 维， 可以扩 展到 3 个模式上， 大小分别为 16*288、 12*364、 192*24。 0057 然后对以上三个模式数据分别求取相似性系数， 此步骤可借助 SPSS 等统计软件 完成， 具体求解按以下表达式确定 ： 0058 其中， Rk(i， j) 表示第 k 模式的相关系数矩阵 ； nk表示第 k 模式的数据点个数 ； sk 表示第 k 模式的相似性， 0 sk 1。 0059 最后

22、， 对所述的 3 个模式相似性系数进行归一化处理， 即可得到各模式的权重。 0060 3. 估计丢失值 0061 根据各模式权重的计算， 可以为丢失值目标函数中 Tucker 分解后各模式所占比 重赋值， 在对转换后的目标函数进行求解优化， 可得到恢复的交通数据如图 4(b) 所示 ； 0062 所求丢失值的表达式如下 ： 0063 其中， A 表示原始交通数据， 表示恢复的交通数据 ； 为标示张量， 标记丢失点， 在交通数据丢失的地方其元素值为 0， 其余为 1 ； C 表示最大通行能力， 确保恢复值满足交通 实际状况。 0064 此外， 对于丢失一天或多天交通数据， 依照实施例 2 处理即

23、可。 实施例 2 0065 对 10*12*24 的交通数据， 其张量形式为 A R101224， 对应的标记张量为 所述丢失 k 天的标记张量的取值按以下表达式确定 ： 其中， 0066 其中， k 表示丢失天数， 进而可得丢失的交通张量数据。 0067 余下的步骤与实施例 1 一样， 通过计算各模式权重并带入目标函数， 最后估计丢 失值， 得到图 5 的恢复效果。图 4 与图 5 中的恢复效果均在 Matlab 环境下获得， 若本发明 方法采用 C+ 编程实现， 运行时间将会大大减少， 从而实现了交通数据丢失恢复的自动性 和实时性。 0068 需要说明的是， 以上公开的仅为本发明的具体实例， 根据本发明提供的思想， 本领 域的技术人员能思及的变化， 都应落入本发明的保护范围内。 说 明 书 CN 103136239 A 7 1/2 页 8 图 1图 2 图 3 说 明 书 附 图 CN 103136239 A 8 2/2 页 9 图 4a 图 4b 图 5 说 明 书 附 图 CN 103136239 A 9