基于区块链的跨摄像机行人跟踪系统及方法.pdf

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010783800.0 (22)申请日 2020.08.06 (71)申请人 北京航空航天大学 地址 100191 北京市海淀区学院路37号 (72)发明人 盛浩王帅张洋刘洋吕凯 (74)专利代理机构 北京科迪生专利代理有限责 任公司 11251 代理人 张乾桢 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H04N 7/18(2006.01)

2、(54)发明名称 一种基于区块链的跨摄像机行人跟踪系统 及方法 (57)摘要 本发明涉及一种基于区块链的跨摄像机行 人跟踪系统及方法， 包括以下6大模块： 入口模 块、 数据收集模块、 短轨迹生成模块、 跟踪模块、 输出模块、 区块链共享模块。 本发明主要完成跨 摄像机场景下部署在摄像机端的行人跟踪任务 和功能。 用户可利用该系统， 完成行人在跨摄像 机监控场景下的跟踪， 并保持跨摄像机监控场景 下的行人标签的一致性。 权利要求书4页 说明书9页 附图6页 CN 112131929 A 2020.12.25 CN 112131929 A 1.一种基于区块链的跨摄像机行人跟踪系统， 其特征在于，

3、 包括： 入口模块、 数据收集 模块、 短轨迹生成模块、 跟踪模块、 输出模块和区块链共享模块； 其中： 入口模块， 提供一个管理接口， 方便用户从图形化终端管理， 用户根据自己的实际需 求， 选择进入数据收集模块、 短轨迹生成模块、 跟踪模块、 输出模块、 区块链共享模块的操 作； 作为用户登录的界面， 用户登录时输入用户名和密码， 核检用户名和密码开放对应的权 限； 对于普通用户， 仅提供在线查看权限， 不可导出各项数据； 对于管理员， 提供全部权限， 从入口模块提供的数据导出接口导出各项数据； 数据收集模块， 负责数据的收集， 包括摄像机的实时视频数据， 获取当前摄像机的编 号； 通过摄

4、像机拍摄监控场景的图像， 从摄像机提供的导出接口获取24小时内监控空间内 连续的视频图像帧； 将摄像机编号传递到区块链模块， 将视频图像帧传递到短轨迹生成模 块； 短轨迹生成模块： 首先接收数据收集模块传入的视频图像帧， 每接受8个视频图像帧， 就使用YOLOV3检测网络处理这8个视频图像帧， 得到8个视频图像帧中行人的检测框； 根据 得到的检测框， 从8个视频帧中将对应的区域裁剪下来形成行人裁剪区域， 将行人裁剪区域 和对应的行人的检测框打包为行人的检测片图； 使用聚类的方法对行人的检测片图进行聚 类， 生成最小长度为3帧， 最大长度为8帧的短轨迹， 使用完成训练的共现约束网络提取短轨 迹的

5、特征， 最后将短轨迹以及提取出的短轨迹特征， 传入跟踪模块； 跟踪模块， 基于区块链的跨摄像机行人跟踪方法， 跟踪多个行人， 并为每一个行人维护 多种数据， 并将部分数据保存到数据库中， 所述多种数据包括保存行人外观特征的特征池、 未命中次数、 历史轨迹、 行人当前状态、 行人的序号、 命中次数、 行人当前位置， 其中命中次 数是指该行人成功获得短轨迹匹配的次数， 未命中次数是指该行人上一次获得成功匹配距 离当前的帧数； 所述当前状态包括敏感、 确认、 删除三者之一(其中敏感是指该行人可能是 误检造成的， 确认表示该行人正在被跟踪， 删除表示该行人已经从检测区域内丢失)； 该模 块实现时， 首

6、先接收短轨迹生成模块生成的短轨迹及短轨迹的特征， 然后更新当前所跟踪 的行人的状态， 计算当前跟踪的行人和接收的短轨迹之间的相似度矩阵； 再根据当前所跟 踪的行人的位置和输入的短轨迹， 对相似度矩阵进行过滤， 得到过滤后的相似度矩阵； 过滤 后的相似度矩阵的最优化分配方案使用匈牙利算法解决， 会得到多个成对的矩阵下标， 即 为成功匹配的行人和短轨迹， 则未得到成功匹配的行人和短轨迹称为未成功匹配的行人； 未成功匹配的行人的未命中次数加一， 未成功得到匹配的短轨迹被初始化为新的行人； 在 所有未成功匹配的行人和短轨迹处理完毕后， 使用基于时间模拟退火的特征修复算法对所 有行人当前状态为确认的跟踪

7、的行人外观特征的特征池进行更新； 当所有跟踪的行人外观 特征的特征池完成更新后， 使用基于置信度的虚拟短轨迹算法对所有跟踪的行人增加虚拟 短轨迹,即不是由短轨迹生成模块直接产生的， 而是根据行人历史轨迹估计得到的短轨迹； 将虚拟短轨迹添加到跟踪的行人的历史轨迹中； 如果入口模块结束跟踪的命令， 则将所有 跟踪的行人的历史轨迹保存到数据库中； 区块链模块， 负责不同摄像机之间跟踪的行人的数据的共享； 该模块检测跟踪模块跟 踪行人的状态变化， 如果跟踪模块中某一个跟踪的行人状态变为删除， 则将该行人的特征 池和序号还有当前相机的编号打包到一个区块中， 并将此区块发送到区块链中； 该模块同 时不断检

8、测区块链是否有新的区块， 当有新区块被上传到区块链中时， 下载新区块中的数 权利要求书 1/4 页 2 CN 112131929 A 2 据， 若新区块中保存的摄像机编号与当前摄像机不同， 则将新区块中的特征池以及行人的 序号下载下来， 使用ReID网络对该特征池与当前跟踪模块跟踪的所有行人做人重识别， 如 果ReID网络判断该特征池和某个跟踪的行人是一致的， 则向跟踪模块发送融合序号请求， 该请求包含从新区块中下载的序号以及对应的当前跟踪模块跟踪的行人的序号； 输出模块， 提供两个数据接口， 一个仅提供对数据库中行人的历史轨迹的查看， 另一个 不但查看， 而且还提供导出行人历史轨迹的接口；

9、该模块提供了用户查看信息的接口， 封装 了其余各个模块， 使得各个模块对用户透明。 2.根据权利要求1所述的基于区块链的跨摄像机行人跟踪系统， 其特征在于： 所述短轨 迹生成模块中， 共现约束网络的结构和训练过程如下： (1)共现约束网络接收长度为8的短轨迹作为输入， 如果给定的短轨长度不足8， 则用线 性插值法插帧， 使得短轨迹长度为8； (2)建立共现约束网络， 使用ResNet50全局平均池化层前的网络结构作为骨干网络， 后 面使用一个固定分割层对骨干网络输出的特征图进行均匀分割， 共分割为6块， 每一块称为 共现局部特征； 使用1*1的卷积核和平均池化层处理所有共现局部特征， 降低共现

10、局部特征 的维度从而得到压缩特征； 压缩特征被输入到多头注意力层以计算压缩特征间的空间共现 约束； 同时， 多个压缩特征被拼接为个体特征； 从骨干网络到完成压缩特征的拼接的结构是 对短轨迹中所有帧共享的， 即， 短轨迹中的每一帧经过同样的结构处理， 最终得到各自的个 体特征和各自的空间共现约束； 所有帧的空间共现约束被打包为一个序列， 并被输入到一 个256个隐藏单元的LSTM层中， LSTM层的输出经过一个随机丢弃层后， 随机丢弃层的输出被 输入到另一个256个隐藏单元的LSTM层中， 该LSTM层的输出被输入到了另一个随机丢弃层， 该随机丢弃层的输出被输入进一个全连接层， 全连接的输出被s

11、ofmax层转化为一组权重， 利用改组时间权重， 所有帧的个体特征被组合为短轨迹特征； 短轨迹特征被输入到一个全 连接层以进行短轨迹分类， 即， 网络最后一个全连接层输出短轨迹对应的标签； (3)共现约束网络在iLIDS-VID(互联网上的公开数据集)上完成训练， 该数据集中的视 频数据被切分为长度为8的短轨迹， 同一视频生成的短轨迹拥有相同的标签； 所有短轨迹被 输入到共现约束网络中， 对短轨迹进行分类， 获得预测的标签； 通过计算共现约束网络预测 的标签和数据集中真实的标签的损失， 使用梯度下降法更新共现约束网络骨干网络后所有 层的权重参数； 当损失收敛后， 固定权重参数并保存， 同时保存

12、共现约束网络的网络结构； (4)短轨迹生成模块加载完成预训练的共现约束网络的权重参数， 并使用该网络对聚 类生成的短轨迹进行特征提取， 得到短轨迹的特征。 3.根据权利要求1所述的基于区块链的跨摄像机行人跟踪系统， 其特征在于： 所述跟踪 模块中， 基于区块链的跨摄像机行人跟踪方法如下： (1)接受短轨迹生成模块传递的短轨迹和短轨迹的特征， 该特征为一个1536维度的特 征向量； (2)如果当前跟踪的行人为空， 则转入步骤(6)； 否则， 更新所有跟踪的行人的当前状 态： 如果跟踪的行人的当前状态是敏感， 并且命中次数大于等于2， 则更改其状态为确认； 如 果跟踪的行人的当前状态是确认， 并且

13、未命中次数大于等于18， 则更改其状态为删除； 如果 跟踪的行人的当前状态是敏感， 并且未命中次数大于等于3且命中次数等于0， 则更改其状 态为删除； 权利要求书 2/4 页 3 CN 112131929 A 3 (3)建立相似度矩阵， 计算当前跟踪的行人的特征池中的特征与短轨迹的特征之间的 余弦距离， 以此得到的余弦距离作为基本元素建立相似度矩阵； (4)相似度矩阵过滤， 计算当前跟踪的行人的位置和短轨迹的位置的距离， 距离大于阈 值的跟踪的行人与和短轨迹在相似度矩阵中的余弦距离被置为0； (5)分配， 相似度矩阵的最优化求解是一个二分图问题， 使用匈牙利算法解决， 得到多 个成功的跟踪的行

14、人与短轨迹的匹配， 剩下的即为未成功匹配的短轨迹与未成功匹配的跟 踪的行人； (6)初始化新的跟踪的行人， 未成功匹配的短轨迹被初始化未新的跟踪的行人， 新的跟 踪的行人的状态为敏感， 新的跟踪的行人的特征池中添加对轨迹的外观特征， 新的跟踪的 行人的位置为短轨迹的边框的平均值， 历史轨迹为短轨迹的所有边框未命中次数和命中次 数初始化为0， 序号为当前跟踪的行人的最大序号加1； (7)使用基于时间模拟退火的特征修复算法对跟踪的行人的特征池中的进行更新， 使 用该算法对与确认的跟踪的行人匹配的短轨迹的外观特征进行修复， 得到修复后的特征， 并将修复后的特征加入确认的跟踪的行人特征池中； (8)使

15、用基于置信度虚拟短轨迹算法对所有跟踪的行人增加虚拟短轨迹， 将虚拟短轨 迹添加到跟踪的行人的历史轨迹中； (9)检测区块链模块是否有融合序号的请求， 如果有， 则根据请求中包含的序号修改当 前跟踪的行人的序号； 如果无情求， 转入步骤(10)； (10)如果接收到了结束跟踪的命令， 根据虚拟短轨迹与真实轨迹数量之比过滤跟踪的 行人， 高于阈值的删除， 剩下的保存到数据库中， 结束； 如果未接收到入口模块发送的结束 跟踪的命令， 则转入步骤(1)。 4.根据权利要求1所述的基于区块链的跨摄像机行人跟踪系统， 其特征在于： 所述跟踪 模块中， 基于时间模拟退火的特征修复算法实现如下： (1)基于时

16、间模拟退火的特征修复算法的输入为当前跟踪的行人， 短轨迹生成模块传 递的短轨迹， 基于区块链的行人跟踪方法得到的成功的跟踪的行人与短轨迹的匹配， 以下 称匹配集合； (2)如果匹配集合为空， 则转入步骤(7)； 否则， 按顺序从匹配集合中取出一个匹配， 包 括短轨迹和跟踪的行人； (3)如果跟踪的行人的状态为确认， 转入步骤(4)； 否则， 转入步骤(6)； (4)计算短轨迹的置信度和短轨迹和跟踪的行人的外观差异， 并判断两者是否满足阈 值， 如果均满足阈值， 转入步骤(5)； 否则， 转入步骤(6)； (5)对短轨迹的特征进行修复， 得到修复后的特征， 将修复后的特征添加到跟踪的行人 的特征

17、池中； 完成所述特征池的更新， 保存所述特征池， 并转入步骤(2)； (6)结束并退出。 5.根据权利要求1所述的基于区块链的跨摄像机行人跟踪系统， 其特征在于： 所述跟踪 模块中， 基于置信度的虚拟短轨迹算法如下： (1)基于置信度的虚拟短轨迹算法的输入为当前跟踪的行人， 短轨迹生成模块传递的 短轨迹， 基于区块链的行人跟踪方法得到的成功的跟踪的行人与短轨迹的匹配， 以下称匹 配集合； 权利要求书 3/4 页 4 CN 112131929 A 4 (2)如果匹配集合为空， 则转入步骤(7)； 否则， 按顺序从匹配集合中取出一个匹配， 包 括短轨迹和跟踪的行人； (3)如果跟踪的行人的状态不是

18、删除， 转入步骤(4)； 否则， 转入步骤(6)； (4)计算短轨迹的置信度、 短轨迹与跟踪的行人之间的外观差异， 并判断两者是否满足 阈值， 如果均满足阈值， 转入； 否则， 转入步骤(6)； (5)检测跟踪的行人的历史轨迹， 判断在哪些帧发生了断裂， 即该跟踪的行人在哪些帧 是没有边框的， 记录这些帧； (6)对所有记录的帧， 根据其前后帧的边框， 使用插值算法插值出虚拟的边框； 完成插 值后， 转入步骤(2)； (7)结束并退出。 6.一种基于区块链的跨摄像机行人跟踪方法， 其特征在于， 实现步骤如下： (1)用户打开入口界面， 根据界面提示输入自己的用户名和密码， 登陆后入口模块会对

19、用户名和密码进行核检， 核检通过后允许用户登入系统； 根据用户账户对应的权限信息， 开 放不同的权限， 如果用户是管理员， 则提供全部权限， 开放数据导出接口， 如果是普通用户， 则仅提供在线查看功能； (2)用户正常登陆系统， 则开始执行行人跟踪任务。 数据收集模块获得实时视频数据输 入， 并传递到短轨迹生成模块。 短轨迹生成模块从获得的视频数据获得检测并生成短轨迹， 同时使用共现约束网络完成短轨迹的特征提取， 将短轨迹与其特征打包传递到跟踪模块； (3)跟踪模块获得短轨迹生成模块传递的短轨迹和短轨迹特征， 跟踪多个行人， 更新当 前所跟踪的行人的状态， 计算当前跟踪的行人和接收的短轨迹之间

20、的相似度矩阵； 再根据 当前所跟踪的行人的位置和输入的短轨迹， 对相似度矩阵进行过滤， 得到过滤后的相似度 矩阵； 过滤后的相似度矩阵的最优化分配方案使用匈牙利算法解决， 得到成功匹配的行人 和短轨迹； 未成功匹配的行人的未命中次数加一， 未成功得到匹配的短轨迹被初始化为新 的行人； 在所有未成功匹配的行人和短轨迹处理完毕后， 使用基于时间模拟退火的特征修 复算法对所有行人当前状态为确认的跟踪的行人外观特征的特征池进行更新； 当所有跟踪 的行人外观特征的特征池完成更新后， 使用基于置信度的虚拟短轨迹算法对所有跟踪的行 人增加虚拟短轨迹,即不是由短轨迹生成模块产生的， 而是根据行人历史轨迹估计的

21、短轨 迹， 将虚拟短轨迹添加到跟踪的行人的历史轨迹中； 如果入口模块结束跟踪的命令， 则将所 有跟踪的行人的历史轨迹保存到数据库中； (4)区块链模块与跟踪模块在系统中同时开始启动， 以检测跟踪行人的状态变化， 如果 跟踪模块中某一个跟踪的行人状态变为删除， 则将该行人的信息打包并发送到区块链中； 该模块不断检测区块链是否有新的区块， 当有新区块被上传到区块链中时， 下载新区块中 的数据， 若新区块中保存的摄像机编号与当前摄像机不同， 则将新区块中的特征池以及行 人的序号下载下来， 使用人重识别ReID网络对该特征池与当前跟踪模块跟踪的所有行人做 人重识别， 如果ReID网络判断该特征池和某个

22、跟踪的行人是一致的， 则向跟踪模块发送融 合序号请求， 该请求包含从新区块中下载的序号以及对应的当前跟踪模块跟踪的行人的序 号； (5)用户入口模块发送结束跟踪的指令， 输出模块根据用户权限开放对应的接口供用 户导出数据。 权利要求书 4/4 页 5 CN 112131929 A 5 一种基于区块链的跨摄像机行人跟踪系统及方法 技术领域 0001 本发明涉及一种基于区块链的跨摄像机行人跟踪系统及方法， 具体说是一种使用 区块链技术完成跨摄像机跟踪行人信息共享的近实时行人跟踪系统， 不依赖于中心服务 器， 可部署到摄像机端， 提供行人在跨摄像机场景下的历史运动轨迹， 属于监测安保领域。 背景技术

23、 0002 目前， 监控摄像机所采集的监控视频一般被上传到中心服务器， 由服务器来进行 视频分析任务， 例如进行行人检测、 行人跟踪等。 然而实际应用中， 由于网络的速度、 服务器 的容量、 服务器的性能等多种因素的限制， 在中心服务器上集中进行行人跟踪的任务是非 常艰难的， 无法满足近实时行人跟踪的需求。 0003 传统的行人跟踪方法， 是将多个摄像机采集的监控视频集中传输到一个中心服务 器上。 在中心服务器上对这些监控视频进行集中处理， 然后对多个监控视频的行人跟踪结 果做进一步融合。 主流框架是基于检测的跟踪， 即首先获取行人的检测框， 然后提取行人的 外观特征， 利用外观信息和边框位置

24、进行边框的关联， 最终形成完整的行人轨迹。 如果需要 处理跨摄像机的行人跟踪任务， 则会对单个摄像机得到的行人轨迹进行进一步处理得到跨 摄像机下的行人轨迹。 目前， 跨摄像机行人跟踪研究的主要问题是跟踪算法的处理速度以 及跨摄像机行人跟踪信息的可信性。 0004 目前行人跟踪算法已经取得了很多研究成果， 但是在速度以及资源消耗方面还存 在一些困难， 跨摄像机的行人跟踪仍然是一个非常具有挑战性的问题。 其中不仅有计算机 视觉领域共同的一些经典难题， 也有着深度学习技术进行检测的固有缺陷。 如何在诸如摄 像机等边缘计算设备有限的计算资源环境下达到实时或近实时的行人跟踪， 是安保领域非 常有意义的问

25、题。 高效的行人跟踪方法以及可信地信息共享方式会极大的提升跨摄像机行 人跟踪的效果， 在时间监控场景中， 复杂的遮挡对行人跟踪算法提出了非常严峻的要求， 因 此， 抗遮挡的跨摄像机行人跟踪算法的研究依然是目前的研究重心之一。 0005 此外， 目前对于行人跟踪的应用， 大多都是使用集中化的处理框架去进行处理， 这 一框架虽然可以完成大多数行人跟踪任务， 但是所需要的计算资源与时间消耗是非常大 的， 在很多延迟敏感的应用中是不可承受的。 如何提升跟踪算法的速度， 也是目前计算机视 觉领域核心问题的发展方向之一。 0006 本发明着眼与高准确率的近实时行人跟踪需求， 以提高监控系统对多中场景下对

26、于人群的流向追踪、 舆情控制的应对能力。 利用区块链对于数据共享的能力， 建立高效的数 据关联方法， 本发明可满足近实时的跨摄像机跟踪需求。 0007 科学研究方面， 满足了多种跟踪视觉任务的研究需要， 提供了一个准确率高、 能耗 低的近实时行人跟踪系统， 为城市智能管理提供了实质性的帮助。 发明内容 0008 本发明技术解决问题： 克服现有技术的不足， 提供了一种基于区块链的跨摄像机 说明书 1/9 页 6 CN 112131929 A 6 行人跟踪系统， 使用区块链技术完成跨摄像机行人跟踪信息的交互， 并设计了高效的高遮 挡跟踪方法。 0009 本发明采用如下的技术方案： 0010 本发明

27、的一种基于区块链的跨摄像机行人跟踪系统， 包括： 入口模块、 数据收集模 块、 短轨迹生成模块、 跟踪模块、 输出模块、 区块链共享模块； 其中： 0011 入口模块， 提供一个管理接口， 方便用户从图形化终端管理， 用户根据自己的实际 需求， 选择进入数据收集模块、 短轨迹生成模块、 跟踪模块、 输出模块、 区块链共享模块的操 作； 作为用户登录的界面， 用户登录时输入用户名和密码， 核检用户名和密码开放对应的权 限； 对于普通用户， 仅提供在线查看权限， 不可导出各项数据； 对于管理员， 提供全部权限， 从入口模块提供的数据导出接口导出各项数据； 0012 数据收集模块， 负责数据的收集，

28、 包括摄像机的实时视频数据(24fps)， 获取当前 摄像机的编号； 通过摄像机拍摄监控场景的图像， 从摄像机提供的导出接口获取24小时内 监控空间内连续的视频图像帧； 将摄像机编号传递到区块链模块， 将视频图像帧传递到短 轨迹生成模块； 0013 短轨迹生成模块： 首先接收数据收集模块传入的视频图像帧， 每接受8个视频图像 帧， 就使用YOLOV3检测网络处理这8个视频图像帧， 得到8个视频图像帧中行人的检测框； 根 据得到的检测框， 从8个视频帧中将对应的区域裁剪下来形成行人裁剪区域， 将行人裁剪区 域和对应的行人的检测框打包为行人的检测片图； 使用聚类的方法对行人的检测片图进行 聚类，

29、生成最小长度为3帧， 最大长度为8帧的短轨迹， 使用完成训练的共现约束网络提取短 轨迹的特征， 最后将短轨迹以及提取出的短轨迹特征， 传入跟踪模块； 0014 跟踪模块， 基于区块链的跨摄像机行人跟踪方法， 跟踪多个行人， 并为每一个行人 维护多种数据， 并将部分数据保存到数据库中， 所述多种数据包括保存行人外观特征的特 征池、 未命中次数、 历史轨迹、 行人当前状态、 行人的序号、 命中次数、 行人当前位置， 其中命 中次数是指该行人成功获得短轨迹匹配的次数， 未命中次数是指该行人上一次获得成功匹 配距离当前的帧数； 所述当前状态包括敏感、 确认、 删除三者之一(其中敏感是指该行人可 能是误

30、检造成的， 确认表示该行人正在被跟踪， 删除表示该行人已经从检测区域内丢失)； 该模块实现时， 首先接收短轨迹生成模块生成的短轨迹及短轨迹的特征， 然后更新当前所 跟踪的行人的状态， 计算当前跟踪的行人和接收的短轨迹之间的相似度矩阵； 再根据当前 所跟踪的行人的位置和输入的短轨迹， 对相似度矩阵进行过滤， 得到过滤后的相似度矩阵； 过滤后的相似度矩阵的最优化分配方案使用匈牙利算法解决， 会得到多个成对的矩阵下 标， 即为成功匹配的行人和短轨迹， 则未得到成功匹配的行人和短轨迹称为未成功匹配的 行人； 未成功匹配的行人的未命中次数加一， 未成功得到匹配的短轨迹被初始化为新的行 人； 在所有未成功

31、匹配的行人和短轨迹处理完毕后， 使用基于时间模拟退火的特征修复算 法对所有行人当前状态为确认的跟踪的行人外观特征的特征池进行更新； 当所有跟踪的行 人外观特征的特征池完成更新后， 使用基于置信度的虚拟短轨迹算法对所有跟踪的行人增 加， 即不是由短轨迹生成模块产生的， 而是根据行人历史轨迹估计的短轨迹； 将虚拟短轨迹 添加到跟踪的行人的历史轨迹中； 如果入口模块结束跟踪的命令， 则将所有跟踪的行人的 历史轨迹保存到数据库中； 0015 区块链模块， 负责不同摄像机之间跟踪的行人的数据的共享； 该模块检测跟踪模 说明书 2/9 页 7 CN 112131929 A 7 块跟踪行人的状态变化， 如果

32、跟踪模块中某一个跟踪的行人状态变为删除， 则将该行人的 特征池和序号还有当前相机的编号打包到一个区块中， 并将此区块发送到区块链中； 该模 块同时不断检测区块链是否有新的区块， 当有新区块被上传到区块链中时， 下载新区块中 的数据， 若新区块中保存的摄像机编号与当前摄像机不同， 则将新区块中的特征池以及行 人的序号下载下来， 使用ReID(人重识别)网络对该特征池与当前跟踪模块跟踪的所有行人 做人重识别， 如果ReID网络判断该特征池和某个跟踪的行人是一致的， 则向跟踪模块发送 融合序号请求， 该请求包含从新区块中下载的序号以及对应的当前跟踪模块跟踪的行人的 序号； 0016 输出模块， 提供

33、两个数据接口， 一个仅提供对数据库中行人的历史轨迹的查看， 另 一个不但查看， 而且还提供导出行人历史轨迹的接口； 该模块提供了用户查看信息的接口， 封装了其余各个模块， 使得各个模块对用户透明。 0017 本发明的创新点是共现约束网络、 基于区块链的行人跟踪方法、 基于时间模拟退 火的特征修复算法以及基于置信度的虚拟短轨迹算法， 其中共现约束网络被用于短轨迹生 成模块以提取短轨迹特征， 基于区块链的跨摄像机行人跟踪方法由跟踪模块和区块链模块 实现， 基于时间模拟退火的特征修复算法以及基于置信度的虚拟短轨迹算法均实现于跟踪 模块。 0018 所述短轨迹生成模块中， 共现约束网络的结构和训练过程

34、如下： 0019 (1)共现约束网络接收长度为8的短轨迹作为输入， 如果给定的短轨长度不足8， 则 用线性插值法插帧， 使得短轨迹长度为8； 0020 (2)如图2所示， 建立共现约束网络， 使用ResNet50全局平均池化层前的网络结构 作为骨干网络， 后面使用一个固定分割层对骨干网络输出的特征图进行均匀分割， 共分割 为6块， 每一块称为共现局部特征； 使用1*1的卷积核和平均池化层处理所有共现局部特征， 降低共现局部特征的维度从而得到压缩特征； 压缩特征被输入到多头注意力层以计算压缩 特征间的空间共现约束； 同时， 多个压缩特征被拼接为个体特征； 从骨干网络到完成压缩特 征的拼接的结构是

35、对短轨迹中所有帧共享的， 即， 短轨迹中的每一帧经过同样的结构处理， 最终得到各自的个体特征和各自的空间共现约束； 所有帧的空间共现约束被打包为一个序 列， 并被输入到一个256个隐藏单元的LSTM层中， LSTM层的输出经过一个随机丢弃层后， 随 机丢弃层的输出被输入到另一个256个隐藏单元的LSTM层中， 该LSTM层的输出被输入到了 另一个随机丢弃层， 该随机丢弃层的输出被输入进一个全连接层， 全连接的输出被softmax 层转化为一组权重， 利用改组时间权重， 所有帧的个体特征被组合为短轨迹特征； 短轨迹特 征被输入到一个全连接层以进行短轨迹分类， 即， 网络最后一个全连接层输出短轨迹

36、对应 的标签； 0021 (3)共现约束网络在iLIDS-VID(互联网上的公开数据集)上完成训练， 该数据集中 的视频数据被切分为长度为8的短轨迹， 同一视频生成的短轨迹拥有相同的标签； 所有短轨 迹被输入到共现约束网络中， 对短轨迹进行分类， 获得预测的标签； 通过计算共现约束网络 预测的标签和数据集中真实的标签的损失， 使用梯度下降法更新共现约束网络骨干网络后 所有层的权重参数； 当损失收敛后， 固定权重参数并保存， 同时保存共现约束网络的网络结 构； 0022 (4)短轨迹生成模块加载完成预训练的共现约束网络的权重参数， 并使用该网络 说明书 3/9 页 8 CN 112131929

37、A 8 对聚类生成的短轨迹进行特征提取， 得到短轨迹的特征。 0023 所述跟踪模块中， 基于区块链的跨摄像机行人跟踪方法如下： 0024 (1)接受短轨迹生成模块传递的短轨迹和短轨迹的特征， 该特征为一个1536维度 的特征向量； 0025 (2)如果当前跟踪的行人为空， 则转入步骤(6)； 否则， 更新所有跟踪的行人的当前 状态： 如果跟踪的行人的当前状态是敏感， 并且命中次数大于等于2， 则更改其状态为确认； 如果跟踪的行人的当前状态是确认， 并且未命中次数大于等于18， 则更改其状态为删除； 如 果跟踪的行人的当前状态是敏感， 并且未命中次数大于等于3且命中次数等于0， 则更改其 状态

38、为删除； 0026 (3)建立相似度矩阵， 计算当前跟踪的行人的特征池中的特征与短轨迹的特征之 间的余弦距离， 以此得到的余弦距离作为基本元素建立相似度矩阵； 0027 (4)相似度矩阵过滤， 计算当前跟踪的行人的位置和短轨迹的位置的距离， 距离大 于阈值的跟踪的行人与和短轨迹在相似度矩阵中的余弦距离被置为0； 0028 (5)分配， 相似度矩阵的最优化求解是一个二分图问题， 使用匈牙利算法解决， 得 到多个成功的跟踪的行人与短轨迹的匹配， 剩下的即为未成功匹配的短轨迹与未成功匹配 的跟踪的行人； 0029 (6)初始化新的跟踪的行人， 未成功匹配的短轨迹被初始化为新的跟踪的行人， 新 的跟踪

39、的行人的状态为敏感， 新的跟踪的行人的特征池中添加对轨迹的外观特征， 新的跟 踪的行人的位置为短轨迹的边框的平均值， 历史轨迹为短轨迹的所有边框未命中次数和命 中次数初始化为0， 序号为当前跟踪的行人的最大序号加1； 0030 (7)使用基于时间模拟退火的特征修复算法对跟踪的行人的特征池中的进行更 新， 使用该算法对与确认的跟踪的行人匹配的短轨迹的外观特征进行修复， 得到修复后的 特征， 并将修复后的特征加入确认的跟踪的行人特征池中； 0031 (8)使用基于置信度虚拟短轨迹算法对所有跟踪的行人增加虚拟短轨迹， 将虚拟 短轨迹添加到跟踪的行人的历史轨迹中； 0032 (9)检测区块链模块是否有

40、融合序号的请求， 如果有， 则根据请求中包含的序号修 改当前跟踪的行人的序号； 如果无情求， 转入步骤(10)； 0033 (10)如果接收到了结束跟踪的命令， 根据虚拟短轨迹与真实轨迹数量之比过滤跟 踪的行人， 高于阈值的删除， 剩下的保存到数据库中， 结束； 如果未接收到入口模块发送的 结束跟踪的命令， 则转入步骤(1)。 0034 所述跟踪模块中， 基于时间模拟退火的特征修复算法如下： 0035 (1)基于时间模拟退火的特征修复算法的输入为当前跟踪的行人， 短轨迹生成模 块传递的短轨迹， 基于区块链的行人跟踪方法得到的成功的跟踪的行人与短轨迹的匹配， 以下称匹配集合； 0036 (2)如

41、果匹配集合为空， 则转入步骤(7)； 否则， 按顺序从匹配集合中取出一个匹 配， 包括短轨迹和跟踪的行人； 0037 (3)如果跟踪的行人的状态为确认， 转入(4)； 否则， 转入(6)； 0038 (4)计算短轨迹的置信度和短轨迹和跟踪的行人的外观差异， 并判断两者是否满 足阈值， 如果均满足阈值， 转入(5)； 否则， 转入步骤(6)； 说明书 4/9 页 9 CN 112131929 A 9 0039 (5)对短轨迹的特征(1536维的特征向量)进行修复， 得到修复后的特征， 将修复后 的特征添加到跟踪的行人的特征池中； 完成所述特征池的更新， 保存所述特征池， 并转入步 骤(2)。 0

42、040 所述跟踪模块中， 基于置信度的虚拟短轨迹算法如下： 0041 (1)基于置信度的虚拟短轨迹算法的输入为当前跟踪的行人， 短轨迹生成模块传 递的短轨迹， 基于区块链的行人跟踪方法得到的成功的跟踪的行人与短轨迹的匹配， 以下 称匹配集合； 0042 (2)如果匹配集合为空， 则转入步骤(7)； 否则， 按顺序从匹配集合中取出一个匹 配， 包括短轨迹和跟踪的行人； 0043 (3)如果跟踪的行人的状态不是删除， 转入步骤(4)； 否则， 转入步骤(6)； 0044 (4)计算短轨迹的置信度、 短轨迹与跟踪的行人之间的外观差异， 并判断两者是否 满足阈值， 如果均满足阈值， 转入； 否则， 转

43、入步骤(6)； 0045 (5)检测跟踪的行人的历史轨迹， 判断在哪些帧发生了断裂， 即该跟踪的行人在哪 些帧是没有边框的， 记录这些帧； 0046 (6)对所有记录的帧， 根据其前后帧的边框， 使用插值算法插值出虚拟的边框； 完 成插值后， 转入步骤(2)； 0047 (7)算法结束， 退出。 0048 本发明与现有技术相比的优点在于： 0049 (1)本发明设计了共现约束网络， 利用时空信息的约束对短轨迹中的遮挡进行了 抑制， 从而获得了更为精准的外观特征， 使得短轨迹可以得到更准确的匹配， 其优点是网络 部署简单， 提取短轨迹效率高； 0050 (2)本发明建立了一个基于区块链的跨摄像机

44、行人跟踪方法， 该方法基于区块链 技术， 且该方法计算资源消耗少， 适合边缘计算环境的部署， 不但具有较高的跟踪准确率， 而且具有较快的处理速度； 0051 (3)本发明针对行人跟踪时存在的长期遮挡问题， 提出了基于时间模拟退火的特 征修复算法， 该算法可以修复外观特征中被遮挡的区域， 从而避免遮挡对行人跟踪的影响， 优点是在密集场景下显著提升跟踪准确率； 0052 (4)本发明针对行人跟踪时存在的轨迹断裂问题， 提出了基于置信度的虚拟短轨 迹算法， 该算法通过置信度和特征的变化， 为跟踪的行人建立虚拟短轨迹， 从而避免轨迹断 裂对行人跟踪的影响， 优点是提升了目标跟踪的完整性。 附图说明 0

45、053 图1为本发明系统的流程图； 0054 图2为本发明设计的共现约束网络结构图； 0055 图3为本发明的短轨迹生成模块； 0056 图4为本发明的跟踪模块； 0057 图5为本发明的跟踪模块的基于时间模拟退火的特征修复算法的流程图； 0058 图6为本发明的跟踪模块的基于置信度虚拟短轨迹算法的流程图。 说明书 5/9 页 10 CN 112131929 A 10 具体实施方式 0059 下面给合附图及实施例对本发明进行详细说明。 0060 如图1所示， 为本发明的基于区块链的跨摄像机行人跟踪系统包括： 入口模块、 数 据收集模块、 短轨迹生成模块、 跟踪模块、 输出模块、 区块链共享模块

46、； 0061 上述各模块的具体实现过程如下： 0062 1、 入口模块 0063 (1)用户通过文本输入框输入用户名name和密码password， 系统在数据库中查找 用户名name对应的信息是否与用户输入一致； 如果信息一致， 那么用户登录成功， 并返回该 用户所有信息I； 如果信息不一致， 那么提示密码错误或用户不存在， 退出模块； 0064 (2)从I中获取用户的权限级别， 如果是管理员， 对用户开放数据导出接口， 在操作 界面中显示数据导出的选项； 如果是普通用户， 则仅提供在线查看功能， 操作界面仅显示查 看选项； 0065 (3)呈现最终的操作界面， 用户操作完毕后退出模块。 0

47、066 2、 数据收集模块， 通过摄像机拍摄监控场景的图像， 从摄像机提供的导出接口获 取24小时内监控空间内连续的视频图像帧Video； 获取摄像机编号ci， 将摄像机编号ci传递 到区块链模块， 将视频图像帧Video传递到短轨迹生成模块。 0067 3、 短轨迹生成模块， 如图3所示， 0068 (1)短轨迹生成模块的输入是数据收集模块传递的视频图像帧Video， 当视频图像 帧Video内包含的帧数目达到8时， 转入(2)； 否则继续等待新的视频图像帧； 0069 (2)将视频图像帧Video分为8个单独的帧F1,F8， 使用YOLOV3检测网络对8个单 独的帧进行处理， 得到若干个行

48、人检测框detsdet1,detN,N为检测框的数量； 0070 (3)根据得到的行人检测框dets， 在8个单独的帧做裁剪， 将裁剪下的区域patches patch1,patchN,N为裁剪下的区域的数量和行人检测框dets打包为行人的检测片图 detectionsdetectioni(deti,patchi)|i1,N； 0071 (4)使用聚类的方法对行人的检测片图进行聚类， 生成多个最小长度为3， 最大长 度为8的短轨迹trackletsT1,TM， 其中T代表一个短轨迹， M表示短轨迹的数量； 0072 (5)使用共现约束网络提取所有短轨迹的特征featuresf1,fM， 并将短

49、轨迹 和短轨迹的外观特征传入跟踪模块。 0073 上述共现约束网络的结构如图2所示， 共现约束网络接受短轨迹作为输入， 短轨迹 中每一帧经过同一个骨干网络。 在图2中， 骨网络由一个卷积层、 一个池化层， 和四个残差层 组成， 输出特征h的大小为(2048249)。 将特征h的均匀分割为6块， 每一块记为对每 一块使用11的卷积核进行卷积降维， 然后使用全局平均池化得到压缩特征将所有的 压缩特征传入Attention(注意力)层， 得到个体特征li和由注意力机制计算得到的空间共 现约束Si。 此时， 将空间共现约束Si传入由多个LSTM单元(LSTM-cell)堆叠而成的LSTM层中 进行时间

50、维度特征的计算， 共现约束网络中设计了两个LSTM层， 每一个都紧随一个随机丢 弃层。 个体特征和第二个随即丢弃层的输出在softmax层中计算， 得到一组时间权重Tw， 使 用该权重Tw和个体特征计算加权平均， 则可得到最终的短轨迹的特征f。 0074 4、 跟踪模块， 如图4所示， 说明书 6/9 页 11 CN 112131929 A 11 0075 (1)跟踪模块接收短轨迹生成模块传递的短轨迹trackletsT1,TM和短轨迹 的外观特征featuresf1,fM作为输入； 0076 (2)如果当前跟踪的行人h数量为0， 则转入(6)； 否则， 更新所有跟踪的行人的当前 状态： 如果