基于改进YOLOv5的不安全行为检测与报警方法.pdf

《基于改进YOLOv5的不安全行为检测与报警方法.pdf》由会员分享，可在线阅读，更多相关《基于改进YOLOv5的不安全行为检测与报警方法.pdf（10页珍藏版）》请在专利查询网上搜索。

1、(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202211315165.9 (22)申请日 2022.10.26 (71)申请人 西安建筑科技大学 地址 710055 陕西省西安市雁塔路13号 (72)发明人 顾清华何鑫鑫江松阮顺领 李学现王倩陈露 (74)专利代理机构 西安智大知识产权代理事务 所 61215 专利代理师 段俊涛 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于改进。

2、YOLOv5的不安全行为检测与 报警方法 (57)摘要 本发明公开了一种基于改进YOLOv5的皮带 运输区域不安全行为检测与报警方法， 包括如下 步骤： 确定皮带运输区域的危险因素； 建立皮带 运输区域数据集； 采用YOLOv5模型， 为其增加小 目标检测层， 替换其骨干网络为ShuffleNetV2， 将其特征融合层由PANET修改为BIFPN， 并添加注 意力机制， 得到改进的YOLOv5模型作为检测模 型； 利用皮带运输区域数据集训练该检测模型； 利用训练好的检测模型进行不安全行为检测， 并 根据检测结果进行报警。 本发明旨在对矿山中尤 其是皮带运输机区域的人员的不安全行为进行 检测， 。

3、借助相应图片对一些不安全行为进行预警 与限制， 以达到安全生产的目的， 实现更加高效 快速实时有效的监督。 权利要求书2页 说明书4页 附图3页 CN 115565137 A 2023.01.03 CN 115565137 A 1.一种基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法， 其特征在于， 包 括如下步骤： 步骤1， 确定皮带运输区域的危险因素； 步骤2， 建立皮带运输区域数据集； 步骤3， 采用YOLOv5模型， 为其增加小目标检测层； 步骤4， 替换所述YOLOv5模型的骨干网络为ShuffleNetV2； 步骤5， 将所述YOLOv5模型的特征融合层由PANET修改为。

4、BIFPN； 步骤6， 为所述YOLOv5模型添加注意力机制(SENet)， 得到改进的YOLOv5模型作为检测 模型； 步骤7， 利用所述皮带运输区域数据集训练该检测模型； 步骤8， 利用训练好的检测模型进行不安全行为检测， 并根据检测结果进行报警。 2.根据权利要求1所述基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法， 其特征在于， 所述步骤1， 危险因素包括连续动作和特殊行为， 所述连续动作包括摘安全帽、 抛扔杂物和吸烟； 所述特殊行为包括攀爬皮带运输机、 脚搭皮带运输机、 倚靠皮带运输机和 手搭皮带运输机； 所述危险因素作为数据集的标注类型； 相应的不安全行为即标注内容。 。

5、3.根据权利要求1所述基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法， 其特征在于， 所述建立皮带运输区域数据集包括数据收集和数据处理； 所述数据收集的方 法为： 自建数据集， 数据来源于网络收集和线下收集； 所述网络收集， 是从网上的安全教育视 频中收集其模拟的危险因素； 所述线下收集， 是到皮带运输区域实地拍摄采集危险因素； 对 于采集的视频， 通过设定截取间隔， 截取若干有效图像， 剔除没有检测目标的图像， 并放入 不存在检测目标的负样本作为背景图片； 所述数据处理的方法为： 将图片按照危险因素类型标注， 标注后生成XML文件， 其中XML文件包含图片名称、 图片 路径、 目。

6、标标签名称以及目标位置坐标； 在voc文件夹下创建annotations、 jpegimages、 imagesets三个文件夹用来存储图片和标签； annotations文件夹中存储每一个标签xml文 件， jpegimages文件夹中存储所有图片， 使用python脚本将创建好的voc格式的数据集随机 按照8： 2划分为训练集和测试集。 4.根据权利要求1所述基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法， 其特征在于， 所述步骤3， 方法如下： YOLOv5模型的anchors参数共有三行， 每行9个数值， 每一行代表应用不同的特征图， 对 初始三个anchor进行调整， 增。

7、加一组新的anchor至anchor区域， 数值比初始锚框最小的一 组小即满足条件； 在YOLOv5模型head模块进行修改， 增加操作层， 其中， 在其第17层后， 继续对特征图进 行上采样等处理， 使得特征图继续扩大， 同时在第20层时， 将获取到的大小为160*160的特 征图与骨干网络中第2层特征图进行特征融合与拼接， 以此获取更大的特征图进行小目标 检测； 在第20层继续对特征图进行卷积等处理， 同时在第20层时， 将获取的80*80的特征图 与骨干网络中第18层特征图进行特征融合与拼接， 此获取特征图进行中目标检测； 在第31 层， 即检测层， 增加小目标检测层， 一共使用四层21。

8、,24,27,30进行检测。 权利要求书 1/2 页 2 CN 115565137 A 2 5.根据权利要求4所述基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法， 其特征在于， 所述步骤4， 替换骨干网络为ShuffleNetV2的方法如下： 第一步： common文件修改， 向其中放入ShuffleNetV2模块； 第二步： YOLO文件修改： 在YOLO的parse_model函数中， 加入ShuffleNet模块和一个激 活函数以及一个池化层； 第三步： 新建yaml文件： 在models文件夹下新建ShuffleNetV2.yaml文件； 第四步： 将train.py中原来。

9、的yaml文件改为上边的yaml文件， 开始训练。 6.根据权利要求5所述基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法， 其特征在于， 所述步骤5， 修改方法如下： 将步骤四中ShuffleNetV网络的Bneck结构所输出 的有效特征层与原YOLOv5骨干网络输出有效特征层尺寸大小相同的部分进行提取， 用于 neck部分BiFPN的构建。 7.根据权利要求1所述基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法， 其特征在于， 所述步骤8， 如果检测结果为不安全行为， 则判断具体的违规类型， 广播提醒并 对相应行为进行截图。 权利要求书 2/2 页 3 CN 11556。

10、5137 A 3 一种基于改进YOLOv5的不安全行为检测与报警方法 技术领域 0001 本发明属于机器视觉、 深度学习中目标检测领域、 人工智能等技术领域， 特别涉及 一种基于改进YOLOv5的不安全行为检测与报警方法。 背景技术 0002 智慧矿山建设主要包括： 智慧生产系统、 智慧职业健康与安全系统、 智慧技术支持 与后勤保障系统建设。 皮带运输机是井下运输系统的重要组成部分， 在矿山的生产运输环 节中发挥着重要作用。 由于生产管理措施或矿工安全意识方面的因素， 可能会导致皮带输 送机事故发生， 如何在皮带输送区域进行一些不符合安全生产规范行为的检测， 在亟待解 决的问题。 这需要定期对。

11、矿场道路模型进行精确化的更新搭建， 然而这种更新与搭建因路 况复杂而较难实现。 发明内容 0003 为了克服上述现有技术的缺点， 本发明的目的在于提供一种基于改进YOLOv5的不 安全行为检测与报警方法， 旨在对矿山中尤其是皮带运输机区域的人员的不安全行为(例 如是否安全穿戴装备等)进行检测， 借助相应图片对一些不安全行为进行预警与限制， 以达 到安全生产的目的， 实现更加高效快速实时有效的监督。 0004 为了实现上述目的， 本发明采用的技术方案是： 0005 一种基于改进YOLOv5的皮带运输区域不安全行为检测与报警方法， 包括如下步 骤： 0006 步骤1， 确定皮带运输区域的危险因素；。

12、 0007 步骤2， 建立皮带运输区域数据集； 0008 步骤3， 采用YOLOv5模型， 为其增加小目标检测层； 0009 步骤4， 替换所述YOLOv5模型的骨干网络为ShuffleNetV2； 0010 步骤5， 将所述YOLOv5模型的特征融合层由PANET修改为BIFPN； 0011 步骤6， 为所述YOLOv5模型添加注意力机制(SENet)， 得到改进的YOLOv5模型作为 检测模型； 0012 步骤7， 利用所述皮带运输区域数据集训练该检测模型； 0013 步骤8， 利用训练好的检测模型进行不安全行为检测， 并根据检测结果进行报警。 0014 与现有技术相比， 本发明建立了矿山。

13、皮带运输机区域的人员不安全行为检测模 型， 对相关行为快速而且准确地实时监测， 并进行实时截图， 以使得皮带运输机保持安全状 态运行。 本发明采用改进的YOLOv5模型构建检测模型， 提高了检测速度和时效性， 极大地改 善了目前皮带运输的困境。 考虑到矿山皮带运输的复杂性， 旨在通过矿山人的不安全行为 检测以及安全穿戴装备检测， 满足矿山安全生产的要求。 说明书 1/4 页 4 CN 115565137 A 4 附图说明 0015 图1是本发明危险行为确定流程示意图。 0016 图2是本发明运行流程。 0017 图3是shufflenetv2的结构图。 具体实施方式 0018 下面结合附图和实。

14、施例详细说明本发明的实施方式。 0019 如图1和图2所示， 本发明提出了皮带运输区域的不安全行为检测与报警方法， 基 于改进YOLOv5模型实现， 主要用于矿山等行业中， 该方法的实施过程主要包含以下步骤： 0020 步骤1， 确定皮带运输区域的危险因素。 0021 常见危险因素主要包括攀爬皮带运输机、 脚搭皮带运输机、 倚靠皮带运输机、 抛扔 杂物、 手搭皮带运输机、 摘安全帽、 吸烟等。 本发明将这些危险因素分为连续动作和特殊行 为， 其中摘安全帽、 抛扔杂物和吸烟是连续动作， 直接收集相关的动作进行学习训练就可以 识别， 而攀爬皮带运输机、 脚搭皮带运输机、 倚靠皮带运输机、 手搭皮带。

15、运输机是特殊行为， 虽然也可以进行标记学习， 但是标记比较复杂， 而且识别效果也不好。 0022 在本发明中， 危险因素作为数据集的标注类型； 相应的不安全行为即标注内容。 0023 步骤2， 建立皮带运输区域数据集， 包括： 0024 步骤2.1， 数据收集 0025 本发明进行自建数据集， 数据来源于网络收集和线下收集。 其中， 网络收集， 是从 网上的安全教育视频中收集其模拟的危险因素。 具体地， 可从相应行业企业的官网、 政府安 全教育官网下载相关视频。 线下收集， 则是到皮带运输区域实地拍摄采集危险因素。 对于采 集的视频， 通过设定截取间隔， 截取若干有效图像， 剔除没有检测目标的。

16、图像， 并放入不存 在检测目标的负样本作为背景图片。 0026 加入自建数据集， 可以使模型学习到相应背景的环境特征， 加强模型的泛化能力， 减少设备和周围环境的影响， 最终使模型具有较强的鲁棒性。 在本发明的实施例中， 对所收 集到的视频采取每2S取1帧的措施， 共截取有效图像5500张。 部分不存在检测目标的样本也 被收集、 整理后放入数据集(约占全部样本的5)， 作为负样本。 0027 步骤2.2， 数据处理 0028 收集图片是建立皮带运输区域数据集的第一步， 之后还需要对收集的图片数据集 进行标注。 数据图片来自于网络数据集， 在本实施例中， 统一其分辨率为640*480。 0029。

17、 先将图片按照危险因素类型标注， 即， 将图片标注成攀爬皮带运输机、 脚搭皮带运 输机、 倚靠皮带运输机、 抛扔杂物、 手搭皮带运输机、 未带安全帽、 吸烟等等类型。 训练过程 中， 预处理网络会将数据统一压缩至640*640， 采用图像压缩的方法对数据的有效性影响不 大， 但在一定程度上可以提高整体训练效率。 数据集使用LabelImg工具对本课题中的数据 手动进行标注。 0030 完成标注后生成XML文件， XML文件包含图片名称、 图片路径、 目标标签名称以及目 标位置坐标等重要信息。 在voc文件夹下创建annotations、 jpegimages、 imagesets三个文 件夹用。

18、来存储图片和标签。 annotations文件夹中存储每一个标签xml文件， jpegimages文 件夹中存储所有图片， 使用python脚本将创建好的voc格式的数据集随机按照8： 2划分为训 说明书 2/4 页 5 CN 115565137 A 5 练集和测试集。 0031 步骤3， 采用YOLOv5模型并进行改进。 0032 步骤3.1， 为YOLOv5模型增加小目标检测层。 0033 由于场所可能距离监控比较远， 安全帽等穿戴设备或其它的一些具体危险行为会 变成很小的目标， 然而传统的YOLO对小目标检测效果不好， 原因是小目标样本的尺寸较小， 而YOLOv5的下采样倍数比较大， 较。

19、深的特征图很难学习到小目标的特征信息， 因此本发明 提出增加小目标检测层， 对较浅特征图与深特征图拼接后进行检测。 同时， 由于在皮带运输 场景下， 工作人员遍布皮带运输区域的远近高低各个层次、 各个角落， 所以映射到图像中的 危险行为也有着众多不同大小的尺度， 尤其是包含着多个安全帽目标的密集图像。 一幅密 集图可能包含着大尺度、 中尺度、 小尺度、 极小尺度等众多安全帽目标。 因此， 为了应对复杂 的密集场景， 本发明在原始YOLOv5s三个检测层的基础上， 又增加了一个检测层。 0034 具体的增加方法如下： 0035 (1)YOLOv5模型的anchors参数共有三行， 每行9个数值，。

20、 在本实施例中， 这三行是 YOLOv5中预设640乘640大小图像的锚框尺寸； 且每一行代表应用不同的特征图， 大特征图 上的anchor数值通常设置为小数值， 而小特征图上数值设置为大数值检测大的目标。 对初 始三个anchor进行调整， 增加一组新的anchor至anchor区域， 数值比初始锚框最小的一组 小即满足条件。 0036 更具体地， 在本实施例中， 原来存在的三组anchor分别为10,13,16,30,33,23、 30,61,62,45,59,119、 116、 90、 156、 198、 373、 326， 新增加一组5,6,8,12,16,11。 将4 组anchor。

21、放入模型的anchor区域。 0037 (2)在YOLOv5模型的head模块进行修改， 主要是增加几个操作层， 具体地， 在其第 17层后， 继续对特征图进行上采样等处理， 使得特征图继续扩大， 同时在第20层时， 将获取 到的大小为160*160的特征图与骨干网络中第2层特征图进行特征融合与拼接， 以此获取更 大的特征图进行小目标检测。 在第20层继续对特征图进行卷积等处理， 同时在第20层时， 将 获取的80*80的特征图与骨干网络中第18层特征图进行特征融合与拼接， 此获取特征图进 行中目标检测。 在第31层， 即检测层， 增加小目标检测层， 一共使用四层21,24,27,30进行 检。

22、测。 0038 步骤3.2， 替换YOLOv5模型的骨干网络为ShuffleNetV2， 参考图3， 方法如下： 0039 第一步： common文件修改， 向其中放入ShuffleNetV2模块。 0040 第二步： YOLO文件修改： 在YOLO的parse_model函数中， 加入ShuffleNet模块和一 个激活函数以及一个池化层。 0041 第三步： 新建yaml文件： 在models文件夹下新建ShuffleNetV2.yaml文件。 0042 第四步： 将train.py中的原yaml文件改为上边的yaml文件即可， 开始训练。 0043 步骤3.3， 将YOLOv5模型的特征。

23、融合层由PANET修改为BIFPN。 0044 加权特征金字塔(BIFPN)可以提升网络对不同尺度目标的特征融合能力。 将步骤 四中ShuffleNetV网络的Bneck结构所输出的有效特征层与原YOLOv5骨干网络输出有效特 征层尺寸大小相同的部分进行提取， 用于neck部分BiFPN的构建。 将BIFPN写入YOLOv5的 common文件中， 并修改YOLO.py文件， 最后， 在该模型文件的yaml中加入Concat_BIFPN即可 完成构建。 说明书 3/4 页 6 CN 115565137 A 6 0045 步骤3.4， 为YOLOv5模型添加注意力机制(SENet)， 得到改进的。

24、YOLOv5模型作为检 测模型。 0046 由于本发明修改了模型的特征融合层， 所以将SENet添加到加强特征提取网络。 同 时也为加强特征提取， 为较小目标提供保障。 注意力机制是实现网络自适应注意重要的物 体的一种方式， 添加方法如下： 0047 第一步： 首先需要确定添加的位置， 作为即插即用的注意力模块， 可以添加到 YOLOv5网络中的任何地方。 本实施例中， 将SENet注意力及机制添加到特征提取部分。 0048 第二步： 打开models文件夹中的common.py文件， 将SE代码复制粘贴到common.py 文件中， 为了方便起见可以添加在文件末尾。 0049 第三步： 向Y。

25、OLO文件添加SE判断语句， 打开models文件夹中的YOLO文件， 在对应部 位添加SE。 0050 第四步： 修改yaml文件， 添加1,1,SE,1024,4。 0051 第五步： 将train中的yaml部分改为本发明的yaml文件即可， 开始训练。 0052 步骤4， 利用皮带运输区域数据集训练该检测模型。 0053 将自主收集的自建数据集按8： 1： 1的比例随机划分为训练集、 验证集和测试集， 并 划分八次， 分别进行实验。 初始学习率为0.01， 终止学习率为0.2， 每次传入模型的数量为6， 数据加载器数量为4， 训练轮数为250轮， 训练和测试图像尺寸均设置为640乘64。

26、0。 0054 步骤5， 利用训练好的检测模型进行不安全行为检测， 并根据检测结果进行报警。 0055 为实现检测应用， 本发明可对得到的训练好的检测模型进行封装， 将模型将以微 服务的形式部署到现有的皮带运输辅助系统， 需要向模型前向计算模块添加统一的可调用 接口， 本发明使用Django框架重新封装了模型的前向计算过程， 优化了检测流程。 优化后的 检测过程首先获取硬件情况， 载入合适的权重文件， 针对支持半精度的GPU， 对权重文件取 半精度。 在权重件完全加载完成后， 服务器转入监听状态， 等待图片输入。 皮带运输区域辅 助系统只需将视频截图发送至指定端口， 即可获取识别框的位置信息。 修改后的模型只需 一次部署， 即可同时完成同一系统内多个区域的目标检测任务。 在同一时间内可以对区域 内多个监控摄像头提供服务。 可以最大化利用模型的计算能力。 0056 在应用中， 如果检测结果为不安全行为， 则判断具体的违规类型， 广播提醒并对相 应行为进行截图。 说明书 4/4 页 7 CN 115565137 A 7 图1 说明书附图 1/3 页 8 CN 115565137 A 8 图2 说明书附图 2/3 页 9 CN 115565137 A 9 图3 说明书附图 3/3 页 10 CN 115565137 A 10 。