基于超分辨率重构和自适应挤压激励的烟火检测方法.pdf

《基于超分辨率重构和自适应挤压激励的烟火检测方法.pdf》由会员分享，可在线阅读，更多相关《基于超分辨率重构和自适应挤压激励的烟火检测方法.pdf（20页珍藏版）》请在专利查询网上搜索。

1、(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202211455560.7 (22)申请日 2022.11.21 (71)申请人 珠海市金锐电力科技有限公司 地址 519000 广东省珠海市唐家湾镇金峰 西路20号7号厂房6层 (72)发明人 张树琪郑浩东江泽单永明 张苹 (74)专利代理机构 广州三环专利商标代理有限 公司 44202 专利代理师 杨振鹏 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/22(2022.01) G06V 10/764(2022.01) G06T 3/40(2022.01) 。

2、G06N 3/08(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2006.01) G06V 10/82(2022.01) G06V 10/74(2023.01) G06N 3/0464(2023.01) (54)发明名称 一种基于超分辨率重构和自适应挤压激励 的烟火检测方法 (57)摘要 本发明提供一种基于超分辨率重构和自适 应挤压激励的烟火检测方法， 其包括对采集到的 样本图像进行数据扩增， 对扩增后的样本中的模 糊图像使用超分辨率模型进行重构； 标注出数据 集中的烟火目标， 得到标注后的数据集； 构建烟 火检测网络。

3、， 在其骨干网络和检测层之间添加自 适应挤压激励模块， 并使用标注后的数据集训练 烟火检测网络； 使用HardSwish激活函数对烟火 检测网络进行训练； 训练烟火检测模型； 将待测 试的视频帧图像依次输入到最优的烟火检测模 型中， 若图像中存在烟火目标且置信度高于设置 阈值， 则以矩形框的形式标记出来， 并发出预警 提示。 本发明能够加快训练的收敛速度， 有效检 测图像中的烟火目标， 在检测速度不受影响的前 提下提高检测精度。 权利要求书3页 说明书10页 附图6页 CN 115719463 A 2023.02.28 CN 115719463 A 1.一种基于超分辨率重构和自适应挤压激励的烟。

4、火检测方法， 其特征在于， 该方法包 括以下步骤： 采集待检测烟火的样本图像， 对采集到的样本图像进行数据扩增， 对扩增后的样本中 的模糊图像使用超分辨率模型进行重构； 对重构后的样本集每张图像中待检测的火信息和烟信息进行标注， 得到标注后的数据 集， 并保存对应的类别及位置信息； 构建烟火检测网络， 在其骨干网络和检测层之间添加自适应挤压激励模块， 并使用标 注后的数据集训练烟火检测网络； 使用HardSwish激活函数对烟火检测网络进行训练， 以增强烟火检测网络的非线性特 征提取能力； 训练烟火检测模型， 根据先验框和真实框之间的偏差学习模型参数， 选择训练指标最 优的烟火检测模型； 将待。

5、测试的视频帧图像依次输入到最优的烟火检测模型中， 若图像中存在烟火目标且 置信度高于设置阈值， 则以矩形框的形式被标记出来， 并发出预警提示。 2.根据权利要求1所述的方法， 其特征在于， 所述对扩增后的样本中的模糊图像使用超 分辨率模型进行重构， 包括： 在筛选出扩增后的烟火图像数据集中的模糊图像后， 使用超分辨率对抗生成超分辨率 模型SRGAN进行图像重构， 利用感知损失和对抗损失提高恢复图像的清晰度和保真度， 得到 清晰的烟火数据集； 其中， 超分辨率模型SRGAN由生成器网络和鉴别器网络共同组成， 生成 器网络包括6个残差模块， 以及批归一化层和激活函数层； 鉴别器网络包含8个卷积层，。

6、 其中 4个步长为2， 并由Leaky ReLU函数激活， 并连接到2个全连接层上。 3.根据权利要求1所述的方法， 其特征在于： 所述构建烟火检测网络包括： 选择YOLOv5作为基线网络， 采用Darknet53作为骨干网络 进行特征提取， 在其骨干网络和检测层之间添加自适应挤压激励模块； 在网络的高层语义 检测层上添加特征金字塔池化模块， 将用于目标检测的特征图像与局部特征和全局特征融 合； 在检测层中添加一个尺度为104104的YOLO检测头进行多尺度特征融合； 在104104 和5252的两个检测尺度上添加感受野模块， 通过引入多分支卷积和空洞卷积， 从而有效 增大感受野。 4.根据权。

7、利要求1所述的方法， 其特征在于： 所述自适应挤压激励模块的具体结构为： 将输入的一个HWC1的特征图分为两条分支， 第一条分支首先经过一个全局池化 层， 输出是11C1， 其次经过一个全连接层， 输出是11C/r， 然后经过一个ReLU激活函 数后再输入到一个全连接层中， 输出是11C， 最后经过一个Sigmoid函数， 输出是11 C2； 第二条分支则直接输出原始的输入特征图HWC1， 即跳跃连接； 其中， 在自适应挤压激励模块中， 增加有信道权值变换的相似性度量， 用皮尔逊相关系 数来衡量两个张量的相似性， 表示为公式(1)； 对于小于相似阈值 的变换， 采用残差结构张 量加法。 对于大。

8、于相似阈值 的变换， 采用直接替换； 权利要求书 1/3 页 2 CN 115719463 A 2 其中， x1为输入张量， x2为输出张量， f1为用于计算两个张量中通道权重的皮尔逊相关 系数， 为相似阈值。 5.根据权利要求3所述的方法， 其特征在于： 在网络的高级语义图像检测层即特征尺度为1313的检测通道增加特征金字塔池化 模块， 具体包括： 特征金字塔池化模块首先将输入特征经过11的卷积， 使信道数减半， 然 后由四个分支并行操作， 分别是卷积核为55、 99、 1313的最大池化和一个跳跃连接， 即对卷积操作后的特征图采用55、 99以及1313的最大池化操作， 池化步长均为1， 。

9、完 成上述池化步骤后的特征图再与11卷积后的特征图完成进一步的通道合并操作； 将4条支路的输出在通道维度上进行拼接， 得到一个新的用于目标检测的特征图像与 局部特征和全局特征融合的特征图。 6.根据权利要求5所述的方法， 其特征在于， 所述在检测层中添加一个尺度为104104 的YOLO检测头进行多尺度特征融合， 包括： 采用骨干网络Darknet53经过下采样得到尺度分别为1313、 2626、 5252的三种特 征图， 再经过特征金字塔网络融合这三种检测尺度的特征图； 在三种检测尺度的基础上增加一个尺度为104104的特征图， 即特征图的尺度变为13 13、 2626、 5252、 104。

10、104， 即使用5252的特征图首先经过11的卷积核运算， 对其 上采样之后输出尺度变为104104， 最后通过通道拼接与新增加的特征融合， 有效利用深 层的高语义信息和浅层的高分辨率信息。 7.根据权利要求6所述的方法， 其特征在于： 在两个低检测尺度即104104和5252的特征图上加入由多分支卷积和空洞卷积组 成的感受野模块， 其中， 感受野模块将不同卷积核尺寸的卷积层形成多个不同的分支， 另外 引入3个卷积核的大小均为33， 卷积扩张率分别为1,3,5的空洞卷积； 感受野模块的具体结构为： 输入特征图分为四个分支， 第一个分支经过11的卷积和 尺寸为33， 卷积扩张率为1的空洞卷积； 。

11、第二个分支经过11的卷积、 33的卷积和尺寸 为33， 卷积扩张率为3的空洞卷积； 第三个分支经过11的卷积、 55的卷积和尺寸为3 3， 卷积扩张率为5的空洞卷积； 前三个分支的输出特征图通道合并， 再经过11的卷积； 第 四个分支直接跳跃连接， 所有分支的输出特征图相加后用ReLU函数激活。 8.根据权利要求1至7任一项所述的方法， 其特征在于， 所述使用HardSwish激活函数 对烟火检测网络进行训练， 包括： 使用分段线性函数HardSigmoid拟合Sigmoid激活函数， 减少由于指数造成的高计算成 本， 具体表示为公式(2)： 权利要求书 2/3 页 3 CN 11571946。

12、3 A 3 其中， x是激活函数的输入； 使用HardSwish激活函数， 具体表示为公式(3)： 其中， x是激活函数的输入。 9.根据权利要求8所述的方法， 其特征在于： 使用非极大值抑制算法softNMS完成烟火检测网络的后续处理， 过滤无效重叠的检测 框， 其具体包括： 将检测框按得分排序， 保留得分最高的框， 通过权重来降低检测框原有的 置信度； 对于有重叠的框， 重叠区域越大， 置信度衰减越严重， 最终判断检测框是否应该保 留； 将扩增、 重构、 标注后的数据集送入到烟火检测网络中进行训练， 训练过程利用梯度下 降法学习模型参数， 当损失函数收敛， 始终保持在某个值上下浮动， 训练。

13、完成， 此时得到最 优的烟火检测模型包括网络结构和权重文件。 10.根据权利要求1至7任一项所述的方法， 其特征在于： 所述将待测试的视频帧图像依次输入到最优的烟火检测模型， 包括： 将待测试的视频帧图像逐帧依次输入到训练好的烟火检测模型中， 图像中的烟火目标 会以矩形框的形式被标记出来； 若图像中存在疑似烟火目标， 则根据模型计算得到的置信度与设置的阈值进行比较； 若置信度大于设置阈值， 则认为该帧图像中存在烟火目标， 系统及时发出预警报告； 反 之继续检测下一帧图像。 权利要求书 3/3 页 4 CN 115719463 A 4 一种基于超分辨率重构和自适应挤压激励的烟火检测方法 技术领域。

14、 0001 本发明涉及计算机视觉和目标检测技术领域， 具体涉及一种基于超分辨率重构和 自适应挤压激励的烟火检测方法。 背景技术 0002 火灾是一种会造成巨大损失的灾害， 一旦发生严重威胁到我们生命和财产安全。 因此如何防治火灾一直是科学家们研究的一个重要课题， 如果能尽早发现烟火并及时发出 预警信号， 在一定程度上可以大大降低火灾带来的损失。 近些年来随着人类在计算机视觉 等人工智能领域取得的飞速进展， 通过计算机识别图像中的特定目标成为了可能。 然而火 灾中的火焰和烟雾比较特殊， 其颜色和形状等视觉特征处于不断变化之中， 识别烟火比识 别一般的物体要更加困难。 0003 传统的烟火检测主要。

15、有基于传感器和基于外观特征两种方式。 传统的基于传感器 烟火检测主要使用湿度传感器、 气体传感器、 温度传感器等传感器来分析相对湿度、 烟雾颗 粒以及环境温度等参数以判断是否发生火灾。 但是这些传感器必须很靠近着火点才能发出 预警， 这种检测方法局限性十分明显。 为了及时预警就必须将这些传感器大范围高密度地 铺设， 使得整个系统非常庞大， 性价比低。 传统的基于外观特征烟火检测主要通过颜色和温 度等外观特征进行学习， 并使用特定的分类器判断图像区域内是否存在烟火。 但是， 仅依靠 烟火的颜色特征， 往往会将灯光、 晚霞等目标误判为烟火。 因此， 仅通过外观特征不能够全 面地描述物体的所有属性，。

16、 很难满足实际的需求。 而基于深度学习学到的特征， 能很好地表 现出物体的外在和内在的关联特征， 具有更好的表达性。 0004 综上所述， 基于深度学习的烟火检测仍然是一个具有挑战性的课题。 因此， 在目标 检测任务中提高烟火检测的准确性和鲁棒性， 成为现有技术有待解决的问题。 发明内容 0005 为了克服现有技术的不足， 本发明的目的在于提供一种基于超分辨率重构和自适 应挤压激励的烟火检测方法， 该方法可以解决现有技术烟火检测的准确性和鲁棒性偏低等 问题， 能够加快训练的收敛速度， 有效检测图像中的烟火目标， 在检测速度不受影响的前提 下提高检测精度。 0006 为解决上述问题， 本发明所采。

17、用的技术方案如下： 0007 一种基于超分辨率重构和自适应挤压激励的烟火检测方法， 该方法包括以下步 骤： 0008 采集待检测烟火的样本图像， 对采集到的样本图像进行数据扩增， 对扩增后的样 本中的模糊图像使用超分辨率模型进行重构； 0009 对重构后的样本集每张图像中待检测的火信息和烟信息进行标注， 得到标注后的 数据集， 并保存对应的类别及位置信息； 0010 构建烟火检测网络， 在其骨干网络和检测层之间添加自适应挤压激励模块， 并使 说明书 1/10 页 5 CN 115719463 A 5 用标注后的数据集训练烟火检测网络； 0011 使用HardSwish激活函数对烟火检测网络进行。

18、训练， 以增强烟火检测网络的非线 性特征提取能力； 0012 训练烟火检测模型， 根据先验框和真实框之间的偏差学习模型参数， 选择训练指 标最优的烟火检测模型； 0013 将待测试的视频帧图像依次输入到最优的烟火检测模型中， 若图像中存在烟火目 标且置信度高于设置阈值， 则以矩形框的形式被标记出来， 并发出预警提示。 0014 根据本发明提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法， 筛 选公开数据集和录制燃烧视频进行截图， 收集包含待检测烟火的图像样本集， 其中烟火样 本集的类型包括室内起火、 森林起火、 车辆起火； 时间包括白天起火和夜晚起火； 烟雾颜色 包括白色烟雾和黑色烟雾。

19、。 数据扩增的具体方法有： 旋转角度、 调节亮度和对比度、 增加高 斯模糊和椒盐噪声， 获得扩增后的烟火图像数据集。 0015 根据本发明提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法， 所 述对扩增后的样本中的模糊图像使用超分辨率模型进行重构， 包括： 在筛选出扩增后的烟 火图像数据集中的模糊图像后， 使用超分辨率对抗生成超分辨率模型SRGAN进行图像重构， 利用感知损失和对抗损失提高恢复图像的清晰度和保真度， 得到清晰的烟火数据集； 其中， 超分辨率模型SRGAN由生成器网络和鉴别器网络共同组成， 生成器网络包括6个残差模块， 以及批归一化层和激活函数层； 鉴别器网络包含8个卷积。

20、层， 其中4个步长为2， 并由Leaky ReLU函数激活， 并连接到2个全连接层上。 0016 根据本发明提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法， 使 用图像标注软件labelImg标注清晰的烟火数据集中的所有烟火目标， 被标注的区域作为正 样本， 未标注的区域作为负样本， 对应的类别信息和位置信息都保存在后缀为xml的文件 中。 0017 根据本发明提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法， 所 述构建烟火检测网络包括： 选择YOLOv5作为基线网络， 采用Darknet53作为骨干网络进行特 征提取， 在其骨干网络和检测层之间添加自适应挤压激励模块； 在。

21、网络的高层语义检测层 上添加特征金字塔池化模块， 将用于目标检测的特征图像与局部特征和全局特征融合； 在 检测层中添加一个尺度为104104的YOLO检测头进行多尺度特征融合； 在104104和52 52的两个检测尺度上添加感受野模块， 通过引入多分支卷积和空洞卷积， 从而有效增大感 受野。 0018 根据本发明提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法， 所 述自适应挤压激励模块的具体结构为： 0019 将输入的一个HWC1的特征图分为两条分支， 第一条分支首先经过一个全局池 化层， 输出是11C1， 其次经过一个全连接层， 输出是11C/r， 然后经过一个ReLU激活 函数后。

22、再输入到一个全连接层中， 输出是11C， 最后经过一个Sigmoid函数， 输出是11 C2； 第二条分支则直接输出原始的输入特征图HWC1， 即跳跃连接； 0020 其中， 在自适应挤压激励模块中， 增加有信道权值变换的相似性度量， 用皮尔逊相 关系数来衡量两个张量的相似性， 表示为公式(1)； 对于小于相似阈值 的变换， 采用残差结 构张量加法。 对于大于相似阈值 的变换， 采用直接替换； 说明书 2/10 页 6 CN 115719463 A 6 0021 0022 其中， x1为输入张量， x2为输出张量， f1为用于计算两个张量中通道权重的皮尔逊 相关系数， 为相似阈值。 0023 。

23、根据本发明提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法， 在 网络的高级语义图像检测层即特征尺度为1313的检测通道增加特征金字塔池化模块， 具 体包括： 特征金字塔池化模块首先将输入特征经过11的卷积， 使信道数减半， 然后由四个 分支并行操作， 分别是卷积核为55、 99、 1313的最大池化和一个跳跃连接， 即对卷积 操作后的特征图采用55、 99以及1313的最大池化操作， 池化步长均为1， 完成上述池 化步骤后的特征图再与11卷积后的特征图完成进一步的通道合并操作； 0024 将4条支路的输出在通道维度上进行拼接， 得到一个新的用于目标检测的特征图 像与局部特征和全局特征。

24、融合的特征图。 0025 根据本发明提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法， 所 述在检测层中添加一个尺度为104104的YOLO检测头进行多尺度特征融合， 包括： 0026 采用骨干网络Darknet53经过下采样得到尺度分别为1313、 2626、 5252的三 种特征图， 再经过特征金字塔网络融合这三种检测尺度的特征图； 0027 在三种检测尺度的基础上增加一个尺度为104104的特征图， 即特征图的尺度变 为1313、 2626、 5252、 104104， 即使用5252的特征图首先经过11的卷积核运算， 对其上采样之后输出尺度变为104104， 最后通过通道拼接与。

25、新增加的特征融合， 有效利 用深层的高语义信息和浅层的高分辨率信息。 0028 根据本发明提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法， 在 两个低检测尺度即104104和5252的特征图上加入由多分支卷积和空洞卷积组成的感 受野模块， 其中， 感受野模块将不同卷积核尺寸的卷积层形成多个不同的分支， 另外引入3 个卷积核的大小均为33， 卷积扩张率分别为1,3,5的空洞卷积； 0029 感受野模块的具体结构为： 输入特征图分为四个分支， 第一个分支经过11的卷 积和尺寸为33， 卷积扩张率为1的空洞卷积； 第二个分支经过11的卷积、 33的卷积和 尺寸为33， 卷积扩张率为3的空洞。

26、卷积； 第三个分支经过11的卷积、 55的卷积和尺寸 为33， 卷积扩张率为5的空洞卷积； 前三个分支的输出特征图通道合并， 再经过11的卷 积； 第四个分支直接跳跃连接， 所有分支的输出特征图相加后用ReLU函数激活。 0030 根据本发明提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法， 所 述使用HardSwish激活函数对烟火检测网络进行训练， 包括： 0031 使用分段线性函数HardSigmoid拟合Sigmoid激活函数， 减少由于指数造成的高计 算成本， 具体表示为公式(2)： 说明书 3/10 页 7 CN 115719463 A 7 0032 0033 其中， x是。

27、激活函数的输入； 0034 使用HardSwish激活函数， 具体表示为公式(3)： 0035 0036 其中， x是激活函数的输入。 0037 根据本发明提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法， 使 用非极大值抑制算法softNMS完成烟火检测网络的后续处理， 过滤无效重叠的检测框， 其 具体包括： 将检测框按得分排序， 保留得分最高的框， 通过权重来降低检测框原有的置信 度； 对于有重叠的框， 重叠区域越大， 置信度衰减越严重， 最终判断检测框是否应该保留； 0038 将扩增、 重构、 标注后的数据集送入到烟火检测网络中进行训练， 训练过程利用梯 度下降法学习模型参数， 。

28、当损失函数收敛， 始终保持在某个值上下浮动， 训练完成， 此时得 到最优的烟火检测模型包括网络结构和权重文件。 0039 根据本发明提供的一种基于超分辨率重构和自适应挤压激励的烟火检测方法， 所 述将待测试的视频帧图像依次输入到最优的烟火检测模型， 包括： 0040 将待测试的视频帧图像逐帧依次输入到训练好的烟火检测模型中， 图像中的烟火 目标会以矩形框的形式被标记出来； 0041 若图像中存在疑似烟火目标， 则根据模型计算得到的置信度与设置的阈值进行比 较； 0042 若置信度大于设置阈值， 则认为该帧图像中存在烟火目标， 系统及时发出预警报 告； 反之继续检测下一帧图像。 0043 由此可。

29、见， 相对于现有技术， 本发明的有益效果如下： 0044 本发明公开一种具有基于超分辨率重构和自适应挤压激励的烟火检测方法， 首 先， 使用超分辨率模型SRGAN对质量不高的模糊图片进行重构， 重构得到的超分辨率图像在 取较大的放大因子时仍然可以有效捕捉纹理信息， 提高数据集的清晰度； 其次， 搭建烟火检 测网络， 采用YOLOv5作为基线网络， 并且引入自适应挤压激励模块、 特征金字塔池化(SPP) 模块和感受野(RFB)模块， 可以提高模型的稳定性、 丰富特征图像的表达能力和增强特征图 像的接收域； 然后， 采用HardSwish激活函数， 增强网络的非线性特征提取能力； 最后， 使用 s。

30、oftNMS后处理方法， 过滤无效重叠的检测框。 0045 因此， 与现有的YOLOv5算法相比， 本发明加快了模型在训练过程中的收敛速度， 在 保证检测速度的前提下， 可以有效提高多种复杂场景下的烟火检测准确率， 对维护人民的 说明书 4/10 页 8 CN 115719463 A 8 生命和财产安全有非常重要的意义。 0046 下面结合附图和具体实施方式对本发明作进一步详细说明。 附图说明 0047 图1是本发明一种基于超分辨率重构和自适应挤压激励的烟火检测方法实施例的 流程图。 0048 图2是本发明一种基于超分辨率重构和自适应挤压激励的烟火检测方法实施例的 网络结构示意图。 0049 。

31、图3是本发明一种基于超分辨率重构和自适应挤压激励的烟火检测方法实施例中 所实现烟火检测算法的整体流程框图。 0050 图4是本发明一种基于超分辨率重构和自适应挤压激励的烟火检测方法实施例中 关于超分辨率对抗生成网络SRGAN模块的结构示意图。 0051 图5是本发明一种基于超分辨率重构和自适应挤压激励的烟火检测方法实施例中 关于自适应挤压激励SASE模块的结构示意图。 0052 图6是本发明一种基于超分辨率重构和自适应挤压激励的烟火检测方法实施例中 关于特征金字塔池化SPP模块的结构示意图。 0053 图7是本发明一种基于超分辨率重构和自适应挤压激励的烟火检测方法实施例中 关于感受野RFB模块。

32、的结构示意图。 具体实施方式 0054 为使本发明的目的、 技术方案和优点更加清楚， 下面将结合本发明中的附图， 对本 发明中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例， 都属于本发明保护的范围。 0055 参见图1与图2， 本发明提供一种基于超分辨率重构和自适应挤压激励的烟火检测 方法， 其包括以下步骤： 0056 步骤S1， 采集待检测烟火的样本图像， 对采集到的样本图像进行数据扩增， 对扩增 后的样本中的模糊图像使用超分辨率模型进行重构。

33、； 0057 步骤S2， 对重构后的样本集每张图像中待检测的火信息和烟信息进行标注， 得到 标注后的数据集， 并保存对应的类别及位置信息； 0058 步骤S3， 构建烟火检测网络， 在其骨干网络和检测层之间添加自适应挤压激励模 块， 并使用标注后的数据集训练烟火检测网络； 0059 步骤S4， 使用HardSwish激活函数对烟火检测网络进行训练， 以增强烟火检测网 络的非线性特征提取能力； 0060 步骤S5， 训练烟火检测模型， 根据先验框和真实框之间的偏差学习模型参数， 选择 训练指标最优的烟火检测模型； 0061 步骤S6， 将待测试的视频帧图像依次输入到最优的烟火检测模型中， 若图像。

34、中存 在烟火目标且置信度高于设置阈值， 则以矩形框的形式被标记出来， 并发出预警提示。 0062 在上述步骤S1中， 筛选公开数据集和录制燃烧视频进行截图， 收集包含待检测烟 说明书 5/10 页 9 CN 115719463 A 9 火的图像样本集， 其中烟火样本集的类型包括室内起火、 森林起火、 车辆起火； 时间包括白 天起火和夜晚起火； 烟雾颜色包括白色烟雾和黑色烟雾。 数据扩增的具体方法有： 旋转角 度、 调节亮度和对比度、 增加高斯模糊和椒盐噪声， 获得扩增后的烟火图像数据集。 0063 在上述步骤S1中， 对扩增后的样本中的模糊图像使用超分辨率模型进行重构， 包 括： 在筛选出扩增。

35、后的烟火图像数据集中的模糊图像后， 使用超分辨率对抗生成超分辨率 模型SRGAN进行图像重构， 利用感知损失和对抗损失提高恢复图像的清晰度和保真度， 得到 清晰的烟火数据集； 其中， 超分辨率模型SRGAN由生成器网络和鉴别器网络共同组成， 生成 器网络包括6个残差模块， 以及批归一化层和激活函数层； 鉴别器网络包含8个卷积层， 其中 4个步长为2， 并由Leaky ReLU函数激活， 并连接到2个全连接层上。 0064 在上述步骤S2中， 使用图像标注软件labelImg标注清晰的烟火数据集中的所有烟 火目标， 被标注的区域作为正样本， 未标注的区域作为负样本， 对应的类别信息和位置信息 都。

36、保存在后缀为xml的文件中。 0065 在上述步骤S3中， 构建烟火检测网络包括： 选择YOLOv5作为基线网络， 采用 Darknet53作为骨干网络进行特征提取， 在其骨干网络和检测层之间添加自适应挤压激励 模块； 在网络的高层语义检测层上添加特征金字塔池化模块， 将用于目标检测的特征图像 与局部特征和全局特征融合； 在检测层中添加一个尺度为104104的YOLO检测头进行多尺 度特征融合； 在104104和5252的两个检测尺度上添加感受野模块， 通过引入多分支卷 积和空洞卷积， 从而有效增大感受野。 0066 具体的， 自适应挤压激励模块的具体结构为： 0067 将输入的一个HWC1的。

37、特征图分为两条分支， 第一条分支首先经过一个全局池 化层， 输出是11C1， 其次经过一个全连接层， 输出是11C/r， 然后经过一个ReLU激活 函数后再输入到一个全连接层中， 输出是11C， 最后经过一个Sigmoid函数， 输出是11 C2； 第二条分支则直接输出原始的输入特征图HWC1， 即跳跃连接。 0068 其中， 在自适应挤压激励模块中， 增加有信道权值变换的相似性度量， 用皮尔逊相 关系数来衡量两个张量的相似性， 表示为公式(1)； 对于小于相似阈值 的变换， 采用残差结 构张量加法。 对于大于相似阈值 的变换， 采用直接替换； 0069 0070 其中， x1为输入张量， x。

38、2为输出张量， f1为用于计算两个张量中通道权重的皮尔逊 相关系数， 为相似阈值。 0071 在本实施例中， 在网络的高级语义图像检测层即特征尺度为1313的检测通道增 加特征金字塔池化模块， 具体包括： 特征金字塔池化模块首先将输入特征经过11的卷积， 使信道数减半， 然后由四个分支并行操作， 分别是卷积核为55、 99、 1313的最大池化 和一个跳跃连接， 即对卷积操作后的特征图采用55、 99以及1313的最大池化操作， 池 化步长均为1， 完成上述池化步骤后的特征图再与11卷积后的特征图完成进一步的通道 合并操作； 0072 将4条支路的输出在通道维度上进行拼接， 得到一个新的用于目。

39、标检测的特征图 像与局部特征和全局特征融合的特征图。 说明书 6/10 页 10 CN 115719463 A 10 0073 在本实施例中， 在检测层中添加一个尺度为104104的YOLO检测头进行多尺度特 征融合， 包括： 0074 采用骨干网络Darknet53经过下采样得到尺度分别为1313、 2626、 5252的三 种特征图， 再经过特征金字塔网络融合这三种检测尺度的特征图； 0075 在三种检测尺度的基础上增加一个尺度为104104的特征图， 即特征图的尺度变 为1313、 2626、 5252、 104104， 即使用5252的特征图首先经过11的卷积核运算， 对其上采样之后输。

40、出尺度变为104104， 最后通过通道拼接与新增加的特征融合， 有效利 用深层的高语义信息和浅层的高分辨率信息。 0076 在本实施例中， 在两个低检测尺度即104104和5252的特征图上加入由多分支 卷积和空洞卷积组成的感受野模块， 其中， 感受野模块将不同卷积核尺寸的卷积层形成多 个不同的分支， 另外引入3个卷积核的大小均为33， 卷积扩张率分别为1,3,5的空洞卷积； 0077 其中， 感受野模块的具体结构为： 输入特征图分为四个分支， 第一个分支经过11 的卷积和尺寸为33， 卷积扩张率为1的空洞卷积； 第二个分支经过11的卷积、 33的卷 积和尺寸为33， 卷积扩张率为3的空洞卷积。

41、； 第三个分支经过11的卷积、 55的卷积和 尺寸为33， 卷积扩张率为5的空洞卷积； 前三个分支的输出特征图通道合并， 再经过11 的卷积； 第四个分支直接跳跃连接， 所有分支的输出特征图相加后用ReLU函数激活。 0078 在上述步骤S4中， 使用HardSwish激活函数对烟火检测网络进行训练， 包括： 0079 使用分段线性函数HardSigmoid拟合Sigmoid激活函数， 减少由于指数造成的高计 算成本， 具体表示为公式(2)： 0080 0081 其中， x是激活函数的输入； 0082 使用HardSwish激活函数， 具体表示为公式(3)： 0083 0084 其中， x是激。

42、活函数的输入。 0085 然后， 使用非极大值抑制算法softNMS完成烟火检测网络的后续处理， 过滤无效 重叠的检测框， 其具体包括： 将检测框按得分排序， 保留得分最高的框， 通过权重来降低检 测框原有的置信度； 对于有重叠的框， 重叠区域越大， 置信度衰减越严重， 最终判断检测框 是否应该保留； 0086 将扩增、 重构、 标注后的数据集送入到烟火检测网络中进行训练， 训练过程利用梯 度下降法学习模型参数， 当损失函数收敛， 始终保持在某个值上下浮动， 训练完成， 此时得 说明书 7/10 页 11 CN 115719463 A 11 到最优的烟火检测模型包括网络结构和权重文件。 008。

43、7 在上述步骤S6中， 将待测试的视频帧图像依次输入到最优的烟火检测模型， 包括： 0088 将待测试的视频帧图像逐帧依次输入到训练好的烟火检测模型中， 图像中的烟火 目标会以矩形框的形式被标记出来； 0089 若图像中存在疑似烟火目标， 则根据模型计算得到的置信度与设置的阈值进行比 较； 0090 若置信度大于设置阈值， 则认为该帧图像中存在烟火目标， 系统及时发出预警报 告； 反之继续检测下一帧图像。 0091 在实际应用中， 如图3所示， 本发明的一种基于超分辨率重构和自适应挤压激励的 烟火检测方法， 该方法流程分为数据准备、 网络设计和模型检测三部分， 具体步骤描述如 下： 0092 。

44、一、 数据准备： 0093 对收集到的烟火样本图像进行数据扩增， 对扩增后的样本中的模糊图像使用超分 辨率模型SRGAN进行重构， 再将重构后的样本集中每张图像待检测的火和烟进行标注， 分别 标注为fire和smoke两种标签， 得到标注后的数据集； 0094 筛选公开数据集和录制燃烧视频进行截图， 收集包含待检测烟火的图像样本集， 其中烟火样本集的类型包括室内起火、 森林起火、 车辆起火； 时间包括白天起火和夜晚起 火； 烟雾颜色包括白色烟雾和黑色烟雾。 数据扩增的具体方法有： 旋转角度、 调节亮度和对 比度、 增加高斯模糊和椒盐噪声， 获得扩增后的烟火图像数据集； 0095 筛选出扩增后的。

45、烟火图像数据集中的模糊图像， 使用超分辨率对抗生成网络 SRGAN进行图像重构， 利用感知损失和对抗损失提高恢复图像的清晰度和保真度， 得到清晰 的烟火数据集。 如图4所示， SRGAN由生成器网络和鉴别器网络共同组成， 生成器网络包括6 个残差模块， 以及批归一化(BN)层和激活函数层。 鉴别器网络包含8个卷积层， 其中4个步长 为2， 并由Leaky ReLU函数激活， 最终连接到2个全连接层上。 0096 使用图像标注软件labelImg标注清晰的烟火数据集中的所有烟火目标， 被标注的 区域作为正样本， 未标注的区域作为负样本， 对应的类别信息和位置信息都保存在后缀为 xml的文件中。 。

46、0097 二、 网络设计： 0098 构建烟火检测网络， 使用标注后的数据集训练烟火检测网络， 使用HardSwish激 活函数训练， 增强网络的非线性特征提取能力。 根据梯度下降法学习和调整模型的参数， 得 到训练指标最佳的检测模型。 0099 其中， 烟火检测网络包括： 选择YOLOv5作为基线网络， 在其骨干网络之后、 检测层 之前添加自适应挤压激励(SASE)模块， 提高网络的通道集中度， 使网络训练更加稳定； 在网 络的高层语义检测层上添加特征金字塔池化(SPP)模块， 将用于目标检测的特征图像与局 部特征和全局特征融合， 丰富特征图像的表达能力； 在检测层中添加一个尺度为10410。

47、4 的YOLO检测头进行多尺度特征融合， 使检测层对应的像素值更多； 在104104和5252的 两个检测尺度上添加感受野(RFB)模块， 通过引入多分支卷积和空洞卷积， 可以有效地增大 感受野。 0100 其中， 选择YOLOv5作为初始的基线网络， 采用Darknet53作为骨干网络进行特征提 说明书 8/10 页 12 CN 115719463 A 12 取， 经过五次下采样得到三种不同尺度用于训练的特征图像， 有利于进一步增强特征提取 能力。 在骨干网络之后、 检测网络之前添加SASE模块， 如图5所示， SASE模块的具体结构为： 输入一个HWC1的特征图分为两条分支， 第一条分支首。

48、先经过一个全局池化层 (Globalpooling)， 输出是11C1， 其次经过一个全连接层(FC)， 输出是11C/r， 然后 经过一个ReLU激活函数后再输入到一个全连接层中， 输出是11C， 最后经过一个 Sigmoid函数， 输出是11C2； 第二条分支则是直接输出原始的输入特征图HWC1， 即 跳跃连接。 在SASE模块中， 增加了信道权值变换的相似性度量。 用皮尔逊相关系数来衡量两 个张量的相似性， 如公式(1)。 对于小于相似阈值 的变换， 采用残差结构张量加法。 对于大 于相似阈值 的变换， 采用直接替换。 0101 为了进一步提高网络表达特征的能力， 在网络的高级语义图像检。

49、测层即特征尺度 为1313的检测通道增加SPP模块。 如图6所示， SPP模块首先将输入特征经过11的卷积， 使信道数减半， 然后由四个分支并行操作， 分别是卷积核为55、 99、 1313的最大池化 和一个跳跃连接， 即对卷积操作后的特征图采用55、 99以及1313的最大池化操作， 池 化步长均为1， 完成上述池化步骤后的特征图再与11卷积后的特征图完成进一步的通道 合并操作。 将4条支路的输出在通道维度上进行拼接， 得到一个新的特征图。 SPP模块将用于 目标检测的特征图像与局部特征和全局特征融合， 丰富了特征图像的表达能力。 0102 骨干网络Darknet53经过五次下采样得到尺度分。

50、别为1313、 2626、 5252的三 种特征图， 再经过特征金字塔网络(FPN)融合这三种尺度的特征图， 增强模型检测不同大小 目标的能力。 本发明在原有三种检测尺度的基础上增加一个尺度为104104的特征图， 增 强模型适应更大差异目标的能力， 即特征图的尺度变为1313、 2626、 5252、 104104。 5252的特征图首先经过11的卷积核运算， 再对其上采样之后输出尺度变为104104， 最后通过通道拼接与新增加的特征融合， 有效利用深层的高语义信息和浅层的高分辨率信 息。 0103 在两个低检测尺度即104104和5252的特征图上加入由多分支卷积和空洞卷 积组成的感受野(。