一种烟雾检测和预警方法 【技术领域】
本发明涉及计算机视觉、信号处理和模式识别领域，特别涉及基于计算机视觉的烟雾检测和预警方法。
背景技术
长期以来，在高大空间，或具有高速气流的场合，尤其是在堆场、森林等户外场景下的早期火灾烟雾探测在世界范围内都是一个难题。因为在这类环境下，存在着许多影响火灾探测的因素，主要包括：探测方式、空间高度、热量屏障、覆盖范围、气流速度、易爆/有毒气体、可以接受的误报率、警报信息管理以及远程信号传输等等。传统的探测手段往往在这样的环境中失去了作用。在这种情况下，由于图像型火灾探测技术对于火灾探测具有非接触式探测的特点，不受空间高度、热障、易爆/有毒等环境条件的限制，使得该项技术成为在大型工厂、仓库、森林等大空间和室外开放空间进行火灾探测的有效手段。
基于视觉的烟雾检测技术不仅具有在室内大空间和室外开放空间探测火灾的能力，而且也可以通过分析火灾图像的早期特征达到火灾早期报警早期防护的作用，即在烟雾产生初期就可以根据烟雾的早期图像触发火警，并提供火警发生位置及火灾状态等重要信息。
烟雾的产生通常包括气态燃烧产物和固态高温产物：
1.气态燃烧产物主要成分为水，一氧化碳和二氧化碳。气态燃烧产物的典型物理特征是气体特征光谱。
2.固态高温产物来源于可燃物中的杂质以及高温状态下可燃物裂解所形成的物质，粒径在0.025微米到100微米，通常表现出来的物理特征有对光线的散射和吸收作用。所以烟雾在可见光领域表现为具有一定的颜色，纹理和形状的特征。
可视烟雾探测系统(VSD，Visual Smoke Detection)是基于对火灾烟雾影像分析的视觉图像型火灾探测系统，仅需通过对普通闭路电视摄像机(CCTV)采集到的视频图像进行分析，利用高性能计算机以及先进的图像处理技术、广角探测和特殊的干扰算法，自动识别烟雾的不同特征，快速、准确的完成火灾检测，并及时发出警报通知值班员。
基于烟雾视觉识别的VSD系统与传统的火灾探测系统在探测能力上相比具有显著的优势。VSD系统实现了对火灾初期的极早期检测，直接探测火源，可以检测到人眼看不到的细微烟雾颗粒，并且可以检测所有种类的烟雾。VSD系统是目前唯一的户外烟雾探测解决方案，不受高速气流运动的影响，而对于传统探测器来讲，烟雾会被高速气流吹散，根本无法到达探测器，更不用说完成检测。VSD系统带来的一个直接的好处就是可以使值班人员在第一时间看到火灾现场准确位置的图像，从而快速采取相应措施。先进的烟雾运动模式分析算法及可视化警报验证在极大程度上消除了误报的发生，而消除误报警正是传统火灾系统中的一大难题。在易爆及有毒环境中，VSD系统还可以通过调整摄像机及镜头参数，在环境外部就可以完成对内部区域烟雾的有效检测，避免采用昂贵的隔爆探测器。
VSD系统最大的特点就是可以利用大多数现有的闭路电视(CCTV)系统，如安防系统、交通管理系统等，不需要增加额外的现场设备及布线就可以方便的搭建火灾报警控制系统，大大的节约了系统成本、降低了系统安装维护的复杂性。
相关的VSD系统例如99814715.X和02812437.5专利技术，这些基于视频的烟雾检测方法主要是利用烟雾运动、边缘、遮挡、几何轮廓以及图像帧间像素亮度的频率等特征，获得可疑烟雾区域，然后利用贝叶斯判别准则或者基于规则的判别方法，最终确定图像中的烟雾区域。其缺点是：产品价格高，算法的形成是通过累积增加，为了去除视频监控环境中某一特殊干扰源而设计的算法功能模块的形式完成的，导致算法中各个部分的无序和复杂，并且系统在运行前均需要根据具体的应用场景进行大量的参数调整地过程。传统的烟雾探测器受探测原理的限制，往往需要非常靠近烟雾源时才能完成检测，而且不能够提供火灾位置、大小、燃烧程度等具体信息，这些先天不足使得它们不能应用于室外大空间，远距离等特殊场合的火灾监控系统中。
【发明内容】
为了解决现有技术火灾检测报警的问题，本发明的目的在于基于计算机视觉技术、图像处理技术、模式识别，而提供一种能够实时、远距离检测烟雾源，能够可靠的早期烟雾检测和报警，能够提供火情大小、燃烧程度、位置信息，能够应用于室外大空间、远距离等特殊场合的火灾监控，尤其适用于在堆场、森林中使用的基于计算机视觉的火灾烟雾检测和预警方法。
为了达成上述目的，本发明提供一种基于计算机视觉的烟雾检测和预警方法，其烟雾检测和预警包括：
步骤1：场景及烟雾模式特征训练学习阶段：首先采集视频图像样本；并标注含有烟雾的正样本和不含烟雾的负样本；从图像样本中提取用于反映空间分布、时间分布、频率特性的特征；通过对以上特征的统计学习确定统计数据模型及颗粒烟雾判决树；
步骤2：检测和报警阶段：首先实时采集视频图像并保留一定数量的缓存视频图像；对视频图像进行预处理；利用统计数据模型及颗粒烟雾判决树通过层层递进的方式将视频图像中非烟雾的区域剔除，留下可疑区域，然后通过局部空间规则约束模块，局部时间约束模块的综合裁决留下可疑的烟雾区域并标注烟雾检测结果区域和报警。
本发明的有益效果：本发明采用统计分析的方法，关键算法通过使用用全局规则约束、局部空间规则约束、局部时间约束、统计数据模型、颗粒烟雾判决树以及特征提取模块等方法，对每个子图像序列进行模式分类，确定该子图像序列对应位置是否有火灾发生。利用高性能计算机以及先进的图像处理技术、广角探测和特殊的干扰算法，自动识别烟雾的不同特征，准确、实时的完成火灾检测，并及时发出报警信息。本发明可以利用大多数现有的闭路电视(CCTV)系统，如安防系统、交通管理系统等，不需要增加额外的现场设备及布线就可以方便的搭建火灾报警控制系统，大大的节约了系统成本、降低了系统安装维护的复杂性。
【附图说明】
图1是本发明基于计算机视觉的烟雾检测和预警方法总体流程图；
图2是本发明的关键算法框架结构图；
图3是本发明的决策判决树示意图；
图4是本发明的子图像序列获取示意图。
【具体实施方式】
下面参照附图说明本发明的具体实施例，其中应该指出，所描述的实施例仅仅是为了说明的目的，而不是对本发明进行限制。
本发明的利用计算机视觉方法对烟雾视频进行实时采集；利用模式识别和信号处理的方法对采集到的烟雾视频图像进行实时的分析和检测；通过对烟雾的范围、密度、扩散速度等进行分析，判断起火点的情况并及时发出警报，包括5个主要步骤：
1)首先，利用计算机视觉方法对监控视频进行实时采集；
2)用大小可变的窗口按照一定规则沿X轴，Y轴，T轴为时间轴扫描视频得到一系列子图像序列；
3)利用模式识别和信号处理的方法对扫描得到的子图像序列进行特征分析和提取，选用特征可以反映空间分布、时间分布、频率特性；
4)采用计算统计分析的方法，对每个子图像序列进行模式分类，确定该子图像序列对应位置是否有火灾发生；
5)对所有的子图像序列检测结果进行区域合并、剔除等操作，得到整个视场空间的检测结果，给出火灾检测的位置、大小、可信度等结果。
请参阅图1，为本发明基于计算机视觉的烟雾检测和预警方法的算法流程图，图中示出本发明的实施例主要由以下八个部分组成：其中1-4个部分为场景及烟雾模式特征训练学习阶段，后面的几个部分属于系统的实时运行检测和报警阶段。
S1.采集样本。首先要建立包括堆场、森林等室外空间场景的火灾烟雾视频数据库。在较完善火灾烟雾视频数据库的基础上，利用数据库中的相关视频图像，进行应用与统计数据模型学习的样本采集。将视频图像的每一帧分成矩形小块，小块的大小最小为4×4最大为32×32，这样用大小可变的窗口按照规则沿着X轴、Y轴和T时间轴扫描视频图像就会形成矩形块序列即子图像序列，这些子图像就形成了样本空间。如附图5所示。
S2.标注样本，是对正样本(含有烟雾的样本)和负样本(不含烟雾的样本)进行标注。
S3.特征提取，是针对子图像序列的矩形小块的每一个像素点，求像素点的灰度和色调分量，这样在时间轴上，每个像素点会形成两个像素序列，对每一个像素序列求均值和方差，作为该点的值，这样就得到了四个子图像，其像素点的值分别为灰度像素序列的均值、灰度像素序列的方差、色调像素序列的均值、色调像素序列的方差。用我们构造的特征结构对得到子图像序列的矩形小块进行特征空间搜索并求得该点的特征值。特征值由三部分组成，分别是所使用特征结构的类型代码、搜索特征空间的位置和大小、像素序列的类型代码。
S4.训练样本，是分别对含有烟雾的正样本和不含烟雾的负样本进行训练，用散度作为测度来度量样本图像间的相似程度，并利用这种相似度构造多个弱分类器，然后对弱分类器进行加权和提升，得到分类能力强的强分类器组，所述强分类器组包括：统计数据模型及颗粒烟雾判决树。
S5.视频图像的缓存，是利用计算机视觉对监控视频进行实时采集，对实时采集的视频图像进行烟雾检测时，系统保存当前图像帧及其前的2-4帧图像，即系统缓存包括当前图像帧在内的3-5帧视频图像，用于烟雾检测和报警中局部时间约束模块过以上连续缓存视频图像判断烟雾的时间上变化的连续性法。
S6.视频图像的预处理，是对视频信号图像进行增强。主要包括采用一些技术手段(包括算法)有选择的突出视频图像中感兴趣的特征或抑制(掩盖)图像中某些不需要的特征，改善后的图像比原始图像更加满足某些特殊分析的需要，更适合于机器视觉特性和机器的识别系统。并且在整个的图像增强处理过程中，并不能增加原始图像的信息。
S7.标注烟雾检测结果，首先将视频图像中待分析的对象分解为系列子图像，而且这些子图像有部分重叠，是通过分类器对通过摄像系统实时采集到的视频图像进行烟雾分析，将被判定为含有烟雾的区域进行标注，对不含有烟雾的区域不做标注处理，这样会在视频图像上产生很多被标注的烟雾区域。利用图像处理方法对烟雾区域进行溶解处理，去除微小空洞，形成整体烟雾区域标注。
S8.发出警报信息，是判断烟雾区域的规模及持续过程，给出火灾检测的位置、大小、可信度等信息并发出烟雾警报。当烟雾不再发生，烟雾区域消失后，则停止发出报警。
本发明的烟雾探测算法框架设计，采用全局规则约束模块、局部空间规则约束模块、局部时间约束模块、统计数据模型、颗粒烟雾判决树以及特征提取模块，利用高性能计算机以及先进的图像处理技术、广角探测和特殊的干扰算法，自动识别烟雾的不同特征，准确、实时的完成火灾检测，并及时发出报警信息。
请参阅附图2，图中所示为算法逻辑框架分为：所述检测和报警是采用特征提取模块、统计数据模型、颗粒烟雾判决树、局部空间规则约束模块、局部时间约束模块以及全局规则约束的算法逻辑框架；其中：
所述检测和报警是采用特征提取模块、统计数据模型、颗粒烟雾判决树、局部空间规则约束模块、局部时间约束模块以及全局规则约束的算法逻辑框架；其中：
在最底层是特征提取模块，用于从子图像序列的灰度以及色调空间产生的投影提取烟雾在空间、时间和频率上的特性，所述烟雾在空间、时间和频率上的特性是根据对正负样本的统计所确定的，并组成特征空间。通过对子图像序列进行特征空间搜索求得该序列的特征值；
统计数据模型及颗粒烟雾判决树模块，用以判断视频图像是否包含烟雾，或不确定是烟雾；该统计数据模型与特征提取模块连接，用于接收并统计特征提取模块输出的烟雾在空间、时间和频率特征空间中的特征值，用于判断视频图像中是否包含烟雾；该颗粒烟雾判决树，对大量烟雾和非烟雾图像空间、时间和频率特性进行统计学习获得强分类器，通过强分类器层层递进的方式将非烟雾的图像剔除出去，留下的就是可疑的视频图像；
局部空间规则约束模块和局部时间约束模块的综合裁决留下可疑的烟雾区域；局部空间规则约束模块与颗粒烟雾判决树和统计数据模型连接，通过局部空间规则约束模块分析烟雾区域在空间上的位置和面积变化考虑烟雾空间上的连续性；
局部时间约束模块与颗粒烟雾判决树和统计数据模型连接，通过分析一段时间内烟雾区域是否连续出现考虑烟雾的时间上变化的连续性；
全局规则约束模块根据烟雾的分布特性综合局部空间规则约束模块和局部时间约束模块对烟雾区域在空间和时间上表现行为的分析，排除非烟雾区域，标注烟雾区域，并发出报警信息。
图2中由下往上，最底层是特征提取层，特征从灰度以及色调空间产生投影，特征结构充分考虑了烟雾在空间和时间上的特性，这些特性是根据样本的统计所确立的，所有特征基组成特征空间表达了样本，对于计算机而言，这是它观察视频样本的方式，这相当于把视频样本映射为特征空间上的一个点。
在本发明的基于机器视觉的烟雾检测和报警方法各步骤中，首先要建立视频数据库，采集样本。采集大量出现烟雾场景的室外环境以及不出现烟雾场景的室外环境下统一格式的视频数据，将视频中的每一帧分成矩形小块，沿着时间轴就会形成矩形块序列即子图像序列，这些子图像序列就形成了样本空间如附图4是本发明中子图像序列获取示意图。
图4中，包括视频序列样本中相应的帧图像1、2、3、i、n、时间轴T、图像的水平轴X和垂直轴Y。图中小方框部分为大小可变的窗口。子图像获取过程中利用大小可变的窗口按照一定规则沿水平轴X、垂直轴Y、时间轴T扫描视频得到一系列子图像序列。
然后对获得的子图像序列样本进行标注，对正样本(含有烟雾的样本)和负样本(不含烟雾的样本)进行标注。
在特征提取过程中，针对子图像的每一个像素点，求它的灰度和色调分量，这样在时间轴上，每个像素点会形成两个像素序列，对每一个像素序列求均值和方差，作为该点的值，这样就得到了四个子图像，其像素点的值分别为灰度像素序列的均值、灰度像素序列的方差、色调像素序列的均值、色调像素序列的方差。
接下来要计算特征值。用我们构造的特征结构对上面步骤中得到的子图像进行特征空间搜索并求得该点的特征值。特征值由三部分组成，分别是所使用特征结构的类型代码、进行特征空间搜索的位置和大小、像素序列的类型代码。
分别对正样本(含有烟雾的样本)和负样本(不含烟雾的样本)进行训练学习，构造多个弱分类器，然后对弱分类器进行组合和提升，得到分类能力强的强分类器组。
在以上的场景及模式特征训练学习阶段中，完成了本发明中基于计算机视觉的烟雾检测和预警方法中最底层的特征抽取层。
经过特征提取层，特征从灰度以及色调空间产生投影，特征结构充分考虑了烟雾在空间和时间上的特性，这些特性是根据样本的统计所确立的，所有特征基支撑起来的特征空间表达了样本，对于计算机而言，这是它观察视频样本的方式，这相当于把视频样本映射为特征空间上的一个点，我们构造的特征结构如附图2所示，其中暗的区域可以得到该区域的时间变化值，外围白色区域与暗区域的差表示空间变化值。经过以上各步骤后，建立相关的统计数据模型。
在本发明的烟雾检测和预警系统的实时运行检测和报警阶段中，实时视频图像经过特征提取模块后，视频图像被映射为特征空间上的一个点，根据该点在特征空间上的分布位置以确定该样本是有烟雾还是没有烟雾，或是不确定，该部分工作由统计数据模型及颗粒烟雾判决树两个模块完成，统计数据模型为决策提供了依据。如附图3所示，是本发明中决策判决树示意图，决策判决树包括：视频样本、强分类器组1、2、3...N代表分类过程的每一步骤，经某个强分类器1、2、3...N后被判断为错误即非烟雾的样本F，经过强分类器N步骤后，剩下的样本被认为是检测后可疑的样本。我们通过这样层层递进的方式将非烟雾的样本剔除出去，留下的就是可疑的样本，对于全局而言，也就是可疑区域。然后通过局部空间规则约束模块，局部时间约束模块的综合裁决留下可疑的烟雾区域。局部空间规则约束模块主要是考虑烟雾空间上连续性，局部时间约束模块主要考虑烟雾的时间上的变化的连续性，全局规则约束模块则考虑到烟雾的分布特性以排除非烟雾的区域，根据该点在特征空间上的分布位置以确定该样本是有烟雾还是没有烟雾，或是不确定。该部分工作由统计数据模型及颗粒烟雾判决树两个模块完成，统计数据模型为决策提供了依据。
利用层层递进的方式将非烟雾的样本剔除出去，留下的就是可疑的样本。而对于全局而言，也就是可疑区域。然后通过局部空间规则约束模块、局部时间约束模块的综合裁决留下可疑的烟雾区域。局部空间规则约束模块主要是考虑烟雾空间上连续性，局部时间约束模块主要考虑烟雾的时间上的变化的连续性，全局规则约束模块则考虑到烟雾的分布特性以排除非烟雾的区域。最后判断烟雾区域的规模及持续过程并发出烟雾警报。当烟雾不再发生，烟雾区域消失后，则停止发出警报。
上面描述是用于说明本发明的，其仅为示例，本领域普通技术人员可以根据实际情况采用多种变形的实现方式，均应属于本发明的保护范围之内。因此，本发明的范围不应由该描述来限定。本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均属于本发明权利要求来限定的范围。