基于图像跟踪监测设备的掘进机异常工作及灾害报警系统技术领域
本发明涉及一种基于图像跟踪监测设备的掘进机异常工作及灾害报警系统，该系
统涉及图像跟踪和通信等领域。
背景技术
煤炭是我国重要的基础能源和原料，以煤为主的能源结构在相当长时间内不会改
变，随着国民经济的发展，煤炭的需求量越来越大，伴随的煤矿安全事故也在不断增多。煤
炭资源安全高效开发利用技术成为了国内外学者研究的热点领域。最有效的解决方案之一
是实现煤矿生产装备机械化及自动化，从而实现井下无人或少人开采。
随着煤矿安全重要性的提高和煤炭开采技术的发展，井下采煤工作面实现少人或
者无人开采是必然趋势，实现井下少人或者无人开采的必要条件是井下采煤装备机械化、
自动化和对其的实时监控。掘进机是综采工作面最重要的设备之一，其正常运行是整个综
采工作面完成采掘作业的基础，故对掘进机工作状态的监测是煤矿井下综采工作面的一项
重要任务。
目前掘进机监控功能多由传感器实现完成。现有传感器模式绝大部分采用有线连
接，在实际应用中由于空间有限、工况恶劣，在工程布置及维护中会投入较多精力，且往往
会因为机械运动产生连接线路的损坏，影响传感器的精度。在机器开始工作中，会产生大量
的电磁干扰，影响通信信号的传播。同时，在实际掘进情况下，伴随着大量的煤块坠落，安装
在掘进机上的传感器不可避免的会受到碰撞，虽然有相应的防护措施，但长时间的碰撞仍
然会影响传感器的精度。为避免碰撞、机械振动带来的影响，需要新的煤矿井下掘进机异常
工作监测报警系统，可第一时间准确地对掘进机异常工作进行报警，为井下掘进机安全作
业提供一份保障。因此本发明提出一种基于图像跟踪监测设备的掘进机异常工作及灾害报
警系统，根据掘进机的不同异常工作状态，该系统可发出不同报警信号，包括：偏离工作轨
道报警信号；切割受阻报警信号。根据掘进机跟踪丢失后监测画面灰度值处理结果，该系统
可发出不同报警信号，包括：突发水灾报警信号；瓦斯泄露报警信号。
发明内容
本发明提出一种基于图像跟踪监测设备的掘进机异常工作及灾害报警系统，所述
系统主要包括：摄像机、视频分路器、视频服务器、掘进机控制器、图像跟踪监测设备、矿用
以太网、存储服务器、监控终端；其中摄像机、视频分路器、视频服务器、掘进机控制器、图像
跟踪监测设备在井下安装，存储服务器和监控终端安装于井上；摄像机分别安装于煤矿井
下掘进巷道顶部中间和掘进机上，摄像机采集掘进工作面现场视频模拟图像；图像跟踪监
测设备组成包括：核心处理器、存储模块、视频采集模块、隔爆壳、电源管理模块、串口通信
模块、网络通信模块；图像跟踪监测设备将安装于巷道顶部的多部摄像机采集的图像拼接
为一幅图像，跟踪监测掘进机工作状态；图像跟踪监测设备接收安装于掘进机上的摄像机
采集的视频，跟踪监测切割头的工作状态；该系统根据掘进机跟踪监测结果进行判断，若判
断掘进机异常工作或有突发灾害，则发出报警信号；该系统根据掘进机跟踪丢失后监测画
面灰度值处理结果进行突发灾害判断，若判断有突发灾害，则发出报警信号；报警信号通过
矿用以太网传输至井上监控终端；监控终端负责显示报警信息，通过访问视频服务器获得
现场视频，通过访问存储服务器获得历史现场视频。具体方法包括：
1.在煤矿井下掘进巷道顶部中间均匀安装多部摄像机，在掘进机上安装摄像机；
在摄像机旁安装辅助光源，光投射方向与摄像机视频采集方向一致。
2.图像跟踪监测设备的视频采集模块连接摄像机模拟视频输出口，负责将模拟视
频信号数字化，将数字视频数据输出到核心处理器，处理器将采集的图像拼接为一幅图像；
图像跟踪监测设备的串口通信模块连接掘进机控制器的通信模块，采集掘进机设置数据和
水系统喷雾数据；图像跟踪监测设备的网络通信模块连接矿用以太网，通过矿用以太网与
井上的监控终端通信。
3.分别对摄像机监控范围内的掘进机一运部位置A进行设定，设为IA；对摄像机监
控范围内的掘进机本体部B进行设定，设为IB；对摄像机监控范围内的掘进机切割头O进行
设定，设为IO；k帧时，分别在IA、IB、IO周围采集两个样本集Dα＝{z|||IN-Iz||<α}和Dδ,β＝{z|
δ<||IN-Iz||<β}，其中，α<δ<β，Iz表示样本位置，IN表示在IA、IB、IO周围采集的样本位置；令Dα
为正样本(滚筒图像)，Dδ，β为负样本(背景图像)，根据下列公式计算随机测量矩阵：
![]()
rij表示随机测量矩阵的元素、s取2或者3，![]()
均表示概率；
然后对样本图像进行多尺度变换，计算类Harr特征，通过上述测量矩阵对多尺度图像特征
进行降维，计算降维后的正负样本特征的期望和标准差，并用其来训练朴素贝叶斯分类器；
k+1帧的时候，分别对图像设定区域A、B、O内上一帧跟踪到的目标位置的周围采样n个扫描
窗口，通过同样的稀疏测量矩阵对采样的窗口降维，提取特征，然后用k帧训练好的朴素贝
叶斯分类器进行分类，令分类分数最大的窗口记作目标窗口，并分别更新IA、IB、IO。
4.图像跟踪监测设备跟踪监测掘进机一运部位置IA，跟踪监测掘进机本体部位置
IB，建立数学模型，每间隔时间T0，计算掘进机偏离工作轨道距离d，该系统根据掘进机偏离
工作轨道距离d监测结果进行判断，若判断掘进机工作轨道偏离，则发出偏离工作轨道报警
信号；T0通过测量设定或人为设定。
5.图像跟踪监测设备接收安装于掘进机上的摄像机采集的视频，跟踪监测切割头
的位置IO，该系统根据监测切割头位置进行切割受阻判读，若判断切割受阻，则发出切割受
阻报警信号。
6.掘进机切割头跟踪丢失后，对随后的图像进行灰度值提取与计算，根据计算结
果，判断是否发生水灾、瓦斯泄露，根据判断结果，该系统可发出不同类型的报警信号。
7.该系统可发出的报警信号包括：偏离工作轨道报警信号；切割受阻报警信号；突
发水灾报警信号；瓦斯泄露报警信号。
附图说明
图1基于图像跟踪监测设备的掘进机异常工作及灾害报警系统示意图。
图2图像跟踪监测设备结构示意图。
图3掘进机异常工作及灾害报警系统的工作流程示意图。
图4图像跟踪监测设备监测流程示意图。
具体实施方式
如图1所示，基于图像跟踪监测设备的掘进机异常工作及灾害报警系统组成主要
包括：
1.摄像机(101)，采用符合煤矿隔爆要求的矿用摄像机，带有辅助光源，安装在煤
矿井下掘进巷道顶部中间和掘进机上，通过同轴电缆与视频分路器(102)连接。
2.视频分路器(102)，负责将摄像机的一路模拟信号输出分成两路输出，其中一路
接图像跟踪监测设备(103)，另一路接视频服务器(104)。
3.图像跟踪监测设备(103)，接收由视频分路器(102)输出的一路模拟视频信号，
负责对视频数据进行监控，根据监测结果，向监控终端发出掘进机工作异常报警信号。图像
跟踪监测设备通过串口连接掘进机控制器(109)采集掘进机数据，通过同轴电缆连接视频
分路器(102)采集视频。
4.视频服务器(104)，也称视频编码器，接收由视频分路器(102)输出的一路模拟
视频信号，将其数字化并压缩编码，通过矿用以太网向井上存储服务器和监控终端传输视
频数据。在本实施方案中选用海康DS-6701HW单路网络视频服务器。
5.井下交换机(105)，是矿用以太网的井下接入设备，串接形成环网，负责视频服
务器和其它通过网络通信设备的接入和数据交换，设备接入端一般为RJ45接口，环网接续
端为光接口，具有隔爆外壳，符合煤矿井下隔爆要求。
6.网络交换机(106)，是矿用以太网的核心管理设备，负责所有接入网络的设备的
管理和数据交换。
7.存储服务器(107)，负责接收由视频服务器上传的视频数据并存储，为监控终端
提供现场历史查询调取服务。
8.监控终端(108)，具有声光报警功能，接收到图像跟踪监测设备(103)的报警数
据则声光报警；监控终端具有实时视频监控和历史视频调取功能，生产管理人员通过监控
终端查看由视频服务器(104)上传的现场视频图像，也可从存储服务器(107)调取历史视频
数据。生产管理人员可通过煤矿通信系统发出报警信号，对相关人员下发应急调度指令。监
控终端内置井下地理信息，并具有地图显示引擎，本实施方案使用Map Info公司的可视化
地图组件Map X，当掘进机工作异常报警时可自动显示监测到报警的摄像机位置。
9.掘进机控制器(109)，负责采集掘进机设置数据，数据通过工业以太网传输至存
储服务器，采用可编程控制器(PLC)，可编程控制器具有通信接口或通信模块。在本实施方
案中使用西门子SIMATIC S7-300，配置CP341模块通过RS232标准与图像跟踪监测设备
(103)连接。
如图2所示，图像跟踪监测设备组成包括：
1.核心处理器(201)，采用德州仪器TMS320C6674多核定点和浮点数字信号处理
器，TMS320C6674是基于C66x内核的微处理器，通过16位的EMIF与存储模块(202)连接，通过
16位总线方式连接网络通信模块(204)；TMS320C6674还具有I2C接口，SPI接口，TSIP接口，
UART接口，RapidIO接口，通过UART接口与串口通信模块(206)连接通信；通过IIC-BUS接口
与视频采集模块(203)进行控制通信，使用嵌入式Linux平台实现驱动控制通信，内置Open
CV库用于视频数据处理。
2.存储模块(202)，包括256M NAND Flash、一片4M NOR Flash、128M SDRAM、一片
IIC-BUS接口的EEPROM。
3.视频采集模块(203)，主要处理芯片采用SAA7113H视频输入处理芯片，SAA7113H
是QFP44封装，电压3.3V，通过IIC-BUS接口与核心处理器(201)进行控制通信，选择四路模
拟输入通道一路进行摄像头模拟场频视频信号的采集，通过8位VPO总线向核心处理器
(201)输出标准ITU656格式的数字视频。
4.网络通信模块(204)，主要芯片采用DM9000，DM9000是完全集成的单芯片以太网
MAC控制器，上层的网络协议由核心处理器的内置Linux驱动支持。DM9000支持10/100M自适
应，支持3.3V与5V的电源电压。DM9000通过网络隔离变压器接口芯片YL18-1080S连接RJ45
网络接口，实现对网络的物理连接进行通信。
5.电源与时钟模块(205)，包括AC/DC开关电源、DC电压转换和时钟管理元件，AC/
DC开关电源输出5V直流电，DC电压转换均采用MAX1724电源芯片，为所有芯片供电；选用
12MHz晶振。
6.串口通信模块(206)，使用TI公司的MAX232芯片RS-232标准串口单电源电平转
换芯片，使用5V电源供电，使用转接电缆连接9针串口实现通信。
7.隔爆壳(207)，用于内部电路与外界环境的物理隔离，应符合煤矿井下隔爆要
求。掘进机异常工作及灾害报警系统的工作过程如图3所示：
1.(301)摄像机采集视频图像，将采集到的现场模拟视频信号通过同轴电缆传输
给视频分路器(102)。
2.(302)视频分路器将现场模拟视频信号分成两路模拟视频信号，分别传送给图
像跟踪监测设备(103)和视频服务器(104)。
3.(303)视频服务器(104)数字化模拟视频信号并进行压缩编码，通过网线将压缩
编码后的视频数据以组播方式传输给存储服务器(107)和监控终端(108)。
4.(304)存储服务器(107)接收现场视频数据并进行存储。
5.(305)图像跟踪监测设备通过视频采集模块(203)将模拟视频信号数字化。
6.(306)图像跟踪监测设备通过串口通信模块(206)采集掘进机设置数据。
7.(307)图像跟踪监测设备通过核心处理器(201)的内置库处理分析视频数据，监
测掘进工作面视频中掘进机工作状态，对分析结果进行判断。
8.(308)当监测结果满足报警条件时，则将报警数据使用TCP通信方式通过网络通
信模块(204)连接矿用以太网的井下交换机(105)上传至监控终端(108)。
9.(309)监控终端(108)接收到报警数据后，自动根据摄像机编号通过地图显示引
擎在显示器上显示掘进机位置，并声光报警提示生产管理人员进行处理。
10.(310)生产管理人员通过监控终端(108)访问存储服务器(107)调取现场历史
视频。
11.(311)生产管理人员同时观看由视频服务器(104)上传的现场视频，确认报警
发生过程和现场状态情况。
12.(312)生产管理人员确认报警后，可通过煤矿通信系统发出报警信号，对相关
人员下发应急调度指令。
图像跟踪监测设备监测流程如图4所示：
1.(401)图像跟踪监测设备启动时调取监控区域R和所有监测运算相关的参数。
2.(402)分别对摄像机监控范围内的掘进机一运部位置A进行设定，设为IA；对摄
像机监控范围内的掘进机本体部B进行设定，设为IB；对摄像机监控范围内的掘进机切割头
O进行设定，设为IO；k帧时，分别在IA、IB、IO周围采集两个样本集Dα＝{z|||IN-Iz||<α}和Dδ,β
＝{z|δ<||IN-Iz||<β}，其中，α<δ<β，Iz表示样本位置，IN表示在IA、IB、IO周围采集的样本位
置；令Dα为正样本(滚筒图像)，Dδ，β为负样本(背景图像)，根据下列公式计算随机测量矩阵：
![]()
rij表示随机测量矩阵的元素、s取2或者3，![]()
均表示概
率；然后对样本图像进行多尺度变换，计算类Harr特征，通过上述测量矩阵对多尺度图像特
征进行降维，计算降维后的正负样本特征的期望和标准差，并用其来训练朴素贝叶斯分类
器；k+1帧的时候，分别对图像设定区域A、B、O内上一帧跟踪到的目标位置的周围采样n个扫
描窗口，通过同样的稀疏测量矩阵对采样的窗口降维，提取特征，然后用k帧训练好的朴素
贝叶斯分类器进行分类，令分类分数最大的窗口记作目标窗口，并分别更新IA、IB、IO。
3.(403)判断图像是否跟踪丢失，如果丢失，则执行(417)，否则执行(404)。
4.(404)将数据存储在存储模块。
5.(405)图像跟踪监测设备建立数学模型，水平方向左负右正，垂直方向下负上
正，将IA转换为(xA,yA)，IB转换为(xB,yB)，IO转换为(xO,yO)。
6.(406)每间隔时间T0，计算掘进机偏离工作轨道距离d，每间隔时间T1，计算切割
头位置和切割头移动距离L；T0、T1通过测量设定或人为设定。
7.(407)判断偏离距离d是否大于阈值l1，如果大于l1，则执行(409)，否则执行
(408)。l1通过测量设定或人为设定。
8.(408)参数m置0。
9.(409)参数m加1，其初始值为0。
10.(410)判断参数m是否大于阈值Q1，如果大于Q1，则执行(411)，否则执行(402)。
Q1通过测量设定或人为设定。
11.(411)参数m置0，执行(425)发出偏离工作轨道报警信号。
12.(412)判断切割头移动距离是否大于阈值l2，如果大于l2，则执行(414)，否则执
行(413)。l2通过测量设定或人为设定。
13.(413)次数n置0。
14.(414)次数n加1，其初始值为0。
15.(415)判断参数n是否大于阈值Q2，如果大于Q2，则执行(416)，否则执行(402)。
Q2通过测量设定或人为设定。
16.(416)参数n置0，执行(425)发出切割受阻报警信号。
17.(417)对掘进机跟踪丢失前最后一帧图像IA、IB、IO处标记，提取随后K帧图像内
这四处位置的灰度值，并分别进行运算。求取K帧图像内大于等于设定阈值N1的像素算术平
均值，得到像素值DH；求取K帧内小于等于设定阈值N2的像素算术平均值，得到像素值DL。
18.(418)判断DH是否大于等于设定阈值N3，如果大于N3，则执行(419)，否则执行
(422)。
19.(419)判断喷雾是否开启，如果开启，则执行(420)，否则执行(401)。
20.(420)每间隔X帧对摄像机采集的视频图像f(x,y)与所存掘进机背景图像g(x,
y)进行累积差值处理，通过累积差值运算处理Y帧后，求大于等于设定灰度值T1的像素总和
DW。
21.(421)判断DW是否大于等于设定阈值N4，如果大于等于N4，则执行(425)发出水
灾报警信号，否则执行(401)。
22.(422)判断DL是否大于等于设定阈值N5，如果大于N5，则执行(423)，否则执行
(401)。
23.(423)通过累积差值运算处理Y帧后，求大于等于设定灰度值T2的像素总和DF。
24.(424)判断DF是否大于等于设定阈值N6，如果大于等于N6，则执行(425)发出瓦
斯泄露报警信号，否则执行(401)。
25.(425)发出报警信号。包括：偏离工作轨道报警信号；切割受阻报警信号；突发
水灾报警信号；瓦斯泄露报警信号。