高速微小目标仿蝇视觉在线实时检测装置及检测方法.pdf

摘要
申请专利号：	CN201110315658.8	申请日：	2011.10.17
公开号：	CN102510436A	公开日：	2012.06.20
当前法律状态：	授权	有效性：	有权
法律详情：	授权\|\|\|实质审查的生效IPC(主分类):H04N 5/14申请日:20111017\|\|\|公开
IPC分类号：	H04N5/14	主分类号：	H04N5/14
申请人：	河海大学常州校区
发明人：	李敏; 张学武; 范新南; 张卓; 梁瑞宇; 许海燕; 宋凤琴; 林善明
地址：	213022 江苏省常州市新北区晋陵北路200号
优先权：
专利代理机构：	南京纵横知识产权代理有限公司 32224	代理人：	董建林
PDF下载：	PDF下载

内容摘要

本发明公开了一种高速微小目标仿蝇视觉在线检测装置及检测方法，采用双目相机采集场景视频信息并传入DSP芯片，进行初级视觉处理；采用FPGA芯片对初级运动信息进行大场景、小场景整合和目标检测，将大、小场景整合结果作为目标检测依据，对高速运动微小目标进行跟踪。本发明具有以下优点：借鉴生物学原理实现目标检测，具有较强的抗干扰能力，适用于多种恶劣自然环境低信噪比条件下的目标检测；蝇类视觉系统神经元的整合机理具有计算原理简单、实时性好等特点；蝇类视觉神经元组织结构简单，易于硬件实现。该装置可以安装在汽车、坦克以及飞机等高速运动的设备上，具有在线实时、准确检测动态变化背景下高速运动微小目标的能力。

权利要求书

1：一种高速微小目标仿蝇视觉在线实时检测装置，其特征是，包含图像信号采集模块、初级视觉信息处理模块、目标检测跟踪模块；所述图像信号采集模块中包含两部 CCD 图像传感器及与所述 CCD 图像传感器对应的可编程视频信号处理器；所述初级视觉信息处理模块中包含用于视频图像配准和初级运动估计的第一 DSP 芯片和与所述第一 DSP 芯片连接的第一存储芯片；所述目标检测跟踪模块中包含： 2 个并列的 FPGA 芯片，用于根据单极池细胞、双极池细胞的调度机制分别实现大、小场景整合的高阶信息处理，与所述 FPGA 芯片连接的第二存储芯片，与所述第二存储芯片连接的第二 DSP 芯片，将结合所述 FPGA 芯片输出的抑制后的复杂背景和运动矢量估计信息进行目标检测和跟踪。2：根据权利要求 1 所述的高速微小目标仿蝇视觉在线实时检测装置，其特征是，所述 FPGA 芯片封装了单极池细胞和双极池细胞单元。3：根据权利要求 1 所述的高速微小目标仿蝇视觉在线实时检测装置，其特征是，所述第一 DSP 芯片中包含将相邻两个时刻配准好的全景图像进行运动估计的初级运动检测器模型，所述初级运动检测器模型由初级运动检测器单元 EMD 阵列组成，每个初级运动检测器单元 EMD 与图像中的像素一一对应。4：基于权利要求 1 的高速微小目标仿蝇视觉在线实时检测方法，其特征是，包括以下步骤：步骤 1，采用双目运动相机并列捆绑的方式采集场景视频信息，相机将模拟视频信号传输到视频采集卡上，将模拟视频信号转换为数字视频信号；步骤 2，然后将视频采集卡获得的信息传入 DSP 芯片，对双目相机获得的场景图像进行初级视觉处理，包括对两路视频信号的配准和初级运动信息估计；步骤 3，采用两块并行设置的 FPGA 芯片对初级运动信息进行大场景、小场景整合和目标检测，所述 FPGA 芯片中封装了单、双极池细胞单元，采用不同的池细胞调度机制使左侧 FPGA 芯片进行大场景整合，右侧 FPGA 芯片进行小场景整合；步骤 4，利用大、小场景整合结果获得的背景运动估计和小目标运动方向作为目标检测依据，对高速运动微小目标进行跟踪。5：根据权利要求 4 所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述配准步骤为：首先估计两幅同时刻图像之间的仿射变换矩阵，然后通过缩放、旋转和平移将同一时刻获得的两幅图像进行拼接，获得大范围的全景图像。6：根据权利要求 4 所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述初级运动信息估计将相邻两个时刻配准好的全景图像采用初级运动检测器模型进行运动估计，所述初级运动检测器模型由初级运动检测器单元 EMD 阵列组成初级运动信息检测阵列，每个 EMD 单元与图像中的像素一一对应，采用 EMD 阵列估计全景图像的矢量场，每个 EMD 单元通过不同时刻、相邻空间位置上亮度信息的交叉相乘，获得极性不同的矢量信息作为小目标运动方向估计的基础。7：根据权利要求 6 所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述 2 大场景整合将局部区域内所有 EMD 单元对应的单极池细胞输出进行叠加，叠加结果在双极池细胞的调度下对每个 EMD 单元的输出进行分流抑制，最后将抑制后的 EMD 输出进行叠加获得复杂背景特征抑制的大场景整合效果。8：根据权利要求 6 所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述小场景整合是将 EMD 单元对应的单极池细胞输出作为抑制分量，在双极池细胞的调度下，对每个 EMD 单元的输出进行抑制，从而增强小目标特征，并对微小目标的运动方向进行估计。9：根据权利要求 6 所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述的池细胞调度机制包含单极池细胞调度和双极池细胞调度，所述单极池细胞调度对 EMD 单元的输出通过非线性增强和线性叠加，提高不同运动方向的敏感性差异，增强微小目标的时域特征；所述双极池细胞调度是单极池细胞输出对 EMD 单元的输出进行分流抑制 , 获得的小目标运动方向信息用于确定跟踪设备的运动方向。10：根据权利要求 4 所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述双目运动相机为两部 CCD 相机。

说明书

高速微小目标仿蝇视觉在线实时检测装置及检测方法
    【技术领域】
     本发明涉及一种高速微小目标检测装置及检测方法，属于图像处理和目标检测技术领域。背景技术视频图像中运动目标的检测问题始终是计算机视觉研究的核心问题之一，它在军事制导、无人飞机驾驶、机器人视觉导航等方面具有广泛的应用前景。其中动态复杂背景下高速运动的微小目标检测则是运动目标检测问题中的难点。这类问题难于处理的关键原因在于：微小目标本身缺乏易于分析和识别的特征；复杂背景导致微小目标的信噪比较低；运动状态下背景模型难于估计和预测；高速运动微小目标的可检测特征存在不确定性。
     针对以上问题，目前已有的高速运动微小目标检测算法主要有两种解决方案：先检测后跟踪 (DBT) 和先跟踪后检测 (TBD)。DBT 方法中需要先对目标的位置进行检测，然后根据检测结果实现目标的跟踪。常用的小波分析方法、背景抑制方法以及变换域等方法均是为了获得准确的目标检测效果，从而提高跟踪的精度。检测效果的好坏直接决定了跟踪的成败。因此这类算法通常需要目标与背景之间具有较高的信噪比。另外存在运动的复杂背景通常无法获得准确的背景模型，从而导致微小目标检测准确性下降，影响跟踪效果。
     TBD 方法不同于 DBT 方法，首先对微小目标的运动轨迹进行估计和判断，然后利用目标运动的连续性和一致性检测出真正的目标。常用的算法有高阶相关方法、时域滤波方法、粒子滤波方法等。这类算法可以实现较低信噪比条件下目标跟踪，具有较强的抗干扰能力，成为目前高速运动微小目标检测研究的热点。然而其计算复杂度高、计算量大和存储要求较高等问题对检测的准确度和实时性的影响仍有待解决。
     尽管人类已经掌握了强大数据处理能力的计算机技术和较高分辨率成像技术，但仍无法实现在运动复杂背景下对高速运动的微小目标实现稳定、实时检测和跟踪。
     经过自然进化的昆虫视觉系统如蝇类却可以凭借有限数量的大脑神经细胞和较低分辨率的复眼系统，在高速飞行于复杂多变的自然场景中准确的捕捉食物或追逐配偶，其在计算准确度、抗干扰能力和原理简易性上都大大超过了目前现有的目标检测算法。随着生物分析手段的不断提高，人们不断发现蝇类视觉系统对微小目标的检测和跟踪是通过小叶板神经元的大、小场景整合机理实现的。蝇类视觉系统中大、小场景整合机理对应于小叶板上单、双极池细胞不同的调度机制实现的。大场景整合将出现频率较高、变化速度缓慢的背景纹理特征进行抑制，同时对大范围的背景运动信息进行估计，获得平衡蝇类自身飞行的扭矩信息保证蝇类飞行的自身平衡；小场景整合机理则对出现频率较低、变化速度快的微小目标进行非线性特征增强，提高小尺寸目标特征的可感知度，同时准确估计微小目标的运动方向信息，从而使得蝇类视觉系统具有对高速飞行微小目标进行高精度、在线实时检测的能力。
     发明内容本发明的目的是针对当前计算机视觉对高速运动微小目标检测存在的计算原理复杂、计算量大、抗背景干扰能力差等局限性，特别是在动态复杂自然场景条件下背景模型无法准确估计，以及高速运动微小目标特征匮乏等问题，本发明借鉴蝇类视觉的大小场景整合机理，模拟蝇类从视觉信息获取到视网膜初级运动信息估计再到小叶板高阶神经元信息整合处理的过程，构建复杂背景下高速微小目标仿蝇视觉在线检测装置及其工作方法，利用平行神经整合机理实现对微小目标的检测和跟踪。
     为解决上述技术问题，本发明提供一种高速微小目标仿蝇视觉在线实时检测装置，其特征是，包含
     图像信号采集模块、初级视觉信息处理模块、目标检测跟踪模块；
     所述图像信号采集模块中包含两部 CCD 图像传感器及与所述 CCD 图像传感器对应的可编程视频信号处理器；
     所述初级视觉信息处理模块中包含用于视频图像配准和初级运动估计的第一 DSP 芯片和与所述第一 DSP 芯片连接的第一存储芯片；
     所述目标检测跟踪模块中包含：
     2 个并列的 FPGA 芯片，用于根据单极池细胞、双极池细胞的调度机制分别实现大、小场景整合的高阶信息处理，与所述 FPGA 芯片连接的第二存储芯片，
     与所述第二存储芯片连接的第二 DSP 芯片，将结合所述 FPGA 芯片输出的抑制后的复杂背景和运动矢量估计信息进行目标检测和跟踪。
     所述 FPGA 芯片封装了单极池细胞和双极池细胞单元。
     所述第一 DSP 芯片中包含将相邻两个时刻配准好的全景图像进行运动估计的初级运动检测器模型，所述初级运动检测器模型由初级运动检测器单元 EMD 阵列组成，每个初级运动检测器单元 EMD 与图像中的像素一一对应。
     基于权利要求 1 的高速微小目标仿蝇视觉在线实时检测方法，其特征是，包括以下步骤：
     步骤 1，采用双目运动相机并列捆绑的方式采集场景视频信息，相机将模拟视频信号传输到视频采集卡上，将模拟视频信号转换为数字视频信号。
     步骤 2，然后将视频采集卡获得的信息传入 DSP 芯片，对双目相机获得的场景图像进行初级视觉处理，包括对两路视频信号的配准和初级运动信息估计；
     所述配准步骤为：首先估计两幅同时刻图像之间的仿射变换矩阵，然后通过缩放、旋转和平移将同一时刻获得的两幅图像进行拼接，获得大范围的全景图像。根据生物视觉在水平方向上可视范围大于垂直方向的特点，该装置获得的全景图像将在水平方向上具有更广的视角。
     所述初级运动信息估计将相邻两个时刻配准好的全景图像采用初级运动检测器模型进行运动估计，所述初级运动检测器模型由初级运动检测器单元 EMD 阵列组成初级运动信息检测阵列，每个 EMD 单元与图像中的像素一一对应，即第 i 个 EMD 单元可以获得第 i + 个像素上的一对运动估计信息 Vi (t) 和 Vi (t)，其中 +、 - 代表第 i 个 EMD 单元对水平方向上从左到右和从右到左两个方向的运动具有不同的敏感性，区分这两个运动方向是下一步目标运动方向估计的基础。采用 EMD 阵列估计全景图像的矢量场，每个 EMD 单元通过不同
     时刻、相邻空间位置上亮度信息的交叉相乘，获得极性不同的矢量信息作为小目标运动方向估计的基础。
     由于初级运动估计模型获得的运动信息属于初级视觉信息，通常受到场景空域特征例如：对比度、空域频率等因素的影响，因此不能反映真实的目标运动。而大、小场景整合处理机理作为高阶神经整合处理， DSP 获得的初级运动信息进行纠正，实现准确的目标检测。
     步骤 3，采用两块并行设置的 FPGA 芯片对初级运动信息进行大场景、小场景整合和目标检测，所述 FPGA 芯片中封装了单、双极池细胞单元，采用不同的池细胞调度机制使并行设置的 FPGA 芯片中左侧 FPGA 芯片进行大场景整合，右侧 FPGA 芯片进行小场景整合； +
     每个 EMD 单元都对应了一对相反极性的单极池细胞，例如 Pi， Pi， l (t)、 l (t) 为左眼 + 中的第 i 个 EMD 单元对应的单极池细胞； Pi， Pi， r (t)、 r (t) 为右眼中的第 i 个 EMD 单元对应的单极池细胞。其中 Pi，l+(t) 与 Pi，r-(t) 对顺时针旋转敏感；而 Pi，l-(t) 与 Pi，r+(t) 对逆时针旋转敏感。单极池细胞将其对应的 EMD 单元输出 Vi+(t) 和 Vi-(t) 分量进行非线性增强和线性叠加，以增强目标特征的对比度，以及对相反运动方向敏感度的差异，得到的融合结果将作为双极池细胞的输入。
     每个 EMD 单元同样对应一对双极池细胞，为左眼中的第 i 个 EMD 单元对应的双极池细胞；为右眼中的第 i 个 EMD 单元对应的双极池细胞。总体来讲双极池细胞主要是将单极池细胞的输出进行融合，并将融合结果作为抑制分量，对 EMD + 输出 Vi (t) 和 Vi (t) 进行分流抑制实现大小场景整合。具体来讲，对于大场景整合，双极池细胞将每只眼对应视场范围 Nb 内的所有单极池细胞输出结果进行叠加，并将叠加结果作为抑制分量对第 i 个 EMD 单元估计的 Vi+(t) 和 Vi-(t) 进行分流抑制，得到和对于复杂背景特征分布密集的情况，单极池细胞的叠加将有利于抑制丰富的纹理特征，从而降低背景复杂度。对于小场景整合，双极池细胞则将其对应的单极池细胞输出结果进行融合，并将融合结果作为抑制分量，对第 i 个 EMD 单元估计的 Vi+(t) 和 Vi-(t) 进行分流抑制，得到
     和对于出现概率较低的目标特征，小场景整合将有助于目标特征的非线性增强，并对场景中的目标运动方向进行估计，获得小场景整合效果。步骤 4，利用大、小场景整合结果获得的背景运动估计和小目标运动方向作为目标检测依据，对高速运动微小目标进行跟踪。将同理将和和之差在局部整合窗口 Nb 中进行叠加，得到大场景整合结果；在 Nb 窗口中进行叠加得到小场景整合结果。利用大小场景整
     合结果获得的背景运动估计和小目标运动方向作为目标检测依据，实现高速运动微小目标的跟踪。
     所述大场景整合将局部区域内所有 EMD 单元对应的单极池细胞输出进行叠加，叠加结果在双极池细胞的调度下对每个 EMD 单元的输出进行分流抑制，最后将抑制后的 EMD 输出进行叠加获得复杂背景特征抑制的大场景整合效果。
     所述小场景整合是将 EMD 单元对应的单极池细胞输出作为抑制分量，在双极池细胞的调度下，对每个 EMD 单元的输出进行抑制，从而增强小目标特征，并对微小目标的运动方向进行估计。
     所述的池细胞调度机制包含单极池细胞调度和双极池细胞调度，所述单极池细胞调度对 EMD 单元的输出通过非线性增强和线性叠加，提高不同运动方向的敏感性差异，增强微小目标的时域特征；所述双极池细胞调度是单极池细胞输出对 EMD 单元的输出进行分流抑制，获得的小目标运动方向信息用于确定跟踪设备的运动方向。
     所述双目运动相机为两部 CCD 相机。
     本发明所达到的有益效果：
     本发明设计的高速微小目标检测装置具有算法简单快速，造价低廉易于硬件实现和推广等优点。本发明受蝇类视觉系统快速准确捕捉动态复杂场景中高速运动的微小目标启发，基于蝇视觉系统大小场景整合机理，采用多电荷耦合器件组 (CCD)、数字信号处理芯片 DSP 以及 FPGA，构建一种可以实时检测动态复杂背景下高速运动微小目标的检测装置及其工作方法。该装置将捆绑在一起的双目相机作为前端视频信息采集部件，通过后端 DSP 芯片的配准处理和初级视觉运动估计获得初级视觉信息，然后利用 FPGA 芯片中池细胞调度机制对初级运动信息分别进行大、小场景整合计算，实现复杂背景特征抑制、小目标运动方向信息估计和背景运动信息 ( 扭矩信息 ) 估计。
     本发明借鉴生物学原理克服了现有微小目标检测方法存在的计算复杂度高、计算量大、存储量大以及硬件难以实现等问题，在较低信噪比的复杂场景中，模拟蝇视觉系统中大、小场景整合机理，通过单、双极池细胞的不同调度机制实现快速、准确的高速微小目标检测。大场景整合机理可以抑制复杂背景特征并估计背景运动，增强目标检测的抗背景抗干扰能力；小场景整合可以增强微小目标特征并获得目标运动方向估计，实现高速运动微小目标检测。本发明适用于外界环境复杂、信噪比较低条件下的微小目标检测，并可以搭载在例如：汽车、坦克、飞机等高速运动的移动设备上，利用该检测装置计算获得的大场景扭矩信息和微小目标的运动方向信息，实现复杂背景下的高速运动微小目标检测和跟踪，具有在线实时、准确检测动态变化背景下高速运动微小目标的能力。与现有计算机信号处理方法不同，本发明涉及的大小场景整合机理是一种并行处理模式，可以同时获得背景抑制效果和小目标运动方向估计，弥补了现有目标检测算法在复杂背景运动或相机抖动干扰条件下的局限性；自适应的生物学机理在降低背景复杂度的同时，对低信噪比条件下高速运动的微小目标特征具有高度敏感性，其计算原理简单，计算速度快、可以实现在线实时检测，并易于硬件实现和推广。该装置具有以下优点： 1) 可以在低信噪比条件下实现目标检测，具有较强的抗干扰能力，适应于多种恶劣自然环境下的目标检测； 2) 利用蝇类视觉系统神经元的整合机理，计算原理简单、实时性好； 3) 蝇类视觉神经元组织结构简单，易于硬件实现。
     附图说明
     图 1 是本发明的检测装置硬件示意图；
     图 2 是本发明的算法流程图；
     图 3 是本发明的图像配准流程图；
     图 4 是本发明中小场景整合的单、双极池细胞融合流程图；
     图 5 是本发明的小场景整合流程图；
     图 6 是本发明的大场景整合流程图；
     图 7 是 CCD 摄像机与视频解码器的连接示意图。具体实施方式
     下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
     本发明的检测装置硬件逻辑部件如图 1 所示，小目标检测装置主要由三大部分组成：视频信号采集模块 M1、初级视觉处理模块 M2、目标检测跟踪模块 M3。
     其中，视频信号采集模块 M1 中包含两部 CCD 相机 1、 2 及与 CCD 相机对应的可编程视频信号处理器 3、 4，本实施例中两部 CCD 相机采用型号为 MV-VS078FM/FC 的黑白高速工业 CCD 相机，分别记为 CCDL、 CCDR 其分辨率为 1024×768，帧速率为 30 帧每秒，适合智能交通，机器视觉等应用领域；与 CCD 相机 1、 2 对应的可编程视频信号处理器 3、 4 采用型号为 SAA7113H 的可编程视频信号处理器，完成数模变换、多制式变换和抗混叠滤波等功能，另外对亮度、对比度和饱和度进行控制。
     初级视觉处理模块 M2 中包含 DSP 芯片 5 和相应的存储芯片 6，本实施例中 DSP 芯片 5 采用实现视频图像配准和初级运动估计的 TMS320C6711B 型号 DSP 芯片。
     目标检测跟踪模块 M3 中包含 2 个 FPGA 芯片 7、 8 及与其相连的存储芯片 9 和与存储芯片 9 连接的 DSP 芯片 10，本实施例中 FPGA 芯片 7、 8 采用 Apex 系列 EP20K600EBC652 型号 FPGA 芯片，通过单、双极池细胞的不同调度机制，实现大、小场景整合处理，获得目标运动估计和背景运动估计； DSP 芯片 10 采用 TMS320C6711B 型号的 DSP 芯片，利用大、小场景整合结果以及抑制的背景信息进行目标检测和跟踪。采用双目相机作为前端视频信号的采集设备，模拟蝇类的双目结构，通过拼接和配准处理获得较宽的视场范围。该装置采用双 FPGA 对初级运动信息进行大、小场景整合和目标检测。大场景整合实现复杂背景抑制效果，同时对大场景运动进行估计输出扭矩信息作为目标检测和跟踪过程的补偿信息；小场景整合增强小目标的空间特征，同时准确估计小目标运动方向用于目标检测，有效提高目标检测的运算速度，有利于保证该装置检测的在线实时性。
     图 2 为与图 1 检测装置对应的整体算法的流程图，结合图 1 对算法流程进行说明。为了实现视频信号的配准，并对场景运动信息进行估计，将两块 SAA7113H 可编程视频信号处理器 3、 4 处理器获得的视频信号输入到与其连接的 DSP 芯片中，进行图像配准和初级运动估计。图像配准采用块匹配算法，如图 3 所示；初级运动估计是通过蝇类视觉的初级运动估计器模型 (EMD) 原理对整个场景的运动信息进行估计，对于每个像素位置均可以得到 + + Vi (t) 和 Vi (t) 两路信号。然后将 Vi (t) 和 Vi (t) 分别输入到并列的 FGPA 芯片 7、 8 中，通过 FGPA 芯片 7、 8 中的单极池细胞、双极池细胞的不同调度机制分别实现大、小场景整合计算，并将获得的扭矩信息 ( 大场景运动 ) 和目标运动信息输入到 DSP 芯片 10 中进行目标检测和跟踪。
     图 4 是小场景整合的单、双极池细胞调度流程。以双目相机对应的单个初级运动检测单元 EMD 为例， CCD L 和 CCDR 分别表示不同的 CCD 相机。对于第 (i， j) 个像素， I(i， j， t) 和 I(i， j， t′ ) 为该空间位置上不同时刻的灰度值， I(i+Δφ， j， t) 为与第 (i， j) 个像素位置相隔 Δφ 空间距离的第 (i+Δφ， j) 个像素的灰度值，通过交叉相关获得该像素 + 对应 EMD 单元的 Vi (t)、 Vi (t) 输出。由于仅考虑水平方向的运动估计，因此采用 Vi+(t)、
     Vi-(t) 代表第 (i， j) 个 EMD 的输出，图中简写为 V+、 V-，以下同理。对于该 EMD 单元，在两个 + + FPGA 芯片中分别对应了一对单极池细胞 Pi，l (t)、 Pi，l (t) 和 Pi，r (t)、 Pi，r (t)。l、 r 表示左、右两侧的 FPGA 芯片 7、 8； +、 - 表示池细胞的极性。
     将分别输入到单极池细胞进行融合。不同极性的单极池细胞融合结果分别为： Pi，l-(t)、 Pi，r+(t)、 Pi，l+(t)、 Pi，r-(t)。然后将单极池细胞融合结果输入到双极池细胞中。双极池细胞融合如图 4 中右侧虚线框所示，双极池细胞对于来自不同侧眼的相同运动敏感性的单极池细胞进行融合。对不同运动方向敏感的双极池细胞分别接入单虚线箭头、双虚线箭头表示的输入信号。其中左侧眼的顺时针 ( 和逆时针 ) 的双极池细胞输出为 CW CCW Pi，右侧眼的顺时针 ( 和逆时针 ) 的双极池细胞输出 l (t) 和 Pi， l (t)( 单虚线箭头表示 )， CW CCW 为 Pi， r (t) 和 Pi， r (t)( 双虚线箭头表示 )。cw 和 ccw 分别表示双池细胞对于顺时针运动方向和逆时针运动方向敏感， r 和 l 表示不同侧的双极池细胞， i 表示该双极池细胞对应的像素位置。
     在获得双极池细胞输出之后，对图 4 中两对初级运动估计信息 Vi+(t)、 Vi-(t) 进行分流抑制和非线性处理，如图 5 所示，从而得到
     和和经过叠加得到第 (i， j) 位置上小目标运动方向的估计 RSF(i， j) 和大场景整合结果 RLF(i， j)。图 6 为大场景整合流程图。大场景整合较为简单，同样包含了非线性增强与分流抑制处理。不同于小场景整合，大场景中的双极池细胞将单眼视场 Nb 范围内的所有单极池 + 细胞输出 Pi，l (t)、 Pi，l (t)( 或 Pi，r+(t)、 Pi，r-(t)) 进行叠加作为抑制分量，然后对 Vi+(t)、 Vi-(t) 两路运动信息进行分流抑制。
     图 7 是 CCD 相机摄像头与视频解码器的连接图，然后通过视频解码器链接到 DSP 芯片上。每个 CCD 相机将数据通过端口 D+ 和 D- 输入到电路板上，同时输入相应的控制信号 CRL 和正负电压。电路板上的两个接口分别是 CZ1、 CZ2。两个 CCD 的端口分别标记为 Port1、 Port2。Port1 对应 CZ1 ； Port2 对应 CZ2。
     上述检测装置及检测流程中对应的算法如下：
     (1) 图像配准
     图像配准过程的核心步骤是寻找到图像之间的仿射变换矩阵，即找出对齐的两幅或多幅重叠图像之间的变换关系。变换矩阵通常包括缩放、旋转和平移。本发明中两个相机采用并列式捆绑，因此可以表示为：
     f(x) ＝ Ax+b (1)
     其中， A 是变换矩阵， b 是平移矢量，矩阵 A 控制旋转效果。采用块匹配算法估计两幅视频图像之间的相对偏移量，然后将估计结果送入配准模块进行配准，流程如图 3 所示。
     (2)EMD 初级视场的运动估计
     在蝇类视觉系统中，初级运动检测器 (Elemetary Motion Detection， EMD) 模型，也叫 Reichardt 运动检测器。每个初级运动检测器是由蝇类复眼视网膜上相隔一定空间距离的两个光感受器组成，将输入信号分别延迟后与相邻位置上未延迟的输入信号进行交叉相乘，计算两个相乘之差作为初级运动检测器的输出。针对一维信号的初级运动检测器模型的两路极性相反的信号表示为：
     Vi+(t) ＝ I(i， t)×I(i+Δφ， t+τ)
     Vi (t) ＝ I(i+Δφ， t)×I(i， t+τ) (2)其中， I(i， t) 和 I(i+Δφ， t) 是初级运动检测器的输入端， I(i， t) 是第 i 个光感细胞在第 t 时刻接收到的亮度值。Δφ 为输入端之间的空间距离，该距离是由相邻光感细胞之间的间隔决定的；延迟时间 τ 是由神经细胞本身的响应特性决定的，决定了昆虫视觉系统感知运动信号的响应时间。这两个参数决定了初级运动检测器的时空响应特性。在研究中发现，初级运动检测器获得的运动信息并不准确，常常受到场景空域特征的影响，并且存在孔径效应。因此需要高阶神经元的进一步矫正才能获得准确的目标运动估计。
     在蝇类视觉系统的小叶板上存在着两套平行的信息整合机理 - 大场景整合机理和小场景整合机理，这两种整合机理分别对视网膜细胞获得的初级运动信息进行不同方式的整合。大场景整合机理主要对场景中缓慢变化的背景特征产生较强的响应，抑制纹理特征，并估计背景运动以平衡自身运动；而小场景整合机理则对场景中高速运动的目标产生较强的响应，对目标的运动方向进行估计，实现目标检测和跟踪。
     (3) 小场景整合 +
     在蝇类视觉系统的两侧各有一对单极池细胞对应于双目，分别为 Pi， Pi， l (t)、 l (t) + 和 Pi， Pi，正负号代表了该单极池细胞对不同的运动方向产生兴奋响应。l， r表 r (t)、 r (t)，示池细胞位于大脑的左右两侧。i 表示第 i 个像素位置。每侧的两对单极池细胞对初级运动估计 Vi+(t) 和 Vi-(t) 的调度机制表示为：
     式 (3) 中 Vi+(t) 和 Vi-(t) 分别表示了第 i 个初级运动检测器的正负通道输出， T 为单极池细胞中兴奋响应和抑制响应之比， 0 ＜ T ＜ 1。该比值表示单极池细胞可以选择性的响应于不同运动方向的信号。例如右侧的正、负单极池细胞响应于顺时针运动；而左侧的正、负单极池细胞一致响应于逆时针运动。N 是局部整合区域内初级运动检测器数目。
     在分别获得两侧单极池细胞的响应结果之后，两侧的双极池细胞将融合两侧不同极性的单极池细胞输出，获得该侧双极池细胞的输出。以右侧双极池细胞为例，右侧眼的顺
     时针响应和逆时针响应
     和为：式 (4) 中的系数 k 表示双极池细胞中两个单极池细胞的不同贡献率，一个是来自同侧的单极池细胞；另外一个是来自对侧 ( 异侧 ) 的单极池细胞， 0 ＜ k ＜ 1。左侧的双极池细胞的响应同理。
     最后将同侧的双极池细胞输出对初级运动估计 Vi+(t) 和 Vi-(t) 进行分流抑制，获得小场景整合结果。
     式 (5) 中， k* 系数为双极池细胞中不同运动方向的响应之比，通常 0 ＜ k* ＜ 1 ；当k* ＝ 1 代表顺时针运动产生的响应和逆时针运动产生的响应是相等的。β 是分流抑制的系数。q 表明池细胞具有的饱和非线性特性，可以对相关性较弱的信号进行增强，对相关性较强的信号进行抑制。
     将式 (1) ～ (4) 带入式 (5)，并设 (1-kT+k*k-k*T) ＝ A， (T-k+k*kT-k*) ＝ B，得到右侧小场景整合输出公式为：
     式 (6) 中，指数 n 代表大场景抑制过程中的非线性滤波处理。左侧同理。最后将大脑两侧的响应进行相减就可以获得小场景整合的结果：
     (4) 大场景整合以一维信号为例，给出了单侧眼大场景整合机理的数学描述，大场景整合计算为：
     其中 RLF(t) 是 t 时刻大场景整合结果，本实施例中 q ＝ 0.5，指数 n ＝ 3。Vi+(t) 和 Vi-(t) 是第 i 个初级运动检测器的一对正负通道输出。
     大场景整合计算的分子部分为检测器正负通道经非线性增强后的差，而分母部分则是局部整合区域内所有检测器正负通道输出之和，对整合结果进行正则化处理。由于正则化处理往往是用来消除输出结果与某个因素的相关作用，大场景整合机理将局部背景特征作为分母，可以减弱背景特征之间的相关性，从而抑制背景特征产生的响应。
     以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

资源描述

《高速微小目标仿蝇视觉在线实时检测装置及检测方法.pdf》由会员分享，可在线阅读，更多相关《高速微小目标仿蝇视觉在线实时检测装置及检测方法.pdf（17页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 102510436 A (43)申请公布日 2012.06.20 C N 1 0 2 5 1 0 4 3 6 A *CN102510436A* (21)申请号 201110315658.8 (22)申请日 2011.10.17 H04N 5/14(2006.01) (71)申请人河海大学常州校区地址 213022 江苏省常州市新北区晋陵北路 200号 (72)发明人李敏张学武范新南张卓梁瑞宇许海燕宋凤琴林善明 (74)专利代理机构南京纵横知识产权代理有限公司 32224 代理人董建林 (54) 发明名称高速微小目标仿蝇视觉在线实时检测装置及检测方。

2、法 (57) 摘要本发明公开了一种高速微小目标仿蝇视觉在线检测装置及检测方法，采用双目相机采集场景视频信息并传入DSP芯片，进行初级视觉处理；采用FPGA芯片对初级运动信息进行大场景、小场景整合和目标检测，将大、小场景整合结果作为目标检测依据，对高速运动微小目标进行跟踪。本发明具有以下优点：借鉴生物学原理实现目标检测，具有较强的抗干扰能力，适用于多种恶劣自然环境低信噪比条件下的目标检测；蝇类视觉系统神经元的整合机理具有计算原理简单、实时性好等特点；蝇类视觉神经元组织结构简单，易于硬件实现。该装置可以安装在汽车、坦克以及飞机等高速运动的设备上，具有在线实时、准确检测动态。

3、变化背景下高速运动微小目标的能力。 (51)Int.Cl. 权利要求书2页说明书8页附图6页 (19)中华人民共和国国家知识产权局 (12)发明专利申请权利要求书 2 页说明书 8 页附图 6 页 1/2页 2 1.一种高速微小目标仿蝇视觉在线实时检测装置，其特征是，包含图像信号采集模块、初级视觉信息处理模块、目标检测跟踪模块；所述图像信号采集模块中包含两部CCD图像传感器及与所述CCD图像传感器对应的可编程视频信号处理器；所述初级视觉信息处理模块中包含用于视频图像配准和初级运动估计的第一DSP芯片和与所述第一DSP芯片连接的第一存储芯片；所述目标检测跟踪模块中包含：。

4、2个并列的FPGA芯片，用于根据单极池细胞、双极池细胞的调度机制分别实现大、小场景整合的高阶信息处理，与所述FPGA芯片连接的第二存储芯片，与所述第二存储芯片连接的第二DSP芯片，将结合所述FPGA芯片输出的抑制后的复杂背景和运动矢量估计信息进行目标检测和跟踪。 2.根据权利要求1所述的高速微小目标仿蝇视觉在线实时检测装置，其特征是，所述 FPGA芯片封装了单极池细胞和双极池细胞单元。 3.根据权利要求1所述的高速微小目标仿蝇视觉在线实时检测装置，其特征是，所述第一DSP芯片中包含将相邻两个时刻配准好的全景图像进行运动估计的初级运动检测器模型，所述初级运动检测器模型由初级运动检测器。

5、单元EMD阵列组成，每个初级运动检测器单元EMD与图像中的像素一一对应。 4.基于权利要求1的高速微小目标仿蝇视觉在线实时检测方法，其特征是，包括以下步骤：步骤1，采用双目运动相机并列捆绑的方式采集场景视频信息，相机将模拟视频信号传输到视频采集卡上，将模拟视频信号转换为数字视频信号；步骤2，然后将视频采集卡获得的信息传入DSP芯片，对双目相机获得的场景图像进行初级视觉处理，包括对两路视频信号的配准和初级运动信息估计；步骤3，采用两块并行设置的FPGA芯片对初级运动信息进行大场景、小场景整合和目标检测，所述FPGA芯片中封装了单、双极池细胞单元，采用不同的池细胞调度机制使左侧 F。

6、PGA芯片进行大场景整合，右侧FPGA芯片进行小场景整合；步骤4，利用大、小场景整合结果获得的背景运动估计和小目标运动方向作为目标检测依据，对高速运动微小目标进行跟踪。 5.根据权利要求4所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述配准步骤为：首先估计两幅同时刻图像之间的仿射变换矩阵，然后通过缩放、旋转和平移将同一时刻获得的两幅图像进行拼接，获得大范围的全景图像。 6.根据权利要求4所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述初级运动信息估计将相邻两个时刻配准好的全景图像采用初级运动检测器模型进行运动估计，所述初级运动检测器模型由初级运动检测器单元EMD。

7、阵列组成初级运动信息检测阵列，每个EMD单元与图像中的像素一一对应，采用EMD阵列估计全景图像的矢量场，每个EMD 单元通过不同时刻、相邻空间位置上亮度信息的交叉相乘，获得极性不同的矢量信息作为小目标运动方向估计的基础。 7.根据权利要求6所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述权利要求书CN 102510436 A 2/2页 3 大场景整合将局部区域内所有EMD单元对应的单极池细胞输出进行叠加，叠加结果在双极池细胞的调度下对每个EMD单元的输出进行分流抑制，最后将抑制后的EMD输出进行叠加获得复杂背景特征抑制的大场景整合效果。 8.根据权利要求6所述的高速。

8、微小目标仿蝇视觉在线实时检测方法，其特征是，所述小场景整合是将EMD单元对应的单极池细胞输出作为抑制分量，在双极池细胞的调度下，对每个EMD单元的输出进行抑制，从而增强小目标特征，并对微小目标的运动方向进行估计。 9.根据权利要求6所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述的池细胞调度机制包含单极池细胞调度和双极池细胞调度，所述单极池细胞调度对EMD单元的输出通过非线性增强和线性叠加，提高不同运动方向的敏感性差异，增强微小目标的时域特征；所述双极池细胞调度是单极池细胞输出对EMD单元的输出进行分流抑制, 获得的小目标运动方向信息用于确定跟踪设备的运动方向。 10.。

9、根据权利要求4所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述双目运动相机为两部CCD相机。权利要求书CN 102510436 A 1/8页 4 高速微小目标仿蝇视觉在线实时检测装置及检测方法技术领域 0001 本发明涉及一种高速微小目标检测装置及检测方法，属于图像处理和目标检测技术领域。背景技术 0002 视频图像中运动目标的检测问题始终是计算机视觉研究的核心问题之一，它在军事制导、无人飞机驾驶、机器人视觉导航等方面具有广泛的应用前景。其中动态复杂背景下高速运动的微小目标检测则是运动目标检测问题中的难点。这类问题难于处理的关键原因在于：微小目标本身缺乏易于分。

10、析和识别的特征；复杂背景导致微小目标的信噪比较低；运动状态下背景模型难于估计和预测；高速运动微小目标的可检测特征存在不确定性。 0003 针对以上问题，目前已有的高速运动微小目标检测算法主要有两种解决方案：先检测后跟踪(DBT)和先跟踪后检测(TBD)。DBT方法中需要先对目标的位置进行检测，然后根据检测结果实现目标的跟踪。常用的小波分析方法、背景抑制方法以及变换域等方法均是为了获得准确的目标检测效果，从而提高跟踪的精度。检测效果的好坏直接决定了跟踪的成败。因此这类算法通常需要目标与背景之间具有较高的信噪比。另外存在运动的复杂背景通常无法获得准确的背景模型，从而导致微小目标检测准确。

11、性下降，影响跟踪效果。 0004 TBD方法不同于DBT方法，首先对微小目标的运动轨迹进行估计和判断，然后利用目标运动的连续性和一致性检测出真正的目标。常用的算法有高阶相关方法、时域滤波方法、粒子滤波方法等。这类算法可以实现较低信噪比条件下目标跟踪，具有较强的抗干扰能力，成为目前高速运动微小目标检测研究的热点。然而其计算复杂度高、计算量大和存储要求较高等问题对检测的准确度和实时性的影响仍有待解决。 0005 尽管人类已经掌握了强大数据处理能力的计算机技术和较高分辨率成像技术，但仍无法实现在运动复杂背景下对高速运动的微小目标实现稳定、实时检测和跟踪。 0006 经过自然进化的昆虫视觉系。

12、统如蝇类却可以凭借有限数量的大脑神经细胞和较低分辨率的复眼系统，在高速飞行于复杂多变的自然场景中准确的捕捉食物或追逐配偶，其在计算准确度、抗干扰能力和原理简易性上都大大超过了目前现有的目标检测算法。随着生物分析手段的不断提高，人们不断发现蝇类视觉系统对微小目标的检测和跟踪是通过小叶板神经元的大、小场景整合机理实现的。蝇类视觉系统中大、小场景整合机理对应于小叶板上单、双极池细胞不同的调度机制实现的。大场景整合将出现频率较高、变化速度缓慢的背景纹理特征进行抑制，同时对大范围的背景运动信息进行估计，获得平衡蝇类自身飞行的扭矩信息保证蝇类飞行的自身平衡；小场景整合机理则对出现频率较低、变。

13、化速度快的微小目标进行非线性特征增强，提高小尺寸目标特征的可感知度，同时准确估计微小目标的运动方向信息，从而使得蝇类视觉系统具有对高速飞行微小目标进行高精度、在线实时检测的能力。发明内容说明书CN 102510436 A 2/8页 5 0007 本发明的目的是针对当前计算机视觉对高速运动微小目标检测存在的计算原理复杂、计算量大、抗背景干扰能力差等局限性，特别是在动态复杂自然场景条件下背景模型无法准确估计，以及高速运动微小目标特征匮乏等问题，本发明借鉴蝇类视觉的大小场景整合机理，模拟蝇类从视觉信息获取到视网膜初级运动信息估计再到小叶板高阶神经元信息整合处理的过程，构建复杂背。

14、景下高速微小目标仿蝇视觉在线检测装置及其工作方法，利用平行神经整合机理实现对微小目标的检测和跟踪。 0008 为解决上述技术问题，本发明提供一种高速微小目标仿蝇视觉在线实时检测装置，其特征是，包含 0009 图像信号采集模块、初级视觉信息处理模块、目标检测跟踪模块； 0010 所述图像信号采集模块中包含两部CCD图像传感器及与所述CCD图像传感器对应的可编程视频信号处理器； 0011 所述初级视觉信息处理模块中包含用于视频图像配准和初级运动估计的第一DSP 芯片和与所述第一DSP芯片连接的第一存储芯片； 0012 所述目标检测跟踪模块中包含： 0013 2个并列的FPGA芯片，用于根据单。

15、极池细胞、双极池细胞的调度机制分别实现大、小场景整合的高阶信息处理， 0014 与所述FPGA芯片连接的第二存储芯片， 0015 与所述第二存储芯片连接的第二DSP芯片，将结合所述FPGA芯片输出的抑制后的复杂背景和运动矢量估计信息进行目标检测和跟踪。 0016 所述FPGA芯片封装了单极池细胞和双极池细胞单元。 0017 所述第一DSP芯片中包含将相邻两个时刻配准好的全景图像进行运动估计的初级运动检测器模型，所述初级运动检测器模型由初级运动检测器单元EMD阵列组成，每个初级运动检测器单元EMD与图像中的像素一一对应。 0018 基于权利要求1的高速微小目标仿蝇视觉在线实时检测方法，其。

16、特征是，包括以下步骤： 0019 步骤1，采用双目运动相机并列捆绑的方式采集场景视频信息，相机将模拟视频信号传输到视频采集卡上，将模拟视频信号转换为数字视频信号。 0020 步骤2，然后将视频采集卡获得的信息传入DSP芯片，对双目相机获得的场景图像进行初级视觉处理，包括对两路视频信号的配准和初级运动信息估计； 0021 所述配准步骤为：首先估计两幅同时刻图像之间的仿射变换矩阵，然后通过缩放、旋转和平移将同一时刻获得的两幅图像进行拼接，获得大范围的全景图像。根据生物视觉在水平方向上可视范围大于垂直方向的特点，该装置获得的全景图像将在水平方向上具有更广的视角。 0022 所述初级运动信。

17、息估计将相邻两个时刻配准好的全景图像采用初级运动检测器模型进行运动估计，所述初级运动检测器模型由初级运动检测器单元EMD阵列组成初级运动信息检测阵列，每个EMD单元与图像中的像素一一对应，即第i个EMD单元可以获得第i 个像素上的一对运动估计信息V i + (t)和V i - (t)，其中+、-代表第i个EMD单元对水平方向上从左到右和从右到左两个方向的运动具有不同的敏感性，区分这两个运动方向是下一步目标运动方向估计的基础。采用EMD阵列估计全景图像的矢量场，每个EMD单元通过不同说明书CN 102510436 A 3/8页 6 时刻、相邻空间位置上亮度信息的交叉相乘，获得极性不。

18、同的矢量信息作为小目标运动方向估计的基础。 0023 由于初级运动估计模型获得的运动信息属于初级视觉信息，通常受到场景空域特征例如：对比度、空域频率等因素的影响，因此不能反映真实的目标运动。而大、小场景整合处理机理作为高阶神经整合处理，DSP获得的初级运动信息进行纠正，实现准确的目标检测。 0024 步骤3，采用两块并行设置的FPGA芯片对初级运动信息进行大场景、小场景整合和目标检测，所述FPGA芯片中封装了单、双极池细胞单元，采用不同的池细胞调度机制使并行设置的FPGA芯片中左侧FPGA芯片进行大场景整合，右侧FPGA芯片进行小场景整合； 0025 每个EMD单元都对应了一对相反。

19、极性的单极池细胞，例如P i，l + (t)、P i，l - (t)为左眼中的第i个EMD单元对应的单极池细胞；P i，r + (t)、P i，r - (t)为右眼中的第i个EMD单元对应的单极池细胞。其中P i，l + (t)与P i，r - (t)对顺时针旋转敏感；而P i，l - (t)与P i，r + (t)对逆时针旋转敏感。单极池细胞将其对应的EMD单元输出V i + (t)和V i - (t)分量进行非线性增强和线性叠加，以增强目标特征的对比度，以及对相反运动方向敏感度的差异，得到的融合结果将作为双极池细胞的输入。 0026 每个EMD单元同样对应一对双极池细胞，为左眼中。

20、的第i个EMD单元对应的双极池细胞；为右眼中的第i个EMD单元对应的双极池细胞。总体来讲双极池细胞主要是将单极池细胞的输出进行融合，并将融合结果作为抑制分量，对EMD 输出V i + (t)和V i - (t)进行分流抑制实现大小场景整合。具体来讲，对于大场景整合，双极池细胞将每只眼对应视场范围N b 内的所有单极池细胞输出结果进行叠加，并将叠加结果作为抑制分量对第i个EMD单元估计的V i + (t)和V i - (t)进行分流抑制，得到和对于复杂背景特征分布密集的情况，单极池细胞的叠加将有利于抑制丰富的纹理特征，从而降低背景复杂度。对于小场景整合，双极池细胞则将其对应的单极池细。

21、胞输出结果进行融合，并将融合结果作为抑制分量，对第i个EMD单元估计的V i + (t)和V i - (t)进行分流抑制，得到和对于出现概率较低的目标特征，小场景整合将有助于目标特征的非线性增强，并对场景中的目标运动方向进行估计，获得小场景整合效果。 0027 步骤4，利用大、小场景整合结果获得的背景运动估计和小目标运动方向作为目标检测依据，对高速运动微小目标进行跟踪。 0028 将和之差在局部整合窗口N b 中进行叠加，得到大场景整合结果； 0029 同理将和在N b 窗口中进行叠加得到小场景整合结果。利用大小场景整合结果获得的背景运动估计和小目标运动方向作为目标检测依据，实现高速。

22、运动微小目标的跟踪。 0030 所述大场景整合将局部区域内所有EMD单元对应的单极池细胞输出进行叠加，叠加结果在双极池细胞的调度下对每个EMD单元的输出进行分流抑制，最后将抑制后的EMD 输出进行叠加获得复杂背景特征抑制的大场景整合效果。 0031 所述小场景整合是将EMD单元对应的单极池细胞输出作为抑制分量，在双极池细胞的调度下，对每个EMD单元的输出进行抑制，从而增强小目标特征，并对微小目标的运动方向进行估计。 0032 所述的池细胞调度机制包含单极池细胞调度和双极池细胞调度，所述单极池细胞说明书CN 102510436 A 4/8页 7 调度对EMD单元的输出通过非线性增强。

23、和线性叠加，提高不同运动方向的敏感性差异，增强微小目标的时域特征；所述双极池细胞调度是单极池细胞输出对EMD单元的输出进行分流抑制，获得的小目标运动方向信息用于确定跟踪设备的运动方向。 0033 所述双目运动相机为两部CCD相机。 0034 本发明所达到的有益效果： 0035 本发明设计的高速微小目标检测装置具有算法简单快速，造价低廉易于硬件实现和推广等优点。本发明受蝇类视觉系统快速准确捕捉动态复杂场景中高速运动的微小目标启发，基于蝇视觉系统大小场景整合机理，采用多电荷耦合器件组(CCD)、数字信号处理芯片DSP以及FPGA，构建一种可以实时检测动态复杂背景下高速运动微小目标的检测装。

24、置及其工作方法。该装置将捆绑在一起的双目相机作为前端视频信息采集部件，通过后端DSP 芯片的配准处理和初级视觉运动估计获得初级视觉信息，然后利用FPGA芯片中池细胞调度机制对初级运动信息分别进行大、小场景整合计算，实现复杂背景特征抑制、小目标运动方向信息估计和背景运动信息(扭矩信息)估计。 0036 本发明借鉴生物学原理克服了现有微小目标检测方法存在的计算复杂度高、计算量大、存储量大以及硬件难以实现等问题，在较低信噪比的复杂场景中，模拟蝇视觉系统中大、小场景整合机理，通过单、双极池细胞的不同调度机制实现快速、准确的高速微小目标检测。大场景整合机理可以抑制复杂背景特征并估计背景运动，。

25、增强目标检测的抗背景抗干扰能力；小场景整合可以增强微小目标特征并获得目标运动方向估计，实现高速运动微小目标检测。本发明适用于外界环境复杂、信噪比较低条件下的微小目标检测，并可以搭载在例如：汽车、坦克、飞机等高速运动的移动设备上，利用该检测装置计算获得的大场景扭矩信息和微小目标的运动方向信息，实现复杂背景下的高速运动微小目标检测和跟踪，具有在线实时、准确检测动态变化背景下高速运动微小目标的能力。 0037 与现有计算机信号处理方法不同，本发明涉及的大小场景整合机理是一种并行处理模式，可以同时获得背景抑制效果和小目标运动方向估计，弥补了现有目标检测算法在复杂背景运动或相机抖动干扰条件。

26、下的局限性；自适应的生物学机理在降低背景复杂度的同时，对低信噪比条件下高速运动的微小目标特征具有高度敏感性，其计算原理简单，计算速度快、可以实现在线实时检测，并易于硬件实现和推广。该装置具有以下优点：1)可以在低信噪比条件下实现目标检测，具有较强的抗干扰能力，适应于多种恶劣自然环境下的目标检测；2)利用蝇类视觉系统神经元的整合机理，计算原理简单、实时性好；3)蝇类视觉神经元组织结构简单，易于硬件实现。附图说明 0038 图1是本发明的检测装置硬件示意图； 0039 图2是本发明的算法流程图； 0040 图3是本发明的图像配准流程图； 0041 图4是本发明中小场景整合的单、双极池细。

27、胞融合流程图； 0042 图5是本发明的小场景整合流程图； 0043 图6是本发明的大场景整合流程图； 0044 图7是CCD摄像机与视频解码器的连接示意图。说明书CN 102510436 A 5/8页 8 具体实施方式 0045 下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。 0046 本发明的检测装置硬件逻辑部件如图1所示，小目标检测装置主要由三大部分组成：视频信号采集模块M1、初级视觉处理模块M2、目标检测跟踪模块M3。 0047 其中，视频信号采集模块M1中包含两部CCD相机1、2及与CCD相机对应的可编程。

28、视频信号处理器3、4，本实施例中两部CCD相机采用型号为MV-VS078FM/FC的黑白高速工业CCD相机，分别记为CCD L 、CCD R 其分辨率为1024768，帧速率为30帧每秒，适合智能交通，机器视觉等应用领域；与CCD相机1、2对应的可编程视频信号处理器3、4采用型号为 SAA7113H的可编程视频信号处理器，完成数模变换、多制式变换和抗混叠滤波等功能，另外对亮度、对比度和饱和度进行控制。 0048 初级视觉处理模块M2中包含DSP芯片5和相应的存储芯片6，本实施例中DSP芯片5采用实现视频图像配准和初级运动估计的TMS320C6711B型号DSP芯片。 0049 目标检。

29、测跟踪模块M3中包含2个FPGA芯片7、8及与其相连的存储芯片9和与存储芯片9连接的DSP芯片10，本实施例中FPGA芯片7、8采用Apex系列EP20K600EBC652型号FPGA芯片，通过单、双极池细胞的不同调度机制，实现大、小场景整合处理，获得目标运动估计和背景运动估计；DSP芯片10采用TMS320C6711B型号的DSP芯片，利用大、小场景整合结果以及抑制的背景信息进行目标检测和跟踪。 0050 采用双目相机作为前端视频信号的采集设备，模拟蝇类的双目结构，通过拼接和配准处理获得较宽的视场范围。该装置采用双FPGA对初级运动信息进行大、小场景整合和目标检测。大场景整合实现。

30、复杂背景抑制效果，同时对大场景运动进行估计输出扭矩信息作为目标检测和跟踪过程的补偿信息；小场景整合增强小目标的空间特征，同时准确估计小目标运动方向用于目标检测，有效提高目标检测的运算速度，有利于保证该装置检测的在线实时性。 0051 图2为与图1检测装置对应的整体算法的流程图，结合图1对算法流程进行说明。为了实现视频信号的配准，并对场景运动信息进行估计，将两块SAA7113H可编程视频信号处理器3、4处理器获得的视频信号输入到与其连接的DSP芯片中，进行图像配准和初级运动估计。图像配准采用块匹配算法，如图3所示；初级运动估计是通过蝇类视觉的初级运动估计器模型(EMD)原理对整个场。

31、景的运动信息进行估计，对于每个像素位置均可以得到 V i + (t)和V i - (t)两路信号。然后将V i + (t)和V i - (t)分别输入到并列的FGPA芯片7、8中，通过FGPA芯片7、8中的单极池细胞、双极池细胞的不同调度机制分别实现大、小场景整合计算，并将获得的扭矩信息(大场景运动)和目标运动信息输入到DSP芯片10中进行目标检测和跟踪。 0052 图4是小场景整合的单、双极池细胞调度流程。以双目相机对应的单个初级运动检测单元EMD为例，CCD L 和CCD R 分别表示不同的CCD相机。对于第(i，j)个像素，I(i， j，t)和I(i，j，t)为该空间位置上不同时。

32、刻的灰度值，I(i+，j，t)为与第(i，j)个像素位置相隔空间距离的第(i+，j)个像素的灰度值，通过交叉相关获得该像素对应EMD单元的V i + (t)、V i - (t)输出。由于仅考虑水平方向的运动估计，因此采用V i + (t)、说明书CN 102510436 A 6/8页 9 V i - (t)代表第(i，j)个EMD的输出，图中简写为V + 、V - ，以下同理。对于该EMD单元，在两个 FPGA芯片中分别对应了一对单极池细胞P i，l + (t)、P i，l - (t)和P i，r + (t)、P i，r - (t)。l、r表示左、右两侧的FPGA芯片7、8；+、-。

33、表示池细胞的极性。 0053 将分别输入到单极池细胞进行融合。不同极性的单极池细胞融合结果分别为：P i，l - (t)、P i，r + (t)、P i，l + (t)、P i，r - (t)。然后将单极池细胞融合结果输入到双极池细胞中。双极池细胞融合如图4中右侧虚线框所示，双极池细胞对于来自不同侧眼的相同运动敏感性的单极池细胞进行融合。对不同运动方向敏感的双极池细胞分别接入单虚线箭头、双虚线箭头表示的输入信号。其中左侧眼的顺时针(和逆时针)的双极池细胞输出为 P i，l CW (t)和P i，l CCW (t)(单虚线箭头表示)，右侧眼的顺时针(和逆时针)的双极池细胞输出为P i，。

34、r CW (t)和P i，r CCW (t)(双虚线箭头表示)。cw和ccw分别表示双池细胞对于顺时针运动方向和逆时针运动方向敏感，r和l表示不同侧的双极池细胞，i表示该双极池细胞对应的像素位置。 0054 在获得双极池细胞输出之后，对图4中两对初级运动估计信息V i + (t)、V i - (t)进行分流抑制和非线性处理，如图5所示，从而得到和和经过叠加得到第(i，j)位置上小目标运动方向的估计R SF (i，j)和大场景整合结果R LF (i，j)。 0055 图6为大场景整合流程图。大场景整合较为简单，同样包含了非线性增强与分流抑制处理。不同于小场景整合，大场景中的双极池细胞将。

35、单眼视场Nb范围内的所有单极池细胞输出P i，l - (t)、P i，l + (t)(或P i，r + (t)、P i，r - (t)进行叠加作为抑制分量，然后对V i + (t)、 V i - (t)两路运动信息进行分流抑制。 0056 图7是CCD相机摄像头与视频解码器的连接图，然后通过视频解码器链接到DSP 芯片上。每个CCD相机将数据通过端口D+和D-输入到电路板上，同时输入相应的控制信号CRL和正负电压。电路板上的两个接口分别是CZ1、CZ2。两个CCD的端口分别标记为 Port1、Port2。Port1对应CZ1；Port2对应CZ2。 0057 上述检测装置及检测流程中对应的。

36、算法如下： 0058 (1)图像配准 0059 图像配准过程的核心步骤是寻找到图像之间的仿射变换矩阵，即找出对齐的两幅或多幅重叠图像之间的变换关系。变换矩阵通常包括缩放、旋转和平移。本发明中两个相机采用并列式捆绑，因此可以表示为： 0060 f(x)Ax+b (1) 0061 其中，A是变换矩阵，b是平移矢量，矩阵A控制旋转效果。采用块匹配算法估计两幅视频图像之间的相对偏移量，然后将估计结果送入配准模块进行配准，流程如图3所示。 0062 (2)EMD初级视场的运动估计 0063 在蝇类视觉系统中，初级运动检测器(Elemetary Motion Detection，EMD)模型，也叫。

37、Reichardt运动检测器。每个初级运动检测器是由蝇类复眼视网膜上相隔一定空间距离的两个光感受器组成，将输入信号分别延迟后与相邻位置上未延迟的输入信号进行交叉相乘，计算两个相乘之差作为初级运动检测器的输出。针对一维信号的初级运动检测器模型的两路极性相反的信号表示为： 0064 V i + (t)I(i，t)I(i+，t+) 0065 V i - (t)I(i+，t)I(i，t+) (2) 说明书CN 102510436 A 7/8页 10 0066 其中，I(i，t)和I(i+，t)是初级运动检测器的输入端，I(i，t)是第i个光感细胞在第t时刻接收到的亮度值。为输入端之间的空间。

38、距离，该距离是由相邻光感细胞之间的间隔决定的；延迟时间是由神经细胞本身的响应特性决定的，决定了昆虫视觉系统感知运动信号的响应时间。这两个参数决定了初级运动检测器的时空响应特性。在研究中发现，初级运动检测器获得的运动信息并不准确，常常受到场景空域特征的影响，并且存在孔径效应。因此需要高阶神经元的进一步矫正才能获得准确的目标运动估计。 0067 在蝇类视觉系统的小叶板上存在着两套平行的信息整合机理-大场景整合机理和小场景整合机理，这两种整合机理分别对视网膜细胞获得的初级运动信息进行不同方式的整合。大场景整合机理主要对场景中缓慢变化的背景特征产生较强的响应，抑制纹理特征，并估计背景运动。

39、以平衡自身运动；而小场景整合机理则对场景中高速运动的目标产生较强的响应，对目标的运动方向进行估计，实现目标检测和跟踪。 0068 (3)小场景整合 0069 在蝇类视觉系统的两侧各有一对单极池细胞对应于双目，分别为P i，l + (t)、P i，l - (t) 和P i，r + (t)、P i，r - (t)，正负号代表了该单极池细胞对不同的运动方向产生兴奋响应。l，r表示池细胞位于大脑的左右两侧。i表示第i个像素位置。每侧的两对单极池细胞对初级运动估计V i + (t)和V i - (t)的调度机制表示为： 0070 0071 0072 式(3)中V i + (t)和V i - (t)。

40、分别表示了第i个初级运动检测器的正负通道输出，T 为单极池细胞中兴奋响应和抑制响应之比，0T1。该比值表示单极池细胞可以选择性的响应于不同运动方向的信号。例如右侧的正、负单极池细胞响应于顺时针运动；而左侧的正、负单极池细胞一致响应于逆时针运动。N是局部整合区域内初级运动检测器数目。 0073 在分别获得两侧单极池细胞的响应结果之后，两侧的双极池细胞将融合两侧不同极性的单极池细胞输出，获得该侧双极池细胞的输出。以右侧双极池细胞为例，右侧眼的顺时针响应和逆时针响应和为： 0074 0075 0076 式(4)中的系数k表示双极池细胞中两个单极池细胞的不同贡献率，一个是来自同侧的单极池细胞。

41、；另外一个是来自对侧(异侧)的单极池细胞，0k1。左侧的双极池细胞的响应同理。 0077 最后将同侧的双极池细胞输出对初级运动估计V i + (t)和V i - (t)进行分流抑制，获得小场景整合结果。 0078 0079 式(5)中，k * 系数为双极池细胞中不同运动方向的响应之比，通常0k * 1；当说明书CN 102510436 A 10 8/8页 11 k * 1代表顺时针运动产生的响应和逆时针运动产生的响应是相等的。是分流抑制的系数。q表明池细胞具有的饱和非线性特性，可以对相关性较弱的信号进行增强，对相关性较强的信号进行抑制。 0080 将式(1)(4)带入式(5)，并。

42、设(1-kT+k * k-k * T)A，(T-k+k * kT-k * )B，得到右侧小场景整合输出公式为： 0081 0082 0083 式(6)中，指数n代表大场景抑制过程中的非线性滤波处理。左侧同理。最后将大脑两侧的响应进行相减就可以获得小场景整合的结果： 0084 0085 0086 (4)大场景整合 0087 以一维信号为例，给出了单侧眼大场景整合机理的数学描述，大场景整合计算为： 0088 0089 其中R LF (t)是t时刻大场景整合结果，本实施例中q0.5，指数n3。V i + (t)和 V i - (t)是第i个初级运动检测器的一对正负通道输出。 0090 大场景整。

43、合计算的分子部分为检测器正负通道经非线性增强后的差，而分母部分则是局部整合区域内所有检测器正负通道输出之和，对整合结果进行正则化处理。由于正则化处理往往是用来消除输出结果与某个因素的相关作用，大场景整合机理将局部背景特征作为分母，可以减弱背景特征之间的相关性，从而抑制背景特征产生的响应。 0091 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。说明书CN 102510436 A 11 1/6页 12 图1 说明书附图CN 102510436 A 12 2/6页 13 图2 图3 说明书附图CN 102510436 A 13 3/6页 14 图4 说明书附图CN 102510436 A 14 4/6页 15 图5 说明书附图CN 102510436 A 15 5/6页 16 图6 说明书附图CN 102510436 A 16 6/6页 17 图7 说明书附图CN 102510436 A 17 。

展开阅读全文