高速微小目标仿蝇视觉在线实时检测装置及检测方法.pdf

1、(10)申请公布号 CN 102510436 A (43)申请公布日 2012.06.20 C N 1 0 2 5 1 0 4 3 6 A *CN102510436A* (21)申请号 201110315658.8 (22)申请日 2011.10.17 H04N 5/14(2006.01) (71)申请人河海大学常州校区 地址 213022 江苏省常州市新北区晋陵北路 200号 (72)发明人李敏 张学武 范新南 张卓 梁瑞宇 许海燕 宋凤琴 林善明 (74)专利代理机构南京纵横知识产权代理有限 公司 32224 代理人董建林 (54) 发明名称 高速微小目标仿蝇视觉在线实时检测装置及 检测方

2、法 (57) 摘要 本发明公开了一种高速微小目标仿蝇视觉在 线检测装置及检测方法，采用双目相机采集场景 视频信息并传入DSP芯片，进行初级视觉处理；采 用FPGA芯片对初级运动信息进行大场景、小场景 整合和目标检测，将大、小场景整合结果作为目标 检测依据，对高速运动微小目标进行跟踪。本发明 具有以下优点：借鉴生物学原理实现目标检测， 具有较强的抗干扰能力，适用于多种恶劣自然环 境低信噪比条件下的目标检测；蝇类视觉系统神 经元的整合机理具有计算原理简单、实时性好等 特点；蝇类视觉神经元组织结构简单，易于硬件 实现。该装置可以安装在汽车、坦克以及飞机等高 速运动的设备上，具有在线实时、准确检测动态

3、变 化背景下高速运动微小目标的能力。 (51)Int.Cl. 权利要求书2页 说明书8页 附图6页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 8 页 附图 6 页 1/2页 2 1.一种高速微小目标仿蝇视觉在线实时检测装置，其特征是，包含 图像信号采集模块、初级视觉信息处理模块、目标检测跟踪模块； 所述图像信号采集模块中包含两部CCD图像传感器及与所述CCD图像传感器对应的可 编程视频信号处理器； 所述初级视觉信息处理模块中包含用于视频图像配准和初级运动估计的第一DSP芯 片和与所述第一DSP芯片连接的第一存储芯片； 所述目标检测跟踪模块中包含：

4、2个并列的FPGA芯片，用于根据单极池细胞、双极池细胞的调度机制分别实现大、小场 景整合的高阶信息处理， 与所述FPGA芯片连接的第二存储芯片， 与所述第二存储芯片连接的第二DSP芯片，将结合所述FPGA芯片输出的抑制后的复杂 背景和运动矢量估计信息进行目标检测和跟踪。 2.根据权利要求1所述的高速微小目标仿蝇视觉在线实时检测装置，其特征是，所述 FPGA芯片封装了单极池细胞和双极池细胞单元。 3.根据权利要求1所述的高速微小目标仿蝇视觉在线实时检测装置，其特征是，所述 第一DSP芯片中包含将相邻两个时刻配准好的全景图像进行运动估计的初级运动检测器 模型，所述初级运动检测器模型由初级运动检测器

5、单元EMD阵列组成，每个初级运动检测 器单元EMD与图像中的像素一一对应。 4.基于权利要求1的高速微小目标仿蝇视觉在线实时检测方法，其特征是，包括以下 步骤： 步骤1，采用双目运动相机并列捆绑的方式采集场景视频信息，相机将模拟视频信号传 输到视频采集卡上，将模拟视频信号转换为数字视频信号； 步骤2，然后将视频采集卡获得的信息传入DSP芯片，对双目相机获得的场景图像进行 初级视觉处理，包括对两路视频信号的配准和初级运动信息估计； 步骤3，采用两块并行设置的FPGA芯片对初级运动信息进行大场景、小场景整合和目 标检测，所述FPGA芯片中封装了单、双极池细胞单元，采用不同的池细胞调度机制使左侧 F

6、PGA芯片进行大场景整合，右侧FPGA芯片进行小场景整合； 步骤4，利用大、小场景整合结果获得的背景运动估计和小目标运动方向作为目标检测 依据，对高速运动微小目标进行跟踪。 5.根据权利要求4所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述 配准步骤为：首先估计两幅同时刻图像之间的仿射变换矩阵，然后通过缩放、旋转和平移将 同一时刻获得的两幅图像进行拼接，获得大范围的全景图像。 6.根据权利要求4所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述 初级运动信息估计将相邻两个时刻配准好的全景图像采用初级运动检测器模型进行运动 估计，所述初级运动检测器模型由初级运动检测器单元EMD

7、阵列组成初级运动信息检测阵 列，每个EMD单元与图像中的像素一一对应，采用EMD阵列估计全景图像的矢量场，每个EMD 单元通过不同时刻、相邻空间位置上亮度信息的交叉相乘，获得极性不同的矢量信息作为 小目标运动方向估计的基础。 7.根据权利要求6所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述 权 利 要 求 书CN 102510436 A 2/2页 3 大场景整合将局部区域内所有EMD单元对应的单极池细胞输出进行叠加，叠加结果在双极 池细胞的调度下对每个EMD单元的输出进行分流抑制，最后将抑制后的EMD输出进行叠加 获得复杂背景特征抑制的大场景整合效果。 8.根据权利要求6所述的高速

8、微小目标仿蝇视觉在线实时检测方法，其特征是，所述 小场景整合是将EMD单元对应的单极池细胞输出作为抑制分量，在双极池细胞的调度下， 对每个EMD单元的输出进行抑制，从而增强小目标特征，并对微小目标的运动方向进行估 计。 9.根据权利要求6所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述 的池细胞调度机制包含单极池细胞调度和双极池细胞调度，所述单极池细胞调度对EMD单 元的输出通过非线性增强和线性叠加，提高不同运动方向的敏感性差异，增强微小目标的 时域特征；所述双极池细胞调度是单极池细胞输出对EMD单元的输出进行分流抑制, 获得 的小目标运动方向信息用于确定跟踪设备的运动方向。 10.

9、根据权利要求4所述的高速微小目标仿蝇视觉在线实时检测方法，其特征是，所述 双目运动相机为两部CCD相机。 权 利 要 求 书CN 102510436 A 1/8页 4 高速微小目标仿蝇视觉在线实时检测装置及检测方法 技术领域 0001 本发明涉及一种高速微小目标检测装置及检测方法，属于图像处理和目标检测技 术领域。 背景技术 0002 视频图像中运动目标的检测问题始终是计算机视觉研究的核心问题之一，它在军 事制导、无人飞机驾驶、机器人视觉导航等方面具有广泛的应用前景。其中动态复杂背景下 高速运动的微小目标检测则是运动目标检测问题中的难点。这类问题难于处理的关键原因 在于：微小目标本身缺乏易于分

10、析和识别的特征；复杂背景导致微小目标的信噪比较低； 运动状态下背景模型难于估计和预测；高速运动微小目标的可检测特征存在不确定性。 0003 针对以上问题，目前已有的高速运动微小目标检测算法主要有两种解决方案：先 检测后跟踪(DBT)和先跟踪后检测(TBD)。DBT方法中需要先对目标的位置进行检测，然后 根据检测结果实现目标的跟踪。常用的小波分析方法、背景抑制方法以及变换域等方法均 是为了获得准确的目标检测效果，从而提高跟踪的精度。检测效果的好坏直接决定了跟踪 的成败。因此这类算法通常需要目标与背景之间具有较高的信噪比。另外存在运动的复杂 背景通常无法获得准确的背景模型，从而导致微小目标检测准确

11、性下降，影响跟踪效果。 0004 TBD方法不同于DBT方法，首先对微小目标的运动轨迹进行估计和判断，然后利用 目标运动的连续性和一致性检测出真正的目标。常用的算法有高阶相关方法、时域滤波方 法、粒子滤波方法等。这类算法可以实现较低信噪比条件下目标跟踪，具有较强的抗干扰能 力，成为目前高速运动微小目标检测研究的热点。然而其计算复杂度高、计算量大和存储要 求较高等问题对检测的准确度和实时性的影响仍有待解决。 0005 尽管人类已经掌握了强大数据处理能力的计算机技术和较高分辨率成像技术，但 仍无法实现在运动复杂背景下对高速运动的微小目标实现稳定、实时检测和跟踪。 0006 经过自然进化的昆虫视觉系

12、统如蝇类却可以凭借有限数量的大脑神经细胞和较 低分辨率的复眼系统，在高速飞行于复杂多变的自然场景中准确的捕捉食物或追逐配偶， 其在计算准确度、抗干扰能力和原理简易性上都大大超过了目前现有的目标检测算法。随 着生物分析手段的不断提高，人们不断发现蝇类视觉系统对微小目标的检测和跟踪是通过 小叶板神经元的大、小场景整合机理实现的。蝇类视觉系统中大、小场景整合机理对应于小 叶板上单、双极池细胞不同的调度机制实现的。大场景整合将出现频率较高、变化速度缓慢 的背景纹理特征进行抑制，同时对大范围的背景运动信息进行估计，获得平衡蝇类自身飞 行的扭矩信息保证蝇类飞行的自身平衡；小场景整合机理则对出现频率较低、变

13、化速度快 的微小目标进行非线性特征增强，提高小尺寸目标特征的可感知度，同时准确估计微小目 标的运动方向信息，从而使得蝇类视觉系统具有对高速飞行微小目标进行高精度、在线实 时检测的能力。 发明内容 说 明 书CN 102510436 A 2/8页 5 0007 本发明的目的是针对当前计算机视觉对高速运动微小目标检测存在的计算原理 复杂、计算量大、抗背景干扰能力差等局限性，特别是在动态复杂自然场景条件下背景模型 无法准确估计，以及高速运动微小目标特征匮乏等问题，本发明借鉴蝇类视觉的大小场景 整合机理，模拟蝇类从视觉信息获取到视网膜初级运动信息估计再到小叶板高阶神经元信 息整合处理的过程，构建复杂背

14、景下高速微小目标仿蝇视觉在线检测装置及其工作方法， 利用平行神经整合机理实现对微小目标的检测和跟踪。 0008 为解决上述技术问题，本发明提供一种高速微小目标仿蝇视觉在线实时检测装 置，其特征是，包含 0009 图像信号采集模块、初级视觉信息处理模块、目标检测跟踪模块； 0010 所述图像信号采集模块中包含两部CCD图像传感器及与所述CCD图像传感器对应 的可编程视频信号处理器； 0011 所述初级视觉信息处理模块中包含用于视频图像配准和初级运动估计的第一DSP 芯片和与所述第一DSP芯片连接的第一存储芯片； 0012 所述目标检测跟踪模块中包含： 0013 2个并列的FPGA芯片，用于根据单

15、极池细胞、双极池细胞的调度机制分别实现大、 小场景整合的高阶信息处理， 0014 与所述FPGA芯片连接的第二存储芯片， 0015 与所述第二存储芯片连接的第二DSP芯片，将结合所述FPGA芯片输出的抑制后的 复杂背景和运动矢量估计信息进行目标检测和跟踪。 0016 所述FPGA芯片封装了单极池细胞和双极池细胞单元。 0017 所述第一DSP芯片中包含将相邻两个时刻配准好的全景图像进行运动估计的初 级运动检测器模型，所述初级运动检测器模型由初级运动检测器单元EMD阵列组成，每个 初级运动检测器单元EMD与图像中的像素一一对应。 0018 基于权利要求1的高速微小目标仿蝇视觉在线实时检测方法，其

16、特征是，包括以 下步骤： 0019 步骤1，采用双目运动相机并列捆绑的方式采集场景视频信息，相机将模拟视频信 号传输到视频采集卡上，将模拟视频信号转换为数字视频信号。 0020 步骤2，然后将视频采集卡获得的信息传入DSP芯片，对双目相机获得的场景图像 进行初级视觉处理，包括对两路视频信号的配准和初级运动信息估计； 0021 所述配准步骤为：首先估计两幅同时刻图像之间的仿射变换矩阵，然后通过缩放、 旋转和平移将同一时刻获得的两幅图像进行拼接，获得大范围的全景图像。根据生物视觉 在水平方向上可视范围大于垂直方向的特点，该装置获得的全景图像将在水平方向上具有 更广的视角。 0022 所述初级运动信

17、息估计将相邻两个时刻配准好的全景图像采用初级运动检测器 模型进行运动估计，所述初级运动检测器模型由初级运动检测器单元EMD阵列组成初级运 动信息检测阵列，每个EMD单元与图像中的像素一一对应，即第i个EMD单元可以获得第i 个像素上的一对运动估计信息V i + (t)和V i - (t)，其中+、-代表第i个EMD单元对水平方向 上从左到右和从右到左两个方向的运动具有不同的敏感性，区分这两个运动方向是下一步 目标运动方向估计的基础。采用EMD阵列估计全景图像的矢量场，每个EMD单元通过不同 说 明 书CN 102510436 A 3/8页 6 时刻、相邻空间位置上亮度信息的交叉相乘，获得极性不

18、同的矢量信息作为小目标运动方 向估计的基础。 0023 由于初级运动估计模型获得的运动信息属于初级视觉信息，通常受到场景空域特 征例如：对比度、空域频率等因素的影响，因此不能反映真实的目标运动。而大、小场景整 合处理机理作为高阶神经整合处理，DSP获得的初级运动信息进行纠正，实现准确的目标检 测。 0024 步骤3，采用两块并行设置的FPGA芯片对初级运动信息进行大场景、小场景整合 和目标检测，所述FPGA芯片中封装了单、双极池细胞单元，采用不同的池细胞调度机制使 并行设置的FPGA芯片中左侧FPGA芯片进行大场景整合，右侧FPGA芯片进行小场景整合； 0025 每个EMD单元都对应了一对相反

19、极性的单极池细胞，例如P i，l + (t)、P i，l - (t)为左眼 中的第i个EMD单元对应的单极池细胞；P i，r + (t)、P i，r - (t)为右眼中的第i个EMD单元对应 的单极池细胞。其中P i，l + (t)与P i，r - (t)对顺时针旋转敏感；而P i，l - (t)与P i，r + (t)对逆时 针旋转敏感。单极池细胞将其对应的EMD单元输出V i + (t)和V i - (t)分量进行非线性增强和 线性叠加，以增强目标特征的对比度，以及对相反运动方向敏感度的差异，得到的融合结果 将作为双极池细胞的输入。 0026 每个EMD单元同样对应一对双极池细胞，为左眼中

20、的第i个EMD单 元对应的双极池细胞；为右眼中的第i个EMD单元对应的双极池细胞。总体 来讲双极池细胞主要是将单极池细胞的输出进行融合，并将融合结果作为抑制分量，对EMD 输出V i + (t)和V i - (t)进行分流抑制实现大小场景整合。具体来讲，对于大场景整合，双极 池细胞将每只眼对应视场范围N b 内的所有单极池细胞输出结果进行叠加，并将叠加结果作 为抑制分量对第i个EMD单元估计的V i + (t)和V i - (t)进行分流抑制，得到和对 于复杂背景特征分布密集的情况，单极池细胞的叠加将有利于抑制丰富的纹理特征，从而 降低背景复杂度。对于小场景整合，双极池细胞则将其对应的单极池细

21、胞输出结果进行融 合，并将融合结果作为抑制分量，对第i个EMD单元估计的V i + (t)和V i - (t)进行分流抑制， 得到和对于出现概率较低的目标特征，小场景整合将有助于目标特征的非线性 增强，并对场景中的目标运动方向进行估计，获得小场景整合效果。 0027 步骤4，利用大、小场景整合结果获得的背景运动估计和小目标运动方向作为目标 检测依据，对高速运动微小目标进行跟踪。 0028 将和之差在局部整合窗口N b 中进行叠加，得到大场景整合结果； 0029 同理将和在N b 窗口中进行叠加得到小场景整合结果。利用大小场景整 合结果获得的背景运动估计和小目标运动方向作为目标检测依据，实现高速

22、运动微小目标 的跟踪。 0030 所述大场景整合将局部区域内所有EMD单元对应的单极池细胞输出进行叠加，叠 加结果在双极池细胞的调度下对每个EMD单元的输出进行分流抑制，最后将抑制后的EMD 输出进行叠加获得复杂背景特征抑制的大场景整合效果。 0031 所述小场景整合是将EMD单元对应的单极池细胞输出作为抑制分量，在双极池细 胞的调度下，对每个EMD单元的输出进行抑制，从而增强小目标特征，并对微小目标的运动 方向进行估计。 0032 所述的池细胞调度机制包含单极池细胞调度和双极池细胞调度，所述单极池细胞 说 明 书CN 102510436 A 4/8页 7 调度对EMD单元的输出通过非线性增强

23、和线性叠加，提高不同运动方向的敏感性差异，增 强微小目标的时域特征；所述双极池细胞调度是单极池细胞输出对EMD单元的输出进行分 流抑制，获得的小目标运动方向信息用于确定跟踪设备的运动方向。 0033 所述双目运动相机为两部CCD相机。 0034 本发明所达到的有益效果： 0035 本发明设计的高速微小目标检测装置具有算法简单快速，造价低廉易于硬件实现 和推广等优点。本发明受蝇类视觉系统快速准确捕捉动态复杂场景中高速运动的微小目标 启发，基于蝇视觉系统大小场景整合机理，采用多电荷耦合器件组(CCD)、数字信号处理芯 片DSP以及FPGA，构建一种可以实时检测动态复杂背景下高速运动微小目标的检测装

24、置及 其工作方法。该装置将捆绑在一起的双目相机作为前端视频信息采集部件，通过后端DSP 芯片的配准处理和初级视觉运动估计获得初级视觉信息，然后利用FPGA芯片中池细胞调 度机制对初级运动信息分别进行大、小场景整合计算，实现复杂背景特征抑制、小目标运动 方向信息估计和背景运动信息(扭矩信息)估计。 0036 本发明借鉴生物学原理克服了现有微小目标检测方法存在的计算复杂度高、计算 量大、存储量大以及硬件难以实现等问题，在较低信噪比的复杂场景中，模拟蝇视觉系统中 大、小场景整合机理，通过单、双极池细胞的不同调度机制实现快速、准确的高速微小目标 检测。大场景整合机理可以抑制复杂背景特征并估计背景运动，

25、增强目标检测的抗背景抗 干扰能力；小场景整合可以增强微小目标特征并获得目标运动方向估计，实现高速运动微 小目标检测。本发明适用于外界环境复杂、信噪比较低条件下的微小目标检测，并可以搭载 在例如：汽车、坦克、飞机等高速运动的移动设备上，利用该检测装置计算获得的大场景扭 矩信息和微小目标的运动方向信息，实现复杂背景下的高速运动微小目标检测和跟踪，具 有在线实时、准确检测动态变化背景下高速运动微小目标的能力。 0037 与现有计算机信号处理方法不同，本发明涉及的大小场景整合机理是一种并行处 理模式，可以同时获得背景抑制效果和小目标运动方向估计，弥补了现有目标检测算法在 复杂背景运动或相机抖动干扰条件

26、下的局限性；自适应的生物学机理在降低背景复杂度的 同时，对低信噪比条件下高速运动的微小目标特征具有高度敏感性，其计算原理简单，计算 速度快、可以实现在线实时检测，并易于硬件实现和推广。该装置具有以下优点：1)可以在 低信噪比条件下实现目标检测，具有较强的抗干扰能力，适应于多种恶劣自然环境下的目 标检测；2)利用蝇类视觉系统神经元的整合机理，计算原理简单、实时性好；3)蝇类视觉神 经元组织结构简单，易于硬件实现。 附图说明 0038 图1是本发明的检测装置硬件示意图； 0039 图2是本发明的算法流程图； 0040 图3是本发明的图像配准流程图； 0041 图4是本发明中小场景整合的单、双极池细

27、胞融合流程图； 0042 图5是本发明的小场景整合流程图； 0043 图6是本发明的大场景整合流程图； 0044 图7是CCD摄像机与视频解码器的连接示意图。 说 明 书CN 102510436 A 5/8页 8 具体实施方式 0045 下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明 的技术方案，而不能以此来限制本发明的保护范围。 0046 本发明的检测装置硬件逻辑部件如图1所示，小目标检测装置主要由三大部分组 成：视频信号采集模块M1、初级视觉处理模块M2、目标检测跟踪模块M3。 0047 其中，视频信号采集模块M1中包含两部CCD相机1、2及与CCD相机对应的可编程

28、 视频信号处理器3、4，本实施例中两部CCD相机采用型号为MV-VS078FM/FC的黑白高速工 业CCD相机，分别记为CCD L 、CCD R 其分辨率为1024768，帧速率为30帧每秒，适合智能交 通，机器视觉等应用领域；与CCD相机1、2对应的可编程视频信号处理器3、4采用型号为 SAA7113H的可编程视频信号处理器，完成数模变换、多制式变换和抗混叠滤波等功能，另外 对亮度、对比度和饱和度进行控制。 0048 初级视觉处理模块M2中包含DSP芯片5和相应的存储芯片6，本实施例中DSP芯 片5采用实现视频图像配准和初级运动估计的TMS320C6711B型号DSP芯片。 0049 目标检

29、测跟踪模块M3中包含2个FPGA芯片7、8及与其相连的存储芯片9和与存 储芯片9连接的DSP芯片10，本实施例中FPGA芯片7、8采用Apex系列EP20K600EBC652型 号FPGA芯片，通过单、双极池细胞的不同调度机制，实现大、小场景整合处理，获得目标运 动估计和背景运动估计；DSP芯片10采用TMS320C6711B型号的DSP芯片，利用大、小场景 整合结果以及抑制的背景信息进行目标检测和跟踪。 0050 采用双目相机作为前端视频信号的采集设备，模拟蝇类的双目结构，通过拼接和 配准处理获得较宽的视场范围。该装置采用双FPGA对初级运动信息进行大、小场景整合和 目标检测。大场景整合实现

30、复杂背景抑制效果，同时对大场景运动进行估计输出扭矩信息 作为目标检测和跟踪过程的补偿信息；小场景整合增强小目标的空间特征，同时准确估计 小目标运动方向用于目标检测，有效提高目标检测的运算速度，有利于保证该装置检测的 在线实时性。 0051 图2为与图1检测装置对应的整体算法的流程图，结合图1对算法流程进行说明。 为了实现视频信号的配准，并对场景运动信息进行估计，将两块SAA7113H可编程视频信号 处理器3、4处理器获得的视频信号输入到与其连接的DSP芯片中，进行图像配准和初级运 动估计。图像配准采用块匹配算法，如图3所示；初级运动估计是通过蝇类视觉的初级运 动估计器模型(EMD)原理对整个场

31、景的运动信息进行估计，对于每个像素位置均可以得到 V i + (t)和V i - (t)两路信号。然后将V i + (t)和V i - (t)分别输入到并列的FGPA芯片7、8中，通 过FGPA芯片7、8中的单极池细胞、双极池细胞的不同调度机制分别实现大、小场景整合计 算，并将获得的扭矩信息(大场景运动)和目标运动信息输入到DSP芯片10中进行目标检 测和跟踪。 0052 图4是小场景整合的单、双极池细胞调度流程。以双目相机对应的单个初级运动 检测单元EMD为例，CCD L 和CCD R 分别表示不同的CCD相机。对于第(i，j)个像素，I(i， j，t)和I(i，j，t)为该空间位置上不同时

32、刻的灰度值，I(i+，j，t)为与第(i，j)个 像素位置相隔空间距离的第(i+，j)个像素的灰度值，通过交叉相关获得该像素 对应EMD单元的V i + (t)、V i - (t)输出。由于仅考虑水平方向的运动估计，因此采用V i + (t)、 说 明 书CN 102510436 A 6/8页 9 V i - (t)代表第(i，j)个EMD的输出，图中简写为V + 、V - ，以下同理。对于该EMD单元，在两个 FPGA芯片中分别对应了一对单极池细胞P i，l + (t)、P i，l - (t)和P i，r + (t)、P i，r - (t)。l、r表示 左、右两侧的FPGA芯片7、8；+、-

33、表示池细胞的极性。 0053 将分别输入到单极池细胞进行融合。不同极性的单极池细胞融合结 果分别为：P i，l - (t)、P i，r + (t)、P i，l + (t)、P i，r - (t)。然后将单极池细胞融合结果输入到双极池 细胞中。双极池细胞融合如图4中右侧虚线框所示，双极池细胞对于来自不同侧眼的相同 运动敏感性的单极池细胞进行融合。对不同运动方向敏感的双极池细胞分别接入单虚线箭 头、双虚线箭头表示的输入信号。其中左侧眼的顺时针(和逆时针)的双极池细胞输出为 P i，l CW (t)和P i，l CCW (t)(单虚线箭头表示)，右侧眼的顺时针(和逆时针)的双极池细胞输出 为P i，

34、r CW (t)和P i，r CCW (t)(双虚线箭头表示)。cw和ccw分别表示双池细胞对于顺时针运动 方向和逆时针运动方向敏感，r和l表示不同侧的双极池细胞，i表示该双极池细胞对应的 像素位置。 0054 在获得双极池细胞输出之后，对图4中两对初级运动估计信息V i + (t)、V i - (t)进行 分流抑制和非线性处理，如图5所示，从而得到和和经过叠加得到 第(i，j)位置上小目标运动方向的估计R SF (i，j)和大场景整合结果R LF (i，j)。 0055 图6为大场景整合流程图。大场景整合较为简单，同样包含了非线性增强与分流 抑制处理。不同于小场景整合，大场景中的双极池细胞将

35、单眼视场Nb范围内的所有单极池 细胞输出P i，l - (t)、P i，l + (t)(或P i，r + (t)、P i，r - (t)进行叠加作为抑制分量，然后对V i + (t)、 V i - (t)两路运动信息进行分流抑制。 0056 图7是CCD相机摄像头与视频解码器的连接图，然后通过视频解码器链接到DSP 芯片上。每个CCD相机将数据通过端口D+和D-输入到电路板上，同时输入相应的控制信 号CRL和正负电压。电路板上的两个接口分别是CZ1、CZ2。两个CCD的端口分别标记为 Port1、Port2。Port1对应CZ1；Port2对应CZ2。 0057 上述检测装置及检测流程中对应的

36、算法如下： 0058 (1)图像配准 0059 图像配准过程的核心步骤是寻找到图像之间的仿射变换矩阵，即找出对齐的两幅 或多幅重叠图像之间的变换关系。变换矩阵通常包括缩放、旋转和平移。本发明中两个相 机采用并列式捆绑，因此可以表示为： 0060 f(x)Ax+b (1) 0061 其中，A是变换矩阵，b是平移矢量，矩阵A控制旋转效果。采用块匹配算法估计两 幅视频图像之间的相对偏移量，然后将估计结果送入配准模块进行配准，流程如图3所示。 0062 (2)EMD初级视场的运动估计 0063 在蝇类视觉系统中，初级运动检测器(Elemetary Motion Detection，EMD)模型， 也叫

37、Reichardt运动检测器。每个初级运动检测器是由蝇类复眼视网膜上相隔一定空间距 离的两个光感受器组成，将输入信号分别延迟后与相邻位置上未延迟的输入信号进行交叉 相乘，计算两个相乘之差作为初级运动检测器的输出。针对一维信号的初级运动检测器模 型的两路极性相反的信号表示为： 0064 V i + (t)I(i，t)I(i+，t+) 0065 V i - (t)I(i+，t)I(i，t+) (2) 说 明 书CN 102510436 A 7/8页 10 0066 其中，I(i，t)和I(i+，t)是初级运动检测器的输入端，I(i，t)是第i个光感 细胞在第t时刻接收到的亮度值。为输入端之间的空间

38、距离，该距离是由相邻光感细 胞之间的间隔决定的；延迟时间是由神经细胞本身的响应特性决定的，决定了昆虫视觉 系统感知运动信号的响应时间。这两个参数决定了初级运动检测器的时空响应特性。在研 究中发现，初级运动检测器获得的运动信息并不准确，常常受到场景空域特征的影响，并且 存在孔径效应。因此需要高阶神经元的进一步矫正才能获得准确的目标运动估计。 0067 在蝇类视觉系统的小叶板上存在着两套平行的信息整合机理-大场景整合机理 和小场景整合机理，这两种整合机理分别对视网膜细胞获得的初级运动信息进行不同方式 的整合。大场景整合机理主要对场景中缓慢变化的背景特征产生较强的响应，抑制纹理特 征，并估计背景运动

39、以平衡自身运动；而小场景整合机理则对场景中高速运动的目标产生 较强的响应，对目标的运动方向进行估计，实现目标检测和跟踪。 0068 (3)小场景整合 0069 在蝇类视觉系统的两侧各有一对单极池细胞对应于双目，分别为P i，l + (t)、P i，l - (t) 和P i，r + (t)、P i，r - (t)，正负号代表了该单极池细胞对不同的运动方向产生兴奋响应。l，r表 示池细胞位于大脑的左右两侧。i表示第i个像素位置。每侧的两对单极池细胞对初级运 动估计V i + (t)和V i - (t)的调度机制表示为： 0070 0071 0072 式(3)中V i + (t)和V i - (t)

40、分别表示了第i个初级运动检测器的正负通道输出，T 为单极池细胞中兴奋响应和抑制响应之比，0T1。该比值表示单极池细胞可以选择性 的响应于不同运动方向的信号。例如右侧的正、负单极池细胞响应于顺时针运动；而左侧的 正、负单极池细胞一致响应于逆时针运动。N是局部整合区域内初级运动检测器数目。 0073 在分别获得两侧单极池细胞的响应结果之后，两侧的双极池细胞将融合两侧不同 极性的单极池细胞输出，获得该侧双极池细胞的输出。以右侧双极池细胞为例，右侧眼的顺 时针响应和逆时针响应和为： 0074 0075 0076 式(4)中的系数k表示双极池细胞中两个单极池细胞的不同贡献率，一个是来自 同侧的单极池细胞

41、；另外一个是来自对侧(异侧)的单极池细胞，0k1。左侧的双极 池细胞的响应同理。 0077 最后将同侧的双极池细胞输出对初级运动估计V i + (t)和V i - (t)进行分流抑制，获 得小场景整合结果。 0078 0079 式(5)中，k * 系数为双极池细胞中不同运动方向的响应之比，通常0k * 1；当 说 明 书CN 102510436 A 10 8/8页 11 k * 1代表顺时针运动产生的响应和逆时针运动产生的响应是相等的。是分流抑制的 系数。q表明池细胞具有的饱和非线性特性，可以对相关性较弱的信号进行增强，对相关性 较强的信号进行抑制。 0080 将式(1)(4)带入式(5)，并

42、设(1-kT+k * k-k * T)A，(T-k+k * kT-k * )B，得到 右侧小场景整合输出公式为： 0081 0082 0083 式(6)中，指数n代表大场景抑制过程中的非线性滤波处理。左侧同理。最后将 大脑两侧的响应进行相减就可以获得小场景整合的结果： 0084 0085 0086 (4)大场景整合 0087 以一维信号为例，给出了单侧眼大场景整合机理的数学描述，大场景整合计算 为： 0088 0089 其中R LF (t)是t时刻大场景整合结果，本实施例中q0.5，指数n3。V i + (t)和 V i - (t)是第i个初级运动检测器的一对正负通道输出。 0090 大场景整

43、合计算的分子部分为检测器正负通道经非线性增强后的差，而分母部分 则是局部整合区域内所有检测器正负通道输出之和，对整合结果进行正则化处理。由于正 则化处理往往是用来消除输出结果与某个因素的相关作用，大场景整合机理将局部背景特 征作为分母，可以减弱背景特征之间的相关性，从而抑制背景特征产生的响应。 0091 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形 也应视为本发明的保护范围。 说 明 书CN 102510436 A 11 1/6页 12 图1 说 明 书 附 图CN 102510436 A 12 2/6页 13 图2 图3 说 明 书 附 图CN 102510436 A 13 3/6页 14 图4 说 明 书 附 图CN 102510436 A 14 4/6页 15 图5 说 明 书 附 图CN 102510436 A 15 5/6页 16 图6 说 明 书 附 图CN 102510436 A 16 6/6页 17 图7 说 明 书 附 图CN 102510436 A 17