《数字摄像机电动镜头自动聚焦控制系统.pdf》由会员分享，可在线阅读，更多相关《数字摄像机电动镜头自动聚焦控制系统.pdf（11页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102387309 A (43)申请公布日 2012.03.21 CN 102387309 A *CN102387309A* (21)申请号 201110345146.6 (22)申请日 2011.11.04 H04N 5/232(2006.01) G03B 13/36(2006.01) G02B 7/36(2006.01) (71)申请人 王兴国 地址 210014 江苏省南京市白下区光华路 1 号创新园孵化楼5楼C座南京杰迈视讯 科技有限公司 (72)发明人 王兴国 于蓝 郑伟国 (74)专利代理机构 南京君陶专利商标代理有限 公司 32215 代理人 沈根水 (。
2、54) 发明名称 数字摄像机电动镜头自动聚焦控制系统 (57) 摘要 本发明是数字摄像机电动镜头自动聚焦控制 系统， 其特征是包括电动镜头部分和数字摄像机 部分， 其中电动镜头部分中的光学镜片的光学成 像信号输出端与数字摄像机中的图像传感器的 信号输入端相接， 电动镜头部分中的马达与光学 镜片相接， 数字摄像机部分中的图像传感器的电 子成像信号输出端与中央处理器的信号输入端 相接， 中央处理器的信号输出端与电动镜头部分 中的马达的信号输入端相接。优点 ： 通过标准的 RS-485 控制聚焦马达， 实现通用电动镜头的自动 聚焦。无需改变市场上标准的电动镜头的硬件和 功能， 无需修改相机的硬件设计。
3、， 很容易通过像机 固件的升级实现精确实时自动聚焦功能。提高了 精度、 降低了成本， 符合数字相机发展的智能化趋 势。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 1 页 说明书 5 页 附图 4 页 CN 102387322 A1/1 页 2 1. 数字摄像机电动镜头自动聚焦控制系统， 其特征是包括电动镜头部分和数字摄像机 部分， 其中电动镜头部分中的光学镜片的光学成像信号输出端与数字摄像机中的图像传感 器的信号输入端相接， 电动镜头部分中的马达与光学镜片相接， 数字摄像机部分中的图像 传感器的电子成像信号输出端与中央处理器的信号输入端相接。
4、， 中央处理器的信号输出端 与电动镜头部分中的马达的信号输入端相接， 所述的数字摄像机中的中央处理器分析由图 像传感器获取的实时视频图像中相邻像素间的强度差异， 如果没有聚焦， 则图像模糊、 相邻 像素相似度很高， 中央处理器通过标准的 RS-485 控制聚焦马达移动镜头， 再次查看图像分 析相邻像素间的强度差异是增大还是变小， 算法会搜索相邻像素间具有最大强度差异的马 达位置， 即最佳聚焦点 ； 利用数字摄像机通过实时视频图像分析实现对通用变焦镜头的自 动聚焦流程。 2. 根据权利要求 1 所述的数字摄像机电动镜头自动聚焦流程， 其特征是自动聚焦控制 采用独立的处理器线程实现， 平时自动聚焦。
5、系统处于待机状态， 当相机收到控制云台转动 和镜头变倍的命令时， 处理器触发自动聚焦线程， 启动聚焦处理和控制算法， 处理器根据图 像传感器获得的图像进行分析， 通过闭环算法收敛控制输出聚焦信号经过 RS-485 接口控 制镜头聚焦马达调节镜片位置实现聚焦 ； 聚焦完成后在图像传感器上可以看到清晰图像， 系统恢复待机状态， 让出处理器资源供用于其它信号处理使用 ； 同样， 当处理器检测到场景 中有目标运动时， 可以触发聚焦过程， 通过数字相机中央处理器进行数字信号处理， 获得聚 焦度量值， 通过闭环算法收敛控制聚焦马达运行到最佳聚焦位置， 聚焦运算自动停止， 让出 处理器运算资源供其他处理算法。
6、使用， 等待下一次触发聚焦动作 ； PTZ 命令触发自动聚焦 模块， 经图像传感器采集光电转换后的视频信号， 进行边缘分析聚焦度量值， 通过粗聚焦和 精聚焦两步收索聚焦调节过程实现自动聚焦。 权 利 要 求 书 CN 102387309 A CN 102387322 A1/5 页 3 数字摄像机电动镜头自动聚焦控制系统 技术领域 0001 本发明涉及的是数字摄像机电动镜头自动聚焦控制系统， 属于数字摄像机技术领 域。 背景技术 0002 近年来， 随着国内外航天航空、 防洪防暴、 公路铁路、 生态监测、 森林防火、 海事管 理、 油田厂矿监控需求的日益增加， 对长焦距、 大变倍电动镜头的需求也。
7、空前高涨， 电动变 焦镜头作为一个重要的部件， 在视频监视设备中起着至关重要的作用。监控范围需求从几 百米扩展到了几千米。 随之对镜头焦距的需求也不断提高， 从100mm到750mm或更长。 焦距 100mm 以下的变焦镜头中， 只要调整好摄像机和镜头后焦， 几乎不需要对监控物体进行聚焦 操作。但是随着焦距增长到 750mm 的今天， 监控距离延伸到了几公里， 焦距每一次变化、 云 台每变动一个角度， 都要对画面聚焦。否则， 无法获取清晰画面。解决长焦镜头聚焦问题的 现有方法有两种 ： 1） 人工控制聚焦 ： 对电动两 / 三可变镜头的人工控制再聚焦， 在这么长的 纵向距离上进行人工聚焦操作是。
8、一件非常困难的事情， 不仅非常慢、 很难跟踪目标， 而且无 法做到精确对焦， 显然不仅增加工作量而且效率、 效果都很差。2） 特殊自动聚焦镜头 ： 在镜 头上增加自动对焦功能， 如日本 KOWA 自动聚焦系列产品。但是自动聚焦型镜头需要专门的 传感器如CMOS或CCD图像传感器和高速图像处理芯片， 不仅给镜头带来复杂度提高和成本 上升， 也给镜头的可靠性、 稳定性带来潜在问题。并且这样的镜头属于专门镜头， 不属于工 业市场上的标准镜头， 价格非常昂贵， 工业界并没有大规模推广。 发明内容 0003 本发明提出的是数字摄像机电动镜头自动聚焦控制系统， 其目的旨在克服现有技 术所存的上述缺陷， 采。
9、取像机软件 / 固件来运行信号处理和聚焦算法， 通过标准的 RS-485 控制聚焦马达， 实现自动聚焦。它不仅经济上非常有效、 技术上更加容易、 而且不需要改变 市场上标准的两 / 三可变镜头的硬件和功能， 也不需要修改相机的硬件设计， 很容易通过 像机固件的升级实现精确实时自动聚焦功能。 0004 本发明的技术解决方案 ： 其结构是包括电动镜头部分和数字摄像机部分， 其中电 动镜头部分中的光学镜片的光学成像信号输出端与数字摄像机中的图像传感器的信号输 入端相接， 电动镜头部分中的马达与光学镜片相接， 数字摄像机部分中的图像传感器的电 子成像信号输出端与中央处理器的信号输入端相接， 央处理器的。
10、信号输出端与电动镜头部 分中的马达的信号输入端相接， 所述的数字摄像机中的中央处理器分析由图像传感器获取 的实时视频图像中相邻像素间的强度差异， 如果没有聚焦， 则图像模糊、 相邻像素相似度很 高， 中央处理器通过标准的 RS-485 控制聚焦马达移动镜头， 再次查看图像分析相邻像素间 的强度差异是增大还是变小， 算法会搜索相邻像素间具有最大强度差异的马达位置， 即最 佳聚焦点。 0005 本发明的优点 ： 与采用标准电动镜头的人工聚焦方法相比节省了聚焦控制时间和 说 明 书 CN 102387309 A CN 102387322 A2/5 页 4 工作量、 提高了聚焦精度。 而且本发明是闭环。
11、的带反馈控制系统， 对云台解码器和马达控制 精度要求很低。与采用特殊的自动聚焦特殊镜头方案比较， 本发明的聚焦方法不依赖特殊 高档镜头， 不需要额外的聚焦传感器和复杂的控制电路， 经济价值非常高。 本发明适用于任 何数字摄像机和通用电动镜头， 通过标准 485 接口连线， 不存在自动聚焦特殊镜头方案中 镜头与像机的兼容性问题。现有的自动聚焦镜头， 为节省运算量和硬件成本采用基于水平 传感器自动聚焦系统通常对垂直细节有反应， 容易聚焦带垂直纹理的目标， 要聚焦水平纹 理场景很困难。 而本发明从摄像机图像传感器直接取两维像素信息， 获得聚焦度量， 可以容 易的实现对水平和垂直细节均有很好的适应性。。
12、本发明利用像机上的 CPU 资源， 通过固件 升级就可以实现自动聚焦功能， 无需硬件更改。成本低， 维护方便， 推广容易。本发明自动 聚焦机制可以实现实时聚焦。对于 500mm 以上的长焦镜头， 普通解码器预置精度不够， 预置 位置的细小偏差、 跑焦， 使得画面在调用预置位得不到清晰图像。 自动聚焦机制可以实现实 时聚焦。 解决多目标自动跟踪问题， 当图像中有位于不同距离的多目标时， 且目标处于运动状 态， 由于景深不足， 以及无法选择聚焦目标等原因， 无法实现多目标自动跟踪。本发明提出 的基于图像的摄像机自动聚焦算法容易对不同景物目标进行跟踪聚焦， 很容易与现代智能 相机的一些视频分析功能结。
13、合提供目标自动跟踪追拍的功能。 采用基于图像分析的被动自 动聚焦方法相对于现有的基于主动测距法调焦更精确、 更直接， 可以穿透玻璃、 栅栏等， 本 发明以获得清晰图像作为聚焦度量， 采用闭环控制收敛， 从而确保调焦到摄取目标的清晰 图像。 附图说明 0006 图 1 是镜头、 相机、 云台与控制系统组成框图。 0007 图 2 是基于图像处理的自动控制系统结构模型框图。 0008 图 3 是基于实时视频图像分析的自动聚焦流程框图。 0009 图 4 是 一种基于实时视频图像分析的自动聚焦算法实现框图。 0010 图 5 是粗聚焦搜索控制过程框图。 0011 图 6 是精确聚焦搜索控制过程框图。。
14、 0012 图中的 ： fv: 聚焦强度、 fs: 聚焦马达移动步长、 fd: 聚焦马达移动方向 fva: 最大 聚焦强度、 fvi: 最小聚焦强度、 fvf ： 次最小聚焦强度、 ThF: 聚焦性能阈值、 ThF1ThF2 表示 ThF1 对应的聚焦、 fva: 粗聚焦最大聚焦强度、 fvp: 前一幅图像聚焦强度、 fvc: 当前图像聚 焦强度、 sd: 马达已经扫描过的方向、 RJ45 网络通信、 Zoom: 变倍、 Focus: 聚焦、 Iris ： 光圈、 Up: 上转、 Down: 下转、 Left: 左转、 Right: 右转、 Auto: 自动。 具体实施方式 0013 对照附图。
15、 1， 镜头、 相机、 云台与控制系统组成结构包括动变焦镜头、 网络摄像机、 数字云台、 云台解码器， 其中电动变焦镜头连接在网络摄像机上， 网络摄像机接在数字云台 上， 网络摄像机的第一信号输出端接云台解码器的信号输入端， 网络摄像机的第二信号输 出端接电动变焦镜头的第一信号输入端， 云台解码器的第一信号输出端与电动变焦镜头的 第二信号输入端相接， 云台解码器的第二信号输出端与电动变焦镜头的第三信号输入端相 说 明 书 CN 102387309 A CN 102387322 A3/5 页 5 接， 云台解码器的第三信号输出端与数字云台的第一信号输入端相接， 云台解码器的第四 信号输出端与数字。
16、云台的第二信号输入端相接， 云台解码器的第五信号输出端与数字云台 的第三信号输入端相接， 云台解码器的第六信号输出端与数字云台的第四信号输入端相 接， 云台解码器的第七信号输出端与数字云台的第五信号输入端相接。 0014 利用现代数字摄像机本身已经拥有高端图像传感器和专门的高性能图像处理芯 片， 采取像机软件/固件来运行信号处理和聚焦算法， 通过标准的RS-485控制聚焦马达， 实 现自动聚焦。它不仅经济上非常有效、 技术上更加容易、 而且不需要改变市场上标准的两 / 三可变镜头的硬件和功能， 也不需要修改相机的硬件设计， 很容易通过像机固件的升级实 现精确实时自动聚焦功能。人工聚焦方法中为了。
17、节省聚焦控制时间， 常常通过设定预置位 的方法降低场景变换需要调焦的工作量。 但是这种方法聚焦精度非常依赖于云台解码器运 作精度和镜头马达的控制精度。 而本发明是闭环的带反馈的控制系统对云台解码器和马达 控制精度要求很低。与自动聚焦特殊镜头方案比较， 本发明的聚焦方法不依赖特殊高档镜 头， 不需要额外的聚焦传感器和复杂的控制电路， 经济价值非常高。 传统自动聚焦特殊镜头 方案采用的是特殊镜头， 它与通用像机和云台的接口兼容常常会有问题， 本发明采用标准 485 接口， 与第三方镜头的兼容没有任何问题。本发明利用像机上的 CPU 资源， 通过固件升 级就可以实现自动聚焦功能， 无需硬件更改。成本。
18、低， 维护方便， 推广容易。本发明自动聚 焦机制可以实现实时聚焦。对于 500mm 以上的长焦镜头， 普通解码器预置精度不够， 预置位 置的细小偏差、 跑焦， 使得画面在调用预置位得不到清晰图像。 自动聚焦机制可以实现实时 聚焦。现有的自动聚焦镜头， 为节省运算量和硬件成本采用基于水平传感器自动聚焦系统 通常对垂直细节有反应， 容易聚焦带垂直纹理的目标， 要聚焦水平纹理场景很困难。 而本发 明从摄像机图像传感器直接取两维像素信息， 获得聚焦度量， 可以容易的实现对水平和垂 直细节均有很好的适应性。解决多目标自动跟踪问题， 当图像中有位于不同距离的多目标 时， 且目标处于出运动状态， 由于景深不。
19、足， 以及无法选择聚焦目标等原因， 现有方法不能 实现多目标自动跟踪。 本发明提出的基于图像分析的摄像机自动聚焦系统容易与现代智能 相机的一些视频分析功能结合提供目标自动跟踪追拍的功能。 因为对于不同距离的多目标 场景无法做到所有目标都能聚焦到同一成像面上。 我们可以通过摄像机软件分析设定场景 中需要聚焦的目标范围， 根据在此范围内的像素计算聚焦度量值， 传输到闭环控制回路进 行算法搜索聚焦， 这样就可以确保该范围内的目标是清晰的。 再有， 有些场景中的目标是运 动的， 如公路上的汽车， 需要动态的跟踪， 目标的位置只有像机知道， 容易通过软件设定聚 焦范围， 实现目标跟踪。 0015 对照附。
20、图 2， 基于图像处理的自动控制系统的结构包括电动镜头部分和数字摄像 机部分， 其中电动镜头部分中的光学镜片的光学成像信号输出端与数字摄像机中的图像传 感器的信号输入端相接， 电动镜头部分中的马达与光学镜片相接， 数字摄像机部分中的图 像传感器的电子成像信号输出端与中央处理器的信号输入端相接， 央处理器的信号输出端 与电动镜头部分中的马达的信号输入端相接。 0016 所述的马达跟光学镜片属于标准电动镜头的组件， 图像传感器和中央处理器是数 字摄像机的主要组件， 数字摄像机中的中央处理器分析由传感器获取的实时视频图像中相 邻像素间的强度差异。如果没有聚焦， 则图像模糊、 相邻像素相似度很高。中央。
21、处理器通过 标准的 RS-485 控制聚焦马达移动镜头， 再次查看图像分析相邻像素间的强度差异是增大 说 明 书 CN 102387309 A CN 102387322 A4/5 页 6 还是变小， 聚焦算法会搜索相邻像素间具有最大强度差异的马达位置， 即最佳聚焦点， 其中 算法流程如图 4。 0017 对照图 3. 基于实时视频图像分析的自动聚焦流程 ： 自动聚焦控制采用独立的处 理器线程实现。平时自动聚焦系统处于待机状态， 当相机收到控制云台转动和镜头变倍的 命令时， 处理器触发自动聚焦线程， 启动聚焦处理和控制算法， 处理器根据图像传感器获得 的图像进行分析， 通过闭环算法收敛控制输出聚。
22、焦信号经过 RS-485 接口控制镜头聚焦马 达调节镜片位置实现聚焦。 0018 聚焦完成后在图像传感器上可以看到清晰图像， 系统恢复待机状态， 让出处理器 资源供用于其它信号处理使用。 同样， 当处理器检测到场景中有目标运动时， 可以触发聚焦 过程， 通过数字相机中央处理器进行数字信号处理， 获得聚焦度量值， 通过闭环算法收敛控 制聚焦马达运行到最佳聚焦位置， 聚焦运算自动停止， 让出处理器运算资源供其他处理算 法使用， 等待下一次触发聚焦动作。 一般聚焦过程对前后焦距位置不能一步部确定， 需要来 回移动， 聚焦收敛比较慢， 但是采用自学习的方法训练出调焦方向、 步长、 动态阈值等参数， 可。
23、以缩短调焦过程， 提高聚焦性能一种数字摄像机电动镜头自动聚焦控制系统实现过程 ： PTZ 等命令触发自动聚焦模块， 经图像传感器采集光电转换后的视频信号， 进行边缘分析或 其他聚焦度量算法分析聚焦度量值， 通过粗聚焦和精聚焦两步收索聚焦调节过程实现自动 聚焦。 0019 对照图4， 一种基于实时视频图像分析的自动聚焦算法实现框图。 处理器首先根据 图像分析获取聚焦强度与以前聚焦调节中获得的聚焦强度经验阈值比较， 如果当前聚焦强 度大于该阈值， 直接进入及调节算法流程。否则， 首先经过粗调节流程， 满足粗调节收敛条 件后再进入精调节算法流程。满足精调焦收敛调节后即本次自动聚焦过程结束。 0020。
24、 调焦控制是单方向调节聚焦马达摩托， 分析图像， 如果聚焦度量变大， 继续向该方 向调节聚焦摩托， 否则相反方向， 当聚焦度量达到一个 “动态的阈值” ， 收敛后聚焦运算自动 停止， 让出 CPU 资源供其他处理算法使用， 等待下一次 PTZ 触发聚焦动作。因场景中被摄景 物离拍摄相机的距离时刻发生变化， 故快速的聚焦十分必要。聚焦速度的提高取决于聚焦 评价函数的选择。 0021 聚焦评价函数用来衡量图像聚焦程度。由于图像中噪声、 冗余信息及其他干扰因 素的影响 , 选择的评价函数应具有较强的抗噪声性和良好的唯一性、 单调性 . 完全聚焦的 图像比离焦的图像包含更多的细节和信息量 , 这是基于。
25、图像的被动法聚焦控制实现的前 提 , 评价函数返回图像是否聚焦度量值 , 对应于评价函数最大值处的位置参量被认为是 最佳像面的位置参量。 一幅图像是否聚焦, 反映在空域上是图像的边界及细节部分是否清 晰, 在频域上则是图像的高频分量是否丰富。 前者可以通过对图像进行微分来获取图像的 边缘及细节信息, 后者可以对图像进行频域变换来获取图像的频谱信息。 聚焦评价函数应 具有无偏性、 单峰性、 灵敏度高、 抗噪声、 低运算复杂度等特性。 0022 对照附图 5. 粗聚焦调节过程， 首先设定起始步长 fs， 起始马达移动方向 fd， 最大 聚焦强度 fva 为 0。预设最小和次最小聚焦强度 fvf 和。
26、 fvi 为无穷大。移动聚焦马达， 根据 图像分析计算当前聚焦强度fv， 更新最大、 最小和次最小聚焦强度。 如果马达没有达到调节 极限， 比较最大聚焦强度和次最小聚焦强度如果达到一定阈值， 粗聚焦完成， 否则继续移动 聚焦马达， 再次调节。 说 明 书 CN 102387309 A CN 102387322 A5/5 页 7 0023 如果马达移动到单方向极限， 判别是否两个方向是否都已经调节过。如果马达两 个方向都扫描收索过， 则把马达移动到对应于最大聚焦强度的位置， 完成粗聚焦。否则， 查 看马达移动步长， 如果步长小于一定阈值， 粗聚焦完成。最后一种情况是， 反转马达移动方 向， 降低。
27、马达移动步长， 移动马达， 进入下一轮调节。直至收索收敛， 完成粗聚焦。 0024 对照附图 6. 精聚焦调节过程。首先设定起始步长 fs， 起始马达移动方向 fd， 马 达已经扫描过的方向为 0。设预设前一幅图像聚焦强度为最大粗聚焦强度 fva。调节聚焦 马达， 计算当前聚焦强度 fvc， 比较当前聚焦强度与前一幅图像聚焦强度， 如果聚焦强度变 大， 把当前聚焦强度作为前一幅图像聚焦强度， 进入下一轮调节。 否则， 反转聚焦马达， 同时 将已马达已扫描方向加 1。如果马达已扫描方向为 2， 说明两个方向都已经扫描搜索过， 精 聚焦完成。否则把当前聚焦强度作为前一幅图像聚焦强度， 进入下一轮调节。循环调节搜 索， 直到收敛完成， 实现精聚焦过程。 说 明 书 CN 102387309 A CN 102387322 A1/4 页 8 图 1 图 2 说 明 书 附 图 CN 102387309 A CN 102387322 A2/4 页 9 图 3 图 4 说 明 书 附 图 CN 102387309 A CN 102387322 A3/4 页 10 图 5 说 明 书 附 图 CN 102387309 A CN 102387322 A4/4 页 11 图 6 说 明 书 附 图 CN 102387309 A 。