《自动聚焦方法及自动聚焦装置.pdf》由会员分享，可在线阅读，更多相关《自动聚焦方法及自动聚焦装置.pdf（13页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 104038691 A (43)申请公布日 2014.09.10 C N 1 0 4 0 3 8 6 9 1 A (21)申请号 201410079940.4 (22)申请日 2014.03.06 13/788,311 2013.03.07 US H04N 5/232(2006.01) G03B 13/36(2006.01) G02B 7/28(2006.01) (71)申请人联发科技股份有限公司 地址中国台湾新竹科学工业园区新竹市笃 行一路一号 (72)发明人詹伟凯 李元仲 詹振宏 (74)专利代理机构北京万慧达知识产权代理有 限公司 11111 代理人张金芝 杨颖。
2、 (54) 发明名称 自动聚焦方法及自动聚焦装置 (57) 摘要 本发明提供一种相机自动聚焦方法及自动聚 焦系统。该方法包括如下步骤：接收由该相机的 光学子系统构成的输入图像；对应于感兴趣的图 像内容在输入图像中选择目标窗口；确定与该目 标窗口相关的状态、状态的改变或两者的结合； 及基于与该目标窗口相关的状态、状态的改变或 两者的结合，更新一个或多个相机参数。该相机自 动聚焦方法及自动聚焦系统提高聚焦的速度及/ 或质量。 (30)优先权数据 (51)Int.Cl. 权利要求书2页 说明书5页 附图5页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书5页 附图。
3、5页 (10)申请公布号 CN 104038691 A CN 104038691 A 1/2页 2 1.一种相机的自动聚焦方法，该方法包括： 接收由该相机的光学子系统构成的输入图像； 对应于感兴趣的图像内容在该输入图像中选择目标窗口； 确定与该目标窗口相关的状态、状态的改变或两者的结合；及 基于与该目标窗口相关的状态、状态的改变或两者的结合，更新一个或多个相机参数。 2.如权利要求1所述的方法，其特征在于，基于该目标窗口的选定区域确定与该目标 窗口相关的状态、状态的改变或两者的结合。 3.如权利要求1所述的方法，其特征在于，该状态相应于该目标窗口的一个或多个对 象的大小、位置或者姿势。 4.如。
4、权利要求1所述的方法，其特征在于，该状态相应于该目标窗口相关的或者在该 目标窗口内的一个或多个对象或区域的面积。 5.如权利要求1所述的方法，其特征在于，该状态相应于该目标窗口的一个或多个对 象的行为或者手势。 6.如权利要求5所述的方法，其特征在于，该行为或者手势包括移动方向、转向或者晃 手。 7.如权利要求1所述的方法，其特征在于，该一个或多个相机参数包括相机焦距、相机 云台、相机倾斜及相机特效。 8.如权利要求7所述的方法，其特征在于，若该状态、状态的改变或两者的结合指示该 一个或多个对象向靠近相机移动，该相机焦距朝向微距更新，其中，该状态与该目标窗口内 的该一个或多个对象相关。 9.如。
5、权利要求7所述的方法，其特征在于，若该状态、状态的改变或两者的结合指示该 一个或多个对象向远离相机移动，该相机焦距朝向无限更新，其中，该状态与该目标窗口内 的该一个或多个对象相关。 10.如权利要求7所述的方法，其特征在于，该状态相应于该目标窗口内的一个或多个 对象的大小、位置或姿势。 11.如权利要求10所述的方法，其特征在于，该相机参数进一步包括与相机焦距相关 的聚焦步骤及取决于该状态、状态的改变或两者的结合而被选择的聚焦步骤的数目。 12.如权利要求11所述的方法，其特征在于，由于与该第一状态、第一状态的改变或两 者的结合相关的第一大小改变，第一数目的聚焦步骤被选择，且由于与该第二状态、。
6、第二状 态的改变或两者的结合相关的第二大小改变，第二数目的聚焦步骤被选择，若该第一大小 改变大于该第二大小改变，该第一数目的聚焦步骤大于该第二数目的聚焦步骤。 13.如权利要求7所述的方法，其特征在于，该状态相应于该目标窗口内的一个或多个 对象相关的对象移动或者与该目标窗口相关的或与在该目标窗口内的该一个或多个对象 相关的光流或运动域。 14.如权利要求7所述的方法，其特征在于，该状态相应于该目标窗口内的该一个或对 象相关的比例或者自该目标窗口提取的特征。 15.如权利要求7所述的方法，其特征在于，该状态相应于自该目标窗口获得的该感兴 趣的图像内容的描述。 16.如权利要求7所述的方法，其特征。
7、在于，该状态相应于与该目标窗口相关的一个或 权 利 要 求 书CN 104038691 A 2/2页 3 多个区域或者可变对象的轮廓的面积或该目标窗口内的一个或多个对象的面积。 17.如权利要求16所述的方法，其特征在于，基于区域生长或主动轮廓模型，该一个或 多个区域或者可变对象的轮廓被确定。 18.用于相机的自动聚焦的装置，该装置包括： 用于接收由该相机的光学子系统构成的输入图像的模块； 用于对应于感兴趣的图像内容在该输入图像中选择目标窗口的模块； 用于确定与该目标窗口相关的状态、状态的改变或两者的结合的模块；及 用于基于与该目标窗口相关的状态、状态的改变或两者的结合，更新一个或多个相机 参。
8、数的模块。 19.如权利要求18所述的装置，其特征在于，该模块确定与该目标窗口相关的状态、状 态的改变或两者的结合是基于该目标窗口的选定区域。 20.如权利要求18所述的装置，其特征在于，该状态相应于该目标窗口的一个或多个 对象的大小、位置或者姿势。 21.如权利要求18所述的装置，其特征在于，该状态相应于该目标窗口相关的或者在 该目标窗口内的一个或多个对象/区域的面积。 22.如权利要求18所述的装置，其特征在于，该状态相应于该目标窗口的一个或多个 对象的行为或者手势。 23.如权利要求18所述的装置，其特征在于，该一个或多个相机参数包括相机焦距、相 机云台、相机倾斜及相机特效。 权 利 要。
9、 求 书CN 104038691 A 1/5页 4 自动聚焦方法及自动聚焦装置 【 技术领域 】 0001 本发明涉及一种自动聚焦功能。特别地，本发明涉及一种自动聚焦方法，其能够基 于与相机视图的目标窗口相关的一状态、一状态的改变或者二者相结合的分析，来更新相 机参数。 【 背景技术 】 0002 自动聚焦技术已被广泛采用在相机系统，以便完全自动焦点在兴趣点或兴趣区 域，可以自动或手动选择。自动聚焦（以下称为AF）通常是半按下拍摄按钮或手动从触摸屏 选择点或区域。自动聚焦技术有助于很快提供精确的专注于感兴趣的对象没有太多的人工 干预，因而被认为对摄影师来说是一个非常方便的功能。 0003 将被。
10、照相机拍照或录制对象可移动到相对于相机的任何方向。这种相对运动可能 为AF准确地聚焦一个目标点或区域施加特殊困难的，尤其是当AF需要被连续地执行。因 此，AF技术得到了增强通过配合一，包括用于跟踪一个感兴趣区域，并自动聚焦从相机视图 中选择的区域，这通常包含由一个摄像机操作者预定对象的一部分。从摄像机操作者的角 度来看，在半按拍摄按钮或从触摸屏选择对象后，这样的系统能够经过连续跟踪对象。图像 质量和图像拍摄的成功率可以通过将对象跟踪方法得到显著改善。 0004 图1为传统的使用对象跟踪的自动聚焦方法的示例性框图。当照相机操作者选择 一个目标对象被拍摄时，且该对象跟踪功能被接通时，由对象跟踪11。
11、0将目标窗口从其背 景中提取，并提供给自动聚焦算法120，用于调整焦距。 0005 在传统的对象跟踪方法中，对象跟踪算法为感兴趣的对象提取从图像中目标窗 口，并计算目标窗口的自动聚焦算法来控制聚焦。然后AF执行扫描并基于该目标窗口的信 息进行搜索，以发现聚焦点的峰值（或焦点位置）。由于寻找最佳聚焦点的本质通常需要光 学子系统的机械调整，这个过程可能缓慢。当对象与相机之间的相对运动比聚焦峰值搜索 过程中可以做出的反应更快时，它也可能无法跟踪对象。快速移动的对象也可能导致模糊 的图像，而这又可能导致在对象跟踪和自动聚焦性能劣化的误差。因此，希望通过提供自动 聚焦算法更好的信息来搜索聚焦峰值从而减少。
12、所需的时间来寻找聚焦峰值或得到更好的 图像质量以提高对象跟踪方法的性能。 【 发明内容 】 0006 依据本发明的示范性实施方式，提供一种相机自动聚焦方法及自动聚焦系统以能 够解决上述问题。 0007 依据本发明的一方面，提供一自动聚焦方法以提高聚焦的速度及/或质量。该自 动聚焦方法通过基于目标窗口内的状态、状态的改变或两者的结合更新相机参数。依据本 发明实施例的方法的步骤如下：接收由该相机的光学子系统构成的输入图像；对应于感兴 趣的图像内容在输入图像中选择目标窗口；确定与该目标窗口相关的状态、状态的改变或 两者的结合；及基于与该目标窗口相关的状态、状态的改变或两者的结合，更新一个或多个 说 。
13、明 书CN 104038691 A 2/5页 5 相机参数。 0008 依据本发明的一方面，状态的类型可用于相机聚焦控制。该状态可以为相应于该 目标窗口的一个或多个对象的大小、位置或者姿势。该状态也可以为相应于该目标窗口的 一个或多个对象的行为或者手势。该行为或者手势包括移动方向、转向或者晃手。该状态 相应于该目标窗口相关的或者在该目标窗口内的一个或多个分区/区域的面积。该状态相 应与该目标窗口内的一个或多个对象相关的对象移动或者与该目标窗口相关的或与在该 目标窗口内的该一个或多个对象相关的光流或运动域。该状态也可以相应于该目标窗口内 的该一个或对象相关的比例或者自该目标窗口提取的特征。该状态。
14、还可以相应于自该目标 窗口获得的该感兴趣的图像内容的描述。该状态还可以相应于与该目标窗口相关的或该目 标窗口内的一个或多个分区/区域或者可变对象的轮廓。 0009 依据本发明的一实施方式，该状态、状态的改变或两者的结合可以为自动聚焦提 供搜寻方向及聚焦步骤的数目。若该状态、状态的改变或两者的结合指示该一个或多个对 象向靠近相机移动，该相机焦距朝向微距更新。另一方面，若该状态、状态的改变或两者的 结合指示该一个或多个对象向远离相机移动，该相机焦距朝向无限更新。聚焦步骤的数目 也可以通过与该状态、状态的改变或两者的结合相关的改变大小被确定。 【 附图说明 】 0010 图1为传统的自动聚焦方法，使。
15、用对象跟踪的示例性框图。 0011 图2示出根据本发明的一种简化的自动聚焦方法，还提供了一种基于在目标窗口 中的图像内容的分析的信息至自动聚焦算法。 0012 图3披露的流程图所示一个基于在目标窗口中的图像内容的分析来确定与目标 窗口相关的一个状态，状态改变或这两者结合的自动聚焦方法。 0013 图4揭示目标窗口的一个或多个对象的大小改变指示对象被移到靠近相机的范 例。 0014 图5揭示目标窗口的一个或多个对象的大小改变指示对象被移到远离相机的范 例。 0015 图6A及图6B揭示目标窗口内的一个或多个对象的大小改变指示感兴趣的对象向 靠近相机移动的两个范例。 0016 图7揭示目标窗口的感。
16、兴趣的一对象的对象运动的分析的范例。 0017 图8揭示基于目标窗口的提取特征的分析的范例。 0018 图9揭示自目标窗口获得的感兴趣的图像内容的面积改变的范例。 0019 图10揭示目标窗口相关的可变性的对象的轮廓的改变的范例 0020 图11揭示目标窗口中选定区域的大小改变的范例。 0021 图12揭示依据本发明实施方式的自动聚焦系统实施的流程图。 【 具体实施方式 】 0022 传统对象跟踪方法提供信息至自动聚焦算法，可以跟踪目标窗口或选定区域以协 助自动聚焦。该信息通常包括唯一指定目标窗口，如在图像中目标窗口的的位置和形状。根 据这些信息，自动聚焦算法执行原始的扫描方式和搜索，找到聚焦。
17、峰值，其位于聚焦的最佳 说 明 书CN 104038691 A 3/5页 6 位置（焦点位置）。然而，来回搜索聚焦可限制聚焦速度。在当目标窗口中的对象呈现出急 剧变化的情况下，由于不能为AF跟踪对象，拍摄的图像的质量可能会显著下降。下述将提 到的涉及聚焦或拍摄的主体可以为照相机、摄像机或者摄像头，且不限于上述举例的照相 或者摄影设备。 0023 因此，本发明的一个目的是提供一种自动聚焦方法，以改善聚焦的速度或质量。图 2示出根据本发明的一种简化的自动聚焦方法，它包括对象跟踪210和自动聚焦算法220。 与传统的对象跟踪功能不同，本发明的对象跟踪(也可称为物体跟踪)除了目标窗口的分 析外，还提供。
18、了一种基于在目标窗口中的图像内容的分析的信息至自动聚焦算法，以达到 更好的自动聚焦性能。该自动聚焦算法220基于该信息然后更新一个或多个相机参数，如 相机聚焦（camera focus），相机云台（camera pan），相机倾斜（camera tilt）和相机特效 （camera zoom）。 0024 为了实现上述目标，图3的流程图所示一个基于在目标窗口中的图像内容的分析 来确定与目标窗口相关的一个状态，状态改变或这两者结合的自动聚焦方法被披露。在本 发明中的目标窗口可对应于一个矩形区域，圆形或椭圆形区域，或本说明书揭露的任意形 状。此外，该目标窗口可对应于多个未连接（un-connect。
19、ed）在一起的区域。在步骤310中， 在照相机由光学子系统选取一图像后，图像信息被提供给对象跟踪。在步骤320中，当照相 机操作者选择一目标窗口，该图像是由对象跟踪处理，以从背景中提取目标窗口，并定位位 置。然后在步骤330中，通过分析在所述目标区域的图像内容来确定与目标窗口相关联的 状态、状态改变或状态及状态改变。在步骤340，与目标窗口相关联的状态、状态改变或状 态及状态改变的信息被用于自动聚焦算法控制聚焦或调整其他相机参数，如缩放，平移，倾 斜等。该状态可以是在目标窗口中的一个或多个对象的大小、位置、或姿势。它也可以是大 小、位置、姿势，或选定区域的其他信息，例如在该目标窗口中的该选定区。
20、域在图像属性中 的特征（如颜色，纹理或梯度）。该状态也可以在目标窗口中的一个或多个对象的行为或动 作，如移动方向，旋转体，扭转和颤抖的手。该状态也可以是从该目标窗口提取的特征或与 目标窗口中的一个或多个对象相关的扫描，光流或与目标窗口相关的运动域中，目标窗口 获得的感兴趣的图像内容的描述，或与目标窗口关联的一个或多个的分割区域或变形物体 的轮廓。在附加到目标窗口的信息，其他计算机视觉信息，图像处理信息，视频处理的信息 或图形识别信息也可以被提供用于自动聚焦算法以改进的摄像机的聚焦速度。 0025 通过确定一个状态，状态改变或状态及状态改变都基于在目标窗口中的图像内容 的分析，感兴趣的对象和相机。
21、之间的相对运动可被预测并且用于聚焦或调整其他相机参 数。当感兴趣的对象和相机之间的距离改变时，图像中的对象的尺寸相应变大或变小。因 此，在目标窗口中的一个或多个对象的大小变化是指示下一个聚焦峰值的搜索方向。此外， 对象的大小变化，也可作为由AF算法来搜索下一个聚焦峰值的步数的初始猜测。 0026 分析一个或多个对象的图像尺寸变化趋势（更大或更小），可以提供给自动聚焦算 法来控制相机对焦搜索方向是向后移动到微距（Macro）或向前移动到无限（Infinity）。例 如，如图4所示，当下一图像帧420内的对象421的尺寸大于该图像帧410内的对象411的 尺寸，这表明对象被移到靠近相机。因此，相机。
22、的焦点应该走向微距。根据本发明，该信息更 新移动焦距至微距与该目标窗口的信息一起提供给自动聚焦算法。另一方面，如图5所示， 当该对象移动更远离照相机，图像帧510内的对象511中的尺寸相较在下一图像帧520内 说 明 书CN 104038691 A 4/5页 7 的对象521的尺寸变得更小。因此，当在目标窗口中的对象的尺寸变小，则相机的焦距应朝 向无限移动。该分析结果与目标窗口的信息提供给自动聚焦算法来更新相机焦距向无限。 0027 判定在目标窗口中的一个或多个对象的大小、大小变化或大小及大小变化还可以 提供信息用于聚焦的步长（step size）。对象的的大小和大小变化反映了对象与相机之间 。
23、的距离和距离变化。因此，确定或分析大小和大小变化，可以为自动聚焦算法提供信息，以 估计寻找焦距峰值的步骤。例如，图6A中对象610大小变化大于图6B中对象大小的变化。 这表明图6A该距离变化大于图6B中该距离的变化。如果图6A中聚焦步骤的数目是M且 图6B中聚焦步骤的数目为N，则根据本发明的实施例，M是大于N。该搜索方向（焦距应该 朝着微距更新）和聚焦步骤的估计都提供至自动聚焦算法以寻找焦距峰值。 0028 此外基于目标窗口中的一个或多个对象大小、大小变化或大小及大小的变化，与 目标窗口相关联的光流或运动场的或目标窗口的一个或多个对象的对象运动的对象跟踪 也可以被用来确定一个或多个对象的一个状。
24、态，状态的改变或两者的结合（状态及状态的 改变）。根据一个实施方式中，图像内容用于确定与一个对象相关联的对象的运动，或者确 定在目标窗口内或与该目标窗口相关的与所述对象相关联的光流或运动域来为聚焦提供 信息。如在图7中所示的例子，对象711的运动是通过分析对象711在图像帧710和下一 图像帧720，且由箭头组722所表现出的运动来确定。图7中对象的运动表示对象711移近 相机。因此，该信息与在目标窗口中的一个或多个对象的对象运动或者与目标窗口相关的 运动域或者光流相关，该信息被提供至自动聚焦的算法来更新焦距至微距。 0029 虽然，在某些情况下，确定目标窗口中的一个或多个对象的状态，状态改变。
25、或两者 的结合可能产生很高的计算成本，降低聚焦速度，分析图像内容的光流或运动域也可能付 出高昂的计算成本或为对象跟踪产生错误的结果。为了加快在这样的情况下照相机的聚焦 速度，根据本发明一个实施例确定一个状态，状态改变或两者的结合通过分析从目标窗口 提取的某些特征或目标窗口的一个或多个对象的比例。通过分析提取的特征或估算在目标 窗口中的一个或多个对象的比例改变（如梯度变化，边缘变化，或纹理的变化等），为自动聚 焦算法，感兴趣的对象和相机之间的相对运动可被估计。如图8的例子所示，当图像帧810 中的对象移近到相机时，在该目标窗口内的下一个图像帧820中所提取的特征821（或所提 取的特征的比例）可。
26、以被分析，通过与从之前的图像帧中获得的所提取的特征811进行比较 以获得移动方向的指示。然后，该两个图像帧的分析结果指示对象移近可以提供至自动聚 焦算法以更新相机焦距转向微距。与此相反，当在目标窗口中所提取的特征的分析结果表 明，该对象被移动得更远，该相机聚焦相应地朝向无限更新。除了基于提取的特征的比例上 的分析，以在目标窗口中的一个或多个对象相关联的比例上的分析也可以用来寻找焦距的 峰值。 0030 在本发明的实施例中，从目标窗口获得感兴趣的图像内容的描述进行分析，为聚 焦确定与目标窗口相关的该状态，状态改变或两者结合。相同特征的图像内容的描述可以 由图像的属性，例如颜色，纹理或梯度来表示。。
27、在两个图像帧内具有相同属性的区域可以用 于自动聚焦控制。例如，如图9所示，图像帧910的区域911与下一图像帧920的区域921 具有相同的特征，且相应的，该二区域的大小分别为A1和A2。如果区域921的面积A2大于 区域911的面积A1，它意味着在目标物体移动靠近相机。因此，基于图像内容的描述的分析 信息可以被用于向着微距更新焦距。另一方面，如果A2小于A1，表示目标对象被移动至相 说 明 书CN 104038691 A 5/5页 8 机较远处时，朝向无限更新相机焦距。 0031 根据本发明一个实施例中，确定一个状态，状态改变或两者集合也可根据一个或 多个分区/区域或可变形对象的分析。在图像。
28、中的该分区/区域或可变形的对象可以使用 诸如区域生长（基于区域的分割）或主动轮廓模型（也称为蛇）等已知的分割技术来确定。由 图10中的例子显示，图像帧1010的可变形对象的轮廓1011及下一图像帧1020的可变形 对象的轮廓1021的分析结果表示由所述可变形对象的轮廓所表示的对象移动至更接近相 机。这些信息可以提供给自动聚焦朝着微距方向更新。另一方面，如果该分段区或该可变 形对象，表示该对象/正在远离相机时，信息可以被提供用于自动聚焦朝向无限更新。虽然 区域生长或活动轮廓模型被作为区域分割的例子使用，也可以使用其它技术。 0032 为了减少计算量，确定与相关的目标窗口一个状态，状态改变或两者相。
29、结合，也可 以根据目标窗口的一个或多个选择的区域来确定，而不是基于目标窗口来确定。根据本发 明的一个实施方案，目标窗口的一选定区域被侦测到，然后在对象跟踪期间确定一个状态， 状态改变，或二者的集合一提供信息给聚焦。图11揭示在目标窗口侦测一区域的范例，其 中区域1111是在图像帧1110被侦测和区域1121在图像帧1120中被侦测。该区域1121 的面积大于该区域1111的面积。更大的区域与区域1121相关则表示该区域正朝着相机移 动。因此，相机的焦距应该朝着微距更新。图11揭示了一个区域，也可以使用多个区域。该 多个区域可能是未连接或部分连接。该的区域或多个区域可以与目标窗口相关联，或与该 。
30、目标窗口的一个或多个对象相关联。选定区域的面积变化的分析仅是一个示例，以确定在 目标窗口中的选定区域或多个区域的一个状态，状态的改变或两者的结合，也可以使用其 他方法。 0033 图12显示结合本发明的实施例的自动聚焦系统的示例性流程图。在步骤1210，该 处理开始从光学子系统接收一个输入图像中。然后，在步骤1220，目标窗口对应于感兴趣的 图像内容被选择，并提供给自动聚焦算法。以提高自动聚焦性能，在步骤1230中，对目标窗 口中的图像内容进行分析，以确定与目标窗口相关的一个状态、状态改变或二者的结合。在 步骤1240，基于与目标窗口相关的状态、状态变化或两者相结合的信息，一个或多个相机参 数。
31、被更新。上述揭示的每个用于确定状态，状态改变或两者相结合的方法可以被视为一种 对象跟踪算法。上述揭示的每个用于确定状态，状态改变或两者相结合的方法也可以用在 非对象跟踪的其他自动聚焦功能。而图12示出根据一个实施例来实施本发明的示例性流 程图，在不脱离本发明的精神实质的情况下，本领域技术人员的技术人员可以重新排列步 骤来实施本发明。例如，确定使用哪一种方法或多个方法来确定所述状态、状态变化或二者 相结合的步骤也可以被添加到流程图。 0034 本发明可以以其他特定形式来实施而不背离其精神或本质特征。所描述的实施例 在所有方面都被认为仅是说明性的而不是限制性的。因此，本发明的范围由所附的权利要 求而不是由前面的描述来表示。在权利要求的等同含义和范围内的所有变化都是在其范围 之内。 说 明 书CN 104038691 A 1/5页 9 图1 图2 图3 说 明 书 附 图CN 104038691 A 2/5页 10 图4 图5 图6A 说 明 书 附 图CN 104038691 A 10 3/5页 11 图6B 图7 图8 说 明 书 附 图CN 104038691 A 11 4/5页 12 图9 图10 图11 说 明 书 附 图CN 104038691 A 12 5/5页 13 图12 说 明 书 附 图CN 104038691 A 13 。