《基于立体视觉匹配的图像采集抖动消除方法及装置.pdf》由会员分享，可在线阅读，更多相关《基于立体视觉匹配的图像采集抖动消除方法及装置.pdf（11页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 (43)申请公布日 (21)申请号 201410856581.9(22)申请日 2014.12.31H04N 5/232(2006.01)G06T 7/00(2006.01)(71)申请人 深圳先进技术研究院地址 518000 广东省深圳市南山区西丽大学城学苑大道 1068 号(72)发明人 何明 程俊 王鹏(74)专利代理机构 深圳中一专利商标事务所 44237代理人 张全文(54) 发明名称基于立体视觉匹配的图像采集抖动消除方法及装置(57) 摘要本发明适用智能终端及图像处理领域，提供了一种基于立体视觉匹配的图像采集抖动消除方法，所述方法包括 ：采用 FAST 特征点检。
2、测提取前后两帧图像的特征兴趣点 ；采用基于 ORB 描述子的方案匹配前后两帧图像的 FAST 特征兴趣点 ；根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩阵 F ；由转换矩阵 F 修正抖动后带来的偏移得到修正后的图片。本发明提供的方法具有对多帧图像防抖动的优点，并且计算速度快。(51)Int.Cl.(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书1页 说明书5页 附图4页(10)申请公布号 CN 104506775 A(43)申请公布日 2015.04.08CN 104506775 A1/1 页21.一种基于立体视觉匹配的图像采集抖动消除方法，其特征。
3、在于，所述方法包括 ：采用 FAST 特征点检测提取前后两帧图像的特征兴趣点 ；采用基于 ORB 描述子的方案匹配前后两帧图像的 FAST 特征兴趣点 ；根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩阵F；由转换矩阵 F 修正抖动后带来的偏移得到修正后的图片。2.根据权利要求 1 所述的方法，其特征在于，所述采用 FAST 特征点检测提取前后两帧图像的特征兴趣点具体包括 ：采用 FAST 特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆周周围每隔 90 度角提取 4 个点，获取提取的 4 个点灰度值与候选特征点灰度值之差 ；如四个差值中至少三个差值大于灰。
4、度阈值，则保留该候选特征点，否则，删除该候选特征点。3.一种基于立体视觉匹配的图像采集抖动消除装置，其特征在于，所述装置包括 ：提取单元，用于采用 FAST 特征点检测提取前后两帧图像的特征兴趣点 ；匹配单元，用于采用基于 ORB 描述子的方案匹配前后两帧图像的 FAST 特征兴趣点 ；求解单元，用于根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩阵 F ；修正单元，用于由转换矩阵 F 修正抖动后带来的偏移得到修正后的图片。4.根据权利要求 3 所述的装置，其特征在于，所述提取单元具体用于采用 FAST 特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆周周。
5、围每隔 90 度角提取 4 个点，获取提取的 4 个点灰度值与候选特征点灰度值之差 ；如四个差值中至少三个差值大于灰度阈值，则保留该候选特征点，否则，删除该候选特征点。权 利 要 求 书CN 104506775 A1/5 页3基于立体视觉匹配的图像采集抖动消除方法及装置技术领域0001 本发明属于智能终端及图像处理领域，尤其涉及一种基于立体视觉匹配的图像采集抖动消除方法及装置。背景技术0002 随着生活水平不断地提高，目前图像采集、手机拍照已经成为人们生活必不可少的一部分。但由于拍摄技术以及外界物体运动等影响，徒手拍照的图像可能会出现抖动模糊等现象，这时人们往往会借助外界的固定平衡装置，如三脚。
6、架、位移检测传感单元等来辅助拍摄图像。通过额外的辅助工具，虽然可以有效地解决图像采集防抖动的问题，但同时也给拍摄带来不便，必须随身携带庞大的工具。后期图像处理的方法，使得拍摄不借助外界的工具的前提下也可以解决抖动模糊的问题。有时候人们拍摄时会同时拍摄几张，但这样在不同时刻拍摄的图片由于徒手的抖动问题，往往会给拍摄图像带来很明显的抖动。0003 随着科技水平的不断提高，手持移动设备都具有了相机拍摄的功能，相机获取图像的过程是外部场景的光线通过光学镜头聚焦在图像传感器上形成光学图像，并通过一定时间的积分，使得光学图像转化为数字图像。在这个过程中，必须保持光学图像在图像传感器上的静态性，否则获得积分。
7、图像就会发生模糊抖动，影响图像质量。，前业界采用图像拍摄抖动去除主要光学防抖以及电子防抖。0004 专利CN200510108036.2与CN200510108037.7通过获取帧间图像的全局相对运动矢量来判断当前图像是否存在抖动，并通过此全局相对运动矢量对图像进行抖动补偿。专利CN200910188891.7以及专利CN201210013718.5分别提出使用加速度计以及位移检测传感单元来检测相机是否存在抖动问题，最后根据检测发生的抖动位移来修正图像抖动发生的变化，但这种方法需要额外的硬件辅助，增大了方案成本设计。专利 CN201010526514 通过控制快门阈值的控制以及对图像进行滤波降。
8、噪处理来改善图像抖动模糊质量，但这种方法只适合单帧图像的抖动问题消除。0005 目前大部分现有技术均是针对相机拍摄防抖动的问题是基于单幅图像抖动模糊来解决的，但有时用户需要手持拍照连续几帧图像或者动态的视频这时如果通过徒手拍摄图像，往往很容易发生抖动的现象，这也是手持设备拍照最大问题之一。发明内容0006 本发明实施例的目的在于提供一种基于立体视觉匹配的图像采集抖动消除方法及装置，其解决现有技术的无法解决多帧图像抖动的问题。0007 本发明实施例是这样实现的，一方面，提供一种基于立体视觉匹配的图像采集抖动消除方法，所述方法包括 ：0008 采用 FAST 特征点检测提取前后两帧图像的特征兴趣点。
9、 ；0009 采用基于 ORB 描述子的方案匹配前后两帧图像的 FAST 特征兴趣点 ；0010 根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转说 明 书CN 104506775 A2/5 页4换矩阵 F ；0011 由转换矩阵 F 修正抖动后带来的偏移得到修正后的图片。0012 可选的，所述采用 FAST 特征点检测提取前后两帧图像的特征兴趣点具体包括 ：0013 采用 FAST 特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆周周围每隔 90 度角提取 4 个点，获取提取的 4 个点灰度值与候选特征点灰度值之差 ；如四个差值中至少三个差值大于灰度阈值，则。
10、保留该候选特征点，否则，删除该候选特征点。0014 另一方面，提供一种基于立体视觉匹配的图像采集抖动消除装置，所述装置包括：0015 提取单元，用于采用 FAST 特征点检测提取前后两帧图像的特征兴趣点 ；0016 匹配单元，用于采用基于 ORB 描述子的方案匹配前后两帧图像的 FAST 特征兴趣点；0017 求解单元，用于根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩阵 F ；0018 修正单元，用于由转换矩阵 F 修正抖动后带来的偏移得到修正后的图片。0019 可选的，所述提取单元具体用于0020 采用 FAST 特征点检测获取候选特征点后，在以候选特征点为圆心，。
11、预设半径的圆周周围每隔 90 度角提取 4 个点，获取提取的 4 个点灰度值与候选特征点灰度值之差 ；如四个差值中至少三个差值大于灰度阈值，则保留该候选特征点，否则，删除该候选特征点。0021 在本发明实施例中，本发明提供的技术方案基于FAST特征点以及ORB描述子匹配的算法运算效率非常高，在嵌入式设备如手机、平板电脑等有限的内存空间存储以及计算资源的产品中拥有很好的应用前景。本发明提出的立体视觉匹配算法计算复杂度非常低，在运行效率方面有着很大的优势。通过立体视觉匹配的图像抖动修正，可以有效地解决徒手拍摄照片或视频不稳定的问题，在未来的图像采集等方面有着很大的应用前景。附图说明0022 图 1。
12、 是本发明提供的一种基于立体视觉匹配的图像采集抖动消除方法的流程图 ；0023 图 2 是本发明提供的 FAST 特征点检测示意图 ；0024 图 3 是本发明提供的对前后帧拍摄的图像特征点匹配的结果示意图 ；0025 图 4(a) 为徒手拍摄的前帧图像效果图 ；0026 图 4(b) 为徒手拍摄的后帧图像效果图 ；0027 图 4(c) 为采用本发明提供的方法进行修正后的效果图 ；0028 图 5(a) 为未修正效果图 1 ；0029 图 5(b) 为采用本发明提供的方法修正后的效果图 1 ；0030 图 6(a) 为未修正效果图 2 ；0031 图 6(b) 为采用本发明提供的方法修正后的。
13、效果图 2 ；0032 图 7(a) 为未修正效果图 3 ；0033 图 7(b) 为采用本发明提供的方法修正后的效果图 3 ；0034 图 8(a) 为未修正效果图 4 ；0035 图 8(b) 为采用本发明提供的方法修正后的效果图 4。说 明 书CN 104506775 A3/5 页5具体实施方式0036 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。0037 本发明具体实施方式提供一种基于立体视觉匹配的图像采集抖动消除方法，上述方法由手机或其他的智能设备 ( 例如 。
14、ipad、PDA 等 ) 执行，当然在实际应用中，也可以由其他的智能设备执行，本发明具体实施方式并不局限执行该方法设备或装置的具体表现形式。该方法如图 1 所示，包括 ：0038 101、采用 FAST 特征点检测提取前后两帧图像的特征兴趣点 ( 即特征点 ) ；0039 102、采用基于 ORB 描述子的方案匹配前后两帧图像的 FAST 特征兴趣点 ；0040 103、根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩阵 F ；0041 104、由转换矩阵 F 修正抖动后带来的偏移得到修正后的图片。0042 本发明在图像处理层面上提出了给予立体视觉匹配的方法对帧间图像的。
15、抖动变换矩阵进行求解，有效地解决了图像抖动带来的问题。基于 FAST 特征点以及 ORB 描述子匹配的算法运算效率非常高，在嵌入式设备如手机、平板电脑等有限的内存空间存储以及计算资源的产品中拥有很好的应用前景。本发明提出的立体视觉匹配算法计算复杂度非常低，在运行效率方面有着很大的优势。通过立体视觉匹配的图像抖动修正，可以有效地解决徒手拍摄照片或视频不稳定的问题，在未来的图像采集等方面有着很大的应用前景。0043 FAST 特征点检测算法来源于 corner 的定义，基于每个特征点周围图像灰度值，检测候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别够大，则认。
16、为该候选点为一个特征点 ：0044 0045 其中，I(x) 为以 I(p)，预设半径的圆周上任意一点的灰度值，I(p) 为圆心的灰度值 ，d为给定阈值。如果 N 大于给定阈值 ，一般为周围圆圈点的四分之三，则认为 p 是一个特征兴趣点。0046 可选的，上述 101 的实现方法具体可以为 ：0047 采用 FAST 特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆周周围每隔 90 度角提取 4 个点，如图 2 所示的点 1、5、13、9 ；获取提取的 4 个点灰度值与候选特征点灰度值之差 ；如四个差值中至少三个差值大于灰度阈值，则保留该候选特征点，否则，删除该候选特征点。本发明。
17、图2中采用半径为3，共有16个周边像素点比较，具体如图2所示，。为了提高比较的效率，通常只使用 16 个点中的一部分的像素点来比较，即 FAST-N。采用此种方法可以加快 FAST 特征点检测的速度，减少候选特征点的数量。0048 可选的，上述 102 的实现方法具体可以为 ：0049 基于ORB描述子的方案来匹配FAST特征兴趣点。ORB(英文全称 ：Oriented BRIEF)说 明 书CN 104506775 A4/5 页6描述子具有方向性。其特征点的主方向是通过矩的计算来求解，公式如下 ：0050 0051 0052 0053 M10、M00分别对应特征点的一阶矩与零阶矩，Cori为。
18、特征点的主方向。在确定特征点的主方向后，利用局部图像领域内随机点对的灰度大小关系来建立局部图像的特征描述子，得到的二值特征描述子不仅匹配速度快，而且存储要求内存低，因此在手机等嵌入式设备中具有很好应用背景。图 3 所示为本发明对前后帧拍摄的图像特征点匹配的结果。0054 可选的，上述 103 的实现方法具体可以为 ：0055 假设帧间图像的位移变化如下公式所示 ：0056 0057 其中 M 为前一帧相机的位置，M为后一帧相机的位置，R，t 分别为两帧间相机旋转矩阵与位移矩阵，M 归一化处理后得到 m，则 ：0058 0059 0060 根据匹配好的点对，利用八点法可以求解出转换矩阵 F。00。
19、61 如图 4(a)、图 4(b) 为徒手拍摄的前后帧图像，由于两帧图像在不同时刻拍摄，徒手会带来抖动的问题，如图4(c)为采用本发明提供的方法进行修正后的效果图，(c)与(b)之间的抖动问题基本已经被消除。0062 本发明算法已通过大量的试验验证，通过徒手拍摄不同的物体，将直接未修正的前后帧图像合成结果与通过立体视觉匹配算法处理后的修正前后帧图像合成结果进行对比，如附图所示，可以看出，通过立体视觉匹配修正后的结果可以非常有效地解决图像抖动问题。0063 其中，图 5(a) 为未修正效果图，图 5(b) 为修正后的效果图 ；0064 图 6(a) 为未修正效果图，图 6(b) 为修正后的效果图。
20、 ；0065 图 7(a) 为未修正效果图，图 7(b) 为修正后的效果图 ；0066 图 8(a) 为未修正效果图，图 8(b) 为修正后的效果图。0067 本发明还提供一种基于立体视觉匹配的图像采集抖动消除装置，所述装置包括 ：0068 提取单元，用于采用 FAST 特征点检测提取前后两帧图像的特征兴趣点 ；说 明 书CN 104506775 A5/5 页70069 匹配单元，用于采用基于 ORB 描述子的方案匹配前后两帧图像的 FAST 特征兴趣点；0070 求解单元，用于利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩阵F；0071 修正单元，用于根据转换矩阵 F 修正抖动后带。
21、来的偏移得到修正后的图片。0072 可选的，所述提取单元具体用于0073 采用 FAST 特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆周周围每隔 90 度角提取 4 个点，获取提取的 4 个点灰度值与候选特征点灰度值之差 ；如四个差值中至少三个差值大于灰度阈值，则保留该候选特征点，否则，删除该候选特征点。0074 上述装置可以为移动终端，平板电脑或 PDA 等智能设备。0075 值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可 ；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护。
22、范围。0076 另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如 ROM/RAM、磁盘或光盘等。0077 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。说 明 书CN 104506775 A1/4 页8图1图2说 明 书 附 图CN 104506775 A2/4 页9图3图 4(a)图 4(b)说 明 书 附 图CN 104506775 A3/4 页10图 4(c)图 5(a)图 5(b)图 6(a)图 6(b)说 明 书 附 图CN 104506775 A。