图像处理装置和图像处理方法.pdf

《图像处理装置和图像处理方法.pdf》由会员分享，可在线阅读，更多相关《图像处理装置和图像处理方法.pdf（22页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 (43)申请公布日 (21)申请号 201380032255.X (22)申请日 2013.02.18 2012-138569 2012.06.20 JP H04N 5/232(2006.01) G06T 1/00(2006.01) H04N 13/02(2006.01) (71)申请人 奥林巴斯株式会社 地址 日本东京都 (72)发明人 坂田诚一郎 (74)专利代理机构 北京三友知识产权代理有限 公司 11127 代理人 李辉 黄纶伟 (54) 发明名称 图像处理装置和图像处理方法 (57) 摘要 图像处理装置 (10) 包含图像取得部 (12)、 对 应点取得部(110。

2、)、 第1基础矩阵计算部(123)、 进 深计算部 (1242)、 对应点提取部 (1244)、 基础矩 阵确定部 (1246)。图像取得部 (12) 取得多个图 像。对应点取得部 (110) 取得在多个所述图像之 间彼此对应的多个第 1 对应点。第 1 基础矩阵计 算部 (123) 根据多个所述第 1 对应点计算第 1 基 础矩阵。 进深计算部(1242) 根据所述第1基础矩 阵， 计算针对多个所述第 1 对应点的进深。对应 点提取部 (1244) 根据所述进深， 从多个所述第 1 对应点中提取多个第 2 对应点。基础矩阵确定部 (1246) 根据多个所述第 2 对应点计算第 2 基础矩 阵。

3、。 (30)优先权数据 (85)PCT国际申请进入国家阶段日 2014.12.18 (86)PCT国际申请的申请数据 PCT/JP2013/053883 2013.02.18 (87)PCT国际申请的公布数据 WO2013/190862 JA 2013.12.27 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书10页 附图9页 (10)申请公布号 CN 104396231 A (43)申请公布日 2015.03.04 CN 104396231 A 1/2 页 2 1. 一种图像处理装置， 其中， 该图像处理装置具有 ： 图像取得部， 。

4、其取得多个图像 ； 对应点取得部， 其取得在多个所述图像之间彼此对应的多个第 1 对应点 ； 第 1 基础矩阵计算部， 其根据多个所述第 1 对应点计算第 1 基础矩阵 ； 进深计算部， 其根据所述第 1 基础矩阵， 计算针对多个所述第 1 对应点的进深 ； 对应点提取部， 其根据所述进深， 从多个所述第 1 对应点中提取多个第 2 对应点 ； 以及 基础矩阵确定部， 其根据多个所述第 2 对应点计算第 2 基础矩阵 ； 以及。 2. 根据权利要求 1 所述的图像处理装置， 其中， 由所述对应点提取部提取出的多个所述第 2 对应点是如下提取的， 即根据所述进深， 从所述第 1 对应点中， 从最。

5、近的对应点起依次选择性地提取， 进而从最深的对应点起依次 选择性地提取。 3. 根据权利要求 1 或 2 所述的图像处理装置， 其中， 所述对应点提取部根据所述第 1 基础矩阵评价所述第 1 对应点的可靠性， 根据所述可 靠性提取所述第 2 对应点。 4. 根据权利要求 1 或 2 所述的图像处理装置， 其中， 由所述对应点提取部提取出的多个所述第 2 对应点是如下提取的， 即根据所述进深， 从所述第 1 对应点中， 提取包含最近的对应点和最深的对应点在内的对应点。 5. 根据权利要求 1 或 2 所述的图像处理装置， 其中， 多个所述图像是在不同时间拍摄同一被摄体而得到的图像， 所述图像处理。

6、装置还具有校正部， 该校正部根据所述第 2 基础矩阵， 校正存在于所述 多个图像之间的抖动。 6. 根据权利要求 1 或 2 所述的图像处理装置， 其中， 所述图像处理装置还具有三维重构部， 该三维重构部根据所述第 2 基础矩阵进行所述 图像的三维重构。 7. 根据权利要求 1 或 2 所述的图像处理装置， 其中， 所述第1基础矩阵计算部通过从所述第1对应点中随机选择规定数量的对应点而进行 反复运算来计算所述第 1 基础矩阵。 8. 一种摄像装置， 其中， 该摄像装置具有 ： 摄像部， 其拍摄被摄体的图像 ； 图像取得部， 其取得在不同时间拍摄同一所述被摄体而得到的多个所述图像 ； 对应点取得。

7、部， 其取得在多个所述图像中彼此对应的多个第 1 对应点 ； 第 1 基础矩阵计算部， 其根据多个所述第 1 对应点计算第 1 基础矩阵 ； 进深计算部， 其根据所述第 1 基础矩阵计算进深 ； 对应点提取部， 其根据所述进深， 从多个所述第 1 对应点中提取多个第 2 对应点 ； 以及 基础矩阵确定部， 其根据多个所述第 2 对应点计算第 2 基础矩阵 ； 以及 校正部， 其根据所述第 2 基础矩阵， 校正存在于所述多个图像之间的抖动。 9. 一种图像处理方法， 其中， 该图像处理方法具有如下步骤 ： 取得多个图像 ； 取得在多个所述图像之间彼此对应的多个第 1 对应点 ； 权 利 要 求 。

8、书 CN 104396231 A 2 2/2 页 3 根据多个所述第 1 对应点计算第 1 基础矩阵 ； 根据所述第 1 基础矩阵， 计算针对多个所述第 1 对应点的进深 ； 根据所述进深， 从多个所述第 1 对应点中提取多个第 2 对应点 ； 以及 根据多个所述第 2 对应点计算第 2 基础矩阵。 10. 一种计算机可读取的记录介质， 其记录有用于使计算机执行如下步骤的程序 ： 取得多个图像 ； 取得在多个所述图像之间彼此对应的多个第 1 对应点 ； 根据多个所述第 1 对应点计算第 1 基础矩阵 ； 根据所述第 1 基础矩阵， 计算针对多个所述第 1 对应点的进深 ； 根据所述进深， 从多。

9、个所述第 1 对应点中提取多个第 2 对应点 ； 以及 根据多个所述第 2 对应点计算第 2 基础矩阵。 权 利 要 求 书 CN 104396231 A 3 1/10 页 4 图像处理装置和图像处理方法 技术领域 0001 本发明涉及图像处理装置和图像处理方法。 背景技术 0002 已知， 通常， 关于从不同方向拍摄同一被摄体而得到的多个图像， 可以根据这些图 像来得到取得这些图像的照相机在取得图像时的位置和姿态的不同。 即， 已知， 根据图像之 间的差异得到基础矩阵， 根据该基础矩阵， 计算出上述的照相机的位置和姿态的关系。例 如， 在日本特开 2008-259076 号公报中， 公开有如。

10、下技术 ： 基于根据多个图像计算出的基础 矩阵及根据该基础矩阵计算出的基本矩阵， 计算这些图像之间的运动信息， 根据该运动信 息， 进行图像的防抖校正。 此处， 基础矩阵是根据作为对象的图像之间彼此对应的对应点而 计算出的。 发明内容 0003 已知， 为了高精度得到基础矩阵， 在计算中使用的对应点的选择起到了重要作用。 例如， 在选择该被摄体所处的空间中的与位于没有进深的平面上的点相当的图像上的点来 作为对应点的情况下， 不能计算出基础矩阵。此外， 在该进深较小的情况下， 计算出的基础 矩阵的精度较低。 0004 因此， 本发明的目的在于提供能够得到高精度的基础矩阵的图像处理装置和图像 处理。

11、方法。 0005 为了实现上述目的， 根据本发明的一个方式， 图像处理装置具有 ： 图像取得部， 其 取得多个图像 ； 对应点取得部， 其取得在多个所述图像之间彼此对应的多个第 1 对应点 ； 第 1 基础矩阵计算部， 其根据多个所述第 1 对应点计算第 1 基础矩阵 ； 进深计算部， 其根据所 述第1基础矩阵， 计算针对多个所述第1对应点的进深 ； 对应点提取部， 其根据所述进深， 从 多个所述第1对应点中提取多个第2对应点 ； 以及基础矩阵确定部， 其根据多个所述第2对 应点计算第 2 基础矩阵。 0006 为了实现上述目的， 根据本发明的一个方式， 摄像装置具有 ： 摄像部， 其拍摄被摄。

12、 体的图像 ； 图像取得部， 其取得在不同时间拍摄同一所述被摄体而得到的多个所述图像 ； 对应点取得部， 其取得在多个所述图像之间彼此对应的多个第1对应点 ； 第1基础矩阵计算 部， 其根据多个所述第 1 对应点计算第 1 基础矩阵 ； 进深计算部， 其根据所述第 1 基础矩阵 计算进深 ； 对应点提取部， 其根据所述进深， 从多个所述第1对应点中提取多个第2对应点 ； 基础矩阵确定部， 其根据多个所述第 2 对应点计算第 2 基础矩阵 ； 以及校正部， 其根据所述 第 2 基础矩阵， 校正存在于所述多个图像之间的抖动。 0007 为了实现上述目的， 根据本发明的一个方式， 图像处理方法具有如。

13、下步骤 ： 取得多 个图像 ； 取得在多个所述图像之间彼此对应的多个第 1 对应点 ； 根据多个所述第 1 对应点 计算第 1 基础矩阵 ； 根据所述第 1 基础矩阵， 计算针对多个所述第 1 对应点的进深 ； 根据所 述进深， 从多个所述第1对应点中提取多个第2对应点 ； 以及根据多个所述第2对应点计算 说 明 书 CN 104396231 A 4 2/10 页 5 第 2 基础矩阵。 0008 为了实现上述目的， 根据本发明的一个方式， 计算机可读取的记录介质记录有用 于使计算机执行如下步骤的图像处理程序 ： 取得多个图像 ； 取得在多个所述图像之间彼此 对应的多个第1对应点 ； 根据多个。

14、所述第1对应点计算第1基础矩阵 ； 根据所述第1基础矩 阵， 计算针对多个所述第 1 对应点的进深 ； 根据所述进深， 从多个所述第 1 对应点中提取多 个第 2 对应点 ； 以及根据多个所述第 2 对应点计算第 2 基础矩阵。 0009 发明效果 0010 根据本发明， 能够提供图像处理装置和图像处理方法， 根据从第 1 基础矩阵得到 的对应点的进深， 使用以使进深差变大的方式选择出的对应点来确定基础矩阵， 因此， 能够 得到高精度的基础矩阵。 附图说明 0011 图 1 是示出第 1 实施方式的图像处理装置的结构例的框图。 0012 图 2 是示出第 1 实施方式的基础矩阵计算部的结构例的。

15、框图。 0013 图 3 是示出第 1 实施方式的第 1 基础矩阵计算部的结构例的框图。 0014 图 4 是示出第 1 实施方式的图像处理部的结构例的框图。 0015 图 5 是示出第 1 实施方式的抖动校正处理的一例的流程图。 0016 图 6 是示出第 1 实施方式的特征点跟踪处理的一例的流程图。 0017 图 7A 是用于说明第 1 实施方式的特征点跟踪处理的图， 是示出处理对象的第 N 帧 的图像例的示意图。 0018 图 7B 是用于说明第 1 实施方式的特征点跟踪处理的图， 是示出处理对象的第 N+1 帧的图像例的示意图。 0019 图 8A 是用于说明第 1 实施方式的特征点跟。

16、踪处理的图， 是示出处理对象的第 N 帧 的图像中的特征点的一例的示意图。 0020 图 8B 是用于说明第 1 实施方式的特征点跟踪处理的图， 是示出处理对象的第 N+1 帧的图像中的特征点的一例的示意图。 0021 图 9 是用于说明第 1 实施方式的特征点跟踪处理的图， 是示出处理对象的图像中 的特征点的对应的一例的示意图。 0022 图 10 是示出第 1 实施方式的姿态估计处理的一例的流程图。 0023 图 11 是示出第 1 实施方式的第 1 基础矩阵计算处理的一例的流程图。 0024 图 12 是示出第 1 实施方式的内点 (inlier) 个数计算处理的一例的流程图。 0025。

17、 图13是用于说明第1实施方式的姿态估计处理的图， 是示出内点对应点个数相对 于进深的关系的一例的图。 0026 图 14 是示出具有第 2 实施方式的图像处理装置的数字照相机的结构例的框图。 0027 图 15 是示出第 3 实施方式的图像处理部的结构例的框图。 具体实施方式 0028 第 1 实施方式 0029 参照附图， 对本发明的第 1 实施方式进行说明。图 1 示出了本实施方式的图像处 说 明 书 CN 104396231 A 5 3/10 页 6 理装置 10 的结构例的概略。图像处理装置 10 是如下装置 ： 对包含被输入的多个图像的图 像信息进行处理， 计算出取得各图像的照相机。

18、的位置和姿态的差异的信息， 输出使用了该 差异的信息的结果。 0030 图像处理装置 10 具有图像处理部 100、 控制部 11、 图像取得部 12、 压缩解压缩部 13、 第 1 存储部 14、 第 2 存储部 15 和输出部 16。各部经由总线 17 彼此连接。如后面详细 记述的那样， 图像处理部 100 承担该图像处理装置 10 的处理的中心。图像处理部 100 具有 对应点取得部 110、 基础矩阵计算部 122 和输出生成部 130。对应点取得部 110 在从图像取 得部 12 等取得并经由总线 17 输入到图像处理部 100 的多个图像之间， 取得多个彼此对应 的点作为第 1 对。

19、应点。基础矩阵计算部 122 计算出表示所输入的多个图像的关系的基础矩 阵。如图 2 所示， 基础矩阵计算部 122 包含第 1 基础矩阵计算部 123 和第 2 基础矩阵计算 部124。 输出生成部130根据基础矩阵计算部122计算出的基础矩阵， 生成所输入的图像的 输出信息。 0031 控制部 11 例如包含 CPU， 控制图像处理装置 10 的各部的动作， 平移行各种运算。 图像取得部 12 取得包含在图像处理装置 10 中进行处理的多个图像 ( 动态图像 ) 的图像信 息 ( 图像数据 )。压缩解压缩部 13 进行图像信息的压缩以及解压。第 1 存储部 14 例如包 含 RAM， 进行。

20、各种处理以及运算所需的暂时存储。第 2 存储部 15 例如包含 ROM， 存储图像处 理装置 10 的控制或运算所需的各种程序等。输出部 16 输出由图像处理部 100 生成的输出 信息。此外， 在本实施例中， 第 1 存储部 14 和第 2 存储部 15 为独立的结构， 但也可以设为 1 个存储部。 0032 对基础矩阵计算部 122 进一步进行详细说明。图 3 示出了第 1 基础矩阵计算部 123 的结构例。如该图所示， 第 1 基础矩阵计算部 123 具有对应点提取部 1231、 临时基础矩 阵计算部1232、 内点计算部1233、 反复判定部1234、 第1基础矩阵确定部1235。 对。

21、应点提取 部 1231 从对应点取得部 110 取得的第 1 对应点中， 例如随机提取 8 个点。临时基础矩阵计 算部 1232 根据由对应点提取部 1231 提取出的 8 点的第 1 对应点， 计算基础矩阵。此处， 将 根据随机提取出的 8 点而计算出的基础矩阵称作临时基础矩阵。内点计算部 1233 针对对 应点取得部 110 取得的各第 1 对应点， 根据临时基础矩阵计算部 1232 计算出的临时基础矩 阵， 计算核线 (epipolar line)， 计算该核线与该第 1 对应点之间的距离。内点计算部 1233 针对各个第1对应点， 分别判断每个第1对应点与核线的距离是否小于规定的阈值，。

22、 将小于 规定的阈值 ( 也可以是规定的阈值以下 ) 的对应点作为内点对应点， 计数出第 1 对应点中 的作为内点对应点的对应点的数量。反复判定部 1234 反复进行与各临时基础矩阵对应的 内点对应点的数量的计算、 即从对应点提取部 1231 的处理起到内点计算部 1233 的为止的 处理， 直到规定的次数或满足规定的条件为止， 从而取得多个临时基础矩阵和针对该临时 基础矩阵的内点对应点的数量。第 1 基础矩阵确定部 1235 对针对各临时基础矩阵的内点 对应点的数量进行比较， 确定内点对应点的数量最多的临时基础矩阵作为第 1 基础矩阵。 0033 如图 2 所示， 第 2 基础矩阵计算部 1。

23、24 具有进深计算部 1242、 第 2 对应点提取部 1244 和基础矩阵确定部 1246。进深计算部 1242 根据第 1 基础矩阵， 进行各内点对应点的 三维坐标的复原。第 2 对应点提取部 1244 从内点对应点中， 以进深方向的深度加深的方式 提取 8 个点。将该 8 点称作第 2 对应点。基础矩阵确定部 1246 根据第 2 对应点， 计算第 2 基础矩阵。 说 明 书 CN 104396231 A 6 4/10 页 7 0034 这样， 通过根据内点对应点来复原三维坐标， 能够进行基于准确的对应点的三维 坐标的复原， 因此， 无需反复运算， 即可根据准确的第 2 对应点的提取而计。

24、算出第 2 基础矩 阵。 0035 以后， 设图像处理装置 10 为对输入的动态图像实施去除抖动的处理并输出去除 了抖动后的动态图像的装置来具体说明。即， 图像取得部 12 取得多个图像 ( 动态图像 ) 数 据。该图像数据是如后述的图 7A 等所示那样包含被摄体的信息的图像。图像处理部 100 作为抖动校正部而发挥作用。图 4 示出了该实施方式的图像处理部 100 的结构例的概略。 图像处理部100包含对应点取得部110、 具有基础矩阵计算部122的姿态估计部120和输出 生成部 130。 0036 对应点取得部 110 具有特征点跟踪部 112， 特征点跟踪部 112 该根据图像取得部 1。

25、2 取得的图像中的特征点， 计算对应点。特征点跟踪部 112 具有特征点检测部 1122、 特征 量计算部 1124 和匹配计算部 1126。图像取得部 12 取得的图像数据 ( 动态图像 ) 经由总 线 17 而被输入到特征点检测部 1122， 特征点检测部 1122 检测该动态图像的第 N 帧的图像 和第 N+1 帧的图像 ( 连续的图像之间 ) 的各自的特征点的候选。特征量计算部 1124 计算 由特征点检测部 1122 检测出的各特征点的候选的特征量， 确定特征量高的点作为特征点。 匹配计算部1126针对由特征量计算部1124确定出的特征点， 取得第N帧的特征点和第N+1 帧的特征点之。

26、间的对应关系。将取得了对应关系的特征点称作第 1 对应点。 0037 姿态估计部120具有上述的基础矩阵计算部122、 基本矩阵计算部126和旋转/平 移计算部 128。基本矩阵计算部 126 根据第 2 基础矩阵， 计算基本矩阵。旋转 / 平移计算 部 128 根据基本矩阵， 计算拍摄到第 N+1 帧的摄像装置相对于拍摄到第 N 帧的摄像装置的 旋转和平移。 0038 输出生成部 130 具有校正抖动的校正部 132。校正部 132 根据姿态估计部 120 计 算出的摄像装置的旋转和平移进行校正， 该校正去除在第 N 帧的图像和第 N+1 帧的图像之 间存在的抖动。输出部 16 输出去除了抖。

27、动后的动态图像。 0039 接下来， 对由本实施方式的图像处理装置 10 实现的去除抖动的动作进行说明。参 照图5所示的流程图， 对图像处理装置10中的抖动校正处理进行说明。 由图像取得部12取 得的图像数据 ( 动态图像数据 ) 经由总线 17 被输入到图像处理部 ( 抖动校正部 )100。在 步骤 S101 中， 图像处理部 ( 抖动校正部 )100 取得动态图像， 将表示帧的编号的变量 N 设定 为 1。在步骤 S102 中， 图像处理部 ( 抖动校正部 )100 的特征点跟踪部 112 进行特征点跟踪 处理， 该特征点跟踪处理进行第 N 帧和第 N+1 帧之间的特征点的跟踪。 0040。

28、 参照图 6 所示的流程图和图 7A 9 所示的示意图， 对特征点跟踪处理进行说明。 此处， 图 7A 示出了第 N 帧的图像， 图 7B 示出了第 N+1 帧的图像。该图所示的例子是如下情 形的图像 ： 近前侧有花， 进深侧有房子， 并有飞机飞过。在图 7A 和 7B 的情况下， 相对于第 N 帧的图像， 在第 N+1 帧的图像中， 拍摄它们的摄像部向右侧进深方向绕过而进行拍摄。 0041 如图 6 所示， 在本发明的特征点跟踪处理中， 首先， 在步骤 S201 中， 特征点跟踪部 112 内的特征点检测部 1122 进行第 N 帧的特征点的候选的检测。特征点检测部 1122 例如 检测图像。

29、中的物体的角部或线的交叉 ( 成角 ) 等作为特征点的候选。在该特征点的候选的 检测中， 例如利用使用了公知的 Harris 算子的方法。此外， 例如， 也可以利用使用了检测边 缘的 SUSAN(Smallest Univalue Segment Assimilating Nucleus ： 最小吸收同值核区 ) 算 说 明 书 CN 104396231 A 7 5/10 页 8 子的方法。Harris 算子或 SUSAN 算子只是一例， 也可以使用其它方法。 0042 在步骤 S202 中， 通过特征点跟踪部 112 内的特征量计算部 1124 计算在步骤 S201 中检测出的各特征点的候选。

30、的特征量。此处， 特征量例如使用公知的 SIFT(Scale Invariant Feature Transform ： 尺 度 不 变 特 征 变 换 ) 或 SURF(Speeded Up Robust Features ： 加速强健性特征 ) 来计算。SIFT 或 SURF 只是一例， 也可以使用其它方法。特征 量计算部 1124 根据特征量， 确定特征点的候选中的看上去较正确的特征点作为特征点。例 如， 在第 N 帧的图像为图 7A 所示的图像的情况下， 步骤 S202 的结果是， 例如确定出图 8A 中 示意性地由符号表示的特征点。 此外， 通常， 特征点的量有时达到数千个点， 此处。

31、， 为了简 化说明， 仅例示了几个特征点。 0043 在步骤S203中， 通过特征点跟踪部112内的特征点检测部1122， 与步骤S201的情 况同样地进行第 N+1 帧的特征点的候选的检测。在步骤 S204 中， 特征量计算部 1124 与步 骤S202的情况同样地计算第N+1帧的特征点的候选的特征量， 确定特征点。 例如， 在第N+1 帧的图像为图 7B 所示的图像的情况下， 步骤 S204 的结果是， 例如确定出图 8B 中示意性地 由符号表示的特征点。 0044 在确定出这些 N 帧的特征点和 N+1 帧的特征点之后， 接下来， 在步骤 S205 中， 由特 征点跟踪部 112 内的匹。

32、配计算部 1126 使用第 N 帧和第 N+1 帧的特征点以及它们的特征量 来确定第 N 帧和第 N+1 帧的特征点之间的对应关系。即， 确定具有在图像之间成为被摄体 的同一点的关系的对应点。例如， 在图 7A 和 7B 所示的第 N 帧的图像和第 N+1 帧的图像的 情况下， 在第 N+1 帧的图像中以矢量方式显示对应关系时， 成为图 9 的示意图。将这样确定 出的、 得到第 N 帧和第 N+1 帧的对应关系的特征点称作第 1 对应点。在步骤 S205 之后， 处 理返回到参照图 5 说明的抖动校正处理。 0045 此外， 如后述那样， 使N的值每次加1， 并依次进行特征点跟踪处理。 因此，。

33、 在N2 中的特征点跟踪处理中， 第 N 帧的特征点和特征量是在第 N-1 帧的特征点跟踪处理时计算 出的。在步骤 S201 以及步骤 S202 中， 可以读出在 N-1 帧的特征点跟踪处理中计算出的第 N 帧的特征点和特征量。 0046 返回到图5， 继续进行说明。 在步骤S103中， 图像处理部(抖动校正部)100的姿态 估计部120进行估计第N+1帧相对于第N帧的姿态的姿态估计处理。 参照图10所示的流程 图， 对姿态估计处理进行说明。在步骤 S301 中， 姿态估计部 120 的第 1 基础矩阵计算部 123 进行第 1 基础矩阵计算处理。该处理例如通过使用了 RANSAC(RANdo。

34、m SAmple Consensus ： 随机抽样一致 ) 的方法来进行。 0047 参照图 11 所示的流程图， 对该第 1 基础矩阵计算处理进行说明。在步骤 S401 中， 第 1 基础矩阵计算部 123 的对应点提取部 1231 在由特征点跟踪处理确定出的第 1 对应点 中， 随机提取多个点 ( 在本实施方式中为 8 点 ) 的第 1 对应点。在步骤 S402 中， 第 1 基础 矩阵计算部 123 的临时基础矩阵计算部 1232 根据提取出的 8 点的第 1 对应点， 例如使用公 知的 8 点算法来计算基础矩阵。此处， 将计算出的基础矩阵称作临时基础矩阵。 0048 在步骤 S403 。

35、中， 第 1 基础矩阵计算部 123 的内点计算部 1233 进行内点个数计算 处理。在内点个数计算处理中， 考虑第 N 帧和第 N+1 帧这两张图像的核线几何 ( 幾何 )。此时， 针对由特征点跟踪处理求出的各第 1 对应点， 当其与根据临时基础矩阵求 出的核线 ( 评价线 ) 的距离小于规定的阈值时， 将该对应点称作内点 ( 评价较高 )。在内点 说 明 书 CN 104396231 A 8 6/10 页 9 个数计算处理中， 求出多个第 1 对应点中的作为内点的对应点的个数。 0049 参照图 12 所示的流程图， 对内点个数计算处理进行说明。在步骤 S501 中， 内点计 算部1233。

36、将表示内点的个数的变量I设定为8。 这是因为， 在本实施方式中， 将在临时基础 矩阵的计算中使用的第 1 对应点作为内点来进行计数。 0050 接下来， 对由特征点跟踪处理求出的全部第 1 对应点进行以下处理。在步骤 S502 中， 内点计算部1233计算根据临时基础矩阵求出的核线与作为对象的各第1对应点之间的 距离。在步骤 S503 中， 内点计算部 1233 判定在步骤 S502 中计算出的与核线之间的距离是 否小于规定的阈值 ( 也可以是规定的阈值以下 )。在判定为距离小于阈值时， 在步骤 S504 中， 内点计算部 1233 使表示内点的个数的变量 I 加 1。在第 1 对应点中， 将。

37、与核线之间的 距离小于规定的阈值的对应点称作内点对应点。然后， 处理进入步骤 S505。当在步骤 S503 的判定中判定为距离为规定的阈值以上时， 处理进入步骤 S505。 0051 在步骤 S505 中， 内点计算部 1233 判定是否对全部第 1 对应点进行了步骤 S502 步骤 S504 的处理。在判定为未处理完时， 处理返回到步骤 S502， 对下一第 1 对应点进行相 同的处理。当在步骤 S505 的判定中判定为处理完时， 将变量 I 设为返回值， 使处理返回到 第 1 基础矩阵计算处理。 0052 这样， 在全部第 1 对应点中， 计算出相对于第 1 临时基础矩阵为内点的第 1 对。

38、应点 的个数I。 此处， 可以说， 内点对应点的个数越多的临时基础矩阵， 是越适合表示第N帧的图 像和第 N+1 帧的图像之间的关系的基础矩阵。 0053 返回到图 11， 继续进行说明。在步骤 S404 中， 第 1 基础矩阵计算部 123 的反复判 定部 1234 判定是否执行了规定次数的步骤 S401 步骤 S403 的处理。在没有执行规定的 次数时， 处理返回到步骤 S401。当在步骤 S404 中判定为执行了规定的次数处理时， 处理进 入步骤 S405。在步骤 S405 中， 第 1 基础矩阵计算部 123 的第 1 基础矩阵确定部 1235 确定 内点对应点的个数 I 最大的临时基。

39、础矩阵作为第 1 基础矩阵。该第 1 基础矩阵中的内点对 应点例如是 ： 删除图7A和7B中的与飞机那样的活动物体对应的对应点， 而提取出作为静止 物体的房子以及花的对应点。 0054 此处， 将由步骤 S404 的判断进行的、 对内点对应点的个数进行计算的临时基础矩 阵的数量设为规定数。 但是不限于此， 也可以对临时基础矩阵计算内点对应点的个数， 直到 满足规定的结束条件为止。在步骤 S405 之后， 处理将第 1 基础矩阵作为返回值返回到姿态 估计处理。 0055 返回到图 10， 继续进行说明。在步骤 S302 步骤 S304 中， 姿态估计部 120 的第 2 基础矩阵计算部 124 。

40、根据由第 1 基础矩阵计算处理求出的第 1 基础矩阵， 计算第 2 基础矩 阵。即， 在步骤 S302 中， 第 2 基础矩阵计算部 124 的进深计算部 1242 使用由第 1 基础矩阵 计算部 123( 步骤 S301 的处理 ) 确定出的第 1 基础矩阵， 进行内点对应点的三维坐标的复 原。已知， 通常， 在使用基础矩阵时， 可求出图像中的各点的对应于被摄体所处的空间的三 维坐标。其结果是， 例如， 在图 7A 和 7B 那样的图像的情况下， 如图 13 中直方图所示， 得到 表示进深的距离与内点对应点的个数之间的关系。此外， 在图 7A 和 7B 中， 由于飞机是移动 的， 因而在飞机。

41、中检测出的对应点不是内点对应点， 在图 13 中未示出。 0056 在步骤S303中， 第2基础矩阵计算部124的第2对应点提取部1244从内点对应点 中选择 ( 提取 ) 多个 ( 在本实施方式中为 8 点 ) 第 2 对应点。在该步骤 S303 的选择中， 第 说 明 书 CN 104396231 A 9 7/10 页 10 2 对应点提取部 1244 根据复原后的三维坐标， 选择进深较远的内点对应点。第 2 对应点提 取部 1244 例如选择 ( 提取 ) 最近前侧 ( 最近 ) 的较近的 4 个内点对应点和最进深侧 ( 最 深 ) 的较远的 4 个内点对应点作为第 2 对应点。 005。

42、7 此外， 在第2对应点中使用的对应点不限于最近前侧的较近的4个内点对应点、 最 进深侧的较远的 4 个内点对应点。可以使用使第 2 对应点的进深差变大的各种提取方法。 例如， 也可以从最近的内点对应点起， 依次选择性地提取满足规定的条件的内点对应点， 进 而， 从最深的内点对应点起， 依次选择性地提取满足规定的条件的内点对应点。 如果该规定 的条件是自最近起的 4 点以及自最深起的 4 点， 则成为上述的实施方式。此外， 该规定的条 件例如也可以有规律地依次提取第 1、 3、 5、 7 个点等。此外， 作为规定的条件， 例如， 也可以 将图像平面划分为 4 个区域， 从各个区域个提取 1 点。

43、。此外， 也可以是， 从近前侧起， 依次提 取满足可靠性的 4 点， 从进深侧起， 依次提取满足可靠性的 4 点。此处， 在可靠性的判断中， 例如， 也可以使用比在内点个数计算处理中使用的阈值更严格的第 2 阈值。即， 也可以选择 如下的最近前侧的 4 点和最进深侧的 4 点作为第 2 对应点， 这些内点对应点与核线之间的 距离小于该第 2 阈值。此外， 优选使用不仅在进深方向上相离而且在图像平面中也相离的 点。在使用已判断了可靠性且在图像平面中相离的点时， 后述得到的第 2 基础矩阵的精度 进一步提高。此外， 第 2 对应点也可以不是近前侧和进深侧的各 4 点。不过， 优选第 2 对应 点为。

44、近前侧和进深侧的各 4 点。 0058 在步骤S304中， 第2基础矩阵计算部124的基础矩阵确定部1246根据在步骤S303 中选择出的 8 点的第 2 对应点， 计算第 2 基础矩阵。第 2 基础矩阵的计算与步骤 S402 中的 临时基础矩阵的计算方法相同。在步骤 S305 中， 姿态估计部 120 的基本矩阵计算部 126 根 据第 2 基础矩阵， 计算基本矩阵。在根据基础矩阵计算基本矩阵时使用公知的方法。在步 骤 S306 中， 姿态估计部 120 的旋转 / 平移计算部 128 根据在步骤 S305 中计算出的基本矩 阵， 计算旋转矩阵和平移矢量。此处， 该旋转矩阵和平移矢量表示取得。

45、第 N 帧的图像的照相 机的位置和姿态与取得第 N+1 帧的图像的照相机的位置和姿态之差。即， 该旋转矩阵和平 移矢量表示从取得第 N 帧的图像起到取得第 N+1 帧的图像为止的、 取得这些图像的照相机 抖动量。然后， 处理返回到参照图 5 说明的抖动校正处理。 0059 返回到图5继续进行说明。 在步骤S104中， 图像处理部(抖动校正部)100的校正 部 132 根据在姿态估计处理中计算出的旋转矩阵和平移矢量， 计算抖动的校正量。即， 输出 生成部 130 的校正部 132 计算适当的图像的校正量， 以抵消在步骤 S306 中计算出的、 作为 旋转矩阵和平移矢量而求出的第 N 帧和第 N+。

46、1 帧之间产生的照相机的抖动。此时， 例如， 使 用低通滤波器等， 以不进行急剧的校正而进行舒缓的校正的方式确定校正量。在步骤 S105 中， 校正部 132 根据在步骤 S104 中计算出的校正量进行图像变换， 去除图像的抖动。这样， 生成将第 N 帧和第 N+1 帧之间产生的抖动去除后的图像。 0060 在步骤 S106 中， 图像处理部 ( 抖动校正部 )100 判定是否存在下一帧。在判定为 存在下一帧时， 在步骤 S107 中， 图像处理部 ( 抖动校正部 )100 在变量 N 中代入 N+1。然后， 处理返回到步骤 S102。当在步骤 S107 的判定中判定为不存在下一帧时， 抖动校。

47、正处理结 束。去除了抖动后的图像经由输出部 16 而被输出。此外， 也可以按照从图像取得部 12 输 入的每一帧依次执行上述抖动去除处理， 将去除了抖动后的图像从依次输出部 16 输出。 0061 这样， 例如， 图像取得部 12 作为取得多个图像的图像取得部而发挥作用。例如， 对 说 明 书 CN 104396231 A 10 8/10 页 11 应点取得部 110 作为对应点取得部而发挥作用， 其取得在多个所述图像之间彼此对应的多 个第 1 对应点。例如， 第 1 基础矩阵计算部 123 作为第 1 基础矩阵计算部而发挥作用， 其根 据多个所述第 1 对应点计算第 1 基础矩阵。例如， 进。

48、深计算部 1242 作为进深计算部而发挥 作用， 其根据所述第 1 基础矩阵， 计算针对多个所述第 1 对应点的进深。例如， 第 2 对应点 提取部 1244 作为对应点提取部而发挥作用， 其根据所述进深， 从多个所述第 1 对应点中提 取多个第 2 对应点。例如， 基础矩阵确定部 1246 作为基础矩阵确定部而发挥作用， 其根据 多个所述第 2 对应点计算第 2 基础矩阵。例如， 校正部 132 作为校正部而发挥作用， 其根据 所述第 2 基础矩阵， 校正存在于所述多个图像之间的抖动。 0062 根据本实施方式， 图像处理装置 10 能够输出将输入的动态图像的抖动去除而没 有抖动的图像。 在。

49、本实施方式中， 仅根据输入图像进行抖动的去除， 因此， 例如， 在将图像处 理装置 10 作为手抖动校正机构安装于数字照相机的情况下等， 不需要其它传感器或驱动 机构等。 0063 已知， 通常， 在根据图像求出基础矩阵时， 如果基于被摄体中的没有进深的对应 点， 则不能计算出基础矩阵， 此外， 如果基于进深较浅的对应点， 则计算出的基础矩阵的误 差较大， 精度较低。根据本实施方式， 根据由通常的方法计算出的第 1 基础矩阵来复原被摄 体的三维坐标， 根据该三维坐标而以进深变深的方式选择第2对应点， 根据这样的第2对应 点来计算基础矩阵。因此， 例如， 与仅使用 RANSAC 时那样、 随机地选择在基础矩阵的计算中 使用的对应点而不进行控制的情况相比， 根据本实施方式计算出的基础矩阵的精度提高。 0064 此外， 在本实施方式中， 示出了根据第N帧和第N+1帧之间的即相邻的帧之间的图 像的差异来去除抖动的例子。但不限于此， 如果相离数帧的图像能够高精度地提取其差异 的情况下等， 。