图像处理装置以及图像处理方法 【技术领域】
本发明涉及图像处理装置以及图像处理方法， 尤其涉及图像修正技术。背景技术 近年来， 在照相机、 摄像机等摄影装置中的手抖修正技术中， 提出了对图像的倾斜 进行修正的技术。
在专利文献 1 中公开了如下方法 ： 对摄像装置设置加速度传感器， 通过用加速度 传感器测量重力加速度， 检测摄像装置相对于地轴的倾斜， 根据检测到的倾斜角度， 对拍摄 的图像的倾斜进行修正。 此外， 在专利文献 2 中公开了如下方法 ： 对存在于摄像图像的上部 的线段进行检测， 根据这些线段的倾斜角， 推定图像整体的倾斜角， 对摄像图像的倾斜进行 修正。此外， 在专利文献 3 中公开了将传感器和图像处理进行组合来使用从而提高倾斜角 度计算的精度的方法。
进而， 在专利文献 4 中公开了如下方法 ： 在利用图像处理来计算图像的倾斜角度 时， 将图像分割为小块， 判断各个块中的纹理 (texture) 所示的方向性， 仅将该纹理具有单 一方向性的区域作为对象来计算倾斜角度。该方法与仅根据图像中的构造物 (structure) 来提取倾斜信息的方法等效， 有利于倾斜角度计算的精度和稳定性的提高。
但是， 在专利文献 1 所公开的使用传感器的方式中， 传感器的输出值包含惯性噪 声 (inertial noise) 或其他轴灵敏度等变动成分， 因此在摄像机等摄影者一边移动一边进 行摄像的情况下难以进行高精度的倾斜修正。此外， 在专利文献 2 中， 所摄像的图像的构图 有限制， 在一般的使用状况下并不实用。
在专利文献 3 及专利文献 4 中， 为了弥补上述缺点， 提出了将传感器和图像处理进 行组合来使用的方法。即， 公开了利用传感器信息从多个倾斜角度候选之中选择某个满足 一定的基准的角度成分的方法， 但是在传感器的输出值中叠加有变动成分的情况下， 无法 避免其精度下降。此外， 在专利文献 4 中公开了预先去除在推定倾斜角度时可能成为变动 成分的来自非构造物的倾斜角度信息， 来实现其精度提高的方式， 但是在来自构造物的倾 斜角度信息本身成为变动成分的情况下无法呈现效果。
图 1A、 图 1B 是用于说明来自构造物的倾斜角度信息成为变动成分的一例的图。 图 1A 是使用如鱼眼镜头那样的广角镜头所拍摄的影像。 通常， 广角拍摄的影像中存在失真， 因 此为了获得正确的图像处理结果， 需要通过校准或从镜头的投影方式进行逆运算， 来剪切 广角摄影图像的一部分区域而制作失真少的影像。图 1B 是剪切图 1A 的中心附近并进行失 真修正而得到的图像的例子。如图 1A、 图 1B 那样的构图中可知， 构造物的水平线从近前向 进深方向延伸， 本来是平行线的线向消失点收敛。 此外， 提供正确的倾斜角度信息的构造物 的垂直线比水平线相对少， 因此难以检测出正确的倾斜角度信息。图 2 是针对图 1B 所示的 图像的每个像素的亮度梯度， 横轴取角度、 纵轴取频度而得到的角度直方图。 假设该图像倾 斜了角度 θ 时， 本来优选的是 θ 的 bin 的频数取最频值， 但可知根据构造物的水平线得到 的角度的 bin 的频数超过该最频值 (mode value)。该特性尤其因广角影像而变得显著， 因
此通过专利文献 4 中公开的预先去除非构造物的方法不可能解决。
在专利文献 5 中公开了如下方法 ： 将消失点候选和从图像中提取的边缘用线段连 接， 制作将满足规定基准的线段的倾斜角度的频度累计而得到的直方图， 一边逐个改变消 失点候选一边求出该直方图， 将表示最大的频度的消失点候选作为消失点。若决定了该消 失点， 就能够确定构造物的水平线， 能够去除来自构造物的变动成分。但是， 若利用专利文 献 5 中公开的方法， 则有可能还去除构造物的垂直线。此外， 必须预先确定规定的基准， 在 无法设想以怎样的倾斜角度进行摄影的情况下无法使用。 发明内容
本发明的目的在于， 根据从图像得到的边缘成分及其倾斜角度， 选择能够在图像 的倾斜角度的推定中使用的信息， 由此能够进行倾斜角度推定， 并对图像的倾斜进行修正。
现有技术文献
专利文献
专利文献 1 ： 日本特开 2006-245726 号公报
专利文献 2 ： 日本专利第 3676360 号公报
专利文献 3 ： 国际公开第 2009-001512 号
专利文献 4 ： 国际公开第 2009-008174 号
专利文献 5 ： 日本特开昭 63-106875 号公报 发明概要 本发明的图像处理装置包括 ： 图像取得部 ； 倾斜信息计算部， 针对由图像取得部 取得的图像的各像素， 计算用于对图像的倾斜进行推定的多个倾斜信息 ； 角度直方图生成 部， 利用由倾斜信息计算部计算出的多个倾斜信息， 生成作为每个倾斜角度的频数分布的 角度直方图 ； 倾斜信息 - 位置记录部， 记录多个倾斜信息与得到该信息的图像上的位置之 间的对应 ； 倾斜信息分布度计算部， 根据倾斜信息及其位置， 计算倾斜信息的分布度 ； 伪信 息判定部， 根据倾斜信息的分布度， 判定倾斜信息中的在倾斜推定中能够使用的信息和不 能使用的信息 ； 峰值检测部， 基于伪信息判定部的判断结果， 提取能够使用的角度直方图的 最大值或极大值 ； 倾斜推定部， 根据峰值检测部所检测到的最大值或极大值所示的倾斜角 度， 推定图像的倾斜角度 ； 以及图像修正部， 利用推定出的倾斜角度， 修正图像的倾斜。
根据该结构， 在推定图像的倾斜角度时， 能够根据从图像提取的多个边缘及其倾 斜角度， 选择在倾斜角度的推定中能够使用的信息。
此外， 在上述图像处理装置中， 也可以是， 用于对上述倾斜进行推定的多个倾斜信 息是将上述图像中的线段与其倾斜角一起计算出的 ； 上述倾斜信息计算部在上述图像的预 先确定的范围中按预先确定的像素间隔进行上述计算处理。
此外， 在上述图像处理装置中， 也可以是， 用于对上述倾斜进行推定的多个倾斜信 息是将上述图像中的亮度信息代入到规定的运算式中进行运算、 并求取上述亮度信息的亮 度梯度而计算出的 ； 上述倾斜信息计算部在上述图像的预先确定的范围中按预先确定的像 素间隔进行上述计算处理。
根据该结构， 能够减轻倾斜信息计算部的处理负荷或倾斜信息计算部以后的处理
负荷。 此外， 在上述图像处理装置中， 也可以是， 上述角度直方图生成部进行对各倾斜角 度信息的加权， 从上述图像检测到的线段的长度越长则使权重越大。
此外， 在上述图像处理装置中， 也可以是， 上述角度直方图生成部进行对各倾斜角 度信息的加权， 从上述图像检测到的亮度梯度越接近于垂直则使权重越大。
通过使可信赖的水平线、 垂直线成分、 亮度梯度的权重增大， 能够正确地进行倾斜 角度的推定和修正。
此外， 在上述图像处理装置中， 也可以是， 上述倾斜信息的分布度是与同一倾斜角 度或在预先确定的范围内的每个倾斜角度的位置有关的方差或标准偏差。
此外， 在上述图像处理装置中， 也可以是， 上述伪信息判定部对上述倾斜信息分布 度计算部的计算结果和预先设定的值进行比较， 判断某同一个倾斜角度或在预先确定的范 围内的倾斜角度是否为伪信息 ； 上述倾斜推定部从满足上述角度直方图生成部中预先确定 的基准的倾斜角度之中， 选择在上述伪信息判定部中判断为不是伪信息的倾斜角度。
此外， 在上述图像处理装置中， 也可以是， 上述倾斜推定部从具有满足上述角度直 方图生成部中预先确定的基准的频数的倾斜角度之中， 选择在上述伪信息判定部中判断为 不是伪信息的倾斜角度中的具有最高的频数的倾斜角度。
此外， 在上述图像处理装置中， 也可以是， 还具备图像修正部， 该图像修正部按照 上述倾斜推定部所输出的上述倾斜信息来修正图像。
根据该结构， 能够根据倾斜推定部所推定出的倾斜信息来进行图像的修正。
此外， 在上述图像处理装置中， 也可以是， 还具备 ： 图像积蓄部， 存储取得的图像 ； 以及全景图像制作部， 从存储在上述图像积蓄部中的图像之中， 选择并读出至少两个图像， 将该图像结合而制作全景图像 ； 上述倾斜信息计算部对上述全景图像的各像素进行规定的 运算， 提取用于对上述全景图像的倾斜进行推定的多个信息。
根据该结构， 图像中的线段或像素的每个倾斜角度的局部性变得更明确， 因此倾 斜角度的推定精度提高。
此外， 在上述图像处理装置中， 也可以是， 上述倾斜推定部推定与上述全景图像有 关的倾斜角度 ； 利用构成上述全景图像的两个以上图像之间的相对的旋转角度， 计算构成 上述全景图像的两个以上图像的各自的倾斜角度。
根据本发明的图像处理装置， 在推定图像的倾斜角度时， 例如即使是利用广角镜 头拍摄的、 构造物的水平成分起主导作用的图像， 也能够选择表示图像的倾斜角度的信息， 能够正确地进行倾斜角度的推定和修正。
附图说明
图 1A 是用于说明来自构造物的倾斜角度信息成为变动成分的一例的、 表示利用 广角镜头摄影的图像的图。
图 1B 是用于说明来自构造物的倾斜角度信息成为变动成分的一例的、 表示剪切 图 1A 的中心附近并去除失真而得到的图像的图。
图 2 是表示图 1B 的图像的角度直方图的图。
图 3 是表示本发明的实施方式 1 中的图像处理装置的结构的图。图 4 是表示本发明的实施方式 1 中的图像处理方法的流程图。
图 5 是说明线段上的点的亮度梯度的图。
图 6A 是表示 Sobel 滤波器所使用的系数矩阵的图。
图 6B 是表示 Sobel 滤波器所使用的系数矩阵的图。
图 7A 是说明对 Hough 变换中的线段赋予特征的参数的图。
图 7B 是说明对 Hough 变换中的线段赋予特征的参数的图。
图 8 是说明记录从图像中提取的边缘及其参数的格式的一例。
图 9A 是表示构造物的垂直线和水平线的空间性分布特性的差异的图。
图 9B 是表示构造物的垂直线和水平线的空间性分布特性的差异的图。
图 9C 是表示构造物的垂直线和水平线的空间性分布特性的差异的图。
图 9D 是表示构造物的垂直线和水平线的空间性分布特性的差异的图。
图 10 是表示本发明的实施方式 2 中的图像处理装置的结构的图。
图 11A 是说明根据多个图像制作全景图像的例子、 以及使用本发明的实施方式 2 中的全景图像的优点的图。
图 11B 是说明根据多个图像制作全景图像的例子、 以及使用本发明的实施方式 2 中的全景图像的优点的图。
图 12 是表示本发明的实施方式 3 中的图像处理装置的结构的图。 图 13 是表示加速度传感器的 3 轴的输出值的一例的图。 图 14 是表示利用加速度传感器进行倾斜检测时的 x 方向、 y 方向的输出值的一例的图。 具体实施方式
以下， 参照附图说明本发明的实施方式的结构和动作。
( 实施方式 1)
图 3 是表示本发明的实施方式 1 中的图像处理装置的结构的图。此外， 图 4 是表 示本发明的实施方式 1 中的图像处理方法的流程图。
图像取得部 301 将由摄像部 307 取得的图像数据取入到图像处理装置 300 中， 并 发送给倾斜信息计算部 302(S401)。倾斜信息计算部 302 中针对取入的图像计算倾斜信息 (S402)。 作为其方法， 有如下方法等 ： 对图像进行灰阶 (gray scale) 变换， 按每个像素使纵 向、 横向的 Sobel 滤波器起作用， 将其结果进行合成并计算梯度矢量的方法， 以及使进行从 图像中提取线段的 Hough 变换起作用， 计算线段长度及其倾斜角度的方法， 但本发明不限 于此。
例如， 也可以是， 在从图像中提取线段时， 将图像分割为多个小区域， 检查各小区 域中是否包含成为判断对象的具有倾斜的线段或像素 ( 即， 针按预先确定的范围的预先确 定的像素间隔， 检查是否包含成为判断对象的具有倾斜的线段或像素 )。根据该结构， 能够 减轻倾斜信息计算部 302 的处理负荷或者倾斜信息计算部 302 以后的处理负荷。
这里， 利用图 5、 图 6A、 图 6B 对梯度矢量计算进行说明。在图 5 中， 将位置 P 的图 像的像素值设为 I(P)， 将 P 的 x 方向、 y 方向的对比度变化分别设为 dx、 dy 时， 用
表示。此时， 若将对比度变化的方向设为 θ， 则
θ ＝ tan^(-1)(dy/dx)
成立， 这相当于上述的梯度矢量的方向。求取 dx、 dy 时使用图 6A、 图 6B 所示的 Sobel 滤波器。图 6A 及图 6B 分别是用于测定 x 方向、 y 方向的对比度变化的滤波器要素。 接着， 利用图 7A、 图 7B 说明基于 Hough 变换的线段检测。在图 7A 中， 通过点 (x_i， y_i) 的 直线满足下式。
ρ ＝ x_i·cosθ+y_i·sinθ
另外， ρ 表示直线与原点之间的距离， θ 表示从原点到直线的垂线与 x 轴所成的 角。
这意味着， 通过点 (x_i， y_i) 的直线群与图 7B 中的一条曲线建立对应。另一方 面， 若对位于相同的直线上的多个点进行相同的对应， 则所得到的多个曲线在一点上相交， 该交点 (ρ， θ) 表示通过这些点的直线。即， 关注某 θ， 对 ρ 的数量进行计数， 从而能够 取得倾斜 θ 的线段的数量。
角度直方图生成部 303 通过以下处理来生成角度直方图 (S403)， 该处理是 ： 将梯 度矢量之中具有相同的方向成分的梯度矢量进行累计， 或者将通过 Hough 变换求出的线段 之中具有相同的方向成分的线段的长度进行相加。该角度直方图成为表示 “某角度方向的 边缘存在多少” 的指标， 一般在图像中在没有倾斜的状态下仅拍摄有构造物的情况 ( 没有失 真的情况 ) 下， 水平线、 垂直线成分变多， 因此成为 0 度及 90 度的角度直方图的值具有强的 峰值的形状。如图 1A 及图 1B 所示， 若为倾斜 θ 的图像， 则如图 2 所示可得到没有倾斜的 情况的角度直方图平行移动了 θ 的角度直方图。 另外， 在本实施方式中， 说明了按每个像素来求取亮度梯度的例子， 但本发明不限 于此。例如， 也可以是， 在根据图像求取亮度梯度时， 将图像分割为多个小区域， 在各小区 域中， 检查与在此得到的倾斜角度成 ±90°的方向上是否存在具有同一倾斜角度的像素 ( 即， 检查与按预先确定的范围的预先确定的像素间隔而得到的倾斜角度成 ±90°的方向 上是否包含具有同一倾斜角度的像素 )。 根据该结构， 能够减轻倾斜信息计算部 302 的处理 负荷或者倾斜信息计算部 302 以后的处理负荷。
在以往的图像处理的倾斜角度推定中， 通过峰值检测部 304 搜索表示角度直方图 的最大值的角度， 通过倾斜推定部 305 将表示角度直方图的最大值的角度原样作为图像的 倾斜角度， 在图像修正部 306 中进行对该倾斜角度进行修正的处理。或者通过峰值检测部 304 选择包含最大值的几个极大值， 在倾斜推定部 305 中， 通过多项式内插、 最小二乘法、 梯 度法等计算将该极大值平滑连接的包络线， 然后解析性地计算最大值， 将该最大值作为图 像的倾斜角度， 并在图像修正部 306 中对该倾斜进行修正。通常， 在图像修正部 306 中通过 仿射 (affine) 变换对旋转进行修正。在本发明中， 根据角度直方图进行的倾斜角度的推定 和基于仿射变换的修正也进行同样的处理。
在倾斜信息 - 位置记录部 310 中， 将由倾斜信息计算部 302 求出的倾斜信息与其 在图像中的位置建立关联来记录 (S411)。 图 8 是将倾斜信息与表示其在图像中的位置的坐 标建立关联来记录的例子。 另外， 倾斜信息在图像中的位置并不限于坐标， 只要能够表现位 置， 则也可以是矢量数据等。例如， 帧 ID、 边缘 ID、 x/y 方向边缘成分、 角度、 边缘强度、 坐标 等被建立关联来记录， 但在该数据库中也可以追加是否是从构造物得到的边缘、 或者进行
特征点提取时的特征量等， 也可以是仅为边缘 ID、 x/y 方向边缘、 坐标或者仅为边缘 ID、 角 度、 坐标这样的最小结构。倾斜信息分布度计算部 311 从上述数据库中提取具有在规定角 度宽度的范围内的角度的多个倾斜信息， 计算与这些坐标有关的方差或标准偏差 (S412)。 在设 x/y 方向的坐标的方差分别为 V_x/y、 x/y 方向的标准偏差分别为 σ_x/y 时， V 以及 σ 能够由以下式表现。
( 式 1) V_x ＝ (1/n) ∑ (x-x_n)^2， V_y ＝ (1/n) ∑ (y-y_n)^2
( 式 2)这里， x、 y 是各个坐标的平均值， n 是其边缘数。登记在该数据库中的倾斜信息属 于某个角度范围的集合， 针对所有的集合求取关于坐标的标准偏差或方差。 另外， 只要是求 取某集合的方差程度的计算方法， 则不限于此。
这里， 叙述给出正确的倾斜角度的构造物的垂直线、 和成为伪信息的构造物的水 平线在图像上的几何配置特性。图 9A 至图 9D 是从图 1B 所示的图像中提取具有相同倾斜 角度的线段或像素的图。图 9A 是构造物的垂直线， 可知在图像上的广阔的位置上分散配 置。相对于此， 图 9B 至图 9D 是提取构造物的水平线的图。可知， 仅在同一水平线时 ( 图 9D 的情况 )， 或者最多与相对于消失点位于相反侧的构造物的水平线的倾斜角度偶然一致时 ( 图 9B 或图 9C 的情况 )， 构造物的水平线在图像上成为相同的倾斜角度， 且最多仅出现两 处， 分布在图像上的非常窄的范围。 若能够检测出该局部性， 则能够判断在图像的倾斜角度 推定中是否能够使用。
伪信息判定部 312 利用如上所述的构造物边缘的特征， 判断某关注的倾斜角度的 局部性， 由此判定是否为伪信息 (S413 至 S415)。局部性判断的具体方法中， 计算边缘的旋 转了倾斜角度后的坐标， 然后求出式 1 或式 2， 并利用如下特性， 该特性是 ： 如图 9B 至图 9D 那样的具有局部性的倾斜角度的集合的旋转后的 x 方向或 y 方向的方差或标准偏差成为 非常小的值， 而图 9A 中在 x 方向、 y 方向均具有某种程度的大小。进而， 可以考虑如下方法 等， 即： 将图像分割为多个小区域， 检查各小区域中是否包含具有成为判断对象的倾斜的线 段或像素。或者， 也可以是， 在求取亮度梯度时， 检查与在此得到的倾斜角度成 ±90°的方 向上是否存在具有同一倾斜角度的像素， 或者将 Hough 变换的结果原样利用。局部性判断 的方法不限于在此叙述的方法， 只要是能够判断图像中的特征量的局部性的方法， 则能够 利用任何方法。
峰值检测部 304、 倾斜推定部 305 接收上述角度直方图生成部 303 的给出角度直方 图的多个极大值的倾斜角度、 或者给出最频值的倾斜角度这样的信息、 以及上述伪信息判 定部 312 的每个倾斜角度的判定结果。此时， 例如将判断为不是伪信息的倾斜角度之中给 出最频值的角度设定为倾斜推定角度， 并将该信息发送给图像修正部 306(S404、 S405)。图 像修正部 306 例如进行仿射变换等而使图像整体旋转， 由此能够对图像间的旋转移动量进 行修正。这里， 倾斜推定部 305 在通过上述方法设定的倾斜推定角度与之前刚刚推定的倾 斜角度大为不同的情况下， 也可以忽略推定结果， 而将之前刚刚推定的角度作为倾斜角度。 或者， 也可以是， 对倾斜推定部 305 之前刚刚推定的倾斜角度设定适当的误差容许范围 ( 例 如 ±1°等 )， 在该范围内选择判断为不是伪信息的倾斜角度之中给出最频值的倾斜角度， 并将该倾斜角度作为推定角度。在任何情况下最终都通过在图像修正部 306 中使图像整体 旋转来完成目的图像的修正 (S406)。修正后的图像保存在存储部 308 中后， 显示在未图示的监视装置上， 或者也可以 作为文件保存在未图示的外部存储装置中。此外， 也可以经由网络送出。
以上是本发明的实施方式 1 的图像处理装置 300 的结构和动作。
另外， 也可以是， 角度直方图生成部 303 进行对各倾斜角度信息的加权， 从上述图 像检测到的线段的长度越长则使权重越大。 因为， 线段的长度越长， 则是能够信赖的水平线 或垂直线成分的可能性越高。
此外， 也可以是， 角度直方图生成部 303 进行对各倾斜角度信息的加权， 从上述图 像检测到的亮度梯度越接近于垂直则使权重越大。
另外， 对于未持有为了推定倾斜角度而需要的信息的图像， 也可以不进行任何处 理。 例如， 在画面上拍摄了许多人物、 自然物的图像中， 由于不存在构造物信息， 因此不能进 行倾斜信息的计算。在这样的情况下， 在视觉上也会导致对图像的倾斜的灵敏度降低 ( 即 使倾斜也难以感觉到品质的下降 )， 因此与利用从人物、 自然物提取的不稳定且准确度低的 倾斜推定角度来进行修正相比， 取消修正本身会更好。
另外， 也可以设置对推定到的倾斜角度进行保存的缓冲器。该缓冲器中预先保存 有按时间序列计算出的推定倾斜角度， 在不能计算出某一张图像的倾斜角度的情况下， 也 可以利用其前后的倾斜角度推定成功的结果进行内插 (interpolation)， 由此进行推定。 这 是因为， 在摄像机等取得连续的图像的设备中， 图像的倾斜角度通常连续变化， 因此通过使 用该性质， 还能够根据过去的倾斜角度推定结果， 利用外插 (extrapolation) 处理推定对 象图像的倾斜角度。 ( 实施方式 2)
图 10 是表示本发明的实施方式 2 的图像处理装置的结构的图。在图 10 中， 对于 与图 3 相同的结构要素使用相同的符号， 并省略说明。
图像积蓄部 1001 在规定的时间宽度记录由图像取得部 301 得到的图像数据。设 为具有与 FIFO 同样的结构。全景图像制作部 1002 将图像积蓄部 1001 中记录的图像数据 依次读出， 制作全景图像。全景图像的制作本身利用公知的方式即可。假设在制作全景图 像时成为其元数据的多个图像数据间的相对的倾斜角度被去除。 全景图像被发送到倾斜信 息计算部 302， 之后， 以与实施方式 1 相同的方法进行倾斜角度的推定和全景图像的倾斜修 正。
通过制作全景图像， 图像中的线段或像素的每个倾斜角度的局部性变得更明确。 图 11A、 图 11B 是全景图像的例子。图 11A 表示将 4 张图像进行合成而制作 1 张全景图像的 情况， 检测图像 1 至图像 4 的重叠的部分， 以使该部分的偏差不存在的方式进行合成， 来制 作一张全景图像。图 11B 是从全景图像提取的线段或像素具有相同的倾斜角度的情况的一 例。例如图 11B 的图像 3 所示， 存在用实线表示的构造物的垂直线与用虚线表示的构造物 的水平线在空间分布的局部性上没有差异的情况。在这样的情况下， 难以进行本发明中的 伪信息判定， 但可以得知， 通过作成全景图像， 其局部性变得显著。
由此， 即使假设在单一的图像中不可能进行伪信息判定的情况下， 也能够通过制 作全景图像来明确全景图像中的伪信息， 能够进行倾斜角度推定。 并且， 通过将该信息反馈 到单一图像， 能够决定各个图像的倾斜角度。即， 全景图像制作部 1002 中保存有制作全景 图像时的相对于基准图像的倾斜角度、 或者相对于相邻图像的倾斜角度， 通过对由倾斜推
定部 305 得到的结果加减相对角度， 进行多个图像中的每个图像的倾斜角度修正。
以上是本发明的实施方式 2 的图像处理装置 1000 的结构和动作。
( 实施方式 3)
图 12 是表示本发明的实施方式 3 的图像处理装置的结构的图。在图 12 中， 对于 与图 3 相同的结构要素使用相同的符号， 并省略说明。
传感器部 1201 设置在摄像部 307 的内部或外部， 以规定的周期计测摄像部 307 的 运动并进行输出。图 13 是传感器输出的一例。通常， 优选为在摄像部 307 捕捉图像时同步 地计测该运动。传感器部 1201 由加速度传感器、 陀螺仪、 方位传感器等构成， 理想的是分别 具有 3 轴计测轴以便能够将摄像部 307 的运动全部计测， 但并不一定需要全部的轴。图像 数据和传感器数据在图像处理装置 1200 的内部处理成同步。传感器取得部 1202 对取得的 传感器数据进行处理， 计算用于计算推定倾斜角度的辅助信息。 具体而言， 能够对传感器值 实施过滤来提取希望的带域成分， 或者能够利用通过预先强化学习而构成的识别器， 根据 传感器群的动作而推定运动方向。这些信息被发送到伪信息判定部 312、 倾斜推定部 305。 伪信息判定部 312 利用来自传感器取得部 1202 的信息， 推定铅直方向为图像的哪个方向， 决定从图像提取的线段或像素的倾斜角度中的哪一个是构造物的垂直线的可能性高。 具体 而言， 求取表示由传感器信息得到的铅直方向的单位矢量与具有从图像提取的倾斜角度的 单位矢量的内积， 能够判断为其结果接近 1( 用法线矢量表示倾斜角度的情况下为 0) 的一 方为垂直线的可能性高。此外， 倾斜推定部 305 还可以例如利用加速度传感器、 陀螺仪， 根 据传感器大致推定摄像部 307 的倾斜角度， 并设为倾斜推定部 305 计算推定倾斜角度时的 制约条件。图 14 是表示 x 方向、 y 方向的加速度的变化的一例。图 14 中示出以 (a)、 (b)、 (c) 的定时取得各个方向的加速度， 映射到 2 维平面中并进行矢量化而得到的结果。(a)、 (b)、 (c) 的矢量的方向表示相对于摄像部 307 摄像时的铅直方向的倾斜角度， 因此能够通 过将图像旋转为使上述矢量朝向铅直方向从而去除倾斜。但是， 在边走边进行的拍摄中， 存在传感器的值因惯性噪声或其他轴灵敏度等而变得不正确的情况。在该情况下， 需要利 用本发明中明示的方法进行的修正， 但通过将传感器所计测的倾斜方向输入到倾斜推定部 305， 能够进一步提高本发明的效果。即， 假设由传感器示出的方向为图像的真的铅直方向 的可能性高， 以传感器所示的方向为中心设定规定的范围， 根据角度直方图生成部 303 求 出的角度直方图将该设定的范围内的频度的最频值设为倾斜角度。另外， 范围设定既可以 是固定值也可以是变动值， 在变动值的情况下， 可以根据运动的大小、 即传感器的振幅或稳 定度 ( 能够利用规定时间范围内的方差值等 ) 而变化。在该情况下， 在运动小时， 判断为传 感器的输出值的误差小而将范围设定得窄， 在运动大时， 判断为误差大而将范围设定得宽。 该变化既可以是连续的也可以是 2 阶以上的离散值。或者， 在从图像中不能得到用于计算 推定角度的信息的情况下， 也可以根据过去的推定结果或前后的推定结果、 以及传感器值 来计算推定角度。 在该情况下， 可以考虑如下方法 ： 适用若是在时序上连续取得的图像则倾 斜角度也连续变化的假定， 对已推定的角度设定容许值， 若传感器值收敛于该范围内则将 该值作为修正值。
以上是本发明的实施方式 3 的图像处理装置 1200 的结构和动作。
( 其他变形例 )
另外， 基于上述实施方式说明了本发明， 但本发明当然不限于上述实施方式。 以下所示的情况也包含于本发明中。
(1) 上述的各装置具体而言， 是由微处理器、 ROM、 RAM、 硬盘单元、 显示器单元、 键 盘、 鼠标等构成的计算机系统。 上述 RAM 或硬盘单元中存储有计算机程序。 上述微处理器按 照上述计算机程序动作， 从而各装置实现其功能。这里， 计算机程序为了实现规定的功能， 由多个表示针对计算机的指令的命令代码组合而构成。
(2) 构成上述的各装置的结构要素的一部分或全部也可以由 1 个系统 LSI(Large Scale Integration ： 大规模集成电路 ) 构成。系统 LSI 是将多个结构部集成在 1 个芯片上 来制造的超多功能 LSI， 具体而言， 是包含微处理器、 ROM、 RAM 等而构成的计算机系统。上 述 RAM 中存储有计算机程序。上述微处理器按照上述计算机程序动作， 从而系统 LSI 实现 其功能。
(3) 构成上述的各装置的结构要素的一部分或全部也可以由可对各装置进行装拆 的 IC 卡或单体的模块构成。上述 IC 卡或上述模块是由微处理器、 ROM、 RAM 等构成的计算 机系统。上述 IC 卡或上述模块也可以包括上述的超多功能 LSI。微处理器按照计算机程序 动作， 从而上述 IC 卡或上述模块实现其功能。该 IC 卡或该模块也可以具有防篡改性。
(4) 本发明也可以是如上所述的方法。 此外， 也可以是通过计算机实现这些方法的 计算机程序， 也可以是由上述计算机程序构成的数字信号。 此外， 本发明也可以将上述计算机程序或上述数字信号记录于计算机可读取的记 录介质、 例如软盘、 硬盘、 CD-ROM、 MO、 DVD、 DVD-ROM、 DVD-RAM、 BD(Blu-ray Disc)、 半导体存 储器等。此外， 也可以是记录在这些记录介质中的上述数字信号。
此外， 本发明也可以是将上述计算机程序或上述数字信号经由以电气通信线路、 无线或有线通信线路、 因特网为代表的网络、 数据广播等来传送的结构。
此外， 本发明也可以是具备微处理器和存储器的计算机系统， 上述存储器存储有 上述计算机程序， 上述微处理器按照上述计算机程序动作。
此外， 也可以通过将上述程序或上述数字信号记录在上述记录介质中来转送， 或 者通过将上述程序或上述数字信号经由上述网络等来转送， 从而通过独立的其他计算机系 统加以实施。
(5) 也可以将上述实施方式以及上述变形例分别组合。
工业实用性
本发明的图像处理装置通过组装到摄影装置或图像显示装置、 影像显示装置中， 能够对取得的图像的倾斜进行修正， 并生成正确的方向的图像。即使是利用以往的图像处 理的倾斜修正装置较为困难的图像， 也能够通过综合多个图像信息来提取所希望的图像的 倾斜信息。此外， 本发明不仅能够应用于摄影装置、 显示装置， 还能够应用于处理影像的打 印机或扫描仪等的电子介质以外的倾斜修正。
符号说明
301 图像取得部
302 倾斜信息计算部
303 角度直方图生成部
304 峰值检测部
305 倾斜推定部
13CN 102474573 A
说图像修正部 摄像部 存储部 倾斜信息 - 位置记录部 倾斜信息分布度计算部 伪信息判定部 图像积蓄部 全景图像制作部 传感器部 传感器取得部明书10/10 页306 307 308 310 311 312 1001 1002 1201 1202