图像处理装置和方法以及程序.pdf

上传人:00****42 文档编号:5872732 上传时间:2019-03-27 格式:PDF 页数:60 大小:13.95MB
返回 下载 相关 举报
摘要
申请专利号:

CN201110236712.X

申请日:

2011.08.12

公开号:

CN102376090A

公开日:

2012.03.14

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):G06T 7/00申请日:20110812|||公开

IPC分类号:

G06T7/00; G06K9/62

主分类号:

G06T7/00

申请人:

索尼公司

发明人:

五味信一郎

地址:

日本东京都

优先权:

2010.08.19 JP 2010-183877

专利代理机构:

北京集佳知识产权代理有限公司 11227

代理人:

康建峰;李春晖

PDF下载: PDF下载
内容摘要

本发明提供了图像处理装置和图像处理方法以及程序。该图像处理装置可包括对称度计算单元,所述对称度计算单元可被构造为接收所述输入图像并计算所述输入图像的对称度。所述装置还可包括分割线检测单元,所述分割线检测单元可被构造为接收所述输入图像并检测对所述输入图像的两边进行分割的分割线。此外,所述装置还可包括分类单元,所述分类单元可被构造为基于所述对称度和所述分割线来对所述输入图像进行分类。所述分类单元还可被构造为生成使得所述分类被显示或存储这二者中的至少一者的分类信号。

权利要求书

1: 一种对输入图像进行处理的装置, 包括 : 对称度计算单元, 所述对称度计算单元被构造为 : 接收所述输入图像 ; 以及 计算所述输入图像的对称度 ; 分割线检测单元, 所述分割线检测单元被构造为 : 接收所述输入图像 ; 以及 检测对所述输入图像的两边进行分割的分割线 ; 分类单元, 所述分类单元被构造为 : 基于所述对称度和所述分割线来对所述输入图像进行分类 ; 以及 生成使得所述分类被显示或存储这二者中的至少一者的分类信号。
2: 根据权利要求 1 所述的装置, 其中所述对称度计算单元包括色彩对称度计算单元, 所述色彩对称度计算单元被构造为计算所述输入图像的色彩对称度。
3: 根据权利要求 2 所述的装置, 其中所述色彩对称度计算单元包括 : 第一色彩对称度计算单元, 所述第一色彩对称度计算单元被构造为计算相对于所述输 入图像的第一虚拟线的色彩对称度 ; 以及 第二色彩对称度计算单元, 所述第二色彩对称度计算单元被构造为计算相对于所述输 入图像的与所述第一虚拟线成角度的第二虚拟线的色彩对称度。
4: 根据权利要求 3 所述的装置, 其中所述第二虚拟线垂直于所述第一虚拟线。
5: 根据权利要求 4 所述的装置, 其中所述第一虚拟线平行于所述输入图像的一边。
6: 根据权利要求 3 所述的装置, 其中所述色彩对称度计算单元包括色空间变换单元, 所述色空间变换单元被构造为将所述输入图像的各像素的第一色空间变换成第二色空间。
7: 根据权利要求 2 所述的装置, 其中所述对称度计算单元包括边缘对称度计算单元, 所述边缘对称度计算单元被构造为计算所述输入图像的边缘对称度。
8: 根据权利要求 7 所述的装置, 其中所述边缘对称度计算单元包括边缘图像生成单 元, 所述边缘图像生成单元被构造为基于所述输入图像生成表示所述输入图像的边缘的边 缘图像。
9: 根据权利要求 8 所述的装置, 其中所述边缘对称度计算单元包括 : 第一边缘对称度计算单元, 所述第一边缘对称度计算单元被构造为计算相对于所述边 缘图像的第一虚拟线的边缘对称度 ; 以及 第二边缘对称度计算单元, 所述第二边缘对称度计算单元被构造为计算相对于所述边 缘图像的与所述第一虚拟线成角度的第二虚拟线的边缘对称度。
10: 根据权利要求 7 所述的装置, 其中所述对称度计算单元包括对称度确定单元, 所述 对称度确定单元被构造为基于所述输入图像的色彩对称度和所述输入图像的边缘对称度 来确定所述输入图像的对称度。
11: 根据权利要求 1 所述的装置, 其中所述分割线检测单元包括边缘图像生成单元, 所 述边缘图像生成单元被构造为基于所述输入图像生成表示所述输入图像的边缘的边缘图 像。
12: 根据权利要求 11 所述的装置, 其中所述分割线检测单元包括 : 第一分割线检测单元, 所述第一分割线检测单元被构造为基于所述边缘图像来检测对 2 所述输入图像的两边进行分割的第一分割线 ; 以及 第二分割线检测单元, 所述第二分割线检测单元被构造为基于所述边缘图像来检测对 所述输入图像的两边进行分割的、 与所述第一分割线成角度的第二分割线。
13: 根据权利要求 12 所述的装置, 其中所述第二分割线垂直于所述第一分割线。
14: 根据权利要求 13 所述的装置, 其中所述分割线检测单元包括第三分割线检测单 元, 所述第三分割线检测单元被构造为基于所述边缘图像来检测对所述输入图像的两边进 行分割的、 与所述第一和第二分割线成角度的第三分割线。
15: 根据权利要求 1 所述的装置, 包括显示单元, 所述显示单元被构造为显示所述分 类。
16: 根据权利要求 15 所述的装置, 其中所述显示单元被构造为同时显示所述分类和所 述输入图像。
17: 根据权利要求 1 所述的装置, 包括存储单元, 所述存储单元被构造为存储所述输入 图像以及所述输入图像的所述分类, 所述输入图像的所述分类作为所述输入图像的元数据 而被存储。
18: 一种对输入图像进行处理的方法, 包括 : 接收所述输入图像 ; 计算所述输入图像的对称度 ; 检测对所述输入图像的两边进行分割的分割线 ; 基于所述对称度和所述分割线来对所述输入图像进行分类 ; 以及 生成使得所述分类被显示或存储这二者中的至少一者的分类信号。
19: 一种存储有程序的持久性的计算机可读存储介质, 该程序当被处理器执行时使得 装置执行对输入图像进行处理的方法, 所述方法包括 : 接收所述输入图像 ; 计算所述输入图像的对称度 ; 检测对所述输入图像的两边进行分割的分割线 ; 基于所述对称度和所述分割线来对所述输入图像进行分类 ; 以及 生成使得所述分类被显示或存储这二者中的至少一者的分类信号。

说明书


图像处理装置和方法以及程序

    对相关申请的交叉引用
     本申请要求 2010 年 8 月 19 日提交的日本特愿 2010-183877 的优先权, 将该在先 申请的全部内容通过引用而合并在此。
     技术领域 本公开涉及图像处理装置和图像处理方法以及程序, 具体地, 本公开涉及能够对 输入图像的构图进行分类的图像处理装置和图像处理方法以及程序。
     背景技术
     近年来, 已存在对由数码相机等摄像装置所拍摄的图像的构图图案进行辨别的技术。
     例如, 已存在这样的技术 : 该技术对关注被摄物进行识别, 对关注被摄物的状态进 行识别, 并基于所识别的关注被摄物的状态、 从多个所记录的构图图案中选择包含关注被 摄物的构图图案。例如, 这种技术的一例公开于日本特开 2008-81246 号公报。此外, 已提出了这样的图像处理装置 : 该装置通过对输入图像进行分析来检测特 征图案, 作为评价值而计算多个预先准备好的构图与检测到的特征图案之间的关联度, 并 基于该评价值来确定输入图像的构图。例如, 这种图像处理装置的一例公开于日本特开 2009-159023 号公报。
     进而, 已提出了这样的相机 : 该相机提取与摄像图像中的主要被摄物的上端对应 的边缘或在摄像图像的两个对应边之间延伸的边缘, 将所提取的边缘的位置或倾角与预先 规定的适宜范围作比较, 并判断构图是否正确。 例如, 这种图像处理装置的一例公开于日本 特许第 4029174 号公报。
     发明内容 然而, 在日本特开 2008-81246 号公报的方法中, 为了对被摄物进行识别或对关注 被摄物的状态进行识别, 需要高成本的运算。
     此外, 在日本特开 2009-159023 号公报的方法中, 由于多个预先准备好的构图与 基于对输入图像的分析而检测到的特征图案之间的评价值是对于每个像素计算的, 因而也 需要高成本的运算。
     进而, 在日本特许第 4029174 号公报的方法中, 由于判断构图是否正确的判断基 准仅是基于与摄像图像中的主要被摄物的上端对应的边缘或在摄像图像的两个对应边之 间延伸的边缘, 因而要判断的构图的类型受到限制。
     本公开解决上述问题。此外, 希望以低成本的运算将输入图像的构图分类成详细 的构图图案。
     由此, 公开了一种对输入图像进行处理的装置。 所述装置可包括对称度计算单元, 所述对称度计算单元可被构造为接收所述输入图像并计算所述输入图像的对称度。 所述装
     置还可包括分割线检测单元, 所述分割线检测单元可被构造为接收所述输入图像并检测对 所述输入图像的两边进行分割的分割线。 此外, 所述装置还可包括分类单元, 所述分类单元 可被构造为基于所述对称度和所述分割线来对所述输入图像进行分类。 所述分类单元还可 被构造为生成使得所述分类被显示或存储这二者中的至少一者的分类信号。
     还公开了一种对输入图像进行处理的方法。 处理器可执行使得装置执行所述方法 的程序。所述程序可存储在持久性的计算机可读存储介质上。所述方法可包括接收所述输 入图像。此外, 所述方法可包括计算所述输入图像的对称度。所述方法还可包括检测对所 述输入图像的两边进行分割的分割线。此外, 所述方法可包括基于所述对称度和所述分割 线来对所述输入图像进行分类。 所述方法还可包括生成使得所述分类被显示或存储这二者 中的至少一者的分类信号。 附图说明
     图 1 是示出根据本公开技术的实施例的图像处理装置的功能构造的一例的框图 ;
     图 2 是示出对称度计算单元 ( 即软件模块、 硬件模块或软件模块与硬件模块的组 合 ) 的功能构造的一例的框图 ;
     图 3 是示出边缘对称度计算单元的功能构造的一例的框图 ;
     图 4 是示出色彩对称度计算单元的功能构造的一例的框图 ;
     图 5 是示出分割线检测单元的功能构造的一例的框图 ;
     图 6 是示出水平分割线检测单元的功能构造的一例的框图 ;
     图 7 是示出竖直分割线检测单元的功能构造的一例的框图 ;
     图 8 是示出倾斜分割线检测单元的功能构造的一例的框图 ;
     图 9 是说明构图分类处理的流程图 ;
     图 10 是说明在照片拍摄等中通常推荐的构图图案的图 ;
     图 11 是说明对称度计算处理的流程图 ;
     图 12 是说明边缘对称度计算处理的流程图 ;
     图 13 是说明输入图像和边缘图像的图 ;
     图 14 是说明边缘左右对称度的计算的一例的图 ;
     图 15 是说明边缘上下对称度的计算的一例的图 ;
     图 16 是说明输入图像和边缘图像的图 ;
     图 17 是说明色彩对称度计算处理的流程图 ;
     图 18 是说明基于色差的权重系数的图 ;
     图 19 是说明色差的总和的变换的图 ;
     图 20 是说明分割线检测处理的流程图 ;
     图 21 是说明输入图像和边缘图像的图 ;
     图 22 是说明水平分割线检测处理的流程图 ;
     图 23 是说明边缘信息的水平方向上的累计值的图 ;
     图 24 是说明水平分割线的检测结果的一例的图 ;
     图 25 是说明竖直分割线检测处理的流程图 ;
     图 26 是说明边缘信息的竖直方向上的累计值的图 ;图 27 是说明倾斜分割线检测处理的流程图 ;
     图 28 是说明输入图像和边缘图像、 边缘图像的二值化以及边缘图像的旋转的图 ;
     图 29 是说明倾斜方向上的各线的边缘信息的累计值的正规化 (normalization) 的一例的图 ;
     图 30 是说明倾斜方向上的各线的边缘信息的累计值的正规化的一例的图 ;
     图 31 是说明边缘信息的倾斜方向上的累计值的图 ;
     图 32 是说明倾斜分割线的检测结果的一例的图 ;
     图 33 是说明倾斜方向上的各线的边缘信息的累计值的正规化的另一例的图 ;
     图 34 是说明倾斜方向上的各线的边缘信息的累计值的正规化的另一例的图 ;
     图 35 是说明倾斜方向上的各线的边缘信息的累计值的正规化的另一例的图 ;
     图 36 是说明输入图像的构图被分类成的构图图案的一例的图 ;
     图 37 是说明基于水平分割线而分类的构图图案的一例的图 ;
     图 38 是说明基于竖直分割线而分类的构图图案的一例的图 ;
     图 39A 和 39B 是说明基于倾斜分割线而分类的构图图案的例子的图 ;
     图 40 是说明基于倾斜分割线而分类的构图图案的一例的图 ;
     图 41 是示出对称度与分割线之间的关系的图 ; 图 42 是说明构图分类处理的另一工作的流程图 ; 图 43 是示出摄像装置的功能构造的一例的框图 ; 图 44 是说明构图的推荐的显示例的图 ; 图 45 是说明构图的推荐的显示例的图 ; 以及 图 46 是示出计算机硬件的构造的一例的框图。具体实施方式
     以下, 参照附图说明本公开技术的实施例。
     [ 图像处理装置的构造例 ]
     图 1 示出了根据本公开技术的实施例的图像处理装置的功能构造的一例。
     例如, 图 1 的图像处理装置 11 计算表示从数码相机等摄像装置或其它图像处理装 置输入的输入图像的线对称性的对称度, 并检测将输入图像分割成多个预定域的分割线。 此外, 图像处理装置 11 还基于对称度和分割线中的至少一个将输入图像的构图分类成预 定的构图图案 ( 即分类 )。
     图像处理装置 11 包括对称度计算单元 31、 分割线检测单元 32 和构图分类单元 33。
     输入到图像处理装置 11 的输入图像被提供给对称度计算单元 31 和分割线检测单 元 32。
     对称度计算单元 31 相对于输入图像的左右方向和上下方向中的每一个计算表示 输入图像中的每个像素的像素信息 ( 像素值 ) 的线对称性的对称度, 并将该对称度提供给 构图分类单元 33。
     [ 对称度计算单元的功能构造例 ]
     图 2 示出了对称度计算单元 31 的功能构造的一例。对称度计算单元 31 包括边缘对称度计算单元 41、 色彩对称度计算单元 42 和对称 度确定单元 43。
     边缘对称度计算单元 41 计算作为输入图像中的每个像素的像素信息的一种的边 缘信息的对称度 ( 以下称作边缘对称度 ), 并将该对称度提供给对称度确定单元 43。
     [ 边缘对称度计算单元的功能构造例 ]
     图 3 示出了边缘对称度计算单元 41 的功能构造的一例。
     边缘对称度计算单元 41 包括边缘图像生成单元 51、 左右对称度计算单元 52( 即第 一对称度计算单元 ) 和上下对称度计算单元 53( 即第二对称度计算单元 )。
     边缘图像生成单元 51 基于输入图像的各像素而生成包含该每个像素的边缘信息 的边缘图像 ( 即表示输入图像的边缘的边缘图像 ), 并将该边缘图像提供给左右对称度计 算单元 52 和上下对称度计算单元 53。
     左右对称度计算单元 52 相对于从边缘图像生成单元 51 提供的边缘图像中的左右 方向上的中心线 ( 即边缘图像中平行于边缘图像的一边的第一虚拟线 )、 计算作为边缘信 息的对称度的边缘左右对称度, 并输出该边缘左右对称度。
     上下对称度计算单元 53 相对于从边缘图像生成单元 51 提供的边缘图像中的上下 方向上的中心线 ( 即边缘图像中垂直于第一虚拟线的第二虚拟线 )、 计算作为边缘信息的 对称度的边缘上下对称度, 并输出该边缘上下对称度。 以此方式, 边缘对称度计算单元 41 将边缘左右对称度和边缘上下对称度作为边 缘对称度而提供给对称度确定单元 43。
     返回图 2 的说明, 色彩对称度计算单元 42 计算作为输入图像中的每个像素的像素 信息的一种的色彩信息的对称度 ( 以下称作色彩对称度 ), 并将该对称度提供给对称度确 定单元 43。
     [ 色彩对称度计算单元的功能构造例 ]
     图 4 示出了色彩对称度计算单元 42 的功能构造的一例。
     色彩对称度计算单元 42 包括色空间变换单元 61、 左右对称度计算单元 62( 即第一 色彩对称度计算单元 ) 和上下对称度计算单元 63( 即第二色彩对称度计算单元 )。
     色空间变换单元 61 将输入图像中的各像素的像素信息 ( 色彩信息 ) 被表达于的 色空间变换成另一色空间, 并将包含被表达于经变换的色空间中的色彩信息的输入图像提 供给左右对称度计算单元 62 和上下对称度计算单元 63。
     左右对称度计算单元 62 相对于从色空间变换单元 61 提供的输入图像中的左右方 向上的中心线 ( 即输入图像中平行于输入图像的一边的第一虚拟线 )、 计算作为色彩信息 的对称度的色彩左右对称度, 并输出该色彩左右对称度。
     上下对称度计算单元 63 相对于从色空间变换单元 61 提供的输入图像中的上下方 向上的中心线 ( 即输入图像中垂直于第一虚拟线的第二虚拟线 )、 计算作为色彩信息的对 称度的色彩上下对称度, 并输出该色彩上下对称度。
     以此方式, 色彩对称度计算单元 42 将色彩左右对称度和色彩上下对称度作为色 彩对称度而提供给对称度确定单元 43。
     返回图 2 的说明, 基于从边缘对称度计算单元 41 提供的边缘对称度和从色彩对称 度计算单元 42 提供的色彩对称度, 对称度确定单元 43 确定表示相对于输入图像的左右方
     向的线对称性的左右对称度和表示相对于输入图像的上下方向的线对称性的上下对称度。 具体地, 对称度确定单元 43 将从边缘对称度计算单元 41 作为边缘对称度提供的边缘左右 对称度和从色彩对称度计算单元 42 作为色彩对称度提供的色彩左右对称度中的一个确定 为满足预定条件的左右对称度。此外, 对称度确定单元 43 还将从边缘对称度计算单元 41 作为边缘对称度提供的边缘上下对称度和从色彩对称度计算单元 42 作为色彩对称度提供 的色彩上下对称度中的一个确定为满足预定条件的上下对称度。
     以此方式, 对称度计算单元 31 将左右对称度和上下对称度作为对称度提供给构 图分类单元 33。
     返回图 1 的说明, 分割线检测单元 32 从输入图像中的像素信息的分布的变化中检 测对输入图像进行分割的分割线, 并将表示检测到的分割线的分割线信息提供给构图分类 单元 33。
     [ 分割线检测单元的功能构造例 ]
     图 5 示出了分割线检测单元 32 的功能构造的一例。
     分割线检测单元 32 包括边缘图像生成单元 71、 水平分割线检测单元 72( 即第一分 割线检测单元 )、 竖直分割线检测单元 73( 即第二分割线检测单元 ) 和倾斜分割线检测单元 74 和 75( 即第三和第四分割线检测单元 )。 边缘图像生成单元 71 与图 3 的边缘图像生成单元 51 同样地、 基于输入图像中的 各像素而生成包含每个所述像素的边缘信息的边缘图像, 并将该边缘图像提供给水平分割 线检测单元 72 至倾斜分割线检测单元 75。
     水平分割线检测单元 72 在从边缘图像生成单元 71 提供的边缘图像中、 在水平方 向上累计边缘信息, 并从其累计值的分布中检测在水平方向上 ( 即上下地 ) 对输入图像进 行分割的水平分割线 ( 即第一分割线 )。 水平分割线检测单元 72 输出表示检测到的水平分 割线的水平分割线信息。
     竖直分割线检测单元 73 在从边缘图像生成单元 71 提供的边缘图像中、 在竖直方 向上累计边缘信息, 并从其累计值的分布中检测在竖直方向上 ( 即左右地 ) 对输入图像进 行分割的竖直分割线 ( 即与第一分割线成角度的第二分割线 )。 竖直分割线检测单元 73 输 出表示检测到的竖直分割线的竖直分割线信息。
     倾斜分割线检测单元 74 在从边缘图像生成单元 71 提供的边缘图像中、 在右上倾 斜方向上累计边缘信息, 并从其累计值的分布中检测在右上倾斜方向上对输入图像进行分 割的右上倾斜分割线 ( 即与第一和第二分割线成角度的第三分割线 )。倾斜分割线检测单 元 74 输出表示检测到的右上倾斜分割线的第一倾斜分割线信息。
     倾斜分割线检测单元 75 在从边缘图像生成单元 71 提供的边缘图像中、 在左上倾 斜方向上累计边缘信息, 并从其累计值的分布中检测在左上倾斜方向上对输入图像进行分 割的左上倾斜分割线 ( 即与第一、 第二和第三分割线成角度的第四分割线 )。 倾斜分割线检 测单元 75 输出表示检测到的左上倾斜分割线的第二倾斜分割线信息。
     以此方式, 分割线检测单元 32 将水平分割线信息、 竖直分割线信息、 第一倾斜分 割线信息和第二倾斜分割线信息作为分割线信息提供给构图分类单元 33。
     此处, 参照图 6 至 8, 示出了水平分割线检测单元 72 至倾斜分割线检测单元 75 的 功能构造例。
     [ 水平分割线检测单元的功能构造例 ]
     图 6 示出了水平分割线检测单元 72 的功能构造的一例。
     水平分割线检测单元 72 包括水平方向累计单元 111、 低通滤波器 (LPF)112、 峰值 检测单元 113 和阈值处理单元 114。
     水平方向累计单元 111 在从边缘图像生成单元 71 提供的边缘图像中、 对于水平方 向上的包含像素的各线 ( 以下简称线 ) 累计像素的像素信息 ( 边缘信息 ), 并将其累计结果 提供给 LPF 112。此处得到的累计结果是相对于边缘图像 ( 输入图像 ) 中的竖直方向上的 像素位置的、 水平方向上的边缘信息的累计值。
     LPF 112 通过对来自水平方向累计单元 111 的累计结果即相对于边缘图像中的竖 直方向上的像素位置的水平方向上的边缘信息的累计值进行滤波处理, 来从累计结果中去 除噪声, 并将该累计结果提供给峰值检测单元 113。
     峰值检测单元 113 从被 LPF 112 去除了噪声的累计结果中检测累计值的峰值, 并 将检测到的峰值和待成为该峰值的累计值所来自于的水平方向上的线的竖直方向上的像 素位置提供给阈值处理单元 114。
     阈值处理单元 114 将来自峰值检测单元 113 的峰值与预定阈值作比较。此外, 当 峰值大于预定阈值时, 阈值处理单元 114 将待成为该峰值的累计值所来自于的水平方向上 的线规定为水平分割线, 并将边缘图像中的该线的竖直方向上的像素位置作为水平分割线 信息而输出。
     [ 竖直分割线检测单元的功能构造例 ]
     图 7 示出了竖直分割线检测单元 73 的功能构造的一例。
     竖直分割线检测单元 73 包括竖直方向累计单元 121、 LPF 122、 峰值检测单元 123 和阈值处理单元 124。
     竖直方向累计单元 121 在从边缘图像生成单元 71 提供的边缘图像中、 对于竖直方 向上的每条线累计边缘信息, 并将其累计结果提供给 LPF
     122。此处得到的累计结果是相对于边缘图像 ( 输入图像 ) 中的水平方向上的像 素位置的、 竖直方向上的边缘信息的累计值。
     LPF 122 通过对来自竖直方向累计单元 121 的累计结果即相对于边缘图像中的水 平方向上的像素位置的竖直方向上的边缘信息的累计值进行滤波处理, 来从累计结果中去 除噪声, 并将该累计结果提供给峰值检测单元 123。
     峰值检测单元 123 从被 LPF 122 去除了噪声的累计结果中检测累计值的峰值, 并 将检测到的峰值和待成为该峰值的累计值所来自于的竖直方向上的线的水平方向上的像 素位置提供给阈值处理单元 124。
     阈值处理单元 124 将来自峰值检测单元 123 的峰值与预定阈值作比较。此外, 当 峰值大于预定阈值时, 阈值处理单元 124 将待成为该峰值的累计值所来自于的竖直方向上 的线规定为竖直分割线, 并将边缘图像中的该线的水平方向上的像素位置作为竖直分割线 信息而输出。
     [ 倾斜分割线检测单元的功能构造例 ]
     图 8 示出了倾斜分割线检测单元 74 的功能构造的一例。
     倾斜分割线检测单元 74 包括倾斜方向累计单元 131、 LPF 132、 峰值检测单元 133和阈值处理单元 134。
     倾斜方向累计单元 131 在从边缘图像生成单元 71 提供的边缘图像中、 对于右上倾 斜方向上的每条线累计边缘信息, 并将其累计结果提供给 LPF
     132。此处得到的累计结果是相对于边缘图像 ( 输入图像 ) 中的左上倾斜方向上 的像素位置的、 右上倾斜方向上的边缘信息的累计值。
     LPF 132 通过对来自倾斜方向累计单元 131 的累计结果即相对于边缘图像中的左 上倾斜方向上的像素位置的右上倾斜方向上的边缘信息的累计值进行滤波处理, 来从累计 结果中去除噪声, 并将该累计结果提供给峰值检测单元 133。
     峰值检测单元 133 从被 LPF 132 去除了噪声的累计结果中检测累计值的峰值, 并 将检测到的峰值和待成为该峰值的累计值所来自于的右上倾斜方向上的线的左上倾斜方 向上的像素位置提供给阈值处理单元 134。
     阈值处理单元 134 将来自峰值检测单元 133 的峰值与预定阈值作比较。此外, 当 峰值大于预定阈值时, 阈值处理单元 134 将待成为该峰值的累计值所来自于的右上倾斜方 向上的线规定为右上倾斜分割线, 并将边缘图像中的该线的左上倾斜方向上的像素位置作 为第一分割线信息而输出。 此外, 倾斜分割线检测单元 75 的功能构造的一例除了在图 8 的倾斜分割线检测单 元 74 的各单元中、 对于边缘信息的右上倾斜方向的处理被替代为对于边缘信息的左上倾 斜方向的处理以外, 与图 8 的倾斜分割线检测单元 74 的功能构造的一例基本相同, 因此省 略其说明。
     此外, 返回图 1 的说明, 构图分类单元 33 基于来自对称度计算单元 31 的对称度和 来自分割线检测单元 32 的分割线信息将输入图像的构图分类成预先确定的构图图案中的 一种, 并将该构图图案与对称度和分割线信息一道输出至未图示的信息处理装置或存储装 置等。
     [ 在图像处理装置中进行的构图分类处理 ]
     接下来, 参照图 9 的流程图来说明在图 1 的图像处理装置 11 中进行的构图分类处 理。
     基于图 9 的流程图所示的构图分类处理, 被输入到图像处理装置 11 中的输入图像 的构图被分类成预先规定的构图图案中的一种。
     此处, 参照图 10 来说明在照片拍摄等中通常推荐的构图图案。
     图 10 所示的构图图案 C 包含诸如基于三分法 (Rule of Thirds) 的构图和对角线 构图的两种代表性构图图案。
     基于三分法的构图是包含称作三分线的水平分割线 H1 和 H2 以及竖直分割线 V1 和 V2 的构图。此外, 将被摄物或风景的边界放在水平分割线 H1 和 H2 以及竖直分割线 V1 和 V2 中的至少一条线上, 或者将被摄物放在水平分割线 H1 和 H2 与竖直分割线 V1 和 V2 之 间的 4 个交点 ( 三分线交点 ) 中的一个处, 从而能得到已达平衡的图像。
     此外, 对角线构图是包含对角线 D1 和 D2 的构图, 并且被摄物或风景的边界被放在 对角线 D1 和 D2 中的至少一条线上, 从而能得到已达平衡的图像。
     在以下说明的构图分类处理中, 判断输入图像的构图相对于左右方向或上下方向 有何种程度的对称性、 或输入图像的构图近似于上述基于三分法的构图或对角线构图中的
     哪一个。 在图 9 的流程图的步骤 S11 中, 对称度计算单元 31 执行对称度计算处理, 并相对 于输入图像的左右方向和上下方向中的每一个计算输入图像中的每个像素的像素信息的 对称度。
     [ 在对称度计算单元中进行的对称度计算处理 ]
     此处, 参照图 11 的流程图来说明在图 9 的流程图的步骤 S11 中进行的对称度计算 处理。
     在步骤 S31 中, 对称度计算单元 31 中的边缘对称度计算单元 41 执行边缘对称度 计算处理并计算输入图像的边缘对称度。
     [ 在边缘对称度计算单元中进行的边缘对称度计算处理 ]
     此处, 参照图 12 的流程图来说明在图 11 的流程图的步骤 S31 中进行的边缘对称 度计算处理。
     在步骤 S41 中, 边缘对称度计算单元 41 中的边缘图像生成单元 51 从输入图像获 取亮度图像, 并生成包含通过对该亮度图像应用 Sobel 滤波器、 Gabor 滤波器等边缘提取滤 波器而得到的边缘值 ( 边缘信息 ) 的边缘图像。
     此外, 边缘图像生成单元 51 可从输入图像获取 R、 G、 B 等色通道图像, 在通道之间 对每个像素相互比较通过对各色通道图像单独应用边缘提取滤波器而得到的边缘值, 并生 成包含多个单独最大值的边缘图像。
     进而, 边缘图像生成单元 51 还可对输入图像进行利用了均值漂移算法 ( 均值漂移 法 ) 等的、 色彩的区域分割, 并通过向所分割的区域的边界线上的像素分配边缘值来生成 边缘图像。 例如, 在这种情况下, 向区域的边界线上的像素分配边缘值 “1” , 而向该边界线以 外的区域中的像素分配边缘值 “0” 。
     例如, 当如图 13 所示、 被摄物是山的风景图像作为输入图像 P1 而被输入时, 边缘 图像生成单元 51 生成表示包含山的风景的轮廓形状的边缘图像 P1e。 以此方式生成的边缘 图像 P1e 被提供给左右对称度计算单元 52 和上下对称度计算单元 53。
     在步骤 S42 中, 左右对称度计算单元 52 基于从边缘图像生成单元 51 提供的边缘 图像来计算作为边缘图像的左右对称度的边缘左右对称度。
     此处, 参照图 14 来说明边缘左右对称度的计算的一例。 图 14 示出了边缘图像 P1e。
     如图 14 所示, 如果边缘图像 P1e 包含 H×W 个像素, 则边缘图像 P1e 中的左右方向 上的中心线是位于像素位置 W/2 处的线。
     此外, 考虑上下方向上的像素位置为 i 的、 水平方向上的线, 并假设从左右方向上 的中心线上的像素 ( 像素位置为 W/2 的像素 ) 起往右侧第 j 个像素的像素位置以 “+j” 来 表达, 而从水平方向上的中心线上的像素起往左侧第 j 个像素的像素位置以 “-j” 来表达。
     此时, 在边缘图像 P1e 中, 位于左右方向上的中心线 ( 像素位置为 W/2) 相对两侧 的、 像素位置为像素位置 (i, j) 和 (i, -j)( 以下简称像素位置 (i, j)) 的一对像素的边缘 信息之间的差的总和 d、 以及位于左右方向上的中心线相对两侧的一对像素的边缘信息的 总和 s( 即全部像素的边缘信息的总和 ) 由下式 (1) 和 (2) 来表达。
     在式 (1) 和 (2) 中, 系数 w 是随着相对于边缘图像的中心所定义的关注像素的像 素位置 (i, j) 距输入图像的中心点的距离增大而权重减低的权重系数, 并当从输入图像的 中心点距像素位置 (i, j) 的距离以 r 表示时, 系数 w 由下式 (3) 来表达。
     此外, 假设式 (3) 中的常数 σ 为任意设定的值。
     式 (1) 所表达的 “边缘信息之间的差的总和 d” 具有随着边缘图像 P1e 的左右对称 度增大而趋近于 “0” 的值, 并且 “边缘信息之间的差的总和 d” 具有随着边缘图像 P1e 的左 右非对称度增大而趋近于 “边缘信息的总和” s 的值。因此, 作为边缘图像的左右对称度的 边缘左右对称度 sym_edg_LR 由下式 (4) 来表达。
     即, 边缘左右对称度 sym_edg_LR 具有范围为 0 < sym_edg_LR ≤ 1 的值, 并具有随 着边缘图像 P1e 的左右对称的增大而趋近于 “1” 的值。
     以此方式, 计算边缘左右对称度。
     返回图 12 的流程图, 在步骤 S43 中, 上下对称度计算单元 53 基于从边缘图像生成 单元 51 提供的边缘图像来计算作为边缘图像的上下对称度的边缘上下对称度。
     此外, 对于边缘上下对称度 sym_edg_TB, 如图 15 所示, 假设边缘图像 P1e 的上下方 向上的中心线为像素位置为 H/2 的线, 并考虑左右方向上位于像素位置 j 的、 竖直方向上的 包含像素的线。此外, 当假设从上下方向上的中心线上的像素 ( 像素位置为 H/2 的像素 ) 起往下侧第 i 个像素的像素位置以 “+i” 来表达、 且从上下方向上的中心线上的像素起往上 侧第 i 个像素的像素位置以 “-i” 来表达时, 通过在式 (1) 和 (2) 中彼此调换值 H 和值 W 从 而与计算边缘左右对称度 sym_edg_LR 同样方式地计算边缘上下对称度。sym_edg_TB。
     以此方式, 计算边缘上下对称度。
     在步骤 S43 之后, 处理返回图 11 的流程图的步骤 S31 且处理前进至步骤 S32。
     顺便提及, 当作为输入图像而输入如图 16 的左侧所示的、 将呈大致同一形状且不 同色彩的蔬菜作为被摄物摆在一起的输入图像 P2 时, 在边缘对称度计算处理中生成如图 16 的右侧所示的边缘图像 P2e。
     由于图 16 的边缘图像 P2e 相对于左右方向的线对称性高, 因而作为边缘左右对称 度而得到大的值, 然而由于在实际的输入图像 P2 中摆在一起的被摄物的色彩彼此不同, 因 而未必是相对于左右方向线对称性高。
     以此方式, 在边缘对称度计算处理中, 难以求得输入图像的色彩的线对称性。
     因此, 在步骤 S32, 色彩对称度计算单元 42 执行色彩对称度计算处理, 并计算输入 图像的色彩对称度, 从而求得输入图像的色彩的线对称性。
     [ 在色彩对称度计算单元中进行的色彩对称度计算处理 ]
     此处, 参照图 17 的流程图来说明在图 11 的流程图的步骤 S31 中进行的色彩对称 度计算处理。
     在步骤 S51 中, 色空间变换单元 61 变换色空间以例如使由 RGB 空间表现的输入图 * * 像的各像素被 L a b 空间表现。色空间变换单元 61 将被 L * a * b 空间表现的输入图像提 供给左右对称度计算单元 62 和上下对称度计算单元 63。
     在步骤 S52 中, 左右对称度计算单元 62 计算作为色空间被色空间变换单元 61 变 * * 换的、 被 L a b 空间表现的输入图像的、 左右对称度的色彩左右对称度。
     此处说明色彩左右对称度的计算的一例。
     此外, 假设被 L * a * b 空间表现的输入图像以与参照图 14 说明的边缘图像 P1e 同 样方式地表达。
     此时, 在输入图像中, 位于左右方向上的中心线 ( 像素位置为 W/2) 相对两侧的、 像 素位置为像素位置 (i, j) 的一对像素之间的色差的总和 D 由下式 (5) 来表达。
     在式 (5) 中, 位于像素位置 (i, j) 处的像素之间的色差 dE、 L *轴成分 L 之间的差 dL、 a *轴成分 a 之间的差 da 和 b *轴成分 b 之间的差 db 分别由下式 (6) 来表达。
     另外, 式 (5) 中的系数 w 是与位于像素位置 (i, j) 处的像素之间的色差 dE 相关的 权重系数, 且系数 w 由下式 (7) 来表达。
     w = wP·wE … (7)
     在式 (7) 中, 权重系数 wp 是随着像素位置 (i, j) 距输入图像的中心点的距离增大 而权重减低的权重系数, 且权重系数 wp 由下式 (8) 来表达。
     此外, 假设式 (8) 中的常数 β 为任意设定的值。 此外, 在式 (7) 中, 权重系数 wE 是在位于关注像素位置 (i, j) 处的像素之间的色差 dE 越大的区域权重越高的权重系数, 且权重系数 wE 具有如图 18 所示的特性。具体地, 当色差 dE 小于值 dE1 时权重系数 wE 的值为 1.0, 而当色差 dE 大于值 dE2 时权重系数 wE 的 值为 wEM。此外, 当色差 dE 的范围从值 dE1 到值 dE2 时, 随着色差 dE 的增大, 权重系数 wE 也 相应增大。
     即, 以权重系数 wE 对色差 dE 进行加权, 以使得按图 16 所示的输入图像 P2 的方式 对从右到左色彩大幅变化的区域更加强调色差 dE。
     相应地, 尽管由式 (5) 所表达的 “色差的总和” D 具有随着输入图像的色彩的左右 对称越大而减小的值、 且具有随着输入图像的色彩的左右非对称越大而增大的值, 但为了 简便地处理, “色差的总和” D 如图 19 所示那样变换。
     即, 根据图 19, 当色差的总和 D 小于位于像素位置 (i, j) 处的像素之间的色差 dE 的最小值 dEmin 时, 变换后的色差的总和 D’ 的值为 “0” , 而当色差的总和 D 大于位于像素位 置 (i, j) 处的像素之间的色差 dE 的最大值 dEmax 时, 变换后的色差的总和 D’ 的值为 “1” 。 此外, 当色差的总和 D 的范围从值 dEmin 到值 dEmax 时, 随着色差的总和 D 的增大, 变换后的色 差的总和 D’ 也相应增大。
     此外, ( 作为输入图像的色彩的左右对称度的 ) 色彩左右对称度 sym_col_LR 由下 式 (9) 来表达。
     sym_co l_L R = 1-D’… (9)
     即, 色彩左右对称度 sym_col_LR 具有范围为 0 ≤ sym_col_LR ≤ 1 的值, 并具有随 着输入图像的色彩的左右对称的增大而趋近于 “1” 的值。
     以此方式, 计算色彩左右对称度。
     返回图 17 的流程图, 在步骤 S53 中, 上下对称度计算单元 63 计算作为色空间被色 * * 空间变换单元 61 变换的、 被 L a b 空间表现的输入图像的上下对称度的色彩上下对称度。
     此外, 对于色彩上下对称度 sym_col_TB, 与图 15 所说明的边缘图像 P1e 同样地, 假 设输入图像的上下方向上的中心线为像素位置为 H/2 的线, 并考虑左右方向上位于像素位 置 j 的、 竖直方向上的线。此外, 当假设从上下方向上的中心线上的像素 ( 像素位置为 H/2 的像素 ) 起往下侧第 i 个像素的像素位置以 “+i” 来表达、 且从上下方向上的中心线上的像 素起往上侧第 i 个像素的像素位置以 “-i” 来表达时, 通过在式 (5) 和 (6) 中彼此调换值 H 和值 W 从而与计算色彩左右对称度 sym_col_LR 同样方式地计算色彩上下对称度 sym_col_ TB。
     以此方式, 计算色彩上下对称度。
     在步骤 S53 之后, 处理返回图 11 的流程图的步骤 S32 且处理前进至步骤 S33。
     在步骤 S33 中, 对称度确定单元 43 基于从边缘对称度计算单元 41 提供的边缘对 称度和从色彩对称度计算单元 42 提供的色彩对称度来确定左右对称度和上下对称度。
     例如, 对称度确定单元 43 将从边缘对称度计算单元 41 提供的边缘左右对称度和 从色彩对称度计算单元 42 提供的色彩左右对称度中较小的那一个确定为左右对称度。同 样地, 对称度确定单元 43 将从边缘对称度计算单元 41 提供的边缘上下对称度和从色彩对 称度计算单元 42 提供的色彩上下对称度中较小的那一个确定为上下对称度。
     此外, 对称度确定单元 43 也可将边缘左右对称度和色彩左右对称度中较大的那 一个确定为左右对称度, 并将边缘上下对称度和色彩上下对称度中较大的那一个确定为上下对称度。
     对称度计算单元 31 将以此方式确定的左右对称度和上下对称度作为对称度提供 给构图分类单元 33, 且处理返回图 9 的步骤 S11。
     在步骤 S11 后, 在步骤 S12 中, 分割线检测单元 32 执行分割线检测处理, 并从输入 图像中的像素信息的分布的变化中检测分割线。
     [ 在分割线检测单元中进行的分割线检测处理 ]
     此处, 参照图 20 的流程图来说明在图 9 的流程图的步骤 S12 中进行的分割线检测 处理。
     在步骤 S71 中, 分割线检测单元 32 的边缘图像生成单元 71 与在图 12 的流程图的 步骤 S41 中进行的处理同样地、 从输入图像获取亮度图像, 并生成包含通过对该亮度图像 应用 Sobel 滤波器、 Gabor 滤波器等边缘提取滤波器而得到的边缘值 ( 边缘信息 ) 的边缘 图像。
     此外, 边缘图像生成单元 71 可从输入图像获取 R、 G、 B 等色通道图像, 在通道之间 对每个像素相互比较通过对各色通道图像单独应用边缘提取滤波器而得到的边缘值, 并生 成包含多个单独最大值的边缘图像。 进而, 边缘图像生成单元 71 还可对输入图像进行利用了均值漂移算法 ( 均值漂移 法 ) 等的、 色彩的区域分割, 并通过向所分割的区域的边界线上的像素分配边缘值来生成 边缘图像。 例如, 在这种情况下, 向区域的边界线上的像素分配边缘值 “1” , 而向该边界线以 外的区域中的像素分配边缘值 “0” 。
     例如, 当如图 21 所示、 包含地平线的风景图像作为输入图像 P3 而被输入时, 边缘 图像生成单元 71 生成表示该风景的轮廓形状的边缘图像 P3e。以此方式生成的边缘图像 P3e 被提供给水平分割线检测单元 72 至倾斜分割线检测单元 75。
     在步骤 S72 中, 水平分割线检测单元 72 执行水平分割线检测处理, 并基于从边缘 图像生成单元 71 提供的边缘图像来检测在水平方向上 ( 即上下地 ) 对输入图像进行分割 的水平分割线。
     [ 在水平分割线检测单元中进行的水平分割线检测处理 ]
     此处, 参照图 22 的流程图来说明在图 20 的流程图的步骤 S72 中进行的水平分割 线检测处理。
     在步骤 S81 中, 水平分割线检测单元 72 中的水平方向累计单元 111 在从边缘图像 生成单元 71 提供的边缘图像中、 对于水平方向上的各线累计边缘信息, 并将其累计结果提 供给 LPF 112。
     此外, 水平方向累计单元 111 在累计边缘信息时, 也可在以上述式 (3) 所示的权重 系数 w 对各像素的边缘信息进行加权后再累计边缘信息。这样, 随着累计值距边缘图像中 心的距离的增大, 该累计值减小。
     此处得到的累计结果是相对于边缘图像 ( 输入图像 ) 的竖直方向上的像素位置 的、 水平方向上的边缘信息的累计值, 且在图 23 所示的图线中, 该累计结果由黑色的菱形 来绘图。
     图 23 示出了通过水平分割线检测处理计算的、 边缘信息的水平方向上的累计值 以及通过对该累计值进行后面说明的运算而得到的值的例子。
     在图 23 的图线中, 横轴表示边缘图像 ( 输入图像 ) 的竖直方向上的像素位置。
     此外, 在步骤 S82 中, LPF 112 通过对来自水平方向累计单元 111 的边缘信息的累 计值进行滤波处理来去除噪声, 并将该累计值提供给峰值检测单元 113。 在图 23 中, 去除了 噪声的累计结果由白色方块来绘图。
     在步骤 S83 中, 峰值检测单元 113 从被 LPF 112 去除了噪声的累计结果中检测累 计值的峰值。
     具体地, 峰值检测单元 113 计算去除了噪声的累计值的一阶微分值 ( 图 23 中由白 色三角形块来绘图 ), 进而计算作为该一阶微分值的绝对值的一阶微分绝对值 ( 图 23 中由 叉形标记来绘图 )。峰值检测单元 113 将与一阶微分值取负值且一阶微分绝对值取极大值 的一阶微分绝对值 ( 图 23 中由虚线圆圈所围的点 ) 对应的累计值 ( 图 23 中由实线圆圈所 围的点 ) 规定为累计值的峰值。相应地, 在累计值中, 检测到急剧变化的峰值。
     峰值检测单元 113 将检测到的峰值和待成为该峰值的累计值所来自于的水平方 向上的线的竖直方向上的像素位置 ( 在图 23 的例中是像素位置 7) 提供给阈值处理单元 114。
     在步骤 S84 中, 阈值处理单元 114 将来自峰值检测单元 113 的峰值与预定阈值作 比较, 并判断峰值是否大于预定阈值。 在步骤 S84 中, 当判定峰值大于预定阈值时, 处理前进至步骤 S85, 而阈值处理单 元 114 将待成为该峰值的累计值所来自于的水平方向上的线 ( 竖直方向上的像素位置 7 处 的线 ) 规定为水平分割线。此外, 阈值处理单元 114 将边缘图像中的该线的竖直方向上的 像素位置作为水平分割线信息而输出, 且水平分割线检测处理结束。此后处理返回图 20 的 步骤 S72。
     以此方式, 当输入如图 21 所示的输入图像 P3 时, 如图 24 所示, 输入图像 P3 中的 地平线部分中的水平方向上的线被检测为水平分割线。
     另一方面, 当在步骤 S84 中判定峰值不大于预定阈值时, 跳过步骤 S85 的处理。在 这种情况下, 未检测到水平分割线, 且水平分割线检测处理结束。此后处理返回图 20 的步 骤 S72。
     在步骤 S72 后, 在步骤 S73 中, 竖直分割线检测单元 73 执行竖直分割线检测处理, 并基于从边缘图像生成单元 71 提供的边缘图像来检测在竖直方向上 ( 即左右地 ) 对输入 图像进行分割的竖直分割线。
     [ 在竖直分割线检测单元中进行的竖直分割线检测处理 ]
     此处, 参照图 25 的流程图来说明在图 20 的流程图的步骤 S73 中进行的竖直分割 线检测处理。
     在步骤 S91 中, 竖直分割线检测单元 73 的竖直方向累计单元 121 在从边缘图像生 成单元 71 提供的边缘图像中、 对于竖直方向上的各线累计边缘信息, 并将其累计结果提供 给 LPF 112。
     此外, 竖直方向累计单元 121 在累计边缘信息时, 也可在以上述式 (3) 所示的权重 系数 w 对各像素的边缘信息进行加权后再累计边缘信息。这样, 随着累计值距边缘图像中 心的距离的增大, 该累计值减小。
     此处得到的累计结果是相对于边缘图像 ( 输入图像 ) 的水平方向上的像素位置
     的、 竖直方向上的边缘信息的累计值, 且在图 26 所示的图线中, 该累计结果由黑色的菱形 来绘图。
     图 26 示出了通过竖直分割线检测处理计算的、 边缘信息的竖直方向上的累计值 以及通过对该累计值进行后面说明的运算而得到的值的例子。
     在图 26 的图线中, 横轴表示边缘图像 ( 输入图像 ) 的水平方向上的像素位置。
     此外, 在步骤 S92 中, LPF 122 通过对来自竖直方向累计单元 121 的边缘信息的累 计值进行滤波处理来去除噪声, 并将该累计值提供给峰值检测单元 123。 在图 26 中, 去除了 噪声的累计结果由白色方块来绘图。
     在步骤 S93 中, 峰值检测单元 123 从被 LPF 122 去除了噪声的累计结果中检测累 计值的峰值。
     具体地, 峰值检测单元 123 计算去除了噪声的累计值的一阶微分值 ( 图 26 中由白 色三角形块来绘图 ), 进而计算作为该一阶微分值的绝对值的一阶微分绝对值 ( 图 26 中由 叉形标记来绘图 )。峰值检测单元 123 将与一阶微分值取负值且一阶微分绝对值取极大值 的一阶微分绝对值对应的累计值规定为累计值的峰值。在图 26 中, 尽管没有像图 23 的例 那样急剧变化的峰值, 但在水平方向上的像素位置 11 中得到成为峰值的累计值。
     峰值检测单元 123 将检测到的峰值和待成为该峰值的累计值所来自于的竖直方 向上的线的水平方向上的像素位置 ( 在图 26 的例子中是像素位置 11) 提供给阈值处理单 元 124。
     在步骤 S94 中, 阈值处理单元 124 将来自峰值检测单元 123 的峰值与预定阈值作 比较, 并判断峰值是否大于预定阈值。
     在步骤 S94 中, 当判定峰值大于预定阈值时, 处理前进至步骤 S95, 而阈值处理单 元 124 将待成为该峰值的累计值所来自于的竖直方向上的线规定为竖直分割线。此外, 阈 值处理单元 124 将边缘图像中的该线的水平方向上的像素位置作为竖直分割线信息而输 出, 且竖直分割线检测处理结束。此后处理返回图 20 的步骤 S73。
     另一方面, 当在步骤 S94 中判定峰值不大于预定阈值时, 跳过步骤 S95 的处理。例 如, 当图 26 中的峰值小于预定阈值时, 未检测到竖直分割线, 且竖直分割线检测处理结束。 此后处理返回图 20 的步骤 S73。
     在步骤 S73 后, 在步骤 S74 中, 倾斜分割线检测单元 74 执行倾斜分割线检测处理 1, 并基于从边缘图像生成单元 71 提供的边缘图像来检测在右上倾斜方向上对输入图像进 行分割的第一倾斜分割线。
     [ 在倾斜分割线检测单元中进行的倾斜分割线检测处理 ]
     此处, 参照图 27 的流程图来说明在图 20 的流程图的步骤 S74 中进行的倾斜分割 线检测处理 1。
     此处, 当如图 28 的顶部所示、 作为输入图像 P4 而输入包含从右上到左下倾斜的斜 坡的山的风景图像时, 边缘图像生成单元 71 生成 ( 如图 28 的上起第 2 部分所示的 ) 表示 该风景的轮廓形状的边缘图像 P4e, 并将该边缘图像 P4e 提供给水平分割线检测单元 72 至 倾斜分割线检测单元 75。
     在步骤 S101 中, 倾斜分割线检测单元 74 的倾斜方向累计单元 131 基于预定阈值 将从边缘图像生成单元 71 提供的边缘图像的各像素中的边缘信息二值化为 “0” 和 “1” 中的一个。例如当边缘图像的边缘信息具有范围从 “0” 到 “255” 的值时, 倾斜方向累计单元 131 对于 ( 作为 “0” 到 “255” 之间的值的 ) 边缘图像的边缘信息、 将值小于阈值 “127” 的像 素值定为 “0” 并将值大于阈值 “127” 的像素值定为 “1” 。相应地, 得到如图 28 的上起第 3 部分所示的二值化边缘图像 P4f。
     在步骤 S102 中, 倾斜方向累计单元 131 使二值化边缘图像 P4f 以逆时针方向旋 转, 以使得二值化边缘图像 P4f 中的右上倾斜对角线垂直于任意设定的坐标中的横轴。此 时的旋转角度是基于二值化边缘图像 P4f( 输入图像 P4) 的纵横比来计算的。相应地, 得到 如图 28 的上起第 4 部分所示的旋转二值化边缘图像 P4r。
     由于以此方式旋转已被二值化的二值化边缘图像 P4f, 因此与使二值化前的边缘 图像 P4e 旋转相比可减少成为旋转处理的对象的像素数量。因此可减少运算成本。
     在步骤 S103 中, 倾斜方向累计单元 131 在旋转二值化边缘图像 P4r 中对所设定的 坐标中的竖直方向上的各线、 换句话说是在旋转前的二值化边缘图像 P4f 中对与右上倾斜 的对角线平行的倾斜方向上的各线, 累计边缘信息, 并将该累计结果提供给 LPF 132。
     此外, 当倾斜方向累计单元 131 在倾斜方向上累计边缘信息时, 所包含的像素数 随着边缘信息被累计的线而变化, 因此倾斜方向累计单元 131 使用被累计的像素数对各线 的边缘信息的累计值进行正规化。
     此处, 参照图 29 和 30 来说明相对于倾斜方向上的各线的边缘信息的累计值的正 规化的例子。
     图 29 和 30 各自示出了被旋转以使右上倾斜的对角线 D1 垂直于任意设定的坐标 (X 轴 ) 的旋转二值化边缘图像 ( 以下简称边缘图像 )。此外, 如图 29 和 30 各自所示, 假设 旋转前的边缘图像的长边的长度为 “a” , 其短边的长度为 “b” , 而长边与对角线 D1 之间的 夹角为 “θ” 。此外, 例如边缘图像从图 28 的上起第 3 部分所示的状态以逆时针方向旋转 90° -θ, 从而对角线 D1 垂直于 X 轴。此外, 假设 X 轴上的坐标 x 表示倾斜方向上的线的假 想的像素位置。
     此外, 在图 29 和 30 各自中, 位于投影在 X 轴上的边缘图像的两端且以幅度 “m” 来 表示的部分因其被累计的像素数低, 因而被从累计处理的对象中排除。
     首先, 如图 29 所示, 当边缘图像被累计的倾斜方向上的线位于对角线 D1 的左侧 时、 即坐标 x 的范围为 m ≤ x ≤ bcosθ 时, 被累计的像素数 l 由下式 (10) 来表达。
     此外, 如图 30 所示, 当边缘图像被累计的倾斜方向上的线位于对角线 D1 的右侧 时、 即坐标 x 的范围为 bcosθ < x ≤ asinθ+bcosθ-m 时, 被累计的像素数 l 由下式 (10) 来表达。
     以此方式, 倾斜方向累计单元 131 计算在被累计的线中包含的像素数, 并使用被累计的像素数对各线的边缘信息的累计值进行正规化。
     此处得到的正规化的累计结果是相对于图 29 和 30 各自所示的边缘图像的 X 轴方 向上的像素位置的、 竖直方向上的边缘信息的累计值, 且在图 31 所示的图线中, 该累计结 果由黑色的菱形来绘图。
     图 31 示出了通过倾斜分割线检测处理 1 计算的、 边缘信息的右上倾斜方向上的累 计值以及通过对该累计值进行后面说明的运算而得到的值的例子。
     在图 31 的图线中, 横轴表示图 29 和 30 各自所示的边缘图像 ( 输入图像 ) 的 X 轴 方向上的像素位置。
     此外, 在步骤 S104 中, LPF 132 通过对来自倾斜方向累计单元 131 的边缘信息的 累计值进行滤波处理来去除噪声, 并将该累计值提供给峰值检测单元 133。 在图 31 中, 去除 了噪声的累计结果由白色方块来绘图。
     在步骤 S105 中, 峰值检测单元 133 从被 LPF 132 去除了噪声的累计结果中检测累 计值的峰值。
     具体地, 峰值检测单元 133 计算去除了噪声的累计值的一阶微分值 ( 图 31 中由白 色三角形块来绘图 ), 进而计算作为该一阶微分值的绝对值的一阶微分绝对值 ( 图 31 中由 叉形标记来绘图 )。峰值检测单元 133 将与一阶微分值取负值且一阶微分绝对值取极大值 的一阶微分绝对值 ( 图 31 中由虚线圆圈所围的点 ) 对应的累计值 ( 图 31 中由实线圆圈所 围的点 ) 规定为累计值的峰值。相应地, 在累计值中, 检测到急剧变化的峰值。
     峰值检测单元 133 将检测到的峰值和待成为该峰值的累计值所来自于的右上倾 斜方向上的线的 X 轴方向上的像素位置 ( 在图 31 的例中是像素位置 27) 提供给阈值处理 单元 134。
     在步骤 S106 中, 阈值处理单元 134 将来自峰值检测单元 133 的峰值与预定阈值作 比较, 并判断峰值是否大于预定阈值。
     在步骤 S106 中, 当判定峰值大于预定阈值时, 处理前进至步骤 S107, 而阈值处理 单元 134 将待成为该峰值的累计值所来自于的右上倾斜方向上的线 (X 轴方向上的像素位 置 27 处的线 ) 规定为右上倾斜分割线。此外, 阈值处理单元 134 将边缘图像中的该线的 X 轴方向上的像素位置和角度 θ 作为第一倾斜分割线信息而输出, 且倾斜分割线检测处理 1 结束。此后处理返回图 20 的步骤 S74。
     以此方式, 当输入如图 28 所示的输入图像 P4 时, 如图 32 所示, 输入图像 P4 中的 山的斜坡部分中的右上倾斜方向上的线被检测为右上倾斜分割线。
     另一方面, 当在步骤 S106 中判定峰值不大于预定阈值时, 跳过步骤 S107 的处理。 在这种情况下, 未检测到右上倾斜分割线, 且倾斜分割线检测处理 1 结束。此后处理返回图 20 的步骤 S74。
     在步骤 S74 后, 在步骤 S75 中, 倾斜分割线检测单元 75 执行倾斜分割线检测处理 2, 并基于从边缘图像生成单元 71 提供的边缘图像来检测在左上倾斜方向上对输入图像进 行分割的第二倾斜分割线。
     此外, 由倾斜分割线检测单元 75 所执行的倾斜分割线检测处理 2 除了使边缘图像 旋转以使边缘图像的左上倾斜的对角线垂直于 X 轴以外, 与上述倾斜分割线检测处理 1 基 本相同, 因此省略其说明。顺便提及, 尽管在以上说明中使边缘图像旋转以使右上倾斜的对角线 D1 和左上 倾斜的对角线 D2 垂直于 X 轴、 从而检测右上倾斜分割线和左上倾斜分割线, 但也可以使边 缘图像旋转以使边缘图像的任意的倾斜方向上的线垂直于 X 轴、 从而检测右上倾斜分割线 和左上倾斜分割线。
     此外, 即使在任意的倾斜方向上累计边缘信息时, 所包含的像素数也随着边缘信 息被累计的线而变化, 因此有必要使用被累计的像素数对各线的边缘信息的累计值进行正 规化。
     此处, 参照图 33 至 35 来说明相对于任意的倾斜方向上的各线的边缘信息的累计 值的正规化的例子。
     图 33 至 35 各自示出了被旋转以使设定在边缘图像中的右上倾斜线 Dn 垂直于 X 轴 的旋转二值化边缘图像 ( 边缘图像 )。此外, 如图 33 至 35 各自所示, 假设旋转前的边缘图 像的长边的长度为 “a” , 其短边的长度为 “b” , 而长边与右上倾斜线 Dn 之间的夹角为 “θ” 。 此外, 例如边缘图像从长边平行于 X 轴的状态以逆时针方向旋转 90° -θ, 从而右上倾斜线 Dn 垂直于 X 轴。此外, 假设 X 轴上的坐标 x 表示倾斜方向上的线的假想的像素位置。
     此外, 在图 33 至 35 各自中, 位于投影在 X 轴上的边缘图像的两端且以幅度 “m” 来 表示的部分因边缘图像被累计的像素数低, 因而被从累计处理的对象中排除。
     首先, 如图 33 所示, 当坐标 x 的范围为 m ≤ x ≤ bcosθ 时, 被累计的像素数 l 由 下式 (12) 来表达。
     此外, 如图 34 所示, 当坐标 x 的范围为 bcosθ < x ≤ asinθ 时, 被累计的像素数 l 由下式 (13) 来表达。
     此外, 如图 35 所示, 当坐标 x 的范围为 asinθ < x ≤ asinθ+bcosθ-m 时, 被累 计的像素数 l 由下式 (14) 来表达。
     以此方式, 即使是相对于任意的倾斜方向上的各线累计边缘信息时, 也计算在被 累计的线中包含的像素数, 并使用被累计的像素数对各线的边缘信息的累计值进行正规 化。
     如上述, 分割线检测单元 32 从水平分割线信息、 竖直分割线信息、 第一倾斜分割 线信息和第二倾斜分割线信息中, 将由分割线检测处理检测到的分割线提供给构图分类单 元 33, 且处理返回图 9 的步骤 S12。
     在步骤 S12 后, 在步骤 S13 中, 构图分类单元 33 基于来自对称度计算单元 31 的对 称度和来自分割线检测单元 32 的分割线信息将输入图像的构图分类成预先确定的构图图
     案中的一种。
     此处, 参照图 36 来说明输入图像的构图被分类成的构图图案的例子。
     根据图 36 所示的构图图案, 首先, 输入图像基于对称度 ( 左右对称度和上下对称 度 ) 被分类。
     [ 在左右对称度大于等于阈值 Th_LR、 且上下对称度也大于等于阈值 Th_TB 的情况 下]
     在此情况下, 输入图像的构图被分类成 “上下左右对称” 的构图图案。
     [ 在左右对称度大于等于阈值 Th_LR 且上下对称度小于阈值 Th_TB 的情况下 ]
     在这种情况下, 输入图像的构图基于水平分割线信息被进一步分类。 即, 当以水平 分割线信息表示的水平分割线位于在图 10 中说明的基于三分法的构图中的水平分割线 H2 上方时, 输入图像的构图被分类成 “水平分割线之上” 构图图案。当以水平分割线信息表示 的水平分割线位于在图 10 中说明的基于三分法的构图中的水平分割线 H2 与水平分割线 H1 之间时, 输入图像的构图被分类成 “水平分割线之中” 构图图案。此外, 当以水平分割线信 息表示的水平分割线位于在图 10 中说明的基于三分法的构图中的水平分割线 H1 下方时, 输入图像的构图被分类成 “水平分割线之下” 构图图案。
     例如, 如图 37 所示, 在高 ( 短边的长度 ) 为 “b” 的输入图像中, 与图 10 的水平分 割线 H1 和 H2 对应的 Y 轴上的坐标位置分别是 和 此时, 当基于分割线检测处理而检测水平分割线 Hp 并从分割线检测单元 32 提供给表示像素位置 ( 坐标位置 )y_H 的 水平分割线信息时, 构图分类单元 33 判定 平分割线之上” 构图图案。此外, 构图分类单元 33 当判定 并将输入图像的构图分类成 “水 时, 将输入图像的构 时,图分类成 “水平分割线之下” 构图图案。此外, 构图分类单元 33 当判定将输入图像的构图分类成 “水平分割线之中” 构图图案。
     此外, 当基于分割线检测处理而未检测到水平分割线且未从分割线检测单元 32 提供给水平分割线信息时, 构图分类单元 33 将输入图像的构图分类成 “其它” 构图图案。
     [ 在左右对称度小于阈值 Th_LR 且上下对称度大于等于阈值 Th_TB 的情况下 ] 在这种情况下, 输入图像的构图基于竖直分割线信息被进一步分类。 即, 当以竖直 分割线信息表示的竖直分割线位于在图 10 中说明的基于三分法的构图中的竖直分割线 V1 左侧时, 输入图像的构图被分类成 “竖直分割线之左” 构图图案。当以竖直分割线信息表示 的竖直分割线位于在图 10 中说明的基于三分法的构图中的竖直分割线 V1 与竖直分割线 V2 之间时, 输入图像的构图被分类成 “竖直分割线之中” 构图图案。此外, 当以竖直分割线信 息表示的竖直分割线位于在图 10 中说明的基于三分法的构图中的竖直分割线 V2 右侧时, 输入图像的构图被分类成 “竖直分割线之右” 构图图案。
     例如, 如图 38 所示, 在宽 ( 长边的长度 ) 为 “a” 的输入图像中, 与图 10 的竖直分
     割线 V1 和 V2 对应的 Y 轴上的坐标位置分别是21和此时, 当基于分割线检测处理102376090 A CN 102376097说明书19/23 页而检测竖直分割线 Vg 并从分割线检测单元 32 提供给表示像素位置 ( 坐标位置 )x_V 的竖 直分割线信息时, 构图分类单元 33 判定 分割线之中” 构图图案。此外, 构图分类单元 33 当判定 并将输入图像的构图分类成 “竖直 时, 将输入图像的构图 时, 将输分类成 “竖直分割线之左” 构图图案。此外, 构图分类单元 33 当判定入图像的构图分类成 “竖直分割线之右” 构图图案。
     此外, 当基于分割线检测处理而未检测到竖直分割线且未从分割线检测单元 32 提供给竖直分割线信息时, 构图分类单元 33 将输入图像的构图分类成 “其它” 构图图案。
     [ 在左右对称度小于阈值 Th_LR 且上下对称度也小于阈值 Th_TB 的情况下 ]
     在这种情况下, 输入图像的构图基于第一或第二倾斜分割线信息被进一步分类。 即, 当以第一倾斜分割线信息表示的、 倾斜分割线相对于水平方向的角度被包含在图 10 所 说明的对角线构图中的、 距对角线 D1 相对于水平方向的角度预定的角度范围内时, 输入图 像的构图被分类成 “右上倾斜分割线” 构图图案。具体地, 如图 39B 所示, 当对角线 D1 相对 于水平方向的角度是 θR、 且以第一倾斜分割线信息表示的、 倾斜分割线相对于水平方向的 角度 θ 被包含在 θR-δθ ≤ θ ≤ θR+δθ 的范围内时, 输入图像的构图被分类成 “右上 倾斜分割线” 构图图案。此外, 当以第二倾斜分割线信息表示的、 倾斜分割线相对于水平方 向的角度被包含在图 10 所说明的对角线构图中的、 距对角线 D2 相对于水平方向的角度预 定的角度范围内时, 输入图像的构图被分类成 “左上倾斜分割线” 构图图案。具体地, 如图 39A 所示, 当对角线 D2 相对于水平方向的角度是 θL、 且以倾斜分割线信息表示的、 倾斜分 割线相对于水平方向的角度 θ 被包含在 θL-δθ ≤ θ ≤ θL+δθ 的范围内时, 输入图像 的构图被分类成 “左上倾斜分割线” 构图图案。
     例如, 当在图 40 所示的输入图像中, 基于分割线检测处理而检测倾斜分割线 Ds 并 从分割线检测单元 32 提供给表示角度 θ 的第一倾斜分割线信息时, 构图分类单元 33 判定 θR-δθ ≤ θ ≤ θR+δθ, 并将输入图像的构图分类成 “右上倾斜分割线” 构图图案。此 外, 构图分类单元 33 当判定 θL-δθ ≤ θ ≤ θL+δθ 时, 将输入图像的构图分类成 “左上 倾斜分割线” 构图图案。
     此外, 当基于分割线检测处理而未检测到右上倾斜分割线和左上倾斜分割线中的 任一且未从分割线检测单元 32 提供给第一倾斜分割线信息和第二倾斜分割线信息中的任 一时, 构图分类单元 33 将输入图像的构图分类成 “其它” 构图图案。
     以此方式分类的构图图案与对称度和分割线信息一道被输出至未图示的信息处 理装置、 存储装置等。
     根据上述处理, 由于输入图像的构图是基于表示输入图像中的边缘信息和色彩信 息的线对称性的对称度以及表示输入图像中的像素信息 ( 边缘信息 ) 的分布的变化的分割 线而被分类的, 因而不必识别被摄物或被摄物的状态或在输入图像与预先准备好的构图之 间对于逐一像素计算评价值而可对输入图像的构图进行分类。另外, 不是仅使用边缘信息 的线对称性对构图进行分类, 而是可进一步使用色彩信息的线对称性或分割线的位置对输 入图像的构图进行分类。这样, 有可能以低成本的运算将输入图像的构图分类成详细的构图图案。 此外, 与构图图案一道输出至未图示的信息处理装置、 存储装置等的对称度和分 割线信息, 可作为输入图像的元数据而被分配。
     相应地, 可基于对称度或分割线信息 ( 分割线的位置 ) 对所记录的图像进行搜索 或分类。
     进而, 与频率分布或色彩分布一道使用对称度或分割线信息作为输入图像的特征 量, 从而能够改进图像识别中的识别精度。
     顺便提及, 在以上说明中, 如参照图 36 所说明的, 当对输入图像的构图进行分类 时, 首先基于对称度对构图进行大致分类, 进而基于分割线的位置仔细地分类。此处, 在图 41 中示出了参照图 36 说明的对称度与分割线之间的关系。
     在图 41 中, 横轴和纵轴分别示出了左右对称度和上下对称度, 且构图图案 C1 至 C4 分布在由各轴赋予的二维空间上。
     在图 41 所示的二维空间中, 表示 “上下左右对称” 构图图案的构图图案 C1 位于左 右对称度和上下对称度都大的区域中。此外, 表示 “水平分割线之中” 构图图案的构图图案 C2 位于左右对称度大而上下对称度小的区域中, 而表示 “竖直分割线之中” 构图图案的构图 图案 C3 位于左右对称度小而上下对称度大的区域中。此外, 表示 “右上倾斜分割线” 构图 图案的构图图案 C4 位于左右对称度和上下对称度都小的区域中。
     此外, 例如, “竖直分割线之上” 构图图案不位于左右对称度大而上下对称度小的 区域中, 且例如, “水平分割线之下” 构图图案不位于左右对称度小而上下对称度大的区域 中。
     以此方式, 由于能够被检测的分割线和能够被分类的构图图案是依据左右对称度 和上下对称度的计算结果被限制的, 因而可省略分割线检测处理的一部分或全部。
     即, 当左右对称度和上下对称度都大时, 输入图像的构图与分割线的检测结果无 关地被分类成 “上下左右对称” 构图图案, 因此可全部省略分割线检测处理。
     此外, 当左右对称度大而上下对称度小时, 输入图像的构图被分类成 “水平分割线 之上” 、 “水平分割线之中” 、 “水平分割线之下” 和 “其它” 构图图案中的一种, 因此仅需要执 行水平分割线检测处理而可省略竖直分割线检测处理、 倾斜分割线检测处理 1 和倾斜分割 线检测处理 2。
     同样地, 当左右对称度小而上下对称度大时, 输入图像的构图被分类成 “竖直分割 线之左” 、 “竖直分割线之中” 、 “竖直分割线之右” 和 “其它” 构图图案中的一种, 因此仅需要 执行竖直分割线检测处理而可省略水平分割线检测处理、 倾斜分割线检测处理 1 和倾斜分 割线检测处理 2。
     进而, 当左右对称度和上下对称度都小时, 输入图像的构图被分类成 “右上倾斜分 割线” 、 “左上倾斜分割线” 和 “其它” 构图图案中的一种, 因此仅需要执行倾斜分割线检测处 理 1 和倾斜分割线检测处理 2 而可省略水平分割线检测处理和竖直分割线检测处理。
     以此方式, 在对称度计算处理后执行分割线检测处理, 从而依据对称度计算处理 的计算结果而可省略分割线检测处理的一部分或全部, 因此, 有可能以更低成本的运算对 输入图像的构图进行分类。
     此外, 尽管在以上说明中如图 9 的流程图那样、 在对称度计算处理后执行分割线
     检测处理, 但也可以反过来如图 42 的流程图那样、 在分割线检测处理后执行对称度计算处 理。
     图 42 是说明在分割线检测处理后执行对称度计算处理的构图分类处理的流程 图。
     此外, 由于图 42 的流程图中在步骤 S211 至 S213 中进行的处理仅是彼此调换图 9 的流程图中在步骤 S12 中进行的处理和在步骤 S11 中进行的处理, 因此省略其详细说明。
     然而对此, 由于因在图 41 中说明的对称度和分割线之间的关系, 能够被检测的分 割线和能够被分类的构图图案也是依据分割线的检测结果被限制的, 因而可省略对称度计 算处理的一部分。
     即, 当作为分割线而仅检测水平分割线时, 左右对称度倾向于大而上下对称度倾 向于小, 因此可省略边缘对称度计算处理或色彩对称度计算处理中的上下对称度的计算处 理。
     此外, 当作为分割线而仅检测竖直分割线时, 左右对称度倾向于小而上下对称度 倾向于大, 因此可省略边缘对称度计算处理或色彩对称度计算处理中的左右对称度的计算 处理。
     以此方式, 在分割线检测处理后执行对称度计算处理, 从而依据分割线检测处理 的计算结果而可省略对称度计算处理的一部分, 因此, 有可能以更低成本的运算对输入图 像的构图进行分类。
     尽管在以上说明中, 说明了以摄像装置等所拍摄的图像作为输入图像而对输入图 像的构图进行分类的图像处理装置, 但在摄像装置中也可设有对所拍摄的摄像图像的构图 直接进行分类的构造。
     [ 摄像装置的构造例 ]
     图 43 示出了对所拍摄的摄像图像的构图进行分类的摄像装置的构造的一例。此 外, 在图 43 的摄像装置 311 中, 对与在图 1 的图像处理装置 11 中所设的具有相同功能的相 同构造, 分配同一名称和同一标记。
     即, 图 43 的摄像装置 311 与图 1 的图像处理装置 11 的区别在于在摄像装置 311 中新设有摄像单元 331、 图像处理单元 332、 显示单元 333 和存储单元 334。
     此外, 图 43 中的构图分类单元与构图图案一道将对称度和分割线信息提供给显 示单元 333 或存储单元 334( 即, 图 43 中的构图分类单元生成使得分类被显示或存储的其 中至少之一的分类信号 )。
     摄像单元 331 包括光学镜头、 摄像元件和模拟 / 数字 (A/D) 变换单元 ( 这些未图 示 )。 在摄像单元 331 中, 摄像元件接受入射到光学镜头的光并进行光电变换从而拍摄被摄 物, 且所得的模拟的图像信号受到 A/D 变换。摄像单元 331 将 A/D 变换的结果所得的数字 的图像数据 ( 摄像图像 ) 提供给图像处理单元 332。
     图像处理单元 332 对来自摄像单元 331 的摄像图像进行噪声去除处理等图像处 理, 并将该摄像图像作为实时的输入图像 ( 即所谓通过镜头图像 ) 而提供给对称度计算单 元 31、 分割线检测单元 32 和显示单元 333。即, 对称度计算单元 31 和分割线检测单元 32 对作为运动图像的实时的输入图像分别进行对称度计算处理和分割线检测处理。
     此外, 图像处理单元 332 当操作摄像装置 311 的使用者的快门操作对未图示的快门按钮等进行操作时, 对此时的摄像图像进行噪声去除处理等图像处理, 并将作为静止图 像的输入图像提供给对称度计算单元 31、 分割线检测单元 32 和存储单元 334。此时, 对称 度计算单元 31 和分割线检测单元 32 对作为静止图像的输入图像分别进行对称度计算处理 和分割线检测处理。
     显示单元 333 与来自图像处理单元 332 的摄像图像 ( 通过镜头图像 ) 一道显示基 于从构图分类单元 33 提供的构图图案、 对称度和分割线信息中至少一种的信息。例如, 显 示单元 333 与通过镜头图像一道显示该通过镜头图像的构图被分类成的构图图案的名称、 对左右对称度和上下对称度进行量化的分值、 以及以分割线信息所表示的分割线。
     存储单元 334 与来自图像处理单元 332 的摄像图像 ( 静止图像 ) 一道将从构图分 类单元 33 提供的构图图案、 对称度和分割线信息作为摄像图像的元数据而存储。
     这样, 可基于对称度和分割线信息 ( 分割线的位置 ) 对存储在存储单元 334 中的 图像进行搜索或分类。
     使用上述构造, 摄像装置 311 执行对摄像图像的构图进行分类的构图分类处理。 此外, 在摄像装置 311 中进行的构图分类处理是与参照图 9 或图 42 说明的在图像处理装置 11 中进行的构图分类处理相同地执行的, 并取得相同的有益效果, 因此省略其说明。
     进而, 摄像装置 311 基于由构图分类处理而得到的构图图案、 对称度或分割线信 息向使用者呈示推荐的构图。
     例如, 当显示单元 333 所显示的通过镜头图像的左右对称度大且该图像被分类成 “水平分割线之中” 构图图案时, 显示单元 333 如图 44 的左部所示、 与通过镜头图像一道显 示由分割线检测处理检测到的水平分割线。此时, 例如, 使用者操作未图示的操作单元, 从 而如图 44 的右部所示、 表示基于三分法的构图的三分线 ( 虚线 ) 可被显示。此外, 示意使 用者将由分割线检测处理检测到的水平分割线调整至与图 10 所示的水平分割线 H2 对应的 三分线的箭头也可被显示。
     此外, 当显示单元 333 所显示的通过镜头图像从图 45 的左部所示的左右对称度小 的状态转变成图 45 的右部所示的左右对称度大的状态时, 表示构图变成左右对称的线 ( 虚 线 ) 可被显示。
     进而, 设想摄像装置 311 具有这样的构造 : 作为摄像单元 331 的光学镜头而设有 具有标准视角的主镜头和具有与主镜头比较充分宽得多的视角的副镜头, 并使得显示单元 333 显示将经过主镜头拍摄的主图像与经过副镜头拍摄的副图像合成的合成图像。
     合成图像是视角窄的主图像与视角宽的副图像的一部分合成以使被摄物的位置 彼此一致的图像, 而且使用者通过确认合成图像, 可确认仅使用主图像难以确认的具有广 阔范围的构图 ( 与副图像对应的构图 )。
     当在具有这种构造的摄像装置 311 中对主图像和副图像分别进行构图分类处理 从而副图像的对称度比主图像的对称度高、 或副图像的分割线非常靠近基于三分法的构图 的三分线时, 可进行这样的显示 : 示意使用者操作摄像装置 311 以使主图像的构图变得和 副图像的构图相同。
     如上述, 由于使用者对于所拍摄的图像可找出被推荐的构图, 因而使用者可按更 好的构图进行拍摄。进而, 当构图符合被推荐的构图时, 摄像装置 311 可自动进行快门操 作。此外, 应当理解 : 以上说明的计算对称度、 检测分割线以及基于对称度和分割线对 输入图像的构图进行分类的处理, 也可对运动图像进行。
     上述一系列的处理操作可使用硬件或软件来执行。 当使用软件来执行上述一系列 的处理操作时, 包含在该软件中的程序被从程序记录介质安装至嵌入专用硬件内的计算机 或可通过安装各种程序来执行各种功能的例如通用个人计算机等。
     图 46 是示出使用程序来执行上述一系列处理操作的计算机的硬件的构造的一例 的框图。
     在计算机中, 中央处理单元 (CPU)901、 只读存储器 (ROM)902 和随机存取存储器 (RAM)903 通过总线 904 相互连接。
     进而, 输入 - 输出接口 905 连接至总线 904。包括键盘、 鼠标器、 麦克风等的输入 单元 906、 包括显示器、 扬声器等的输出单元 907、 包括硬盘、 非易失性存储器等的存储单元 908、 包括网络接口等的通信单元 909、 以及对磁盘、 光盘、 磁光盘或半导体存储器等可移动 介质 911( 即持久性计算机可读存储介质 ) 进行驱动的驱动器 910 都连接至输入 - 输出接 口 905。
     在具有上述构造的计算机中, 例如 CPU 901 将存储在存储单元 908 中的程序通过 输入 - 输出接口 905 和总线 904 装载入 RAM 903 并执行该程序, 从而执行上述一系列处理 操作。
     例如, 计算机 (CPU 901) 所执行的程序记录在包括磁盘 ( 其中包含软盘 )、 光盘 ( 只读光盘存储器 (CD-ROM)、 数字多功能盘 (DVD) 等 )、 磁光盘或半导体存储器的封装介质 即可移动介质 911 中, 或者该程序是通过局域网、 因特网或数字卫星播送这样的有线或无 线介质而提供的。
     此外, 程序可通过将可移动介质 911 装载入驱动器 910 从而通过输入 - 输出接口 905 安装在存储单元 908 中。 此外, 程序可通过有线或无线传输介质被通信单元 909 接收并 安装在存储单元 908 中。此外, 程序可被预先安装在 ROM 902 或存储单元 908 中。
     此外, 计算机所执行的程序可以是处理操作按本说明书中说明的顺序以时间级联 方式被执行的程序, 也可以是处理操作并列地或在进行调用操作时等必要的时刻处被执行 的程序。
     此外, 本公开技术的实施例不限于上述实施例, 而是可出现各种修改, 只要它们落 入本公开技术的范围内。

图像处理装置和方法以及程序.pdf_第1页
第1页 / 共60页
图像处理装置和方法以及程序.pdf_第2页
第2页 / 共60页
图像处理装置和方法以及程序.pdf_第3页
第3页 / 共60页
点击查看更多>>
资源描述

《图像处理装置和方法以及程序.pdf》由会员分享,可在线阅读,更多相关《图像处理装置和方法以及程序.pdf(60页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102376090 A (43)申请公布日 2012.03.14 CN 102376090 A *CN102376090A* (21)申请号 201110236712.X (22)申请日 2011.08.12 2010-183877 2010.08.19 JP G06T 7/00(2006.01) G06K 9/62(2006.01) (71)申请人 索尼公司 地址 日本东京都 (72)发明人 五味信一郎 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 代理人 康建峰 李春晖 (54) 发明名称 图像处理装置和方法以及程序 (57) 摘要 本发明提供。

2、了图像处理装置和图像处理方法 以及程序。该图像处理装置可包括对称度计算单 元, 所述对称度计算单元可被构造为接收所述输 入图像并计算所述输入图像的对称度。所述装置 还可包括分割线检测单元, 所述分割线检测单元 可被构造为接收所述输入图像并检测对所述输入 图像的两边进行分割的分割线。 此外, 所述装置还 可包括分类单元, 所述分类单元可被构造为基于 所述对称度和所述分割线来对所述输入图像进行 分类。所述分类单元还可被构造为生成使得所述 分类被显示或存储这二者中的至少一者的分类信 号。 (30)优先权数据 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求。

3、书 2 页 说明书 23 页 附图 34 页 CN 102376097 A1/2 页 2 1. 一种对输入图像进行处理的装置, 包括 : 对称度计算单元, 所述对称度计算单元被构造为 : 接收所述输入图像 ; 以及 计算所述输入图像的对称度 ; 分割线检测单元, 所述分割线检测单元被构造为 : 接收所述输入图像 ; 以及 检测对所述输入图像的两边进行分割的分割线 ; 分类单元, 所述分类单元被构造为 : 基于所述对称度和所述分割线来对所述输入图像进行分类 ; 以及 生成使得所述分类被显示或存储这二者中的至少一者的分类信号。 2. 根据权利要求 1 所述的装置, 其中所述对称度计算单元包括色彩对。

4、称度计算单元, 所述色彩对称度计算单元被构造为计算所述输入图像的色彩对称度。 3. 根据权利要求 2 所述的装置, 其中所述色彩对称度计算单元包括 : 第一色彩对称度计算单元, 所述第一色彩对称度计算单元被构造为计算相对于所述输 入图像的第一虚拟线的色彩对称度 ; 以及 第二色彩对称度计算单元, 所述第二色彩对称度计算单元被构造为计算相对于所述输 入图像的与所述第一虚拟线成角度的第二虚拟线的色彩对称度。 4. 根据权利要求 3 所述的装置, 其中所述第二虚拟线垂直于所述第一虚拟线。 5. 根据权利要求 4 所述的装置, 其中所述第一虚拟线平行于所述输入图像的一边。 6. 根据权利要求 3 所述。

5、的装置, 其中所述色彩对称度计算单元包括色空间变换单元, 所述色空间变换单元被构造为将所述输入图像的各像素的第一色空间变换成第二色空间。 7. 根据权利要求 2 所述的装置, 其中所述对称度计算单元包括边缘对称度计算单元, 所述边缘对称度计算单元被构造为计算所述输入图像的边缘对称度。 8. 根据权利要求 7 所述的装置, 其中所述边缘对称度计算单元包括边缘图像生成单 元, 所述边缘图像生成单元被构造为基于所述输入图像生成表示所述输入图像的边缘的边 缘图像。 9. 根据权利要求 8 所述的装置, 其中所述边缘对称度计算单元包括 : 第一边缘对称度计算单元, 所述第一边缘对称度计算单元被构造为计算。

6、相对于所述边 缘图像的第一虚拟线的边缘对称度 ; 以及 第二边缘对称度计算单元, 所述第二边缘对称度计算单元被构造为计算相对于所述边 缘图像的与所述第一虚拟线成角度的第二虚拟线的边缘对称度。 10. 根据权利要求 7 所述的装置, 其中所述对称度计算单元包括对称度确定单元, 所述 对称度确定单元被构造为基于所述输入图像的色彩对称度和所述输入图像的边缘对称度 来确定所述输入图像的对称度。 11. 根据权利要求 1 所述的装置, 其中所述分割线检测单元包括边缘图像生成单元, 所 述边缘图像生成单元被构造为基于所述输入图像生成表示所述输入图像的边缘的边缘图 像。 12. 根据权利要求 11 所述的装。

7、置, 其中所述分割线检测单元包括 : 第一分割线检测单元, 所述第一分割线检测单元被构造为基于所述边缘图像来检测对 权 利 要 求 书 CN 102376090 A CN 102376097 A2/2 页 3 所述输入图像的两边进行分割的第一分割线 ; 以及 第二分割线检测单元, 所述第二分割线检测单元被构造为基于所述边缘图像来检测对 所述输入图像的两边进行分割的、 与所述第一分割线成角度的第二分割线。 13. 根据权利要求 12 所述的装置, 其中所述第二分割线垂直于所述第一分割线。 14. 根据权利要求 13 所述的装置, 其中所述分割线检测单元包括第三分割线检测单 元, 所述第三分割线检。

8、测单元被构造为基于所述边缘图像来检测对所述输入图像的两边进 行分割的、 与所述第一和第二分割线成角度的第三分割线。 15. 根据权利要求 1 所述的装置, 包括显示单元, 所述显示单元被构造为显示所述分 类。 16. 根据权利要求 15 所述的装置, 其中所述显示单元被构造为同时显示所述分类和所 述输入图像。 17. 根据权利要求 1 所述的装置, 包括存储单元, 所述存储单元被构造为存储所述输入 图像以及所述输入图像的所述分类, 所述输入图像的所述分类作为所述输入图像的元数据 而被存储。 18. 一种对输入图像进行处理的方法, 包括 : 接收所述输入图像 ; 计算所述输入图像的对称度 ; 检。

9、测对所述输入图像的两边进行分割的分割线 ; 基于所述对称度和所述分割线来对所述输入图像进行分类 ; 以及 生成使得所述分类被显示或存储这二者中的至少一者的分类信号。 19. 一种存储有程序的持久性的计算机可读存储介质, 该程序当被处理器执行时使得 装置执行对输入图像进行处理的方法, 所述方法包括 : 接收所述输入图像 ; 计算所述输入图像的对称度 ; 检测对所述输入图像的两边进行分割的分割线 ; 基于所述对称度和所述分割线来对所述输入图像进行分类 ; 以及 生成使得所述分类被显示或存储这二者中的至少一者的分类信号。 权 利 要 求 书 CN 102376090 A CN 102376097 A。

10、1/23 页 4 图像处理装置和方法以及程序 0001 对相关申请的交叉引用 0002 本申请要求 2010 年 8 月 19 日提交的日本特愿 2010-183877 的优先权, 将该在先 申请的全部内容通过引用而合并在此。 技术领域 0003 本公开涉及图像处理装置和图像处理方法以及程序, 具体地, 本公开涉及能够对 输入图像的构图进行分类的图像处理装置和图像处理方法以及程序。 背景技术 0004 近年来, 已存在对由数码相机等摄像装置所拍摄的图像的构图图案进行辨别的技 术。 0005 例如, 已存在这样的技术 : 该技术对关注被摄物进行识别, 对关注被摄物的状态进 行识别, 并基于所识别。

11、的关注被摄物的状态、 从多个所记录的构图图案中选择包含关注被 摄物的构图图案。例如, 这种技术的一例公开于日本特开 2008-81246 号公报。 0006 此外, 已提出了这样的图像处理装置 : 该装置通过对输入图像进行分析来检测特 征图案, 作为评价值而计算多个预先准备好的构图与检测到的特征图案之间的关联度, 并 基于该评价值来确定输入图像的构图。例如, 这种图像处理装置的一例公开于日本特开 2009-159023 号公报。 0007 进而, 已提出了这样的相机 : 该相机提取与摄像图像中的主要被摄物的上端对应 的边缘或在摄像图像的两个对应边之间延伸的边缘, 将所提取的边缘的位置或倾角与预。

12、先 规定的适宜范围作比较, 并判断构图是否正确。 例如, 这种图像处理装置的一例公开于日本 特许第 4029174 号公报。 发明内容 0008 然而, 在日本特开 2008-81246 号公报的方法中, 为了对被摄物进行识别或对关注 被摄物的状态进行识别, 需要高成本的运算。 0009 此外, 在日本特开 2009-159023 号公报的方法中, 由于多个预先准备好的构图与 基于对输入图像的分析而检测到的特征图案之间的评价值是对于每个像素计算的, 因而也 需要高成本的运算。 0010 进而, 在日本特许第 4029174 号公报的方法中, 由于判断构图是否正确的判断基 准仅是基于与摄像图像中。

13、的主要被摄物的上端对应的边缘或在摄像图像的两个对应边之 间延伸的边缘, 因而要判断的构图的类型受到限制。 0011 本公开解决上述问题。此外, 希望以低成本的运算将输入图像的构图分类成详细 的构图图案。 0012 由此, 公开了一种对输入图像进行处理的装置。 所述装置可包括对称度计算单元, 所述对称度计算单元可被构造为接收所述输入图像并计算所述输入图像的对称度。 所述装 说 明 书 CN 102376090 A CN 102376097 A2/23 页 5 置还可包括分割线检测单元, 所述分割线检测单元可被构造为接收所述输入图像并检测对 所述输入图像的两边进行分割的分割线。 此外, 所述装置还。

14、可包括分类单元, 所述分类单元 可被构造为基于所述对称度和所述分割线来对所述输入图像进行分类。 所述分类单元还可 被构造为生成使得所述分类被显示或存储这二者中的至少一者的分类信号。 0013 还公开了一种对输入图像进行处理的方法。 处理器可执行使得装置执行所述方法 的程序。所述程序可存储在持久性的计算机可读存储介质上。所述方法可包括接收所述输 入图像。此外, 所述方法可包括计算所述输入图像的对称度。所述方法还可包括检测对所 述输入图像的两边进行分割的分割线。此外, 所述方法可包括基于所述对称度和所述分割 线来对所述输入图像进行分类。 所述方法还可包括生成使得所述分类被显示或存储这二者 中的至少。

15、一者的分类信号。 附图说明 0014 图 1 是示出根据本公开技术的实施例的图像处理装置的功能构造的一例的框图 ; 0015 图 2 是示出对称度计算单元 ( 即软件模块、 硬件模块或软件模块与硬件模块的组 合 ) 的功能构造的一例的框图 ; 0016 图 3 是示出边缘对称度计算单元的功能构造的一例的框图 ; 0017 图 4 是示出色彩对称度计算单元的功能构造的一例的框图 ; 0018 图 5 是示出分割线检测单元的功能构造的一例的框图 ; 0019 图 6 是示出水平分割线检测单元的功能构造的一例的框图 ; 0020 图 7 是示出竖直分割线检测单元的功能构造的一例的框图 ; 0021 。

16、图 8 是示出倾斜分割线检测单元的功能构造的一例的框图 ; 0022 图 9 是说明构图分类处理的流程图 ; 0023 图 10 是说明在照片拍摄等中通常推荐的构图图案的图 ; 0024 图 11 是说明对称度计算处理的流程图 ; 0025 图 12 是说明边缘对称度计算处理的流程图 ; 0026 图 13 是说明输入图像和边缘图像的图 ; 0027 图 14 是说明边缘左右对称度的计算的一例的图 ; 0028 图 15 是说明边缘上下对称度的计算的一例的图 ; 0029 图 16 是说明输入图像和边缘图像的图 ; 0030 图 17 是说明色彩对称度计算处理的流程图 ; 0031 图 18 。

17、是说明基于色差的权重系数的图 ; 0032 图 19 是说明色差的总和的变换的图 ; 0033 图 20 是说明分割线检测处理的流程图 ; 0034 图 21 是说明输入图像和边缘图像的图 ; 0035 图 22 是说明水平分割线检测处理的流程图 ; 0036 图 23 是说明边缘信息的水平方向上的累计值的图 ; 0037 图 24 是说明水平分割线的检测结果的一例的图 ; 0038 图 25 是说明竖直分割线检测处理的流程图 ; 0039 图 26 是说明边缘信息的竖直方向上的累计值的图 ; 说 明 书 CN 102376090 A CN 102376097 A3/23 页 6 0040 图。

18、 27 是说明倾斜分割线检测处理的流程图 ; 0041 图 28 是说明输入图像和边缘图像、 边缘图像的二值化以及边缘图像的旋转的图 ; 0042 图 29 是说明倾斜方向上的各线的边缘信息的累计值的正规化 (normalization) 的一例的图 ; 0043 图 30 是说明倾斜方向上的各线的边缘信息的累计值的正规化的一例的图 ; 0044 图 31 是说明边缘信息的倾斜方向上的累计值的图 ; 0045 图 32 是说明倾斜分割线的检测结果的一例的图 ; 0046 图 33 是说明倾斜方向上的各线的边缘信息的累计值的正规化的另一例的图 ; 0047 图 34 是说明倾斜方向上的各线的边缘。

19、信息的累计值的正规化的另一例的图 ; 0048 图 35 是说明倾斜方向上的各线的边缘信息的累计值的正规化的另一例的图 ; 0049 图 36 是说明输入图像的构图被分类成的构图图案的一例的图 ; 0050 图 37 是说明基于水平分割线而分类的构图图案的一例的图 ; 0051 图 38 是说明基于竖直分割线而分类的构图图案的一例的图 ; 0052 图 39A 和 39B 是说明基于倾斜分割线而分类的构图图案的例子的图 ; 0053 图 40 是说明基于倾斜分割线而分类的构图图案的一例的图 ; 0054 图 41 是示出对称度与分割线之间的关系的图 ; 0055 图 42 是说明构图分类处理的。

20、另一工作的流程图 ; 0056 图 43 是示出摄像装置的功能构造的一例的框图 ; 0057 图 44 是说明构图的推荐的显示例的图 ; 0058 图 45 是说明构图的推荐的显示例的图 ; 以及 0059 图 46 是示出计算机硬件的构造的一例的框图。 具体实施方式 0060 以下, 参照附图说明本公开技术的实施例。 0061 图像处理装置的构造例 0062 图 1 示出了根据本公开技术的实施例的图像处理装置的功能构造的一例。 0063 例如, 图1的图像处理装置11计算表示从数码相机等摄像装置或其它图像处理装 置输入的输入图像的线对称性的对称度, 并检测将输入图像分割成多个预定域的分割线。。

21、 此外, 图像处理装置 11 还基于对称度和分割线中的至少一个将输入图像的构图分类成预 定的构图图案 ( 即分类 )。 0064 图像处理装置 11 包括对称度计算单元 31、 分割线检测单元 32 和构图分类单元 33。 0065 输入到图像处理装置11的输入图像被提供给对称度计算单元31和分割线检测单 元 32。 0066 对称度计算单元 31 相对于输入图像的左右方向和上下方向中的每一个计算表示 输入图像中的每个像素的像素信息 ( 像素值 ) 的线对称性的对称度, 并将该对称度提供给 构图分类单元 33。 0067 对称度计算单元的功能构造例 0068 图 2 示出了对称度计算单元 31。

22、 的功能构造的一例。 说 明 书 CN 102376090 A CN 102376097 A4/23 页 7 0069 对称度计算单元 31 包括边缘对称度计算单元 41、 色彩对称度计算单元 42 和对称 度确定单元 43。 0070 边缘对称度计算单元 41 计算作为输入图像中的每个像素的像素信息的一种的边 缘信息的对称度 ( 以下称作边缘对称度 ), 并将该对称度提供给对称度确定单元 43。 0071 边缘对称度计算单元的功能构造例 0072 图 3 示出了边缘对称度计算单元 41 的功能构造的一例。 0073 边缘对称度计算单元41包括边缘图像生成单元51、 左右对称度计算单元52(即。

23、第 一对称度计算单元 ) 和上下对称度计算单元 53( 即第二对称度计算单元 )。 0074 边缘图像生成单元 51 基于输入图像的各像素而生成包含该每个像素的边缘信息 的边缘图像 ( 即表示输入图像的边缘的边缘图像 ), 并将该边缘图像提供给左右对称度计 算单元 52 和上下对称度计算单元 53。 0075 左右对称度计算单元52相对于从边缘图像生成单元51提供的边缘图像中的左右 方向上的中心线 ( 即边缘图像中平行于边缘图像的一边的第一虚拟线 )、 计算作为边缘信 息的对称度的边缘左右对称度, 并输出该边缘左右对称度。 0076 上下对称度计算单元53相对于从边缘图像生成单元51提供的边缘。

24、图像中的上下 方向上的中心线 ( 即边缘图像中垂直于第一虚拟线的第二虚拟线 )、 计算作为边缘信息的 对称度的边缘上下对称度, 并输出该边缘上下对称度。 0077 以此方式, 边缘对称度计算单元 41 将边缘左右对称度和边缘上下对称度作为边 缘对称度而提供给对称度确定单元 43。 0078 返回图2的说明, 色彩对称度计算单元42计算作为输入图像中的每个像素的像素 信息的一种的色彩信息的对称度 ( 以下称作色彩对称度 ), 并将该对称度提供给对称度确 定单元 43。 0079 色彩对称度计算单元的功能构造例 0080 图 4 示出了色彩对称度计算单元 42 的功能构造的一例。 0081 色彩对。

25、称度计算单元42包括色空间变换单元61、 左右对称度计算单元62(即第一 色彩对称度计算单元 ) 和上下对称度计算单元 63( 即第二色彩对称度计算单元 )。 0082 色空间变换单元 61 将输入图像中的各像素的像素信息 ( 色彩信息 ) 被表达于的 色空间变换成另一色空间, 并将包含被表达于经变换的色空间中的色彩信息的输入图像提 供给左右对称度计算单元 62 和上下对称度计算单元 63。 0083 左右对称度计算单元62相对于从色空间变换单元61提供的输入图像中的左右方 向上的中心线 ( 即输入图像中平行于输入图像的一边的第一虚拟线 )、 计算作为色彩信息 的对称度的色彩左右对称度, 并输。

26、出该色彩左右对称度。 0084 上下对称度计算单元63相对于从色空间变换单元61提供的输入图像中的上下方 向上的中心线 ( 即输入图像中垂直于第一虚拟线的第二虚拟线 )、 计算作为色彩信息的对 称度的色彩上下对称度, 并输出该色彩上下对称度。 0085 以此方式, 色彩对称度计算单元 42 将色彩左右对称度和色彩上下对称度作为色 彩对称度而提供给对称度确定单元 43。 0086 返回图2的说明, 基于从边缘对称度计算单元41提供的边缘对称度和从色彩对称 度计算单元 42 提供的色彩对称度, 对称度确定单元 43 确定表示相对于输入图像的左右方 说 明 书 CN 102376090 A CN 1。

27、02376097 A5/23 页 8 向的线对称性的左右对称度和表示相对于输入图像的上下方向的线对称性的上下对称度。 具体地, 对称度确定单元 43 将从边缘对称度计算单元 41 作为边缘对称度提供的边缘左右 对称度和从色彩对称度计算单元 42 作为色彩对称度提供的色彩左右对称度中的一个确定 为满足预定条件的左右对称度。此外, 对称度确定单元 43 还将从边缘对称度计算单元 41 作为边缘对称度提供的边缘上下对称度和从色彩对称度计算单元 42 作为色彩对称度提供 的色彩上下对称度中的一个确定为满足预定条件的上下对称度。 0087 以此方式, 对称度计算单元 31 将左右对称度和上下对称度作为对。

28、称度提供给构 图分类单元 33。 0088 返回图1的说明, 分割线检测单元32从输入图像中的像素信息的分布的变化中检 测对输入图像进行分割的分割线, 并将表示检测到的分割线的分割线信息提供给构图分类 单元 33。 0089 分割线检测单元的功能构造例 0090 图 5 示出了分割线检测单元 32 的功能构造的一例。 0091 分割线检测单元32包括边缘图像生成单元71、 水平分割线检测单元72(即第一分 割线检测单元)、 竖直分割线检测单元73(即第二分割线检测单元)和倾斜分割线检测单元 74 和 75( 即第三和第四分割线检测单元 )。 0092 边缘图像生成单元 71 与图 3 的边缘图。

29、像生成单元 51 同样地、 基于输入图像中的 各像素而生成包含每个所述像素的边缘信息的边缘图像, 并将该边缘图像提供给水平分割 线检测单元 72 至倾斜分割线检测单元 75。 0093 水平分割线检测单元 72 在从边缘图像生成单元 71 提供的边缘图像中、 在水平方 向上累计边缘信息, 并从其累计值的分布中检测在水平方向上 ( 即上下地 ) 对输入图像进 行分割的水平分割线(即第一分割线)。 水平分割线检测单元72输出表示检测到的水平分 割线的水平分割线信息。 0094 竖直分割线检测单元 73 在从边缘图像生成单元 71 提供的边缘图像中、 在竖直方 向上累计边缘信息, 并从其累计值的分布。

30、中检测在竖直方向上 ( 即左右地 ) 对输入图像进 行分割的竖直分割线(即与第一分割线成角度的第二分割线)。 竖直分割线检测单元73输 出表示检测到的竖直分割线的竖直分割线信息。 0095 倾斜分割线检测单元 74 在从边缘图像生成单元 71 提供的边缘图像中、 在右上倾 斜方向上累计边缘信息, 并从其累计值的分布中检测在右上倾斜方向上对输入图像进行分 割的右上倾斜分割线 ( 即与第一和第二分割线成角度的第三分割线 )。倾斜分割线检测单 元 74 输出表示检测到的右上倾斜分割线的第一倾斜分割线信息。 0096 倾斜分割线检测单元 75 在从边缘图像生成单元 71 提供的边缘图像中、 在左上倾 。

31、斜方向上累计边缘信息, 并从其累计值的分布中检测在左上倾斜方向上对输入图像进行分 割的左上倾斜分割线(即与第一、 第二和第三分割线成角度的第四分割线)。 倾斜分割线检 测单元 75 输出表示检测到的左上倾斜分割线的第二倾斜分割线信息。 0097 以此方式, 分割线检测单元 32 将水平分割线信息、 竖直分割线信息、 第一倾斜分 割线信息和第二倾斜分割线信息作为分割线信息提供给构图分类单元 33。 0098 此处, 参照图 6 至 8, 示出了水平分割线检测单元 72 至倾斜分割线检测单元 75 的 功能构造例。 说 明 书 CN 102376090 A CN 102376097 A6/23 页。

32、 9 0099 水平分割线检测单元的功能构造例 0100 图 6 示出了水平分割线检测单元 72 的功能构造的一例。 0101 水平分割线检测单元 72 包括水平方向累计单元 111、 低通滤波器 (LPF)112、 峰值 检测单元 113 和阈值处理单元 114。 0102 水平方向累计单元111在从边缘图像生成单元71提供的边缘图像中、 对于水平方 向上的包含像素的各线(以下简称线)累计像素的像素信息(边缘信息), 并将其累计结果 提供给 LPF 112。此处得到的累计结果是相对于边缘图像 ( 输入图像 ) 中的竖直方向上的 像素位置的、 水平方向上的边缘信息的累计值。 0103 LPF 。

33、112 通过对来自水平方向累计单元 111 的累计结果即相对于边缘图像中的竖 直方向上的像素位置的水平方向上的边缘信息的累计值进行滤波处理, 来从累计结果中去 除噪声, 并将该累计结果提供给峰值检测单元 113。 0104 峰值检测单元 113 从被 LPF 112 去除了噪声的累计结果中检测累计值的峰值, 并 将检测到的峰值和待成为该峰值的累计值所来自于的水平方向上的线的竖直方向上的像 素位置提供给阈值处理单元 114。 0105 阈值处理单元 114 将来自峰值检测单元 113 的峰值与预定阈值作比较。此外, 当 峰值大于预定阈值时, 阈值处理单元 114 将待成为该峰值的累计值所来自于的。

34、水平方向上 的线规定为水平分割线, 并将边缘图像中的该线的竖直方向上的像素位置作为水平分割线 信息而输出。 0106 竖直分割线检测单元的功能构造例 0107 图 7 示出了竖直分割线检测单元 73 的功能构造的一例。 0108 竖直分割线检测单元 73 包括竖直方向累计单元 121、 LPF 122、 峰值检测单元 123 和阈值处理单元 124。 0109 竖直方向累计单元121在从边缘图像生成单元71提供的边缘图像中、 对于竖直方 向上的每条线累计边缘信息, 并将其累计结果提供给 LPF 0110 122。此处得到的累计结果是相对于边缘图像 ( 输入图像 ) 中的水平方向上的像 素位置的。

35、、 竖直方向上的边缘信息的累计值。 0111 LPF 122 通过对来自竖直方向累计单元 121 的累计结果即相对于边缘图像中的水 平方向上的像素位置的竖直方向上的边缘信息的累计值进行滤波处理, 来从累计结果中去 除噪声, 并将该累计结果提供给峰值检测单元 123。 0112 峰值检测单元 123 从被 LPF 122 去除了噪声的累计结果中检测累计值的峰值, 并 将检测到的峰值和待成为该峰值的累计值所来自于的竖直方向上的线的水平方向上的像 素位置提供给阈值处理单元 124。 0113 阈值处理单元 124 将来自峰值检测单元 123 的峰值与预定阈值作比较。此外, 当 峰值大于预定阈值时, 。

36、阈值处理单元 124 将待成为该峰值的累计值所来自于的竖直方向上 的线规定为竖直分割线, 并将边缘图像中的该线的水平方向上的像素位置作为竖直分割线 信息而输出。 0114 倾斜分割线检测单元的功能构造例 0115 图 8 示出了倾斜分割线检测单元 74 的功能构造的一例。 0116 倾斜分割线检测单元 74 包括倾斜方向累计单元 131、 LPF 132、 峰值检测单元 133 说 明 书 CN 102376090 A CN 102376097 A7/23 页 10 和阈值处理单元 134。 0117 倾斜方向累计单元131在从边缘图像生成单元71提供的边缘图像中、 对于右上倾 斜方向上的每条。

37、线累计边缘信息, 并将其累计结果提供给 LPF 0118 132。此处得到的累计结果是相对于边缘图像 ( 输入图像 ) 中的左上倾斜方向上 的像素位置的、 右上倾斜方向上的边缘信息的累计值。 0119 LPF 132 通过对来自倾斜方向累计单元 131 的累计结果即相对于边缘图像中的左 上倾斜方向上的像素位置的右上倾斜方向上的边缘信息的累计值进行滤波处理, 来从累计 结果中去除噪声, 并将该累计结果提供给峰值检测单元 133。 0120 峰值检测单元 133 从被 LPF 132 去除了噪声的累计结果中检测累计值的峰值, 并 将检测到的峰值和待成为该峰值的累计值所来自于的右上倾斜方向上的线的左。

38、上倾斜方 向上的像素位置提供给阈值处理单元 134。 0121 阈值处理单元 134 将来自峰值检测单元 133 的峰值与预定阈值作比较。此外, 当 峰值大于预定阈值时, 阈值处理单元 134 将待成为该峰值的累计值所来自于的右上倾斜方 向上的线规定为右上倾斜分割线, 并将边缘图像中的该线的左上倾斜方向上的像素位置作 为第一分割线信息而输出。 0122 此外, 倾斜分割线检测单元75的功能构造的一例除了在图8的倾斜分割线检测单 元 74 的各单元中、 对于边缘信息的右上倾斜方向的处理被替代为对于边缘信息的左上倾 斜方向的处理以外, 与图 8 的倾斜分割线检测单元 74 的功能构造的一例基本相同。

39、, 因此省 略其说明。 0123 此外, 返回图 1 的说明, 构图分类单元 33 基于来自对称度计算单元 31 的对称度和 来自分割线检测单元 32 的分割线信息将输入图像的构图分类成预先确定的构图图案中的 一种, 并将该构图图案与对称度和分割线信息一道输出至未图示的信息处理装置或存储装 置等。 0124 在图像处理装置中进行的构图分类处理 0125 接下来, 参照图 9 的流程图来说明在图 1 的图像处理装置 11 中进行的构图分类处 理。 0126 基于图9的流程图所示的构图分类处理, 被输入到图像处理装置11中的输入图像 的构图被分类成预先规定的构图图案中的一种。 0127 此处, 参。

40、照图 10 来说明在照片拍摄等中通常推荐的构图图案。 0128 图 10 所示的构图图案 C 包含诸如基于三分法 (Rule of Thirds) 的构图和对角线 构图的两种代表性构图图案。 0129 基于三分法的构图是包含称作三分线的水平分割线 H1 和 H2 以及竖直分割线 V1 和 V2 的构图。此外, 将被摄物或风景的边界放在水平分割线 H1 和 H2 以及竖直分割线 V1 和 V2 中的至少一条线上, 或者将被摄物放在水平分割线 H1 和 H2 与竖直分割线 V1 和 V2 之 间的 4 个交点 ( 三分线交点 ) 中的一个处, 从而能得到已达平衡的图像。 0130 此外, 对角线构。

41、图是包含对角线D1和D2的构图, 并且被摄物或风景的边界被放在 对角线 D1 和 D2 中的至少一条线上, 从而能得到已达平衡的图像。 0131 在以下说明的构图分类处理中, 判断输入图像的构图相对于左右方向或上下方向 有何种程度的对称性、 或输入图像的构图近似于上述基于三分法的构图或对角线构图中的 说 明 书 CN 102376090 A CN 102376097 A8/23 页 11 哪一个。 0132 在图 9 的流程图的步骤 S11 中, 对称度计算单元 31 执行对称度计算处理, 并相对 于输入图像的左右方向和上下方向中的每一个计算输入图像中的每个像素的像素信息的 对称度。 0133。

42、 在对称度计算单元中进行的对称度计算处理 0134 此处, 参照图 11 的流程图来说明在图 9 的流程图的步骤 S11 中进行的对称度计算 处理。 0135 在步骤 S31 中, 对称度计算单元 31 中的边缘对称度计算单元 41 执行边缘对称度 计算处理并计算输入图像的边缘对称度。 0136 在边缘对称度计算单元中进行的边缘对称度计算处理 0137 此处, 参照图 12 的流程图来说明在图 11 的流程图的步骤 S31 中进行的边缘对称 度计算处理。 0138 在步骤 S41 中, 边缘对称度计算单元 41 中的边缘图像生成单元 51 从输入图像获 取亮度图像, 并生成包含通过对该亮度图像。

43、应用 Sobel 滤波器、 Gabor 滤波器等边缘提取滤 波器而得到的边缘值 ( 边缘信息 ) 的边缘图像。 0139 此外, 边缘图像生成单元 51 可从输入图像获取 R、 G、 B 等色通道图像, 在通道之间 对每个像素相互比较通过对各色通道图像单独应用边缘提取滤波器而得到的边缘值, 并生 成包含多个单独最大值的边缘图像。 0140 进而, 边缘图像生成单元51还可对输入图像进行利用了均值漂移算法(均值漂移 法 ) 等的、 色彩的区域分割, 并通过向所分割的区域的边界线上的像素分配边缘值来生成 边缘图像。 例如, 在这种情况下, 向区域的边界线上的像素分配边缘值 “1” , 而向该边界线。

44、以 外的区域中的像素分配边缘值 “0” 。 0141 例如, 当如图 13 所示、 被摄物是山的风景图像作为输入图像 P1 而被输入时, 边缘 图像生成单元51生成表示包含山的风景的轮廓形状的边缘图像P1e。 以此方式生成的边缘 图像 P1e 被提供给左右对称度计算单元 52 和上下对称度计算单元 53。 0142 在步骤 S42 中, 左右对称度计算单元 52 基于从边缘图像生成单元 51 提供的边缘 图像来计算作为边缘图像的左右对称度的边缘左右对称度。 0143 此处, 参照图14来说明边缘左右对称度的计算的一例。 图14示出了边缘图像P1e。 0144 如图 14 所示, 如果边缘图像 。

45、P1e 包含 HW 个像素, 则边缘图像 P1e 中的左右方向 上的中心线是位于像素位置 W/2 处的线。 0145 此外, 考虑上下方向上的像素位置为 i 的、 水平方向上的线, 并假设从左右方向上 的中心线上的像素 ( 像素位置为 W/2 的像素 ) 起往右侧第 j 个像素的像素位置以 “+j” 来 表达, 而从水平方向上的中心线上的像素起往左侧第 j 个像素的像素位置以 “-j” 来表达。 0146 此时, 在边缘图像 P1e 中, 位于左右方向上的中心线 ( 像素位置为 W/2) 相对两侧 的、 像素位置为像素位置 (i, j) 和 (i, -j)( 以下简称像素位置 (i, j) 的。

46、一对像素的边缘 信息之间的差的总和 d、 以及位于左右方向上的中心线相对两侧的一对像素的边缘信息的 总和 s( 即全部像素的边缘信息的总和 ) 由下式 (1) 和 (2) 来表达。 说 明 书 CN 102376090 A CN 102376097 A9/23 页 12 0147 0148 0149 在式 (1) 和 (2) 中, 系数 w 是随着相对于边缘图像的中心所定义的关注像素的像 素位置 (i, j) 距输入图像的中心点的距离增大而权重减低的权重系数, 并当从输入图像的 中心点距像素位置 (i, j) 的距离以 r 表示时, 系数 w 由下式 (3) 来表达。 0150 0151 此外。

47、, 假设式 (3) 中的常数 为任意设定的值。 0152 式 (1) 所表达的 “边缘信息之间的差的总和 d” 具有随着边缘图像 P1e 的左右对称 度增大而趋近于 “0” 的值, 并且 “边缘信息之间的差的总和 d” 具有随着边缘图像 P1e 的左 右非对称度增大而趋近于 “边缘信息的总和” s 的值。因此, 作为边缘图像的左右对称度的 边缘左右对称度 sym_edg_LR 由下式 (4) 来表达。 0153 0154 即, 边缘左右对称度 sym_edg_LR 具有范围为 0 sym_edg_LR 1 的值, 并具有随 着边缘图像 P1e 的左右对称的增大而趋近于 “1” 的值。 0155。

48、 以此方式, 计算边缘左右对称度。 0156 返回图 12 的流程图, 在步骤 S43 中, 上下对称度计算单元 53 基于从边缘图像生成 单元 51 提供的边缘图像来计算作为边缘图像的上下对称度的边缘上下对称度。 0157 此外, 对于边缘上下对称度sym_edg_TB, 如图15所示, 假设边缘图像P1e的上下方 向上的中心线为像素位置为H/2的线, 并考虑左右方向上位于像素位置j的、 竖直方向上的 包含像素的线。此外, 当假设从上下方向上的中心线上的像素 ( 像素位置为 H/2 的像素 ) 起往下侧第 i 个像素的像素位置以 “+i” 来表达、 且从上下方向上的中心线上的像素起往上 侧第 i 个像素的像素位置以 “-i” 来表达时, 通过在式 (1) 和 (2) 中彼此调换值 H 和值 W 从 而与计算边缘左右对称度 sym_edg_LR 同样方式地计算边缘上下对称度。sym_edg_TB。 0158 以此方式, 计算边缘上下对称度。 0159 在步骤 S43 之后, 处理返回图 11 的流程图的步骤 S31 且处理前进至步骤 S32。 0160 顺便提及, 当作为输入图像而输入如图 16 的左侧所示的、 将呈大致同一形状且不 同色彩。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1