图像合成装置以及图像合成程序.pdf

上传人:1*** 文档编号:4288514 上传时间:2018-09-13 格式:PDF 页数:15 大小:3.05MB
返回 下载 相关 举报
摘要
申请专利号:

CN200980162833.5

申请日:

2009.12.11

公开号:

CN102652321A

公开日:

2012.08.29

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):G06T 3/00申请日:20091211|||公开

IPC分类号:

G06T3/00; G06T1/00; H04N5/265; H04N7/18

主分类号:

G06T3/00

申请人:

三菱电机株式会社

发明人:

滨田雅树; 加藤义幸; 岛居晃; 石田良平; 春日隆文

地址:

日本东京

优先权:

专利代理机构:

中国国际贸易促进委员会专利商标事务所 11038

代理人:

金春实

PDF下载: PDF下载
内容摘要

具备:矩阵存储器(13),储存将输入图像的部分区域和输出图像的部分区域对应起来的矩阵信息;以及矢量图形处理部(14),根据通过分别规定分割输出图像的多个图形区域的形状的顶点数据以及指定该顶点数据的描绘内容的描绘指令来定义的矢量形式的图形数据描绘图形区域的矢量图形,使用利用矩阵信息规定的对应关系对矢量图形实施坐标变换处理而计算输入图像的纹理坐标,将使用与该纹理坐标对应的输入图像的像素数据来计算出的合成图像数据显示为输出图像。

权利要求书

1.一种图像合成装置,其特征在于,具备:图像输入部,取入多个输入图像;图像存储器,储存由所述图像输入部取入的输入图像;矩阵存储器,关于将所述输入图像的部分区域和输出图像的部分区域对应起来的矩阵信息,按照形成所述部分区域的图形单位进行储存;矢量图形处理部,输入通过分别规定分割所述输出图像的多个图形区域的形状的顶点数据以及指定该顶点数据的描绘内容的描绘指令来定义的矢量形式的图形数据,根据该图形数据描绘所述图形区域的矢量图形;图像合成部,使用由从所述矩阵存储器读出的矩阵信息规定的对应关系,对由所述矢量图形处理部描绘出的矢量图形实施坐标变换处理,计算所述输入图像的纹理坐标,并且使用从所述图像存储器读出的与该纹理坐标对应的所述输入图像的像素数据,计算该输入图像和所述输出图像的合成图像数据;显示用存储器,储存所述图像合成部计算出的所述合成图像数据;以及显示控制部,将从所述显示用存储器读出的所述合成图像数据作为所述输出图像而显示于显示装置的画面上。2.根据权利要求1所述的图像合成装置,其特征在于,所述矢量图形处理部具备以完成由所述图像输入部进行的输入图像的取入为契机而开始矢量图形的描绘的模式、和依照描绘开始命令开始所述矢量图形的描绘的模式。3.根据权利要求1所述的图像合成装置,其特征在于,所述图像合成部将在所述显示用存储器中储存的合成图像数据与由所述矢量图形处理部描绘出的矢量图形数据之间进行混合运算而得到的结果作为合成图像数据而储存于所述显示用存储器。4.根据权利要求1所述的图像合成装置,其特征在于,所述矢量形式的图形数据是通过用在轮廓线的一部分中包括曲线的图形区域对所述输出图像进行分割而得到的顶点数据以及指定该顶点数据的描绘内容的描绘指令来定义的图形数据,所述矢量图形处理部如果根据所述图形数据判定为所述图形区域在轮廓线的一部分中包括曲线,则将该轮廓线分割为微小线段而描绘该图形区域的矢量图形。5.根据权利要求1所述的图像合成装置,其特征在于,将所述图像存储器以及所述显示用存储器分别设为双缓冲结构,并行地进行针对所述图像存储器的所述输入图像的储存和像素数据的读出,并行地进行针对所述显示用存储器的合成图像数据的储存和读出。6.一种图像合成程序,用于使计算机作为如下部件发挥功能:图像输入部,取入多个输入图像;图像存储器,储存由所述图像输入部取入的输入图像;矩阵存储器,关于将所述输入图像的部分区域和输出图像的部分区域对应起来的矩阵信息,按照形成所述部分区域的图形单位进行储存;矢量图形处理部,输入通过分别规定分割所述输出图像的多个图形区域的形状的顶点数据以及指定该顶点数据的描绘内容的描绘指令来定义的矢量形式的图形数据,根据该图形数据描绘所述图形区域的矢量图形;图像合成部,使用由从所述矩阵存储器读出的矩阵信息规定的对应关系,对由所述矢量图形处理部描绘出的矢量图形实施坐标变换处理,计算所述输入图像的纹理坐标,并且使用从所述图像存储器读出的与该纹理坐标对应的所述输入图像的像素数据,计算该输入图像和所述输出图像的合成图像数据;显示用存储器,储存所述图像合成部计算出的所述合成图像数据;以及显示控制部,将从所述显示用存储器读出的所述合成图像数据作为所述输出图像而显示于显示装置的画面上。

说明书

图像合成装置以及图像合成程序

技术领域

本发明涉及输入对从多个视点观察的实际图像进行摄影而得到
的图像数据并对各图像进行视点变换而合成从其他视点观察的合成图
像的图像合成装置以及用于使计算机作为该装置发挥功能的图像合成
程序。

背景技术

以往,将从对实际图像进行摄像的摄像部输入的图像变换为从规
定的虚拟视点观察的虚拟图像的图像处理装置得到了广泛使用。

例如,专利文献1公开的图像处理装置为了简化虚拟图像的生成,
具备用于将输出图像的像素位置和输入图像的像素位置对应起来的映
射表格。即,在专利文献1公开的图像处理装置中,除了虚拟照相机
的像素坐标位置(u,v)与实际照相机的像素坐标位置(U,V)的关
系以外,根据需要,将实际照相机的标识符、和由多个照相机对应的
情况的各照相机的必要度等记录到映射表格。

另外,在输出图像的1个像素位置对应于输入图像的多个像素位
置的情况下,还能够根据与输入图像的像素位置同时参照的各像素的
必要度,合成这些像素值。

以往的图像处理装置如以上那样构成,所以能够简易地得到输出
图像的像素位置与输入图像的像素位置的关系。

但是,在映射表格中,需要以像素单位储存必要的信息,所以存
在存储器规模增大这样的课题。

发明内容

本发明是为了解决上述那样的课题而完成的,其目的在于得到一
种无需使用像素单位的映射表格而能够削减存储器容量,同时简易地
得到输出图像的像素位置与输入图像的像素位置的关系的图像合成装
置以及用于使计算机作为该装置发挥功能的图像合成程序。

专利文献1:日本特开2008-48266号公报

本发明的图像合成装置具备:图像输入部,取入多个输入图像;
图像存储器,储存由图像输入部取入的输入图像;矩阵存储器,按照
形成部分区域的图形单位,储存将输入图像的部分区域和输出图像的
部分区域对应起来的矩阵信息;矢量图形处理部,输入通过分别规定
分割输出图像的多个图形区域的形状的顶点数据以及指定该顶点数据
的描绘内容的描绘指令来定义的矢量形式的图形数据,根据该图形数
据描绘图形区域的矢量图形;图像合成部,使用利用从矩阵存储器读
出的矩阵信息规定的对应关系,对由矢量图形处理部描绘出的矢量图
形实施坐标变换处理,计算输入图像的纹理坐标,并且使用从图像存
储器读出的与该纹理坐标对应的输入图像的像素数据,计算该输入图
像和输出图像的合成图像数据;显示用存储器,储存图像合成部计算
出的合成图像数据;以及显示控制部,将从显示用存储器读出的合成
图像数据作为输出图像而显示于显示装置的画面上。

根据本发明,具备:矩阵存储器,按照形成部分区域的图形单位,
储存将输入图像的部分区域和输出图像的部分区域对应起来的矩阵信
息;以及矢量图形处理部,输入通过分别规定分割输出图像的多个图
形区域的形状的顶点数据以及指定该顶点数据的描绘内容的描绘指令
来定义的矢量形式的图形数据,根据该图形数据描绘图形区域的矢量
图形,使用利用从矩阵存储器读出的矩阵信息规定的对应关系,对由
矢量图形处理部描绘出的矢量图形实施坐标变换处理,计算输入图像
的纹理坐标,将使用与该纹理坐标对应的输入图像的像素数据计算出
的合成图像数据,作为输出图像,显示于显示装置的画面上。

这样,通过使用将输出图像的部分区域和输入图像的部分区域对
应起来的矩阵信息来进行图像合成,具有相比于使用像素单位的映射
表格的情况能够削减存储器容量这样的效果。

附图说明

图1是示出本发明的实施方式1的图像合成装置的结构的框图。

图2是示出矢量形式的图形数据的一个例子的图。

图3是示出输出图像的区域分割的一个例子的图。

图4是示出输出图像的部分区域和输入图像的部分区域的对应例
的图。

图5是示出实施方式1的图像合成装置的动作的流程的流程图。

图6是示出本发明的实施方式2的图像合成装置的动作的流程的
流程图。

具体实施方式

以下,为了更详细地说明本发明,按照附图,说明具体实施方式。

实施方式1.

图1是示出本发明的实施方式1的图像合成装置的结构的框图。
在图1中,实施方式1的图像合成装置10具备图像输入部11、图像
存储器12、矩阵存储器13、矢量图形处理部14、图像合成部15、显
示用存储器16以及显示控制部17。图像输入部11是从多个输入图像
(静止图像或者运动图像)1、2、3、4、…中,选择取入对象的图像
数据,对图像存储器12进行写入的结构部。例如,图像输入部11也
可以构成为保持用于临时保存图像数据的几行量的临时缓冲器
(temporary buffer)。

矩阵存储器13是保持将输入图像的部分区域和输出图像的部分
区域对应起来的矩阵信息的存储部,按照形成部分区域的图形单位保
持矩阵信息。关于矩阵信息,只要将输出图像与输入图像的关系预先
决定为1个,则在开始图像合成之前仅进行1次计算,并将计算结果
的矩阵信息储存到矩阵存储器13,则在图像合成的途中无需进行变
更。另外,在切换使用多个输入图像与输出图像的关系的情况下,如
果将与各场景对应的矩阵信息预先储存到矩阵存储器13,并在图像合
成时切换将使用哪个矩阵信息,则还能够对应于视点变更。

矢量图形处理部14是输入并接收通过将输出图像(显示画面)
分割为多个区域而作为结果得到的顶点数据、和由指定使用了顶点数
据的描绘内容的描绘指令构成的指令列来定义的矢量形式的图形数
据,并根据这些来生成矢量图形的结构部。

图2是示出矢量形式的图形数据的一个例子的图。在图2的例子
中,由与5个描绘指令对应的顶点数据构成图形。在描绘曲线的情况
下,通过指定图形的终点和控制点来进行描绘。

此处,区域分割如图3所示,不限于一般的三角形(参照图3(a))、
四边形(参照图3(b))等,也可以使用一部分轮廓线包括曲线的矢
量图形来分割(参照图3(c))。例如,在输入图像是来自失真大的
广角照相机的输入的情况下,通过按照矢量图形分割输出图像(显示
画面),能够抑制照相机的镜头失真的影响。

图4是示出矩阵存储器13中保存的输出图像的部分区域与输入
图像的部分区域的对应关系的一个例子的图。例如,在如图4那样输
入图像内的三角形的区域与输出图像(显示画面)的三角形的区域对
应的情况下,能够将两者的对应关系如以下那样表现为2×3的矩阵。

其中,将变换矩阵的第i行j列分量表现为Mij,输入图像内的
点(X,Y)对应于输出图像的点(X’,Y’)。另外,X’和Y’成为下
述式(1)的关系。矢量图形处理部14判定矢量图形的内部中包含的
区域,将进行描绘的像素的XY坐标输出到图像合成部15。

X’=(M00·X+M01·Y+M02)

Y’=(M10·X+M11·Y+M12)…(1)

图像合成部15使用矩阵存储器13的信息对图像存储器12中保
存的图像进行规定的坐标变换处理,将其结果针对矢量图形进行纹理
映射。另外,图像合成部15计算与进行描绘的像素对应的存储器的物
理地址和描绘数据(描绘颜色)并储存到显示用存储器16。在矩阵存
储器13中,保存了以图形为单位的变换矩阵(矩阵信息),而不是以
像素为单位,所以图像合成部15针对矢量图形的内部的像素,通过插
值计算纹理坐标。显示控制部17从显示用存储器16读出数据,生成
与LCD、液晶显示器等各显示装置对应的同步信号来进行画面显示。

在图1的例子中,假设了图像输入部11、图像存储器12、矩阵
存储器13、矢量图形处理部14、图像合成部15、显示用存储器16、
以及显示控制部17分别由例如安装MPU(Micro Processing Unit,微
处理单元)的半导体集成电路基板等专用的硬件构成的情况,但不限
于此。

例如,也可以将记述了构成图像合成装置10的、图像输入部11、
图像存储器12、矩阵存储器13、矢量图形处理部14、图像合成部15、
显示用存储器16以及显示控制部17的处理内容的图像合成程序储存
到计算机的存储器,该计算机的CPU(Central Processing Unit,中央
处理单元)执行该存储器中储存的图像合成程序,从而实现为该计算
机的硬件和软件协作而得到的结构部11~17。

另外,在该计算机中,例如,除了个人计算机以外,还包括能够
执行后述图像合成程序的便携电话、便携信息终端、汽车导航装置等。

接下来,说明动作。

图5是示出实施方式1的图像合成装置的动作的流程的流程图。
根据该图,详细说明实施方式1的图像合成处理。

首先,图像合成装置10通过从搭载本装置10的系统的CPU接
收合成处理开始命令,开始动作。其中,需要在动作开始之前,预先
设定矩阵存储器13的内容。

图像输入部11如果接收到上述合成处理开始命令,则从输入图
像(静止图像或者运动图像)1、2、3、4、…中选择取入对象的图像
数据,储存到图像存储器12(步骤ST1)。图像输入部11直至合成
对象的所有图像的取入完成为止,反复进行步骤ST1的处理(步骤
ST2)。

如果通过图像输入部11,合成对象的所有图像的取入完成,则矢
量图形处理部14输入通过顶点数据和指令列来定义的矢量形式的图
形数据,开始矢量图形的描绘(步骤ST3)。此时,矢量图形处理部
14判定矢量图形的轮廓线是否包括曲线(步骤ST4)。在矢量图形的
轮廓线是曲线的情况下(步骤ST4:“是”),矢量图形处理部14将轮
廓线分割为微小线段(步骤ST5)。

在轮廓线不包括曲线的情况下(步骤ST4:“否”)、或者在步骤
ST5中将轮廓线分割为微小线段之后,矢量图形的轮廓线仅由直线构
成,所以能够使用一般的图形的内外判定方法的手法容易地判定图形
的内部中包含的区域。因此,矢量图形处理部14计算图形的内部中包
含的像素的XY坐标,将该XY坐标输出到图像合成部15(步骤ST6)。

图像合成部15从矩阵存储器13读出与当前描绘着的图形对应的
矩阵信息,对从矢量图形处理部14输入的像素的XY坐标(X,Y),
按照下述式(2)进行坐标变换(步骤ST7)。其结果,得到输入图像
的纹理坐标(U,V)。其中,使变换矩阵成为3行3列而如Mij那样
表示第i行j列分量。另外,在下述式(2)中,为了透视校正(perspective 
correction),除以W。在变换矩阵的第3行是M20=M21=0、M22=1
的情况下,成为通常的仿射变换,所以不需要利用W进行除法。

U=(M00·X+M01·Y+M02)/W

V=(M10·X+M11·Y+M12)/W

W=M20·X+M21·Y+M22

…(2)

接下来,图像合成部15从图像存储器12读出与纹理坐标(U,
V)对应的输入图像的像素,计算与进行描绘的像素对应的存储器的
物理地址和描绘数据(描绘颜色)并储存到显示用存储器16(步骤
ST8)。此时,也可以读出多个输入图像的像素,进行双线性等的滤
波处理。

此处,本发明的图像合成装置10假设有多个输入图像,所以需
要判别纹理坐标(U,V)对应于哪个输入图像。

因此,例如也可以对矩阵存储器13附加表示是对应于哪个输入
图像的矩阵的标识符。另外,也可以在将输入图像储存到图像存储器
12时,同时进行缩小·滤波处理等,在图像合成部15读出时,能够作
为1个输入图像进行处理。

如果图像合成部15针对当前描绘着的图形的内部中包含的所有
像素,结束了步骤ST7至步骤ST8的处理,则对输出图像(显示画面)
进行区域分割而得到的所有图形区域的描绘完成,判定输出图像的生
成是否结束(步骤ST9)。在输出图像的生成未结束的情况下(步骤
ST9:“否”),反复实施步骤ST3至步骤ST8的处理。如果输出图像
的生成结束(步骤ST9:“是”),则显示控制部17从显示用存储器
16读出1帧量的数据,生成与LCD、液晶显示器等显示装置对应的
同步信号来进行画面显示(步骤ST10)。

进而,图像合成部15判定是否需要接下来的帧的图像合成(步
骤ST11)。此时,在需要的情况下(步骤ST11:“是”),反复进行
步骤ST1至步骤ST10的处理。在无需接下来的帧的图像合成的情况
下(步骤ST11:“否”),结束图像合成。

另外,在上述说明中,为便于说明,以图像合成装置10的各构
成要素顺序地动作的情况为例子进行了说明,但在希望提高图像合成
性能的情况下,也可以使图像存储器12、显示用存储器16分别成为
双缓冲(double buffer)结构,而使针对图像存储器12的图像输入用
的写入和图像合成用的读出、针对显示用存储器16的图像合成结果的
写入和显示用的读出等并行地动作。

如以上那样,根据该实施方式1,具备:矩阵存储器13,按照形
成部分区域的图形单位,储存将输入图像的部分区域和输出图像的部
分区域对应起来的矩阵信息;以及矢量图形处理部14,输入通过分别
规定分割输出图像的多个图形区域的形状的顶点数据以及指定该顶点
数据的描绘内容的描绘指令定义的矢量形式的图形数据,根据该图形
数据描绘图形区域的矢量图形,使用通过从矩阵存储器13读出的矩阵
信息规定的对应关系,对由矢量图形处理部14描绘出的矢量图形实施
坐标变换处理,计算输入图像的纹理坐标,将使用与该纹理坐标对应
的输入图像的像素数据而计算出的合成图像数据作为输出图像而显示
于显示装置的画面上。这样,通过使用将输出图像的部分区域和输入
图像的部分区域对应起来的矩阵信息来进行图像合成,相比于使用像
素单位的映射表格的情况能够削减存储器容量。

另外,根据该实施方式1,即使矢量形式的图形数据是通过用在
轮廓线的一部分中包括曲线的图形区域分割输出图像而得到的顶点数
据以及指定该顶点数据的描绘内容的描绘指令定义的图形数据,由于
矢量图形处理部14将该轮廓线分割为微小线段而描绘该图形区域的
矢量图形,所以不限于三角形、四边形等,而能够使用一部分轮廓线
包括曲线的矢量图形对显示画面进行区域分割,能够根据输入图像的
种类使合成处理高效化。

进而,该实施方式1还能够在将字体、GUI(Graphical User 
Interface,图形用户界面)画面等矢量图形、和照相机输入的合成图
像重叠显示于1个画面中那样的用途中容易实现。

实施方式2.

在上述实施方式1中,示出了图像合成装置10将多个输入图像
合成为1个而显示的情况,但图像合成装置10还具有通常的矢量图形
描绘功能,所以也可以将矢量图形单独、或者与合成图像重叠地显示。

该实施方式2中的图像合成装置的结构本身与上述实施方式1相
同,但与上述实施方式1不同之处在于,如上所述将矢量图形单独、
或者将矢量图形与合成图像重叠地显示。因此,对于实施方式2的图
像合成装置的结构,参照上述实施方式1所示的图1。另外,以后,
作为例子,说明将合成图像和矢量图像(字体等)重叠显示的情况。

接下来,说明动作。

图6是示出本发明的实施方式2的图像合成装置的动作的流程的
流程图。图像合成装置10通过从搭载本装置10的系统的CPU接收图
形描绘开始命令,开始动作。其中,此时,设与上述实施方式1同样
地完成了合成图像的生成。

矢量图形处理部14如果接收到上述图形描绘开始命令,则输入
通过顶点数据和指令列来定义的矢量形式的图形数据,开始矢量图形
的描绘(步骤ST12)。矢量图形处理部14判定矢量图形的轮廓线是
否包括曲线(步骤ST13)。此处,在矢量图形的轮廓线是曲线的情况
下(步骤ST13:“是”),矢量图形处理部14将轮廓线分割为微小线
段(步骤ST14)。

在轮廓线不包括曲线的情况下(步骤ST13:“否”)或者在步骤
ST14中将轮廓线分割为微小线段之后,矢量图形的轮廓线仅由直线构
成,所以能够使用一般的图形的内外判定方法的手法容易地判定图形
的内部中包含的区域。因此,矢量图形处理部14计算图形的内部中包
含的像素的XY坐标,将该XY坐标输出到图像合成部15(步骤ST15)。

图像合成部15计算与从矢量图形处理部14输入的像素的XY坐
标对应的存储器的物理地址和描绘数据(描绘颜色)(步骤ST16)。
作为描绘颜色,在用单色来涂抹图形的情况下,输出固定颜色,在进
行分级(gradation)涂抹的情况下,通过在图像合成部15中进行颜
色的插值来应对。

接下来,图像合成部15暂时读出显示用存储器16中储存的合成
图像,并在与描绘颜色之间进行了混合运算(blend arithmetic)之后,
写回到显示用存储器16(步骤ST17)。

如果图像合成部15针对当前描绘着的图形的内部中包含的所有
像素,结束步骤ST16至步骤ST17的处理,则对输出图像(显示画面)
进行区域分割而得到的所有图形区域的描绘完成,判定输出图像的生
成是否结束(步骤ST18)。

在输出图像的生成未结束的情况下(步骤ST18:“否”),反复
实施步骤ST12至步骤ST17的处理。如果输出图像的生成结束(步骤
ST18:“是”),则显示控制部17从显示用存储器16读出1帧量的数
据,生成与LCD、液晶显示器等显示装置对应的同步信号而进行画面
显示(步骤ST19)。

如以上那样,根据该实施方式2,矢量图形处理部14具备:以与
上述实施方式1同样地由图像输入部11进行的输入图像的取入完成为
契机而开始矢量图形的描绘的模式;以及依照来自CPU的描绘开始命
令开始矢量图形的描绘的模式,图像合成部15将在显示用存储器16
中储存的合成图像数据与由矢量图形处理部14描绘出的矢量图形数
据之间进行混合运算而得到的结果作为合成图像数据储存到显示用存
储器16。由此,能够通过同一图像合成装置实现图像合成和矢量图形
的描绘这样的不同的2个功能,所以能够削减硬件规模。

(产业上的可利用性)

本发明的图像合成装置无需使用像素单位的映射表格而能够削
减存储器容量,同时简易地得到输出图像的像素位置与输入图像的像
素位置的关系,所以能够适用于车载照相机系统、监视照相机系统等。

图像合成装置以及图像合成程序.pdf_第1页
第1页 / 共15页
图像合成装置以及图像合成程序.pdf_第2页
第2页 / 共15页
图像合成装置以及图像合成程序.pdf_第3页
第3页 / 共15页
点击查看更多>>
资源描述

《图像合成装置以及图像合成程序.pdf》由会员分享,可在线阅读,更多相关《图像合成装置以及图像合成程序.pdf(15页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102652321 A (43)申请公布日 2012.08.29 C N 1 0 2 6 5 2 3 2 1 A *CN102652321A* (21)申请号 200980162833.5 (22)申请日 2009.12.11 G06T 3/00(2006.01) G06T 1/00(2006.01) H04N 5/265(2006.01) H04N 7/18(2006.01) (71)申请人三菱电机株式会社 地址日本东京 (72)发明人滨田雅树 加藤义幸 岛居晃 石田良平 春日隆文 (74)专利代理机构中国国际贸易促进委员会专 利商标事务所 11038 代理人金春实。

2、 (54) 发明名称 图像合成装置以及图像合成程序 (57) 摘要 具备:矩阵存储器(13),储存将输入图像的 部分区域和输出图像的部分区域对应起来的矩阵 信息;以及矢量图形处理部(14),根据通过分别 规定分割输出图像的多个图形区域的形状的顶点 数据以及指定该顶点数据的描绘内容的描绘指令 来定义的矢量形式的图形数据描绘图形区域的 矢量图形,使用利用矩阵信息规定的对应关系对 矢量图形实施坐标变换处理而计算输入图像的纹 理坐标,将使用与该纹理坐标对应的输入图像的 像素数据来计算出的合成图像数据显示为输出图 像。 (85)PCT申请进入国家阶段日 2012.06.11 (86)PCT申请的申请数据。

3、 PCT/JP2009/006807 2009.12.11 (87)PCT申请的公布数据 WO2011/070631 JA 2011.06.16 (51)Int.Cl. 权利要求书2页 说明书6页 附图6页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 6 页 附图 6 页 1/2页 2 1.一种图像合成装置,其特征在于,具备: 图像输入部,取入多个输入图像; 图像存储器,储存由所述图像输入部取入的输入图像; 矩阵存储器,关于将所述输入图像的部分区域和输出图像的部分区域对应起来的矩阵 信息,按照形成所述部分区域的图形单位进行储存; 矢量图形处理部,输入。

4、通过分别规定分割所述输出图像的多个图形区域的形状的顶点 数据以及指定该顶点数据的描绘内容的描绘指令来定义的矢量形式的图形数据,根据该图 形数据描绘所述图形区域的矢量图形; 图像合成部,使用由从所述矩阵存储器读出的矩阵信息规定的对应关系,对由所述矢 量图形处理部描绘出的矢量图形实施坐标变换处理,计算所述输入图像的纹理坐标,并且 使用从所述图像存储器读出的与该纹理坐标对应的所述输入图像的像素数据,计算该输入 图像和所述输出图像的合成图像数据; 显示用存储器,储存所述图像合成部计算出的所述合成图像数据;以及 显示控制部,将从所述显示用存储器读出的所述合成图像数据作为所述输出图像而显 示于显示装置的画。

5、面上。 2.根据权利要求1所述的图像合成装置,其特征在于, 所述矢量图形处理部具备以完成由所述图像输入部进行的输入图像的取入为契机而 开始矢量图形的描绘的模式、和依照描绘开始命令开始所述矢量图形的描绘的模式。 3.根据权利要求1所述的图像合成装置,其特征在于, 所述图像合成部将在所述显示用存储器中储存的合成图像数据与由所述矢量图形处 理部描绘出的矢量图形数据之间进行混合运算而得到的结果作为合成图像数据而储存于 所述显示用存储器。 4.根据权利要求1所述的图像合成装置,其特征在于, 所述矢量形式的图形数据是通过用在轮廓线的一部分中包括曲线的图形区域对所述 输出图像进行分割而得到的顶点数据以及指定。

6、该顶点数据的描绘内容的描绘指令来定义 的图形数据, 所述矢量图形处理部如果根据所述图形数据判定为所述图形区域在轮廓线的一部分 中包括曲线,则将该轮廓线分割为微小线段而描绘该图形区域的矢量图形。 5.根据权利要求1所述的图像合成装置,其特征在于, 将所述图像存储器以及所述显示用存储器分别设为双缓冲结构,并行地进行针对所述 图像存储器的所述输入图像的储存和像素数据的读出,并行地进行针对所述显示用存储器 的合成图像数据的储存和读出。 6.一种图像合成程序,用于使计算机作为如下部件发挥功能: 图像输入部,取入多个输入图像; 图像存储器,储存由所述图像输入部取入的输入图像; 矩阵存储器,关于将所述输入图。

7、像的部分区域和输出图像的部分区域对应起来的矩阵 信息,按照形成所述部分区域的图形单位进行储存; 矢量图形处理部,输入通过分别规定分割所述输出图像的多个图形区域的形状的顶点 数据以及指定该顶点数据的描绘内容的描绘指令来定义的矢量形式的图形数据,根据该图 权 利 要 求 书CN 102652321 A 2/2页 3 形数据描绘所述图形区域的矢量图形; 图像合成部,使用由从所述矩阵存储器读出的矩阵信息规定的对应关系,对由所述矢 量图形处理部描绘出的矢量图形实施坐标变换处理,计算所述输入图像的纹理坐标,并且 使用从所述图像存储器读出的与该纹理坐标对应的所述输入图像的像素数据,计算该输入 图像和所述输出。

8、图像的合成图像数据; 显示用存储器,储存所述图像合成部计算出的所述合成图像数据;以及 显示控制部,将从所述显示用存储器读出的所述合成图像数据作为所述输出图像而显 示于显示装置的画面上。 权 利 要 求 书CN 102652321 A 1/6页 4 图像合成装置以及图像合成程序 技术领域 0001 本发明涉及输入对从多个视点观察的实际图像进行摄影而得到的图像数据并对 各图像进行视点变换而合成从其他视点观察的合成图像的图像合成装置以及用于使计算 机作为该装置发挥功能的图像合成程序。 背景技术 0002 以往,将从对实际图像进行摄像的摄像部输入的图像变换为从规定的虚拟视点观 察的虚拟图像的图像处理装。

9、置得到了广泛使用。 0003 例如,专利文献1公开的图像处理装置为了简化虚拟图像的生成,具备用于将输 出图像的像素位置和输入图像的像素位置对应起来的映射表格。即,在专利文献1公开 的图像处理装置中,除了虚拟照相机的像素坐标位置(u,v)与实际照相机的像素坐标位置 (U,V)的关系以外,根据需要,将实际照相机的标识符、和由多个照相机对应的情况的各照 相机的必要度等记录到映射表格。 0004 另外,在输出图像的1个像素位置对应于输入图像的多个像素位置的情况下,还 能够根据与输入图像的像素位置同时参照的各像素的必要度,合成这些像素值。 0005 以往的图像处理装置如以上那样构成,所以能够简易地得到输。

10、出图像的像素位置 与输入图像的像素位置的关系。 0006 但是,在映射表格中,需要以像素单位储存必要的信息,所以存在存储器规模增大 这样的课题。 发明内容 0007 本发明是为了解决上述那样的课题而完成的,其目的在于得到一种无需使用像素 单位的映射表格而能够削减存储器容量,同时简易地得到输出图像的像素位置与输入图像 的像素位置的关系的图像合成装置以及用于使计算机作为该装置发挥功能的图像合成程 序。 0008 专利文献1:日本特开200848266号公报 0009 本发明的图像合成装置具备:图像输入部,取入多个输入图像;图像存储器,储存 由图像输入部取入的输入图像;矩阵存储器,按照形成部分区域的。

11、图形单位,储存将输入图 像的部分区域和输出图像的部分区域对应起来的矩阵信息;矢量图形处理部,输入通过分 别规定分割输出图像的多个图形区域的形状的顶点数据以及指定该顶点数据的描绘内容 的描绘指令来定义的矢量形式的图形数据,根据该图形数据描绘图形区域的矢量图形;图 像合成部,使用利用从矩阵存储器读出的矩阵信息规定的对应关系,对由矢量图形处理部 描绘出的矢量图形实施坐标变换处理,计算输入图像的纹理坐标,并且使用从图像存储器 读出的与该纹理坐标对应的输入图像的像素数据,计算该输入图像和输出图像的合成图像 数据;显示用存储器,储存图像合成部计算出的合成图像数据;以及显示控制部,将从显示 用存储器读出的合。

12、成图像数据作为输出图像而显示于显示装置的画面上。 说 明 书CN 102652321 A 2/6页 5 0010 根据本发明,具备:矩阵存储器,按照形成部分区域的图形单位,储存将输入图像 的部分区域和输出图像的部分区域对应起来的矩阵信息;以及矢量图形处理部,输入通过 分别规定分割输出图像的多个图形区域的形状的顶点数据以及指定该顶点数据的描绘内 容的描绘指令来定义的矢量形式的图形数据,根据该图形数据描绘图形区域的矢量图形, 使用利用从矩阵存储器读出的矩阵信息规定的对应关系,对由矢量图形处理部描绘出的矢 量图形实施坐标变换处理,计算输入图像的纹理坐标,将使用与该纹理坐标对应的输入图 像的像素数据计。

13、算出的合成图像数据,作为输出图像,显示于显示装置的画面上。 0011 这样,通过使用将输出图像的部分区域和输入图像的部分区域对应起来的矩阵信 息来进行图像合成,具有相比于使用像素单位的映射表格的情况能够削减存储器容量这样 的效果。 附图说明 0012 图1是示出本发明的实施方式1的图像合成装置的结构的框图。 0013 图2是示出矢量形式的图形数据的一个例子的图。 0014 图3是示出输出图像的区域分割的一个例子的图。 0015 图4是示出输出图像的部分区域和输入图像的部分区域的对应例的图。 0016 图5是示出实施方式1的图像合成装置的动作的流程的流程图。 0017 图6是示出本发明的实施方式。

14、2的图像合成装置的动作的流程的流程图。 具体实施方式 0018 以下,为了更详细地说明本发明,按照附图,说明具体实施方式。 0019 实施方式1. 0020 图1是示出本发明的实施方式1的图像合成装置的结构的框图。在图1中,实施 方式1的图像合成装置10具备图像输入部11、图像存储器12、矩阵存储器13、矢量图形处 理部14、图像合成部15、显示用存储器16以及显示控制部17。图像输入部11是从多个输 入图像(静止图像或者运动图像)1、2、3、4、中,选择取入对象的图像数据,对图像存储器 12进行写入的结构部。例如,图像输入部11也可以构成为保持用于临时保存图像数据的几 行量的临时缓冲器(te。

15、mporary buffer)。 0021 矩阵存储器13是保持将输入图像的部分区域和输出图像的部分区域对应起来的 矩阵信息的存储部,按照形成部分区域的图形单位保持矩阵信息。关于矩阵信息,只要将输 出图像与输入图像的关系预先决定为1个,则在开始图像合成之前仅进行1次计算,并将计 算结果的矩阵信息储存到矩阵存储器13,则在图像合成的途中无需进行变更。另外,在切换 使用多个输入图像与输出图像的关系的情况下,如果将与各场景对应的矩阵信息预先储存 到矩阵存储器13,并在图像合成时切换将使用哪个矩阵信息,则还能够对应于视点变更。 0022 矢量图形处理部14是输入并接收通过将输出图像(显示画面)分割为多。

16、个区域而 作为结果得到的顶点数据、和由指定使用了顶点数据的描绘内容的描绘指令构成的指令列 来定义的矢量形式的图形数据,并根据这些来生成矢量图形的结构部。 0023 图2是示出矢量形式的图形数据的一个例子的图。在图2的例子中,由与5个描 绘指令对应的顶点数据构成图形。在描绘曲线的情况下,通过指定图形的终点和控制点来 说 明 书CN 102652321 A 3/6页 6 进行描绘。 0024 此处,区域分割如图3所示,不限于一般的三角形(参照图3(a)、四边形(参照图 3(b)等,也可以使用一部分轮廓线包括曲线的矢量图形来分割(参照图3(c)。例如, 在输入图像是来自失真大的广角照相机的输入的情况。

17、下,通过按照矢量图形分割输出图像 (显示画面),能够抑制照相机的镜头失真的影响。 0025 图4是示出矩阵存储器13中保存的输出图像的部分区域与输入图像的部分区域 的对应关系的一个例子的图。例如,在如图4那样输入图像内的三角形的区域与输出图像 (显示画面)的三角形的区域对应的情况下,能够将两者的对应关系如以下那样表现为23 的矩阵。 0026 其中,将变换矩阵的第i行j列分量表现为Mij,输入图像内的点(X,Y)对应于输 出图像的点(X,Y)。另外,X和Y成为下述式(1)的关系。矢量图形处理部14判定矢 量图形的内部中包含的区域,将进行描绘的像素的XY坐标输出到图像合成部15。 0027 X=。

18、(M00X+M01Y+M02) 0028 Y=(M10X+M11Y+M12)(1) 0029 图像合成部15使用矩阵存储器13的信息对图像存储器12中保存的图像进行规 定的坐标变换处理,将其结果针对矢量图形进行纹理映射。另外,图像合成部15计算与进 行描绘的像素对应的存储器的物理地址和描绘数据(描绘颜色)并储存到显示用存储器16。 在矩阵存储器13中,保存了以图形为单位的变换矩阵(矩阵信息),而不是以像素为单位,所 以图像合成部15针对矢量图形的内部的像素,通过插值计算纹理坐标。显示控制部17从 显示用存储器16读出数据,生成与LCD、液晶显示器等各显示装置对应的同步信号来进行 画面显示。 0。

19、030 在图1的例子中,假设了图像输入部11、图像存储器12、矩阵存储器13、矢量图形 处理部14、图像合成部15、显示用存储器16、以及显示控制部17分别由例如安装MPU(Micro Processing Unit,微处理单元)的半导体集成电路基板等专用的硬件构成的情况,但不限 于此。 0031 例如,也可以将记述了构成图像合成装置10的、图像输入部11、图像存储器12、矩 阵存储器13、矢量图形处理部14、图像合成部15、显示用存储器16以及显示控制部17的 处理内容的图像合成程序储存到计算机的存储器,该计算机的CPU(Central Processing Unit,中央处理单元)执行该存。

20、储器中储存的图像合成程序,从而实现为该计算机的硬件和 软件协作而得到的结构部1117。 0032 另外,在该计算机中,例如,除了个人计算机以外,还包括能够执行后述图像合成 程序的便携电话、便携信息终端、汽车导航装置等。 0033 接下来,说明动作。 0034 图5是示出实施方式1的图像合成装置的动作的流程的流程图。根据该图,详细 说明实施方式1的图像合成处理。 0035 首先,图像合成装置10通过从搭载本装置10的系统的CPU接收合成处理开始命 令,开始动作。其中,需要在动作开始之前,预先设定矩阵存储器13的内容。 0036 图像输入部11如果接收到上述合成处理开始命令,则从输入图像(静止图像。

21、或者 运动图像)1、2、3、4、中选择取入对象的图像数据,储存到图像存储器12(步骤ST1)。图像 说 明 书CN 102652321 A 4/6页 7 输入部11直至合成对象的所有图像的取入完成为止,反复进行步骤ST1的处理(步骤ST2)。 0037 如果通过图像输入部11,合成对象的所有图像的取入完成,则矢量图形处理部 14输入通过顶点数据和指令列来定义的矢量形式的图形数据,开始矢量图形的描绘(步骤 ST3)。此时,矢量图形处理部14判定矢量图形的轮廓线是否包括曲线(步骤ST4)。在矢量 图形的轮廓线是曲线的情况下(步骤ST4:“是”),矢量图形处理部14将轮廓线分割为微小 线段(步骤ST。

22、5)。 0038 在轮廓线不包括曲线的情况下(步骤ST4:“否”)、或者在步骤ST5中将轮廓线分割 为微小线段之后,矢量图形的轮廓线仅由直线构成,所以能够使用一般的图形的内外判定 方法的手法容易地判定图形的内部中包含的区域。因此,矢量图形处理部14计算图形的内 部中包含的像素的XY坐标,将该XY坐标输出到图像合成部15(步骤ST6)。 0039 图像合成部15从矩阵存储器13读出与当前描绘着的图形对应的矩阵信息,对从 矢量图形处理部14输入的像素的XY坐标(X,Y),按照下述式(2)进行坐标变换(步骤ST7)。 其结果,得到输入图像的纹理坐标(U,V)。其中,使变换矩阵成为3行3列而如Mij那。

23、样表 示第i行j列分量。另外,在下述式(2)中,为了透视校正(perspective correction),除 以W。在变换矩阵的第3行是M20=M21=0、M22=1的情况下,成为通常的仿射变换,所以不需 要利用W进行除法。 0040 U=(M00X+M01Y+M02)/W 0041 V=(M10X+M11Y+M12)/W 0042 W=M20X+M21Y+M22 0043 (2) 0044 接下来,图像合成部15从图像存储器12读出与纹理坐标(U,V)对应的输入图像 的像素,计算与进行描绘的像素对应的存储器的物理地址和描绘数据(描绘颜色)并储存到 显示用存储器16(步骤ST8)。此时,也。

24、可以读出多个输入图像的像素,进行双线性等的滤 波处理。 0045 此处,本发明的图像合成装置10假设有多个输入图像,所以需要判别纹理坐标 (U,V)对应于哪个输入图像。 0046 因此,例如也可以对矩阵存储器13附加表示是对应于哪个输入图像的矩阵的标 识符。另外,也可以在将输入图像储存到图像存储器12时,同时进行缩小滤波处理等,在 图像合成部15读出时,能够作为1个输入图像进行处理。 0047 如果图像合成部15针对当前描绘着的图形的内部中包含的所有像素,结束了步 骤ST7至步骤ST8的处理,则对输出图像(显示画面)进行区域分割而得到的所有图形区域 的描绘完成,判定输出图像的生成是否结束(步骤。

25、ST9)。在输出图像的生成未结束的情况下 (步骤ST9:“否”),反复实施步骤ST3至步骤ST8的处理。如果输出图像的生成结束(步骤 ST9:“是”),则显示控制部17从显示用存储器16读出1帧量的数据,生成与LCD、液晶显示 器等显示装置对应的同步信号来进行画面显示(步骤ST10)。 0048 进而,图像合成部15判定是否需要接下来的帧的图像合成(步骤ST11)。此时,在 需要的情况下(步骤ST11:“是”),反复进行步骤ST1至步骤ST10的处理。在无需接下来的 帧的图像合成的情况下(步骤ST11:“否”),结束图像合成。 0049 另外,在上述说明中,为便于说明,以图像合成装置10的各构。

26、成要素顺序地动作 说 明 书CN 102652321 A 5/6页 8 的情况为例子进行了说明,但在希望提高图像合成性能的情况下,也可以使图像存储器12、 显示用存储器16分别成为双缓冲(double buffer)结构,而使针对图像存储器12的图像 输入用的写入和图像合成用的读出、针对显示用存储器16的图像合成结果的写入和显示 用的读出等并行地动作。 0050 如以上那样,根据该实施方式1,具备:矩阵存储器13,按照形成部分区域的图形 单位,储存将输入图像的部分区域和输出图像的部分区域对应起来的矩阵信息;以及矢量 图形处理部14,输入通过分别规定分割输出图像的多个图形区域的形状的顶点数据以及。

27、指 定该顶点数据的描绘内容的描绘指令定义的矢量形式的图形数据,根据该图形数据描绘图 形区域的矢量图形,使用通过从矩阵存储器13读出的矩阵信息规定的对应关系,对由矢量 图形处理部14描绘出的矢量图形实施坐标变换处理,计算输入图像的纹理坐标,将使用与 该纹理坐标对应的输入图像的像素数据而计算出的合成图像数据作为输出图像而显示于 显示装置的画面上。这样,通过使用将输出图像的部分区域和输入图像的部分区域对应起 来的矩阵信息来进行图像合成,相比于使用像素单位的映射表格的情况能够削减存储器容 量。 0051 另外,根据该实施方式1,即使矢量形式的图形数据是通过用在轮廓线的一部分中 包括曲线的图形区域分割输。

28、出图像而得到的顶点数据以及指定该顶点数据的描绘内容的 描绘指令定义的图形数据,由于矢量图形处理部14将该轮廓线分割为微小线段而描绘该 图形区域的矢量图形,所以不限于三角形、四边形等,而能够使用一部分轮廓线包括曲线的 矢量图形对显示画面进行区域分割,能够根据输入图像的种类使合成处理高效化。 0052 进而,该实施方式1还能够在将字体、GUI(Graphical User Interface,图形用户 界面)画面等矢量图形、和照相机输入的合成图像重叠显示于1个画面中那样的用途中容易 实现。 0053 实施方式2. 0054 在上述实施方式1中,示出了图像合成装置10将多个输入图像合成为1个而显 示。

29、的情况,但图像合成装置10还具有通常的矢量图形描绘功能,所以也可以将矢量图形单 独、或者与合成图像重叠地显示。 0055 该实施方式2中的图像合成装置的结构本身与上述实施方式1相同,但与上述实 施方式1不同之处在于,如上所述将矢量图形单独、或者将矢量图形与合成图像重叠地显 示。因此,对于实施方式2的图像合成装置的结构,参照上述实施方式1所示的图1。另外, 以后,作为例子,说明将合成图像和矢量图像(字体等)重叠显示的情况。 0056 接下来,说明动作。 0057 图6是示出本发明的实施方式2的图像合成装置的动作的流程的流程图。图像合 成装置10通过从搭载本装置10的系统的CPU接收图形描绘开始命。

30、令,开始动作。其中,此 时,设与上述实施方式1同样地完成了合成图像的生成。 0058 矢量图形处理部14如果接收到上述图形描绘开始命令,则输入通过顶点数据和 指令列来定义的矢量形式的图形数据,开始矢量图形的描绘(步骤ST12)。矢量图形处理部 14判定矢量图形的轮廓线是否包括曲线(步骤ST13)。此处,在矢量图形的轮廓线是曲线的 情况下(步骤ST13:“是”),矢量图形处理部14将轮廓线分割为微小线段(步骤ST14)。 0059 在轮廓线不包括曲线的情况下(步骤ST13:“否”)或者在步骤ST14中将轮廓线分 说 明 书CN 102652321 A 6/6页 9 割为微小线段之后,矢量图形的轮。

31、廓线仅由直线构成,所以能够使用一般的图形的内外判 定方法的手法容易地判定图形的内部中包含的区域。因此,矢量图形处理部14计算图形的 内部中包含的像素的XY坐标,将该XY坐标输出到图像合成部15(步骤ST15)。 0060 图像合成部15计算与从矢量图形处理部14输入的像素的XY坐标对应的存储器 的物理地址和描绘数据(描绘颜色)(步骤ST16)。作为描绘颜色,在用单色来涂抹图形的情 况下,输出固定颜色,在进行分级(gradation)涂抹的情况下,通过在图像合成部15中进行 颜色的插值来应对。 0061 接下来,图像合成部15暂时读出显示用存储器16中储存的合成图像,并在与描绘 颜色之间进行了混。

32、合运算(blend arithmetic)之后,写回到显示用存储器16(步骤ST17)。 0062 如果图像合成部15针对当前描绘着的图形的内部中包含的所有像素,结束步骤 ST16至步骤ST17的处理,则对输出图像(显示画面)进行区域分割而得到的所有图形区域 的描绘完成,判定输出图像的生成是否结束(步骤ST18)。 0063 在输出图像的生成未结束的情况下(步骤ST18:“否”),反复实施步骤ST12至步骤 ST17的处理。如果输出图像的生成结束(步骤ST18:“是”),则显示控制部17从显示用存储 器16读出1帧量的数据,生成与LCD、液晶显示器等显示装置对应的同步信号而进行画面显 示(步骤。

33、ST19)。 0064 如以上那样,根据该实施方式2,矢量图形处理部14具备:以与上述实施方式1同 样地由图像输入部11进行的输入图像的取入完成为契机而开始矢量图形的描绘的模式; 以及依照来自CPU的描绘开始命令开始矢量图形的描绘的模式,图像合成部15将在显示用 存储器16中储存的合成图像数据与由矢量图形处理部14描绘出的矢量图形数据之间进行 混合运算而得到的结果作为合成图像数据储存到显示用存储器16。由此,能够通过同一图 像合成装置实现图像合成和矢量图形的描绘这样的不同的2个功能,所以能够削减硬件规 模。 0065 (产业上的可利用性) 0066 本发明的图像合成装置无需使用像素单位的映射表。

34、格而能够削减存储器容量,同 时简易地得到输出图像的像素位置与输入图像的像素位置的关系,所以能够适用于车载照 相机系统、监视照相机系统等。 说 明 书CN 102652321 A 1/6页 10 图1 说 明 书 附 图CN 102652321 A 10 2/6页 11 图2 说 明 书 附 图CN 102652321 A 11 3/6页 12 图3 说 明 书 附 图CN 102652321 A 12 4/6页 13 图4 说 明 书 附 图CN 102652321 A 13 5/6页 14 图5 说 明 书 附 图CN 102652321 A 14 6/6页 15 图6 说 明 书 附 图CN 102652321 A 15 。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1