图像显示装置和方法.pdf

本发明提供一种将虚拟空间的影像信息重叠到任意视点的现实空间的影像信息上，并将此提示给观察者的图像显示方法。在该图像显示方法中，通过摄像装置取入包括基于3维CAD数据做成的模型的现实空间的影像信息后，测量摄像装置和模型的位置和姿势，取得表示影像中的该模型的位置和姿势的位置/姿势信息。根据该位置/姿势信息和3维CAD数据，描绘3维计算机图形图像并使其与影像中的模型重叠，合成该影像和该3维计算机图形图像，并显示。

1.  一种图像显示方法，将虚拟空间的影像信息重叠到任意视点的现实空间的影像信息上，并提示给观察者，其特征在于，包括：
摄像步骤，由摄像装置取入包括基于3维CAD数据做成的模型的现实空间的影像信息；
测量步骤，测量上述摄像装置和上述模型的位置与姿势，并取得表示由上述摄像步骤得到的影像中的该模型的位置和姿势的位置/姿势信息；
合成步骤，根据上述位置/姿势信息和上述3维CAD数据，描绘3维计算机图形图像并使其与由上述摄像步骤得到的影像中的上述模型重叠，合成该影像和该3维计算机图形图像。

2.  根据权利要求1所述的图像显示方法，其特征在于：
还包括生成步骤，根据上述3维CAD数据生成3维计算机图形数据，并保存，
上述合成步骤使用上述3维计算机图形数据，描绘3维计算机图形图像。

3.  根据权利要求1所述的图像显示方法，其特征在于：
还包括特征点抽取步骤，从在上述摄像步骤得到的影像中，抽取出上述模型上的3维位置已知的特征点，
上述测量步骤，根据在上述特征点抽取步骤抽取出的特征点的位置，对在上述摄像步骤得到的影像中的上述模型和上述摄像装置的相对位置/姿势信息进行修正。

4.  根据权利要求1所述的图像显示方法，其特征在于：
还包括区域抽取步骤，从在上述摄像步骤得到的影像中，抽取出包含预定的颜色信息的区域，
上述合成步骤，禁止对由上述区域抽取步骤抽取出的区域进行上述3维计算机图形图像的描绘。

5.  根据权利要求1所述的图像显示方法，其特征在于：
还包括参数生成步骤，根据由上述摄像步骤得到的影像，生成用于3维计算机图形图像的描绘参数，
上述合成步骤，使用由上述生成步骤生成的描绘参数，描绘上述3维计算机图形图像。

6.  根据权利要求1所述的图像显示方法，其特征在于：
还包括影像修正步骤，根据预先保存的上述摄像装置的畸变量，修正由上述摄像步骤取得的现实空间的影像信息。

7.  一种图像显示装置，将虚拟空间的影像信息重叠到任意视点的现实空间的影像信息上，并提示给观察者，其特征在于，包括：
摄像单元，可取入包含基于3维CAD数据做成的模型的现实空间的影像信息；
测量单元，测量上述摄像单元和上述模型的位置与姿势，并取得表示由上述摄像单元得到的影像中的该模型的位置和姿势的位置/姿势信息，
合成单元，根据上述位置/姿势信息和上述3维CAD数据，描绘3维计算机图形图像并使其与由上述摄像单元得到的影像中的上述模型重叠，由此合成该影像和该3维计算机图形图像。

8.  根据权利要求7所述的图像显示装置，其特征在于：
还包括特征点抽取单元，从由上述摄像单元得到的影像中，抽取出上述模型上的3维位置已知的特征点，
上述测量单元，根据由上述特征点抽取单元抽取出的特征点的位置，对由上述摄像单元得到的影像中的上述模型和上述摄像装置的相对位置/姿势信息进行修正。

9.  根据权利要求7所述的图像显示装置，其特征在于：
还包括区域抽取单元，从由上述摄像单元得到的影像中，抽取出包含预定的颜色信息的区域，
上述合成单元，禁止对由上述区域抽取单元抽取出的区域进行上述3维计算机图形图像的描绘。

10.  根据权利要求7所述的图像显示装置，其特征在于：
还包括参数生成单元，根据由上述摄像单元得到的影像，生成用于3维计算机图形图像的描绘参数，
上述合成单元，使用由上述生成单元生成的描绘参数，描绘上述3维计算机图形图像。

11.  根据权利要求7所述的图像显示装置，其特征在于：
还包括影像修正单元，根据预先保存的上述摄像单元的畸变量，对由上述摄像单元取得的现实空间的影像信息进行修正。

图像显示装置和方法
技术领域
本发明涉及将虚拟空间的影像信息重叠到任意视点的现实空间的影像信息上，并提示给观察者的复合现实感系统中的图像显示装置和方法。
背景技术
所谓复合现实感系统，是指向用户提供通过合成现实空间影像，和根据用户的视点位置、视线方向等生成的虚拟空间影像，而获得的合成影像。在复合现实感系统中，能够向观察者提示虚拟物体真实地存在于现实空间中那样的感觉，同以往的虚拟现实感系统(VR系统)相比，可以更加真实地进行符合实际尺寸感觉的观察(参照日本特开平11-136706号公报)。
另一方面，以往，在设计·制造领域中使用了3维CAD的设计(形状、外观)正成为主流。作为评价用3维CAD设计出的物体的方法，将用3维CAD生成的数据(solid type：立体形式)作为3维计算机图形(以下称作3D-CG)显示在计算机的画面上来进行视觉的评价的方法、通过快速成型(Rapid Prototyping)装置等做出简易试制品(简易模型)，在视觉的基础上再加上触觉地进行评价的方法等是主流。
但是，在将3维CAD数据作为3D-CG显示到计算机的画面上的方法中，是在虚拟空间内的评价，无法以现实空间内的实际尺寸感觉来评价物体。另外，通过快速成型装置等做出简易试制品(简易模型)的方法，由于受到加工精度、原材料等的制约，对于把握大致的形状是有效的，但无法再现图案(design)及形状的详细情况、色彩等在3D-CAD上设计出的详细信息。因此，需要一种以更接近完成品的状态来评价设计数据的方法。
发明内容
本发明是鉴于上述课题而完成的，目的在于虽然使用简单地试制出的模型，仍能够以接近于完成品的状态来进行设计评价。
用于实现上述目的的本发明的图像显示方法，是一种图像显示方法，将虚拟空间的影像信息重叠到任意视点的现实空间的影像信息上，并提示给观察者，其特征在于，包括：
摄像步骤，由摄像装置取入包括基于3维CAD数据做成的模型的现实空间的影像信息；
测量步骤，测量上述摄像装置和上述模型的位置与姿势，并取得表示由上述摄像步骤得到的影像中的该模型的位置和姿势的位置/姿势信息；
合成步骤，根据上述位置/姿势信息和上述3维CAD数据，描绘3维计算机图形图像并使其与由上述摄像步骤得到的影像中的上述模型重叠，合成该影像和该3维计算机图形图像。
另外，根据用于实现上述目的的本发明的其他方式的图像显示装置具有以下的结构。即，
一种图像显示装置，将虚拟空间的影像信息重叠到任意视点的现实空间的影像信息上，并提示给观察者，其特征在于，包括：
摄像单元，可取入包含基于3维CAD数据做成的模型的现实空间的影像信息；
测量单元，测量上述摄像单元和上述模型的位置与姿势，并取得表示由上述摄像单元得到的影像中的该模型的位置和姿势的位置/姿势信息，
合成单元，根据上述位置/姿势信息和上述3维CAD数据，描绘3维计算机图形图像并使其与由上述摄像单元得到的影像中的上述模型重叠，由此合成该影像和该3维计算机图形图像。
本发明的其他特征和优点可以通过下面的参照附图进行的说明得到明确，对附图中地相同或类似的部分附加相同的参考标号。
附图说明
附图构成本说明书的一部分，用于说明本发明的实施例，并与该说明一起用于阐明本发明的原理。
图1是表示基于第1实施方式的复合现实感系统的概略结构的图。
图2是表示头部佩戴式影像输入输出装置(HMD)的结构的图。
图3是表示基于第1实施方式的信息处理装置的结构的框图。
图4是表示基于第1实施方式的信息处理装置的处理的流程的图。
图5A、5B是说明基于第1实施方式的处理结果的图。
图6是表示第2实施方式中的附加在简易试制品上的标志的例子的图。
图7是说明基于特征点的位置、姿势测量的修正的图。
图8是表示基于第2实施方式的信息处理装置的结构的框图。
图9是表示基于第2实施方式的信息处理装置的处理的流程的图。
图10A～10D是说明基于手区域的抽取的CG图像的修正方法的图。
图11是表示基于第3实施方式的信息处理装置的结构的框图。
图12是表示基于第3实施方式的信息处理装置的处理的流程的图。
图13是表示基于第4实施方式的信息处理装置的结构的框图。
图14是表示基于第4实施方式的信息处理装置的处理的流程的图。
图15A～15D是说明影像输入系统的畸变的影响的图。
图16是表示基于第5实施方式的信息处理装置的结构的框图。
图17是表示基于第5实施方式的信息处理装置的处理的流程的图。
具体实施方式
下面将结合附图详细说明本发明的优选实施例。
【第1实施方式】
在以下说明的本实施方式的复合现实感系统中，使用复合现实感系统，使位置、姿势方向一致地将变换了同样的3维CAD数据而生成的3维CG(3D-CG)数据，重叠显示在用快速成型装置根据3维CAD数据做成的简易试制品(简易模型)的摄影影像中。由此，能够同时实现视觉性评价和触觉性评价，能够以更接近于完成品状态来进行评价。
图1表示基于第1实施方式的系统结构。
在图1中，100是观察者佩戴于头部、用于观察合成了现实空间和虚拟空间的影像的头部佩戴式影像输入输出装置(被称作头部佩戴式显示装置(Head Mounted Display)等。以下称HMD)。另外，200是产生磁场的磁发生器，201、202是用于测量磁发生器200产生的磁场的变化的磁传感器。205是位置·姿势测量装置，根据磁传感器201、202的测量结果测量各磁传感器的位置、姿势。磁传感器201安装在HMD100上，用于算出观察者的视点位置、视线方向。300是观察者用手拿着、操作的简易试制品(简易模型)。在简易试制品300上，与HMD100同样地组装有磁传感器202。磁传感器202在简易试制品300上的位置、姿势是已知的。因此，位置·姿势测量装置205根据磁传感器202的测量结果，算出简易试制品300的位置、姿势。另外，磁传感器202的位置、姿势，假定是预先进行了物理测量并输入到信息处理装置400中的。301是用于观察简易试制品的台子。
101是组装在HMD100上的影像显示装置，102是组装在HMD100上的影像输入装置，分别组装有供右眼、左眼用的2套。400是信息处理装置，生成符合由位置·姿势测量装置205算出的位置、姿势信息的CG影像，并重叠到由HMD100的影像输入装置102输入的影像上，将得到的合成影像朝HMD100的影像显示装置101输出。
接着，参照图2对HMD100的具体结构进行说明。图2中的101是在图1中也表示了的影像显示装置，由0.5～数英寸左右的小型液晶显示设备等构成。103是发挥放大影像显示装置101的影像的透镜作用的自由曲面棱镜。通过这些结构，在影像显示装置101上显示的影像，被提示为对于观察者而言在例如2m开外的相当于90英寸的影像。
102是在图1中也表示了的影像输入装置，由CCD摄像机、CMOS摄像机等摄像设备构成。104是发挥用于使现实空间的光聚集到影像输入装置102的透镜作用的摄像系统棱镜。摄像系统棱镜104被配置成在自由曲面棱镜103的外侧使两棱镜的光轴一致，由此能够消除由影像输入装置102输入的影像，和在影像显示装置101上显示的影像的视差，能够自然和谐地再现现实空间的影像。
接着，使用图3对图1的信息处理装置400的具体结构进行说明。
401L、R是影像捕捉部，获取由影像输入装置102输入的影像数据，变换成数字信号提供至信息处理装置400内。404是位置·姿势信息输入部，将由位置·姿势测量装置205传送来的HMD100和简易试制品300的位置、姿势数据取至信息处理装置400内。405是位置·姿势计算部，根据来自位置·姿势输入部404的输入数据，算出HMD100和简易试制品300的相对的位置关系。
406是用于重叠到简易试制品300的影像上的3DCG描绘数据。407是CG绘制(rendering)部，根据由位置·姿势计算部405算出的HMD100和简易试制品300的相对的位置关系，计算右眼用、左眼用的各自应描绘CG数据的位置、大小、角度(perspective)等，并根据该计算结果绘制3DCG描绘用数据406。
402L、R是影像合成部，将由CG绘制部407生成的CG影像，重叠到由影像捕捉部401L、R取入的现实空间的影像数据上。403L、R是影像生成部，将合成了的影像变换成模拟数据，并输出到影像显示装置101上。
使用图4对基于上述结构的本实施方式的处理的流程进行说明。首先，按图4左侧的处理步骤，对从3D-CAD数据生成简易试制品300和3DCG描绘用数据406的步骤进行说明。
通常，使用3维CAD系统进行形状、外观等的设计业务(1010)时，设计数据一般都作为各自的3维CAD系统固有的立体数据(soliddata)进行保存。简易试制品300，由该立体数据，使用光成型等快速成型装置来制作(1110)。另一方面，3D立体数据以各设计部件的几何学参数的集合来表现，不能就此作为CG进行描绘。在这里，将3D立体数据变换成适合于3DCG描绘的数据形式(例如VRML等)(1210)。
在本实施方式的复合现实感系统中，使用这样变换后的3DCG描绘用数据406来生成虚拟空间。
接着，按图4右侧的处理步骤，对本实施方式中的复合现实感系统的处理步骤进行说明。
使用磁发生器200和磁传感器202的数据，位置·姿势测量装置205测量简易试制品300在现实空间中的位置、姿势(2010)。同样地，使用磁发生器200和磁传感器201的数据，位置·姿势测量装置205测量观察者佩戴着的HMD100在现实空间中的位置、姿势(2020)。由位置·姿势测量装置205得到的测量数据，通过位置·姿势信息输入部404被取入到信息处理装置400中。然后，在位置·姿势测量装置405中计算HMD100和简易试制品300的相对的位置·姿势关系(2030)。
另一方面，同上述处理2010、2020、2030并行地，将来自HMD装置100的影像输入装置101的现实空间的影像，通过影像捕捉部401取入到信息处理装置400中(3010)。在CG绘制部407中，使用在处理2030中算出的相对的位置关系和3DCG描绘用数据406描绘CG，并展开到视频缓冲器等存储器(未图示)中(2040)。
另一方面，在处理3010中取入的现实空间的影像数据也展开到视频缓冲器等存储器中(3020)。影像合成部402L、R将在上述处理2040中生成的CG影像，重叠到在处理3020中展开了的影像数据上(4010)。合成后的影像由影像生成部403变换成模拟等的视频信号，显示在HMD100的影像显示装置101上(4020)。
通过按影像显示装置101中的影像更新间隔或CG描绘2040中的更新间隔，反复进行从上述2010到4020的处理，进行实时地信息提示。图5A、5B表示基于该系统的处理结果的一个例子。
在图5A中，表示了由安装于HMD100上的影像输入装置102输入的现实空间的影像(简易试制品300的实际影像)。在图5B中，表示了在现实空间的简易试制品300的位置上，重叠了基于CG数据的CG图像的图像，即显示在安装于HMD100上的影像显示装置101上的影像。
另外，在第1实施方式中，作为测量位置、姿势的装置，以使用磁的装置为例进行了说明，但本发明并不限于此，显然能够通过光学的位置·姿势测量装置等其他装置来实现。
【第2实施方式】
在第1实施方式中，以利用磁的位置、姿势测量为例进行了说明。但是，在利用磁的位置、姿势测量中，有时会由于环境而造成测量精度不稳定。例如当在磁发生器的附近存在金属物体时，会造成磁场紊乱、磁传感器的输出值变得不稳定。另外，存在磁发生器与磁传感器之间的距离越远，测量精度就越低等问题。这样的测量精度的问题，不限于利用磁的传感器，在各种方式的位置·姿势测量装置中都会发生。例如有光学的测量位置、姿势的装置，但此时如果发射光的装置和接受光的装置之间存在遮挡物等，则存在测量变得不稳定、产生误差等问题。
在这里，在第2实施方式的复合现实感系统中，使用取入到信息处理装置400内的现实空间的影像数据来修正位置、姿势，提高其测量精度。例如，如图6所示，在简易试制品300上附加图像识别用的标志，将其作为特征点来使用。作为标志，根据位置、测量修正的算法，可以考虑形状标志301或颜色标志302等各种各样的标志。
在这里，对使用了特征点的位置、姿势的修正方法进行说明。此处，作为一般的修正方法，对根据特征点1点来修正影像输入部(摄像机)的外部参数的方法进行说明。另外，这里所谓的特征点，可以使用人工地将具有特定的颜色、形状信息的封签(seal)状的东西等粘贴在现实空间中的简易试制品上的标志，也可以将简易试制品的形状的特征性部分作为特征点。
图7是说明影像输入装置(摄像机)的外部参数(表示位置、姿势的参数)的一般的修正方法的示意图。在图7中，点A表示根据影像输入装置(摄像机)和简易试制品300的位置、姿势而预测出的特征点的位置，点B表示该特征点的实际位置，点C表示影像输入装置(摄像机)视点的位置。另外在这里，点A、点B所表示的位置是摄像机坐标系中的位置，点C是影像输入装置(摄像机)坐标系的原点。另外，点P表示点A在摄像面上的位置，点Q表示点B在摄像面上的位置。此处，如图7所示那样，将点P、Q的坐标分别设为(x_p、y_p)、(x_q、y_q)，将摄像面的宽、高分别设为w、h，将摄像机的焦点距离(从摄像面到影像输入装置的距离)设为d，v₁设为从点C向点Q的矢量，v₂设为从点C向点P的矢量，θ设为v₁和v₂构成的角度。
首先，对使用特征点1点、仅按θ从点B方向到点A方向使姿势发生变化的方法(基于影像输入装置的旋转的修正方法)进行说明。
如果以上述设定来求v₁、v₂，则各自的成分成为以下式(1)所示这样。
v 1 = ( x q - w 2 , y q - h 2 , - d ) ]]>
v 2 = ( x p - w 2 , y p - h 2 , - d ) - - - ( 1 ) ]]>
接着，将各自的矢量，根据以下的式(2)归一化为大小为1的矢量。另外，|v|代表矢量v的大小。
v 1 ′ = v 1 | v 1 | ]]>
v 2 ′ = v 2 | v 2 | - - - ( 2 ) ]]>
在这里，在使影像输入装置(摄像机)旋转时，该旋转轴成为与由v₁、v₂构成的平面正交，并穿过摄像机视点位置(点C)的直线。该旋转轴的方向矢量，如式(3)所示，可以通过矢量v₁、v₂的外积求取(实际上使用归一化后的(v₁′、v₂′))。
v x = v 1 ′ × v 2 ′ - - - ( 3 ) ]]>
在这里，v_x是旋转轴的方向矢量，其成为设为(l，m，n)。而且，由于旋转角θ是矢量v₁、v₂构成的角度，因此可以如下式(4)这样求取。
θ = arccos ( v 1 ′ · v ′ 2 ) - - - ( 4 ) ]]>
因此，基于影像输入装置的旋转的修正所使用的修正矩阵ΔMc，如下式(5)这样计算。
ΔM c = ll ( 1 - cos θ ) + cos θ ml ( 1 - cos θ ) + n sin θ nl ( 1 - cos θ ) + m sin θ 0 lm ( 1 - cos θ ) + n sin θ mm ( 1 - cos θ ) + cos θ nm ( 1 - cos θ ) + l sin θ 0 ln ( 1 - cos θ ) + m sin θ mn ( 1 - cos θ ) + l sin θ nn ( 1 - cos θ ) + cos θ 0 0 0 0 1 - - - ( 5 ) ]]>
通过使该修正矩阵乘以表示影像输入装置的位置·姿势的矩阵，影像输入装置的位置、姿势就被修正。即，点P被显示在点Q的位置，摄像面上的界标(landmark)的、从位置姿势参数预测的位置与实际的位置相一致。另外，在上述说明中，对使用了影像输入装置(摄像机)的旋转的修正方法进行了说明，但也可以使用通过影像输入装置的平行移动来修正误差的方法等。而且，通过使用了多个特征点的修正方法也能够得到同样的效果，其具体方法通过上述说明对于本领域人员来说是显而易见的，因此省略其说明。
接着，参照图8和图9，对第2实施方式的系统中的信息处理装置400的结构图和处理流程进行说明。如图8所示，在第2实施方式中，设置有用于从由影像捕捉部401L、R得到的图像数据中检测出标志的标志检测部410。而且，标志检测部410的标志检测结果、即图7中的点Q的坐标值被传送到位置·姿势计算部405。在位置·姿势计算部405中使用该点Q的坐标值，如参照图7说明过的那样修正位置、姿势。其他结构与第1实施方式(图3)相同。
使用图9对第2实施方式的处理的流程进行说明。另外，对于与第1实施方式(图4)相同的处理赋予了相同的参考标号。
在处理1110中，对根据3D立体数据由光成型等快速成型装置做成的简易试制品300，附加标志(1120)。进而，记录附加了标志的位置信息(1130)。另外，标志的位置信息，使用另外由测量装置测量出的3维信息即可。而且，在使用特征点时，可以从CAD数据取得该特征点的位置。进而，只要生成CAD数据使得在简易试制品上形成能够指示标志的附加位置的标志，就可以从CAD数据取得标志的位置信息。
另一方面，在复合现实感系统的处理中，在处理3010中将现实空间的影像数据取入到信息处理装置400内之后，通过标志检测部410，从现实空间的影像数据中抽取出附加到简易试制品300上的标志的位置(3011)。使用预先在处理1130中记录了的标志位置信息、和在处理3011中从影像数据中抽取出的标志位置，根据位置·测量装置205的测量结果，对在处理2030中算出的HMD100和简易试制品300的相对位置·姿势关系进行修正(2031)。而后，在处理2040中，用修正后的数据进行CG的描绘。
【第3实施方式】
在上述第1、第2实施方式中，影像合成部402将虚拟空间的影像(CG影像)重叠(盖写)到现实空间的影像数据上，由此生成合成影像。在这种情况下，有时由于原本应该比CG影像更靠近自己的部分也被CG影像盖写掉了，因而CG影像和现实物体的纵深感产生矛盾。对于这种情况参照图10A～10D进行详细说明。
图10A是由影像输入装置102输入的现实空间的影像数据的一个例子，是由观察者的手拿着简易试制品的影像。手的一部分(拇指附近)存在于比简易试制品更靠近自己一边。如果将对应于简易试制品的CG影像重叠到该影像上，就成为图10B这样的合成影像。即，应该存在于比简易试制品更靠近自己一边的手的一部分，被CG影像所遮档，成为在纵深感上产生矛盾，对观察者而言存在不和谐的感觉的影像。
在这里，在第3实施方式的复合现实感系统中，使用取入到信息处理装置400内的现实空间的影像数据，通过图像处理消除上述那样的纵深感上的矛盾。即，根据从影像输入装置102得到的影像数据(图10A)，用图像处理只抽取出手的区域。根据抽取出的手的区域生成掩模(mask)图像(图10C)，对于由该掩模图像指定的手区域以外的区域，生成CG影像，重叠到现实空间的影像上。这样，使得手的区域显示在比简易试制品更靠近自己这一边，如图10D所示的那样，消除了在纵深感上的不和谐的感觉。
使用图11和图12，对以上这样的第3实施方式的系统的构成和处理的流程进行说明。如图11所示，在第3实施方式中，在第1实施方式(图3)的结构上增加了手区域抽取部420和手颜色信息登录数据421。手区域抽取部420从由影像捕捉部401L、R得到的影像数据中，将登录在手颜色信息登录数据421中的颜色的区域作为手区域来抽取。CG绘制部407禁止对由手区域抽取部420抽取出的手区域部分进行CG图像的描绘。其他同第1实施方式(图3)相同。
图12是说明第3实施方式的处理的流程的图。在第1实施方式(图4)的处理上，追加了处理5010和5020。
在处理3010中由信息处理装置400的影像捕捉部401取入现实空间的影像数据后，手区域抽取部420将各像素的颜色信息，与预先登录在手颜色信息登录数据421中的手区域的颜色信息进行比较。然后，当与手区域的颜色信息一致时，判断为该像素的颜色是人的皮肤的颜色，判断为该像素是手区域(5010)。通过对所有的像素进行是否是手区域的判断，并只抽取出判断为是手区域的像素，只将手区域的数据记录到视频缓冲器等存储器中，由此生成掩模图像(5020)。在CG绘制部407中，生成用在处理5020中生成的掩模图像掩模后的区域的CG影像(2040)，在影像合成部403中，将在处理2040中生成的CG影像重叠到现实空间的影像数据上(4011)。
通过这样生成合成影像，能够将原本应该比CG数据更靠近自己的现实空间的影像，显示在比CG数据更靠近自己这一边，消除了在纵深感上的不和谐的感觉。
【第4实施方式】
在第1～第3实施方式中，基于3DCAD数据生成的CG的亮度、色调，是根据3DCAD数据所包含的光源信息等决定的。然而，CAD数据的光源信息并非都适合于现实空间。例如，在现实空间较暗时，如果不将CG的亮度也降暗，就会造成CG浮在现实空间中，不成为自然的合成图像。这里，在第4实施方式中，在将CG重叠到现实空间的影像上时，根据取入到信息处理装置400内的现实空间的影像数据，设定用于CG描绘的各种参数。通过这样做，能够使CG的亮度、色调等符合现实空间的环境，生成自然和谐的合成影像。以下，参照图13、图14对第4实施方式中的结构和处理的流程进行说明。
如图13所示，在第4实施方式中，在第1实施方式(图3)的结构上增加了CG参数抽取部430。而且，如图14所示，在第4实施方式的处理中，在第1实施方式的处理(图4)上增加了CG参数设定处理3012。CG参数抽取部430根据通过影像捕捉部401L、R输入的现实空间的影像数据，设定在掌握现实空间的环境并描绘CG时的亮度、色调等参数(3012)。然后，在CG绘制部407中，根据由CG参数抽取部430取得的参数和3DCG数据来描绘CG(2040)，在影像合成部402中重叠到现实空间的影像数据上(420)。
所谓描绘CG时的亮度、色调等的参数的设定，具体地说，是CG数据的属性的值的变更。例如，在绘制CG数据时，需要设定对该物体从哪里、投射什么样的照明(虚拟空间的光的参数的设定)。此时，通过设定CG物体的材质、照射到CG物体上的光源的位置、强度、颜色等参数，能够调整描绘CG时的亮度、色调等。另外，在MR的情况下，需要配合所输入的现实空间的亮度，而调整CG的亮度。例如，如果现实空间较暗，也要对CG物体进行较暗的设定。如果该平衡较差，就会造成或者只有CG物体被突出地显示，或者反之CG物体沉下去。在本实施方式中，由于将现实空间影像作为视频影像而取入，因此，例如求取所取入的影像的亮度和色调的平均(或者，也可以是某确定的区域的亮度、色调)，通过按照该值调整上述照明(lighting)参数，来调整描绘CG时的亮度、色调等。
这样，根据第4实施方式，可以从现实空间的数据中抽取出CG绘制时的参数，生成符合现实空间的环境的合成影像。
【第5实施方式】
由于由影像输入装置102输入的现实空间的影像，通过摄像系统棱镜104而被输入，因此可能含有光学畸变。例如，图15A所表示的是放置在实际的现实空间中的简易试制品300。如果使该简易试制品透过具有如图15B所示那样的畸变量的摄像系统棱镜104，就会如图15C那样作为畸变了的物体而由影像输入装置输入。如果将CG重叠到该影像上，就会如图15D那样，CG与现实空间中的简易试制品不重叠，成为严重缺乏和谐感的合成影像。
在第5实施方式的复合现实感系统中，通过图像处理去除取入到信息处理装置400内的现实空间的影像数据的畸变，能够提供更为和谐自然的合成影像。参照图16、图17，对第5实施方式的信息处理装置400的结构和处理的流程进行说明。
如图16所示，在第5实施方式中，在第1实施方式(图3)的结构上增加了现实空间影像畸变修正部440和畸变量数据441。而且，如图17所示，在第5实施方式的处理中，在第1实施方式的处理(图4)中增加了畸变修正处理3013。
现实空间影像畸变修正部440修正现实空间的影像数据的畸变，使用预先测量并保存着的影像输入系统中的畸变量数据441，对由影像捕捉部401L、R输入的影像数据进行修正(3013)。由此，CG与现实空间中的简易试制品准确地重叠，所以观察者能够观察自然的合成影像。即，由于将现实空间作为影像数据取入到系统中，将现实空间的影像变换处理成适合于合成虚拟空间的影像(CG)的影像，因此能够生成对于观察者来说更为自然的复合现实感影像。
另外，上述说明的各实施方式是可以独立地实现的，或者也可以适当地组合起来实现。
如以上说明的那样，在上述各实施方式的复合现实感系统中，使用复合现实感系统，能够在用快速成型装置根据3维CAD数据做成的简易试制品(简易模型)上，将变换相同的3维CAD数据而生成的3D-CG数据，使位置、姿势方向相一致重叠地显示。因此，可同时实现视觉的评价和触觉的评价，能够以更接近于完成品状态进行评价。进而，由于将现实空间作为影像数据取入到系统中，因此能够将现实空间的影像变换处理成适合于与虚拟空间的影像合成的影像，能够生成对于观察者来说不会产生不和谐的感觉的影像。
另外，显然本发明的目的还可以这样来实现：将记录了实现上述实施方式的功能的软件的程序代码的存储介质，提供给系统或者装置，通过该系统或者装置的计算机(或者CPU、MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质中读出的程序代码本身就实现上述实施方式的功能，存储了该程序代码的存储介质就构成本发明。
作为用于提供程序代码的存储介质，可以使用例如软盘、硬盘、光盘、光磁盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM等。
而且，不仅通过计算机执行读出的程序代码，能够实现上述实施方式的功能，根据该程序代码的指示，在计算机上运行的OS(操作系统)等进行实际处理的一部分或全部，通过该处理实现上述实施方式的情况显然也包含在本发明的范围内。
并且，从存储介质读出的程序代码，在被写入到插在计算机中的功能扩充卡或连接在计算机上的功能扩充单元所具备的存储器中后，根据该程序代码的指示，该功能扩充卡或功能扩充单元所具有的CPU等进行实际处理的一部分或全部，通过该处理来实现上述实施方式的情况显然也包含在本发明的范围内。
通过上述结构，能够在基于3维CAD数据生成的简易模型的实际拍摄的影像部分上，重叠显示基于该3维CAD数据的计算机图形图像，因此能够以更接近于完成品的状态来评价设计数据。