《图像显示装置.pdf》由会员分享，可在线阅读，更多相关《图像显示装置.pdf（30页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102870032 A(43)申请公布日 2013.01.09CN102870032A*CN102870032A*(21)申请号 201180016408.2(22)申请日 2011.06.16137391/2010 2010.06.16 JP130067/2011 2011.06.10 JPG02B 27/22(2006.01)G02B 3/00(2006.01)G03B 35/24(2006.01)H04N 13/04(2006.01)(71)申请人株式会社尼康地址日本东京都(72)发明人岩根透(74)专利代理机构北京市中咨律师事务所 11247代理人万利军 陈海。
2、红(54) 发明名称图像显示装置(57) 摘要图像显示装置具备：输入部，其输入根据从与不同的多个摄影用微透镜对应地排列的多个拍摄像素输出的多个图像信号而生成了一个像素数据的图像数据；生成部，其采用图像数据生成具有三维信息的显示用图像数据；显示部，其由多个显示像素二维状地排列而成，根据显示用图像数据，从多个显示像素出射光束；和微透镜阵列，其由将从多个显示像素出射的光束合成而形成三维像的多个微透镜二维状地排列而成。(30)优先权数据(85)PCT申请进入国家阶段日2012.09.27(86)PCT申请的申请数据PCT/JP2011/063840 2011.06.16(87)PCT申请的公布数据WO。
3、2011/158911 JA 2011.12.22(51)Int.Cl.权利要求书1页 说明书13页 附图15页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 1 页 说明书 13 页 附图 15 页1/1页21.一种图像显示装置，其特征在于，具备：输入部，其输入根据从与不同的多个摄影用微透镜对应排列的多个拍摄像素输出的多个图像信号而生成了一个像素数据的图像数据；生成部，其根据上述图像数据生成具有三维信息的显示用图像数据；显示部，其由多个显示像素二维状地排列而成，根据上述显示用图像数据，从上述多个显示像素出射光束；和微透镜阵列，其由将从上述多个显示像素出射的光束合成而形成三。
4、维像的多个微透镜二维状地排列而成。2.根据权利要求1所述的图像显示装置，其特征在于，上述多个微透镜分别与上述多个显示像素对应排列，上述生成部，以将从与多个微透镜对应排列的上述多个显示像素出射的光束合成而构成上述三维像的一个像素的方式，生成上述显示用图像数据。3.根据权利要求2所述的图像显示装置，其特征在于，上述生成部，以出射上述光束的上述多个显示像素的排列关系与上述一个像素数据所对应的上述多个拍摄像素的排列关系等效的方式，生成上述显示用图像数据。4.根据权利要求3所述的图像显示装置，其特征在于，上述生成部，以上述一个像素数据所对应的上述多个拍摄像素的排列关系与上述多个显示像素的排列关系成为相互。
5、点对称的方式，生成上述显示用图像数据。5.根据权利要求1至4的任一项所述的图像显示装置，其特征在于，上述生成部，以上述三维像在上述微透镜的附近再现，上述三维像的深度方向的倍率与上述微透镜的排列面的方向的倍率相比被压缩的方式，生成上述显示用图像数据。6.根据权利要求5所述的图像显示装置，其特征在于，上述生成部，以上述深度方向的倍率成为上述微透镜的排列面的方向的倍率的平方的倍数的方式，生成上述显示用图像数据。7.根据权利要求1至6的任一项所述的图像显示装置，其特征在于，上述生成部，以上述微透镜的伪光轴为基准将上述一个像素数据所对应的上述多个拍摄像素的排列关系标准化，生成上述显示用图像数据。8.根据。
6、权利要求7所述的图像显示装置，其特征在于，上述微透镜的F值比上述摄影用微透镜的F值大。9.根据权利要求1至8的任一项所述的图像显示装置，其特征在于，还具备观察由上述微透镜形成的上述三维像的观察光学系统。10.根据权利要求9所述的图像显示装置，其特征在于，上述观察光学系统包括虚像透镜，上述虚像透镜配置为在上述虚像透镜和其焦点距离间形成上述三维像面。权 利 要 求 书CN 102870032 A1/13页3图像显示装置技术领域0001 本发明涉及图像显示装置。背景技术0002 现有技术中已知有通过积分式（积分照相术）显示立体像的显示装置（例如专利文献1）。0003 专利文献1:特开2008-216。
7、340号公报发明内容0004 但是，现有的显示装置中，对作为三维图像摄影的图像进行投影显示，因此，为了作为正立像显示，存在必须采用折射率分布透镜等的问题。0005 根据本发明的第1形态，图像显示装置具备：输入部，其输入根据从与不同的多个摄影用微透镜对应排列的多个拍摄像素输出的多个图像信号而生成了一个像素数据的图像数据；生成部，其根据图像数据生成具有三维信息的显示用图像数据；显示部，其由多个显示像素二维状地排列而成，根据显示用图像数据，从多个显示像素出射光束；和微透镜阵列，其由将从多个显示像素出射的光束合成而形成三维像的多个微透镜二维状地排列而成。0006 根据本发明的第2形态，优选的是，在第1。
8、形态的图像显示装置中，多个微透镜分别与多个显示像素对应排列，生成部，以将从与多个微透镜对应排列的多个显示像素出射的光束合成而构成三维像的一个像素的方式，生成显示用图像数据。0007 根据本发明的第3形态，优选的是，在第2形态的图像显示装置中，生成部，以出射光束的多个显示像素的排列关系与一个像素数据所对应的多个拍摄像素的排列关系等效的方式，生成显示用图像数据。0008 根据本发明的第4形态，优选的是，在第3形态的图像显示装置中，生成部，以一个像素数据所对应的多个拍摄像素的排列关系与多个显示像素的排列关系成为相互点对称的方式，生成显示用图像数据。0009 根据本发明的第5形态，优选的是，在第1至第。
9、4形态的图像显示装置中，生成部，以三维像在微透镜的附近再现、三维像的深度（进深）方向的倍率与微透镜的排列面的方向的倍率相比被压缩的方式，生成显示用图像数据。0010 根据本发明的第6形态，优选的是，在第5形态的图像显示装置中，生成部，以深度方向的倍率成为微透镜的排列面的方向的倍率的平方的倍数的方式，生成显示用图像数据。0011 根据本发明的第7形态，优选的是，在第1至第6形态的图像显示装置中，生成部，以微透镜的伪光轴为基准将一个像素数据所对应的多个拍摄像素的排列关系标准化，生成显示用图像数据。0012 根据本发明的第8形态，优选的是，在第7形态的图像显示装置中，微透镜的F值说 明 书CN 10。
10、2870032 A2/13页4比摄影用微透镜的F值大。0013 根据本发明的第9形态，优选的是，在第1至第8形态的图像显示装置中，还具备观察由微透镜形成的三维像的观察光学系统。0014 根据本发明的第10形态，优选的是，在第9形态的图像显示装置中，观察光学系统包括虚像透镜，虚像透镜配置为使得在虚像透镜和其焦点距离间形成三维像面。0015 根据本发明，可以将具有立体形状的被拍摄体的像在空中显示为立体像。附图说明0016 图1是本发明的实施例的数字相机的构成的说明图。0017 图2是微透镜和拍摄元件的配置一例的示图。0018 图3是实施例中的微透镜和基点像素的位置关系的说明图。0019 图4是合成。
11、图像的生成原理的说明图。0020 图5是用于生成合成图像的积分（累计）区域和拍摄像素的关系的示图。0021 图6是输出用于对基点信号积分的图像信号的拍摄像素的位置关系的一例的示图。0022 图7是环带和微透镜的关系的一例的示图。0023 图8是实施例中的显示装置的构成的说明图。0024 图9是被分配了从拍摄像素输出的图像信号的显示像素的一例的示图。0025 图10是光点发出的光束由拍摄像素的受光面截取的光截面的说明图。0026 图11是微透镜和光截面的关系的说明图。0027 图12是微透镜和光截面的关系的说明图。0028 图13是在基点微透镜展开了区域分割时的光截面的说明图。0029 图14是。
12、光点相对于基点微透镜的伪光轴偏心时的分割区域的说明图。0030 图15是显示的空中像的深度的说明图。0031 图16是焦点位置和显示用像素的面的关系的示图。具体实施方式0032 本实施例的数字相机构成为，可生成设定了任意焦点位置的图像数据。通过该数字相机对具有立体形状的被拍摄体摄影时，生成的图像数据包括与立体形状有关的信息（立体信息）。本实施例的数字相机可将这样的包括立体信息的图像数据对应的图像显示为用户可观察的三维立体像（空中像）。以下，详细说明。0033 图1是实施例的数字相机的构成的示图。数字相机1构成为，具有摄影透镜L1的交换透镜2可装卸。数字相机1具备拍摄单元100、控制电路101、。
13、A/D变换电路102、存储器103、操作部108、存储卡接口109及显示装置110。拍摄单元100具备多个微透镜120二维状排列而成的微透镜阵列12及拍摄元件13。另外，在以下说明中，z轴设定成与摄影透镜L1的光轴平行，在与z轴正交的平面内，x轴和y轴设定成相互正交的方向。0034 摄影透镜L1包括多个光学透镜组，使来自被拍摄体的光束在其焦点面附近成像。另外，为了便于说明，在图1中用一块透镜代表表示了摄影透镜L1。在摄影透镜L1的背后，在与光轴垂直的面内，2维状地顺序配置微透镜阵列12和拍摄元件13。拍摄元件13包括说 明 书CN 102870032 A3/13页5具有多个光电变换元件的CCD。
14、和/或CMOS图像传感器。拍摄元件13拍摄在拍摄面上成像的被拍摄体像，由控制电路101控制，将与被拍摄体像相应的光电变换信号（图像信号）向A/D变换电路102输出。另外，拍摄单元100的详细说明将后述。0035 A/D变换电路102是对拍摄元件13输出的图像信号进行模拟性处理后变换为数字图像信号的电路。控制电路101包括CPU和/或存储器以及其他周边电路。控制电路101根据控制程序，用从构成数字相机1的各部分输入的信号，进行预定运算，送出对数字相机1的各部分的控制信号，控制摄影工作。另外，如后述，控制电路101根据相应于光阑值输入按钮操作而从操作部108输入的操作信号，确定由用户选择的合成图像。
15、的光阑值。0036 控制电路101功能上具备图像积分（累计）部105、图像图形生成部106及显示控制部107。图像积分部105采用相应于光阑值输入按钮操作而确定的合成图像光阑值所对应的合成像素所属表，由图像信号生成合成图像数据。如后述，图像图形生成部106由利用图像积分部105生成的合成图像数据，作成显示用图像数据，以便在后述的显示装置110显示具有三维信息的空中像。显示控制部107控制显示装置110的驱动，向显示装置110输出由图像图形生成部106生成的显示用图像数据，使得在显示装置110显示具有对应的三维信息的空中像。另外，图像积分部105及图像图形生成部106的详细情况将后述。0037 。
16、存储器103是易失性存储介质，用于暂时地存储由A/D变换电路102数字变换后的图像信号和/或图像处理、图像压缩处理及显示用图像数据作成处理途中和/或处理后的数据。存储卡接口109是可装卸存储卡109a的接口。存储卡接口109是根据控制电路101的控制，向存储卡109a写入图像数据、读出存储卡109a中记录的图像数据的接口电路。存储卡109a是Compact flash（注册商标）和/或SD卡等半导体存储卡。0038 操作部108接受用户操作，向控制电路101输出与操作内容相应的各种操作信号。操作部108包括光阑值输入按钮、电源按钮、释放按钮、其他设定菜单的显示切换按钮、设定菜单确定按钮等。光阑。
17、值输入按钮在合成图像光阑值F输入时由用户操作。用户操作光阑值输入按钮来选择光阑值F后，操作部108向控制电路101输出操作信号。0039 显示装置110按照控制电路101的指令，在再现模式中根据存储卡109a记录的图像数据，进行由控制电路101作成的显示数据的显示。另外，显示装置110显示用于设定数字相机1的各种工作的菜单画面。另外，显示装置110详细说明将后述。0040 接着，详细说明拍摄单元100的构成。拍摄单元100如上所述具有微透镜阵列12和拍摄元件13。微透镜阵列12由二维状排列的多个微透镜120构成。拍摄元件13中，对通过了上述各微透镜120的光进行受光的像素排列130以与微透镜1。
18、20对应的配置图形配置。各个像素排列130由二维状排列的多个光电变换元件131（以下，称为拍摄像素131）构成。0041 图2(a)表示在微透镜阵列12排列的微透镜120在XY平面的平面图。如图2(a)所示，微透镜阵列12在XY平面上，由例如形成为六角形的多个微透镜120蜂窝状排列而成。另外，图2(a)表示在微透镜阵列12设置的多个微透镜120中的部分微透镜120。图2(b)是摄影透镜L1的光轴方向（z轴方向）的、微透镜阵列12和拍摄元件13的位置关系的说明图。如图2(b)所示，拍摄元件13配置在按微透镜120的焦点距离f离开的位置。即，具有多个拍摄像素131的像素排列130设置在按与各像素排。
19、列130分别对应的微透镜120的焦点距离f离开的位置。另外，图2(b)中，表示了在微透镜阵列12设置的多个微透镜120和说 明 书CN 102870032 A4/13页6在拍摄元件13设置的多个像素排列130及多个拍摄像素131的一部分。0042 采用从具有上述构成的拍摄元件13输出的图像信号，图像积分部105作成合成图像数据。图像积分部105将与某微透镜120对应设置的像素排列130所包括的拍摄像素131中的预定的拍摄像素131（以下，称为基点像素132（图3）输出的图像信号（以下，称为基点信号）和与基点像素132对应的微透镜120及附近设置的微透镜120对应的像素排列130所包括的拍摄像素。
20、131输出的图像信号合成。结果，图像积分部105生成与1像素相当的合成图像信号。图像积分部105对与各微透镜120对应的基点像素全部进行上述处理，将生成的各个合成图像信号累加，生成合成图像数据。0043 图像积分部105如上所述地生成合成图像信号时，参照合成像素所属表。合成像素所属表表示：输出用于合成到基点信号的图像信号的拍摄像素131配置在哪个微透镜120对应的像素排列130的哪个位置。以下，说明图像积分部105采用拍摄像素131输出的图像信号来生成合成图像信号的处理。0044 图3表示与各微透镜120即各像素排列130对应设置的基点像素132。图3中，表示了多个微透镜120中的部分微透镜1。
21、20，代表性表示了多个拍摄像素131中的基点像素132。图3中，基点像素132与微透镜120的伪光轴对应配置。另外，本实施例中，将伪光轴设为从摄影透镜L1的光瞳入射的光束的中心与微透镜120的主面的交点来说明。图3中，表示微透镜120的几何中心与伪光轴一致的情况。另外，以下说明中，将基点像素132对应的微透镜120称为基点微透镜121。0045 -合成图像信号的生成-0046 首先，说明图4(a)所示的被拍摄体的像在微透镜120的顶点成像时、即焦点面S存在于微透镜120顶点时的合成图像的生成原理。该场合的来自被拍摄体的光束r1r7入射与微透镜120对应设置的像素排列130的拍摄像素131。图像。
22、积分部105通过对从图4(a)所示的拍摄像素131中的划斜线的拍摄像素131输出的图像信号积分，生成与合成图像数据的1像素相当的合成图像信号。图像积分部106通过对全部微透镜120对应的像素排列130进行该处理，生成合成图像数据。0047 接着，对于在某焦点面（成像面）成像的被拍摄体的像，说明生成合成图像信号时的原理。如图4(b)所示，焦点面S存在于从微透镜120的顶点离开的位置时，来自被拍摄体的光束r1r5入射不同的多个微透镜120。因而，图像积分部105为了生成合成图像信号，必须还采用来自与基点微透镜121附近配置的微透镜120对应配置的拍摄像素131的图像信号。另外，图4(b)中，代表性。
23、表示了各光束r1r5的主光线。0048 图像积分部105通过对根据合成图像的光阑值F确定的积分区域所包括的拍摄像素131输出的图像信号全部积分，生成与合成图像数据的1像素（合成图像的成像区域）相当的合成图像信号。另外，积分区域由直径为D的圆表示。积分区域的直径D采用根据光阑值输入按钮108a的操作所确定的光阑值（合成图像数据的光阑值）F和微透镜120的焦点距离f，通过以下的式（1）表示。0049 DfF（1）0050 图5表示积分区域Rs和拍摄像素131的关系。如上所述，图像积分部106对从表现为圆形区域的积分区域Rs覆盖的全部的拍摄像素131输出的图像信号积分。图5中，向输出要被积分的图像信。
24、号的拍摄像素131附上了斜线来表示。微透镜120是构成微透镜阵说 明 书CN 102870032 A5/13页7列12的一个透镜，因此，不能使积分区域Rs大于由微透镜120的排列所容许的各微透镜120的直径。从而，由合成图像数据容许的最大光阑值Fmax通过以下的式（2）表示。另外，式（2）中“s”表示拍摄像素131一边的大小。另外，合成图像数据中的最小光阑值Fmin成为微透镜120的F值。0051 Fmaxfs（2）0052 通过图像积分部105对从包括基点像素132的像素排列130输出的图像信号积分所得的合成图像信号即积分值通过以下的式（3）表达。另外，式（3）中，P表示从拍摄像素131输出。
25、的图像信号的输出值。另外，式（3）中“i”表示合成图像的光阑值为F时的积分区域Rs覆盖的拍摄像素131，“0”表示与包括基点像素132的像素排列130对应配置的微透镜120即基点微透镜121。0053 0054 如上所述，图像积分部105还采用从与在基点微透镜121的附近设置的微透镜120对应的像素排列130所包括的拍摄像素131输出的图像信号进行积分。即，图像积分部105对来自由合成图像的光阑值F确定的积分区域Rs覆盖的拍摄像素131的集合F所包括的全部的拍摄像素131即与包括基点微透镜121的附近的微透镜120对应配置的拍摄像素131的像素信号的输出值进行积分。该场合，输出值P由以下的式（。
26、4）表达。另外，式（4）中的“t”表示包括基点微透镜121的附近的微透镜120。0055 0056 图6表示输出由图像积分部105生成一个合成图像信号时采用的图像信号的拍摄像素131与基点微透镜121及在附近相邻的微透镜120a120f的关系。另外，图6中，对于不输出合成图像信号生成中采用的图像信号的拍摄像素131，省略显示。若将与图6所示的基点微透镜121相邻的微透镜120a120f中分散的各拍摄像素131集合，则构成由图5所示的合成图像的光阑值F规定的区域即积分区域Rs覆盖的多个拍摄像素131。0057 图像积分部105进行上述处理来对图像信号积分时，输出累加到基点信号的图像信号的拍摄像素。
27、131配置在与哪一个微透镜120对应的像素排列130的哪个位置是重要的。因此，式（3）、（4）中“i”表示的拍摄像素131设置为与哪个微透镜120a120f对应，即表示拍摄像素131的分散的表，作为合成像素所属表存储在预定存储区域。图像积分部105生成合成图像信号时，参照该合成像素所属表。另外，合成像素所属表设为由以下的式（5）表达。0058 tTd(i)（5）0059 以下，说明合成像素所属表的作成原理。0060 图10表示：在微透镜阵列12中，光点LP发出并由拍摄像素131的受光面截取的光束LF的光截面LFD。如图10所示，从光点LP扩散的光束LF通过其前级拍摄透镜L1，扩散角受到限制。因。
28、此，分别入射各微透镜120后的光束LF不会超出微透镜120的覆盖区域外（图10中，光截面LFDc、LFDe描绘为一部分超出覆盖区域外）。这也可以通过拍摄像素说 明 书CN 102870032 A6/13页8131的受光面与拍摄透镜L1的光瞳光学共轭来说明。经由拍摄透镜L1摄影时，微透镜120覆盖的区域中出现摄影光瞳像即光的边界，光束LF不入射其外侧。0061 以上述点为前提进行说明。图10的微透镜阵列12中，若对于向与光束LF的光截面LFDaLFDe（总称为LFD）对应的拍摄像素131a131e的入射光量积分，则可获得来自光点LP的光束LF中的限制到摄影透镜L1的光瞳的光束LF的所有辐射量。从。
29、而，图像积分部105对图像信号积分时，计算相对于光点LP的z轴方向的座标的拍摄像素131的受光元件面的光截面LFD即可。反之，若设置显示元件、从与光束LF的各光截面LFD对应的各个显示元件出射光，则必然存在按照与入射相同的方向前进的光束LF，因此“光点LP”成为光束LF的聚点。0062 如上所述，从光点LP扩散的光束LF的角度由摄影透镜L1的光瞳，即，拍摄透镜L1的F值确定。另外，如显示系统等那样不存在拍摄透镜L1的场合，由微透镜120的F值规定开口的最大(F的最小)。从而，若仅仅使用微透镜120的覆盖区域的中心部，则可限制开口。0063 用图11，通过在微透镜120上投影来自光点LP的光束L。
30、F的扩散，来说明几个或哪个微透镜120与某一光截面LFD对应。另外，图11中，为了便于说明，表示了微透镜120正方形排列的情况。另外，图11中，对从光点LP扩散的光束LF，表示了光点LP的z轴方向位置在微透镜120的焦点距离f的情况和在为其二倍的2f的情况。图11中，光点LP的位置为f时，光束LF的扩散用虚线表示，为2f时用单点划线表示。光点LP若位于微透镜120的焦点距离f的位置，则光束LP的扩散由微透镜120规定(光截面LFD设为圆，但是微透镜120若直到正方形端部为止光学有效，则成为正方形)，因此，光束LF入射一个微透镜120内。通过以上，确定与一个光点LP对应的微透镜120。0064 。
31、光点LP的位置在微透镜120的焦点距离f时，光束LF作为圆形开口的光扩散到该微透镜120的正下方的区域整体。因而，选择来自内切于正方形区域的圆的内部所包括的全部的拍摄像素131的图像信号即可。光点LP的位置的绝对值比焦点距离f小的场合，光束LF在微透镜120的正下方区域内不会聚地扩散。但是，入射光束LF的扩散角受到限制，因此，光截面LFD处在覆盖区域。0065 这里说明光点LP的位置在2f的情况。图12表示与该情况有关的微透镜120。如图12(a)所示，有关的微透镜120是自身即基点微透镜121和与其相邻的8个微透镜120。考虑微透镜120对开口的限制时，在图12(a)中的斜线表示的覆盖区域中。
32、存在光截面LFD。该场合，各微透镜120形成的光截面LFD成为由图12(b)的斜线表示的区域。0066 如图12(b)所示，将一个基点微透镜121的覆盖区域分割，向相邻的微透镜120分配。对分割后分配的覆盖区域（部分区域）积分时的整体区域成为一个微透镜120的开口区域。因此，不管哪个位置的光点LP，光截面LFD的整体区域的大小都相同，因此，对部分区域积分来算出整体区域的场合，确定各个部分区域所属的微透镜120即可。0067 图11中，表示了光点LP的位置和倍率即与基点微透镜121相邻的微透镜120的个数和关系，将其适用到假想的开口区域。本实施例中，采用下述方法：以按倍率缩小的微透镜120的排列。
33、分割开口区域，在由此定义的微透镜120中的相同位置配置开口区域片断。以下述情况为例说明：按倍率2缩小外切于开口区域的正方形，以微透镜120的排列分割开口区域（区域分割）。说 明 书CN 102870032 A7/13页90068 图13表示在基点微透镜121展开上述区域分割时的光截面LFD。若根据倍率进行同样的区域分割，则可获得倍率、即相对于光点LP的光截面LFD的图形。具体地说，微透镜120的直径（微透镜的一边的大小）设为g时，用g/m宽度的格子分割开口区域。倍率可以用光点LP的高度（位置）y和微透镜的焦点距离f之比my/f表达。比m也存在负符号。比m的符号为负的场合，光点LP与微透镜120。
34、相比，处于拍摄元件13侧。0069 上述例中，说明了光点LP在某微透镜120的透镜中心轴即伪光轴上存在的情况，但是实际上即使偏心，计算上也没有问题。若仅仅可在透镜中心上运算，则合成图像的二维分辨率等于微透镜120的个数，但是通常这是完全不够的。其理由是因为，微透镜120覆盖的拍摄像素131的数目若设为100，则合成图像的分辨率成为像素数目的1100。因而，为了获得100万像素的合成图像，需要1亿个拍摄像素131。因而，设为进行偏心位置处的合成，在微透镜120内，多个光点LP可对应。0070 微透镜120的覆盖区域和微透镜120的个数的积大致等于拍摄像素131的全部像素数，因此，将在一个微透镜1。
35、20内偏心的多个点分别设为基点进行合成的情况，等同于重叠使用来自拍摄像素131的图像信号。即，来自各偏心的光点LP的光束LF重叠存在于拍摄像素131上。但是，倍率为1倍时，该运算成为单纯的内插操作，对分辨率提高没有实质贡献。这表明若在微透镜120顶点附近成像，则光学的深度方向的信息丢失。0071 图14表示了与相对于基点微透镜121的伪光轴左偏心的光点LP相关的分割区域。说明从基点微透镜121（透镜直径设为g）的中心即伪光轴向图14的左方向偏心p、光点LP的高度（位置）为2f的情况。另外，图14中，点o1表示偏心的光点LP，点o2表示伪光轴。该场合，图13所示的微透镜120向图中右方向偏移p，。
36、若分割开口区域，则获得图14所示的场合的分割区域。0072 若将微透镜120分割为16个，若将透镜中心（伪光轴）的座标设为（0，0），相对于x轴y轴，分别进行-g/2、-g/4、0、g/4、g/2的位置的图形及其形成的分割区域及整体区域的积分，则可以对一个微透镜120获得16点的光点群。0073 -合成像素所属表的作成处理-0074 图像积分部105在对图像信号积分时，参照合成像素所属表。如上所述，该合成像素所属表特定：输出用于合成到基点信号的图像信号的拍摄像素131配置在与基点微透镜121及附近设置的微透镜120对应的像素排列130的哪个位置。0075 图像积分部105确定合成图像的焦点位置。
37、y和合成图像的光阑值F（景深）后，作成与输出用于合成到基点信号的图像信号的拍摄像素131有关的合成像素所属表。如上所述，来自与哪个微透镜120对应的哪个拍摄像素131的图像信号累加到基点信号，由合成图像的焦点位置确定。0076 图6(a)表示合成图像的焦点位置（焦点面）y相对于微透镜阵列12存在于被拍摄体侧的情况。另外，图6(b)表示合成图像的焦点位置（焦点面）y相对于微透镜阵列12存在于拍摄元件13侧的情况。如图6(a)及图6(b)所示，关于与微透镜120a对应的拍摄像素131，输出累加到基点信号的图像信号的拍摄像素131的配置相应于焦点面的位置而不同。其他的微透镜120120f及基点微透镜。
38、121也同样不同。0077 以下，详细说明图像积分部105进行的合成像素所属表的作成处理。设合成图像的焦点面存在于离微透镜阵列12为距离y的位置，即焦点距离设为y。而且，从基点微透镜说 明 书CN 102870032 A8/13页10121通过第n个微透镜120的伪光轴的光束如以下的式（6）所示，入射离基点微透镜121的伪光轴为距离x的位置。另外，“d”表示各微透镜120的排列间距。0078 xfndy（6）0079 若考虑拍摄像素131对由对应的微透镜120成像的光束进行受光，则合成图像的焦点位置y的来自被拍摄体的光中的在拍摄元件13的拍摄面由各微透镜120照射的光幅度l，通过以下的式（7）。
39、表达。0080 lfdy（7）0081 上述光幅度l在拍摄元件13的二维平面上，由幅度l的环状区域（以下，称为环带）表示。从而，在从基点微透镜121到在第n个位置配置的微透镜120中，由合成图像的光阑值F规定的光束入射由该环带l表示的区域内。如式（7）所示，合成图像的焦点位置y越大，环带l的幅度越小。0082 本实施例中，各个微透镜120在xy平面中的形状为图3所示的六角形，在微透镜阵列12上蜂窝状排列。图7表示在某合成图像的光阑值F对应的积分区域Rs中，n1时的环带l1及n2时的环带l 2。如图7所示，n1时的环带l1由基点微透镜121及微透镜120a120f区分，分别形成部分区域RpaRp。
40、g。即，各部分区域RpaRpg分别由不同的微透镜120覆盖。从而，图像积分部105算出来自环带l1的各部分区域RpaRpg所包括的拍摄像素131的图像信号的输出值Pi,s。同样，图像积分部105对积分区域Rs即全部环带l积分即可。0083 关于基点微透镜121及各微透镜120a120f，与相邻的微透镜120的关系基本同样。从而，图像积分部105对于构成环带11的部分区域RpaRpg各自所包括的各拍摄像素131，确定某拍摄像素131属于哪个部分区域Rp。0084 对于基点像素132，将包括输出被积分的图像信号的拍摄像素131的积分区域Rs的直径设为（DfF）。另外，将各微透镜120在x轴方向（水。
41、平方向）的排列间距d、换言之是内切于六角形形状的各微透镜120各个的圆的直径，设为等于积分区域Rs的直径的最大值Dmax。而且，以微透镜120的假想弯曲面为基准，将合成图像的焦点位置（焦点距离）设为y。该场合，将微透镜阵列12中的各微透镜120的排列间距d设为投影倍率即fy倍而在积分区域Rs上投影的区域，与通过各微透镜120分割环带1所成的部分区域Rp的各个相当。从而，图像积分部105使部分区域Rp所包括的拍摄像素131的位置和部分区域Rp所对应的微透镜120相对应，作成上述的式（5），作为基点像素132的合成像素所属表。另外，部分区域Rp对应的微透镜120的位置特定为，以基点微透镜121的位。
42、置为基准的相对位置。0085 参照上述合成像素所属表而生成的合成图像数据包括不同的焦点位置即具有立体形状的被拍摄体的立体信息。本实施例的数字相机1根据如上述生成的具有立体信息的合成图像数据，生成具有三维信息的二维显示用图像数据，在可显示三维图像的显示装置100显示与显示用图像数据对应的显示用图像。然后，用户经由显示装置100，将三维显示用图像观察为空中像。0086 参照图8，说明用于显示如上述生成的包括三维信息的显示用图像的显示装置110。图8是z轴方向的显示装置110的构成的示意图。如图8(a)所示，显示装置110具备显示器111、显示用微透镜阵列112、虚像透镜113。显示器111由例如具有背光源的液晶说 明 书CN 102870032 A10。