图像处理装置、摄像装置及图像处理程序.pdf

为了分别取得右眼用图像及左眼用图像作为图像就必须要取得与立体摄像装置的各个摄影光学系统对应的输出图像作为图像。此处提供一种图像处理装置，包括：像素值提取部，从具有作为捕捉被拍摄体像的多个视点之一的第一视点所对应的第一像素值图像数据提取对象像素位置处的第一像素值；亮度值提取部，从具有与第一视点不同的第二视点及第三视点所对应的第二亮度值及第三亮度值的亮度图像数据提取对象像素位置处的第二亮度值及第三亮度值；以及算出部，算出第二像素值及第三像素值的至少之一，使得第二视点的第二像素值或第三视点的第三像素值与由像素值提取部提取的第一像素值的关系式相对于根据第二亮度值和第三亮度值定义的关系式保持相关。

权利要求书1.  一种图像处理装置，包括：像素值提取部，从具有与第一视点对应的第一像素值的图像数据提取对象像素位置处的所述第一像素值，所述第一视点作为捕捉被拍摄体像的多个视点之一；亮度值提取部，从具有与所述第一视点不同的第二视点及第三视点所对应的第二亮度值及第三亮度值的亮度图像数据，提取所述对象像素位置处的所述第二亮度值及所述第三亮度值；以及算出部，算出所述第二像素值及所述第三像素值的至少之一，使得所述第二视点的第二像素值或所述第三视点的第三像素值与由所述像素值提取部提取的所述第一像素值的关系式，相对于根据所述第二亮度值和所述第三亮度值定义的关系式保持相关。2.  一种图像处理装置，包括：像素值提取部，从具有与第一视点对应的第一像素值的图像数据提取对象像素位置处的所述第一像素值，所述第一视点作为捕捉被拍摄体像的多个视点之一；亮度值提取部，从具有与所述第一视点不同的第二视点及第三视点所对应的第二亮度值及第三亮度值的亮度图像数据提取所述对象像素位置处的所述第二亮度值及所述第三亮度值；以及算出部，算出所述第二像素值及所述第三像素值的至少之一，使得所述第二视点的第二像素值或所述第三视点的第三像素值与由所述像素值提取部提取的所述第一像素值的比值，相对于根据所述第二亮度值与所述第三亮度值定义的比值保持相关。3.  根据权利要求2所述的图像处理装置，其中，所述算出部根据如下计算式算出所述第二像素值及所述第三像素值的至少之一：PC2＝2PC1×PB2/(PB2+PB3)PC3＝2PC1×PB3/(PB2+PB3)其中，PC2：第二像素值、PC3：第三像素值、PC1：第一像素值、PB2：第二亮度值、PB3：第三亮度值。4.  根据权利要求2所述的图像处理装置，其中，所述算出部根据如下计算式算出所述第二像素值及所述第三像素值的至少之一：PC2=PC1×PB2/ (PB2×PB3)]]>PC3=PC1×PB3/ (PB2×PB3)]]>其中，PC2：第二像素值、PC3：第三像素值、PC1：第一像素值、PB2：第二亮度值、PB3：第三亮度值。5.  根据权利要求2～4中任一项所述的图像处理装置，其中，由所述像素值提取部提取的所述第一像素值与由所述亮度值提取部提取的所述第二亮度值及所述第三亮度值的每一个是与受光量成正比的线性灰度值。6.  一种图像处理装置，包括：像素值提取部，从具有与第一视点对应的第一像素值的图像数据提取对象像素位置处的所述第一像素值，所述第一视点作为捕捉被拍摄体像的多个视点之一；亮度值提取部，从具有与所述第一视点不同的第二视点及第三视点所对应的第二亮度值及第三亮度值的亮度图像数据提取所述对象像素位置处的所述第二亮度值及所述第三亮度值；以及算出部，算出所述第二像素值及所述第三像素值的至少之一，使得所述第二视点的第二像素值或所述第三视点的第三像素值与由所述像素值提取部提取的所述第一像素值之差，相对于所述第二亮度值与所述第三亮度值之差保持相关。7.  根据权利要求6所述的图像处理装置，其中，所述算出部根据下式算出所述第二像素值及所述第三像素值的至少之一：PC2-PC1＝k(PB2-PB3)PC3-PC1＝k(PB3-PB2)其中，PC1：第一像素值、PC2：第二像素值、PC3：第三像素值、PB2：第二亮度值、PB3：第三亮度值、k：比例系数。8.  根据权利要求6或7所述的图像处理装置，其中，由所述像素值提取部提取的所述第一像素值与由所述亮度值提取部提取的所述第二亮度值及所述第三亮度值的每一个为进行了伽玛转换后的值。9.  根据权利要求1～8中任一项所述的图像处理装置，其中，包括图像数 据生成部，使所述对象像素位置相对于所述图像数据中的图像区域依次移动，利用使所述像素值提取部、所述亮度值提取部及所述算出部算出的多个像素值生成所述第二视点及所述第三视点的至少之一所对应的图像数据。10.  根据权利要求9所述的图像处理装置，其中，所述图像数据为作为构成被拍摄体像的色彩的多个色彩成分之一的特定色彩，所述图像数据生成部改变所述多个色彩成分中的所述特定色彩而生成所述彩色图像数据，使得全部所述多个色彩成分所对应的所述第二视点及所述第三视点的所述图像数据齐备。11.  根据权利要求1～10中任一项所述的图像处理装置，其中，所述亮度图像数据包含与所述第二视点及所述第三视点相对应地分别生成的两个亮度层图像数据。12.  根据权利要求11所述的图像处理装置，其中，所述两个亮度层图像数据不包含构成被拍摄体像的色彩的多个色彩成分的任一色彩信息。13.  根据权利要求11所述的图像处理装置，其中，所述图像数据是作为构成被拍摄体像的色彩的多个色彩成分之一的特定色彩，所述两个亮度层图像数据为相对于所述多个色彩成分中的所述特定色彩以外的色彩成分分别具有所述第二像素值及所述第三像素值的两个所述图像数据。14.  一种摄像装置，包括：摄像所述被拍摄体像的摄像元件；以及权利要求1～13中任一项所述的图像处理装置；其中，所述像素值提取部从所述摄像元件输出的所述图像数据提取所述第一像素值，所述亮度值提取部从所述摄像元件输出的所述亮度图像数据提取所述第二亮度值及所述第三亮度值。15.  根据权利要求14所述的摄像装置，其中，所述摄像元件包括：光电转换元件，将入射光光电转换为电信号，并二维排列；以及开口掩模，与所述光电转换元件的至少一部分的每一个分别一一对应地设置；与相邻n个所述光电转换元件中的至少两个相对应设置的各自的所述开口掩模的开口被定位为使来自于所述入射光的截面区域内的与所述第二视点 和所述第三视点对应的互不相同部分区域的光束分别通过，对以所述n个所述光电转换元件为一组的光电转换元件组进行周期性排列，其中n为3以上的整数。16.  根据权利要求15所述的摄像装置，其中，所述第二视点所对应的所述开口掩模的开口及所述第三视点所对应的所述开口掩模的开口相对于各自的所述光电转换元件包含中心地互相朝相反方向偏移。17.  根据权利要求16所述的摄像装置，其中，一组所述光电转换元件组包括如下的所述光电转换元件，该光电转换元件输出所述第一视点对应的所述彩色图像数据，并设置有使所述入射光的全部有效光束通过的所述开口掩模。18.  根据权利要求17所述的摄像装置，其中，使所述入射光的全部有效光束通过的所述开口掩模的开口形状，与使所述第二视点所对应的所述开口掩模的开口形状和所述第三视点所对应的所述开口掩模的开口形状相邻接而成的形状相等。19.  一种图像处理程序，使计算机执行如下步骤：像素值提取步骤，从具有与第一视点对应的第一像素值的图像数据提取对象像素位置处的所述第一像素值，所述第一视点作为捕捉被拍摄体像的多个视点之一；亮度值提取步骤，从具有与所述第一视点不同的第二视点及第三视点所对应的第二亮度值及第三亮度值的亮度图像数据提取所述对象像素位置处的所述第二亮度值及所述第三亮度值；以及算出步骤，算出所述第二像素值及所述第三像素值的至少之一，使得所述第二视点的第二像素值或所述第三视点的第三像素值与由所述像素值提取步骤提取的所述第一像素值的关系式相对于根据所述第二亮度值和所述第三亮度值定义的关系式保持相关。20.  一种图像处理程序，使计算机执行如下步骤：像素值提取步骤，从具有与第一视点对应的第一像素值的图像数据提取对象像素位置处的所述第一像素值，所述第一视点作为捕捉被拍摄体像的多个视点之一；亮度值提取步骤，从具有与所述第一视点不同的第二视点及第三视点所对应的第二亮度值及第三亮度值的亮度图像数据提取所述对象像素位置处的所述第二亮度值及所述第三亮度值；以及算出步骤，算出所述第二像素值及所述第三像素值的至少之一，使得所述第二视点的第二像素值或所述第三视点的第三像素值与由所述像素值提取步骤提取的所述第一像素值的比值相对于根据所述第二亮度值与所述第三亮度值定义的比值保持相关。21.  一种图像处理程序，使计算机执行如下步骤：像素值提取步骤，从具有与第一视点对应的第一像素值的图像数据提取对象像素位置处的所述第一像素值，所述第一视点作为捕捉被拍摄体像的多个视点之一；亮度值提取步骤，从具有与所述第一视点不同的第二视点及第三视点所对应的第二亮度值及第三亮度值的亮度图像数据提取所述对象像素位置处的所述第二亮度值及所述第三亮度值；以及算出步骤，算出所述第二像素值及所述第三像素值的至少之一，使得所述第二视点的第二像素值或所述第三视点的第三像素值与由所述像素值提取步骤提取的所述第一像素值之差相对于所述第二亮度值与所述第三亮度值之差保持相关。22.  一种图像处理装置，包括：图像数据取得部，取得对同一场景进行摄像而生成的、基准图像数据、相对于所述基准图像数据的被拍摄体像在一方向上具有第一视差的第一视差图像数据、及在与所述一方向相反的另一方向上具有第二视差的第二视差图像数据；算出部，提取所述基准图像数据的所述对象像素位置处的基准像素值、所述第一视差图像数据的所述对象像素位置处的第一视差亮度值、及所述第二视差图像数据的所述对象像素位置处的第二视差亮度值，根据如下计算式依次算出相对于所述被拍摄体像具有与所述第一视差和所述第二视差均不同的第三视差的第三视差像素值：P3＝2P0×(C·P1+(1-C)P2)/(P1+P2)P0：基准像素值、P1：第一视差亮度值，P2：第二视差亮度值，P3：第三 视差像素值，C：实数，其中，C≠0，0.5，1；图像数据生成部，使用使所述对象像素位置相对于所述基准图像数据中的图像区域依次移动而由所述算出部算出的多个所述第三视差像素值，来生成第三视差图像数据。23.  一种图像处理装置，包括：图像数据取得部，取得对同一场景进行摄像而生成的、基准图像数据、相对于所述基准图像数据的被拍摄体像在一方向上具有第一视差的第一视差图像数据、及在与所述一方向相反的另一方向上具有第二视差的第二视差图像数据；算出部，提取所述基准图像数据的所述对象像素位置处的基准像素值、所述第一视差图像数据的所述对象像素位置处的第一视差亮度值、及所述第二视差图像数据的所述对象像素位置处的第二视差亮度值，根据如下计算式依次算出相对于所述被拍摄体像具有与所述第一视差和所述第二视差均不同的第三视差的第三视差像素值：P3＝P0×(P2/P1)(1/2-C)P0：基准像素值、P1：第一视差亮度值，P2：第二视差亮度值，P3：第三视差像素值，C：实数，其中，C≠0，0.5，1，图像数据生成部，使用使所述对象像素位置相对于所述基准图像数据中的图像区域依次移动而由所述算出部算出的多个所述第三视差像素值，生成第三视差图像数据。24.  根据权利要求22或23所述的图像处理装置，其中，被提取的所述基准像素值、所述第一视差亮度值及所述第二视差亮度值的每一个是与受光量成正比的线性灰度值。25.  根据权利要求22～24中任一项所述的图像处理装置，其中，所述算出部对应于所述对象像素位置改变所述计算式中的C。26.  根据权利要求22所述的图像处理装置，其中，所述图像数据生成部成对地生成：使所述算出部使用在大于0.5小于1的范围内设定的Ck作为所述计算式中的C而算出的作为所述第三视差图像数据的第一数据、以及使用1-Ck作为所述计算式的C而算出的作为所述第三视差图像数据的第二数据。27.  根据权利要求26所述的图像处理装置，其中包括：附加部，将所述 第一数据与所述第一视差图像数据相关联，并将所述第二数据与所述第二视差图像数据相关联。28.  根据权利要求23所述的图像处理装置，其中，所述图像数据生成部成对地生成：使所述算出部使用在大于0小于0.5的范围内设定的Ck作为所述计算式中的C而算出的作为所述第三视差图像数据的第一数据、以及使用1-Ck作为所述计算式的C而算出的作为所述第三视差图像数据的第二数据。29.  根据权利要求28所述的图像处理装置，其中包括：附加部，将所述第一数据与所述第一视差图像数据相关联，并将所述第二数据与所述第二视差图像数据相关联。30.  一种图像处理装置，包括：图像数据取得部，取得对同一场景进行摄像而生成的、基准图像数据、相对于所述基准图像数据的被拍摄体像在一方向上具有第一视差的第一视差图像数据、及在与所述一方向相反的另一方向上具有第二视差的第二视差图像数据；算出部，提取所述基准图像数据的所述对象像素位置处的基准像素值、所述第一视差图像数据的所述对象像素位置处的第一视差亮度值、及所述第二视差图像数据的所述对象像素位置处的第二视差亮度值，根据如下计算式依次算出相对于所述被拍摄体像具有与所述第一视差和所述第二视差均不同的第三视差的第三视差像素值：P3-P0＝(1/2-C)(P2-P1)P0：基准像素值、P1：第一视差亮度值，P2：第二视差亮度值，P3：第三视差像素值，C：实数，其中，C≠0，0.5，1；图像数据生成部，使用使所述对象像素位置相对于所述基准图像数据中的图像区域依次移动而由所述算出部算出的多个所述第三视差像素值，生成第三视差图像数据。31.  根据权利要求30所述的图像处理装置，其中，所提取的所述基准像素值、所述第一视差亮度值及所述第二视差亮度值的每一个均为进行了伽玛转换后的值。32.  根据权利要求30或31所述的图像处理装置，其中，所述算出部对应于所述对象像素位置改变所述计算式中的C。33.  根据权利要求30所述的图像处理装置，其中，所述图像数据生成部成对地生成：使所述算出部使用在大于0小于0.5的范围内设定的Ck作为所述计算式中的C而算出的作为所述第三视差图像数据的第一数据、以及使用1-Ck作为所述计算式的C而算出的作为所述第三视差图像数据的第二数据。34.  根据权利要求33所述的图像处理装置，其中包括：附加部，将所述第一数据与所述第一视差图像数据相关联，并将所述第二数据与所述第二视差图像数据相关联。35.  根据权利要求22～34中任一项所述的图像处理装置，其中，所述基准图像数据为彩色图像数据，所述算出部对构成所述彩色图像数据的、按色彩成分进行分离的层图像数据的每一个算出所述第三视差像素值。36.  根据权利要求35所述的图像处理装置，其中，所述第一视差图像数据及所述第二视差图像数据不包含所述色彩成分的色彩信息。37.  一种摄像装置，包括：对所述同一场景进行拍摄的摄像元件；以及权利要求22～36中任一项所述的图像处理装置；所述图像数据取得部取得所述摄像元件输出的所述基准图像数据、所述第一视差图像数据及所述第二视差图像数据。38.  根据权利要求37所述的摄像装置，其中，所述摄像元件具有：二维排列的光电转换元件，其将入射光光电转换成电信号；开口掩模，其与所述光电转换元件的至少一部分的每一个分别一一对应地设置，与相邻n个所述光电转换元件中的至少两个相对应设置的各自的所述开口掩模的开口被定位为使来自于所述入射光的截面区域内的与所述第二视点和所述第三视点对应的互不相同部分区域的光束分别通过，对以所述n个所述光电转换元件为一组的光电转换元件组进行周期性排列，其中，n为3以上的整数。39.  根据权利要求38所述的摄像装置，其中，一组所述光电转换元件组包含如下的所述光电转换元件，该光电转换元件输出所述基准图像数据，并设置有使所述入射光的全部有效光束通过的所述开口掩模。40.  一种图像处理程序，使计算机执行如下步骤：图像数据取得步骤，取得对同一场景进行摄像而生成的、基准图像数据、相对于所述基准图像数据的被拍摄体像在一方向上具有第一视差的第一视差图像数据、及在与所述一方向相反的另一方向上具有第二视差的第二视差图像数据；算出步骤，使对象像素位置相对于所述基准图像数据中的图像区域依次移动的同时，提取所述基准图像数据的所述对象像素位置处的基准像素值、所述第一视差图像数据的所述对象像素位置处的第一视差亮度值、及所述第二视差图像数据的所述对象像素位置处的第二视差亮度值，根据如下计算式依次算出相对于所述被拍摄体像具有与所述第一视差和所述第二视差均不同的第三视差的第三视差像素值：P3＝2P0×(C·P1+(1-C)P2)/(P1+P2)P0：基准像素值、P1：第一视差亮度值、P2：第二视差亮度值、P3：第三视差像素值、C：实数，其中，C≠0，0.5，1；图像数据生成步骤，使用由所述算出步骤算出的多个所述第三视差像素值生成第三视差图像数据。41.  一种图像处理程序，使计算机执行如下步骤：图像数据取得步骤，取得对同一场景进行摄像而生成的、基准图像数据、相对于所述基准图像数据的被拍摄体像在一方向上具有第一视差的第一视差图像数据、及在与所述一方向相反的另一方向上具有第二视差的第二视差图像数据；算出步骤，使对象像素位置相对于所述基准图像数据中的图像区域依次移动的同时，提取所述基准图像数据的所述对象像素位置处的基准像素值、所述第一视差图像数据的所述对象像素位置处的第一视差亮度值、及所述第二视差图像数据的所述对象像素位置处的第二视差亮度值，根据如下计算式依次算出相对于所述被拍摄体像具有与所述第一视差和所述第二视差均不同的第三视差的第三视差像素值：P3＝P0×(P2/P1)(1/2-C)P0：基准像素值、P1：第一视差亮度值，P2：第二视差亮度值，P3：第三视差像素值，C：实数，其中，C≠0，0.5，1；图像数据生成步骤，使用由所述算出步骤算出的多个所述第三视差像素值生成第三视差图像数据。42.  一种图像处理程序，使计算机执行如下步骤：图像数据取得步骤，取得对同一场景进行摄像而生成的、基准图像数据、相对于所述基准图像数据的被拍摄体像在一方向上具有第一视差的第一视差图像数据、及在与所述一方向相反的另一方向上具有第二视差的第二视差图像数据；算出步骤，使对象像素位置相对于所述基准图像数据中的图像区域依次移动的同时，提取所述基准图像数据的所述对象像素位置处的基准像素值、所述第一视差图像数据的所述对象像素位置处的第一视差亮度值、及所述第二视差图像数据的所述对象像素位置处的第二视差亮度值，根据如下计算式依次算出相对于所述被拍摄体像具有与所述第一视差和所述第二视差均不同的第三视差的第三视差像素值：P3-P0＝(1/2-C)(P2-P1)P0：基准像素值、P1：第一视差亮度值，P2：第二视差亮度值，P3：第三视差像素值，C：实数，其中，C≠0，0.5，1；图像数据生成步骤，使用由所述算出步骤算出的多个所述第三视差像素值生成第三视差图像数据。

说明书图像处理装置、摄像装置及图像处理程序
技术领域
本发明涉及图像处理装置、摄像装置和图像处理程序。
背景技术
公知有使用2个摄影光学系统来取得由右眼用图像和左眼用图像构成的立体图像的立体摄像装置。这样的立体摄像装置通过以一定间隔配置两个摄影光学系统，在对同一被摄物体进行拍摄而得到的2个图像上产生视差。
现有技术文献
专利文献
专利文献1：日本特开平8-47001号公报
发明内容
发明要解决的问题:
为将右眼用图像及左眼用图像分别作为图像取得，需要将与立体摄像装置的各摄影光学系统对应的输出图像作为图像取得。
解决问题的方案:
本发明第一形态中的图像处理装置包括：像素值提取部，从具有与第一视点对应的第一像素值的图像数据提取对象像素位置处的第一像素值，所述第一视点作为捕捉被拍摄体像的多个视点之一；亮度值提取部，从具有与第一视点不同的第二视点及第三视点所对应的第二亮度值及第三亮度值的亮度图像数据提取对象像素位置处的第二亮度值及第三亮度值；以及算出部，算出第二像素值及第三像素值的至少之一，使得第二视点的第二像素值或第三视点的第三像素值与由像素值提取部提取的第一像素值的关系式相对于根据第二亮度值和第三亮度值定义的关系式保持相关。
本发明第二形态中的图像处理装置包括：像素值提取部，从具有与第一视 点对应的第一像素值的图像数据提取对象像素位置处的第一像素值，所述第一视点作为捕捉被拍摄体像的多个视点之一；
亮度值提取部，从具有与第一视点不同的第二视点及第三视点所对应的第二亮度值及第三亮度值的亮度图像数据提取对象像素位置处的第二亮度值及第三亮度值；以及
算出部，算出第二像素值及第三像素值的至少之一，使得第二视点的第二像素值或第三视点的第三像素值与由像素值提取部提取的第一像素值的比值相对于根据第二亮度值和第三亮度值定义的比值保持相关。
本发明第三形态中的图像处理装置包括：像素值提取部，从具有与第一视点对应的第一像素值的图像数据提取对象像素位置处的第一像素值，所述第一视点作为捕捉被拍摄体像的多个视点之一；亮度值提取部，从具有与第一视点不同的第二视点及第三视点所对应的第二亮度值及第三亮度值的亮度图像数据提取对象像素位置处的第二亮度值及第三亮度值；以及算出部，算出第二像素值及第三像素值的至少之一，使得第二视点的第二像素值或第三视点的第三像素值与由像素值提取部提取的第一像素值之差相对于第二亮度值与第三亮度值之差保持相关。
本发明第四形态中的摄像装置包括：摄像被拍摄体像的摄像元件；以及上述的图像处理装置；其中，像素值提取部从摄像元件输出的图像数据提取第一像素值，亮度值提取部从摄像元件输出的亮度图像数据提取第二亮度值及第三亮度值。
本发明第五形态的图像处理程序使计算机执行如下步骤：像素值提取步骤，从具有作为捕捉被拍摄体像的多个视点之一的第一视点所对应的第一像素值的图像数据提取对象像素位置处的第一像素值；亮度值提取步骤，从具有与第一视点不同的第二视点及第三视点所对应的第二亮度值及第三亮度值的亮度图像数据提取对象像素位置处的第二亮度值及第三亮度值；以及算出步骤，算出第二像素值及第三像素值的至少之一，使得第二视点的第二像素值或第三视点的第三像素值与由像素值提取步骤提取的第一像素值的关系式相对于根据第二亮度值和第三亮度值定义的关系式保持相关。
本发明第六形态的图像处理程序使计算机执行如下步骤：像素值提取步骤，从具有作为捕捉被拍摄体像的多个视点之一的第一视点所对应的第一像素值 的图像数据提取对象像素位置处的第一像素值；亮度值提取步骤，从具有与第一视点不同的第二视点及第三视点所对应的第二亮度值及第三亮度值的亮度图像数据提取对象像素位置处的第二亮度值及第三亮度值；以及算出步骤，算出第二像素值及第三像素值的至少之一，使得第二视点的第二像素值或第三视点的第三像素值与由像素值提取步骤提取的第一像素值的比值相对于根据第二亮度值和第三亮度值定义的比值保持相关。
本发明第七形态的图像处理程序使计算机执行如下步骤：像素值提取步骤，从具有作为捕捉被拍摄体像的多个视点之一的第一视点所对应的第一像素值的图像数据提取对象像素位置处的第一像素值；亮度值提取步骤，从具有与第一视点不同的第二视点及第三视点所对应的第二亮度值及第三亮度值的亮度图像数据提取对象像素位置处的第二亮度值及第三亮度值；以及算出步骤，算出第二像素值及第三像素值的至少之一，使得第二视点的第二像素值或第三视点的第三像素值与由像素值提取步骤提取的第一像素值之差相对于第二亮度值与第三亮度值之差保持相关。
本发明第八形态图像处理装置包括：图像数据取得部，取得对同一场景进行摄像而生成的、基准图像数据、相对于基准图像数据的被拍摄体像在一方向上具有第一视差的第一视差图像数据、及在与一方向相反的另一方向上具有第二视差的第二视差图像数据；算出部，提取基准图像数据的对象像素位置处的基准像素值、第一视差图像数据的对象像素位置处的第一视差亮度值、及第二视差图像数据的对象像素位置处的第二视差亮度值，根据如下计算式依次算出相对于被拍摄体像具有与第一视差和第二视差均不同的第三视差的第三视差像素值：P3＝2P0×(C·P1+(1-C)P2)/(P1+P2)，其中，P0：基准像素值、P1：第一视差亮度值，P2：第二视差亮度值，P3：第三视差像素值，C：实数(其中，C≠0，0.5，1)；图像数据生成部，使用使对象像素位置相对于基准图像数据中的图像区域依次移动而由算出部算出的多个第三视差像素值生成第三视差图像数据。
本发明第九形态图像处理装置包括：图像数据取得部，取得对同一场景进行摄像而生成的、基准图像数据、相对于基准图像数据的被拍摄体像在一方向上具有第一视差的第一视差图像数据、及在与一方向相反的另一方向上具有第二视差的第二视差图像数据；算出部，提取基准图像数据的对象像素位 置处的基准像素值、第一视差图像数据的对象像素位置处的第一视差亮度值、及第二视差图像数据的对象像素位置处的第二视差亮度值，根据如下计算式依次算出相对于被拍摄体像具有与第一视差和第二视差均不同的第三视差的第三视差像素值：P3＝P0×(P2/P1)(1/2-C)，其中，P0：基准像素值、P1：第一视差亮度值，P2：第二视差亮度值，P3：第三视差像素值，C：实数(其中，C≠0，0.5，1)；图像数据生成部，使用使对象像素位置相对于基准图像数据中的图像区域依次移动而由算出部算出的多个第三视差像素值生成第三视差图像数据。
本发明第十形态图像处理装置包括：图像数据取得部，取得对同一场景进行摄像而生成的、基准图像数据、相对于基准图像数据的被拍摄体像在一方向上具有第一视差的第一视差图像数据、及在与一方向相反的另一方向上具有第二视差的第二视差图像数据；算出部，提取基准图像数据的对象像素位置处的基准像素值、第一视差图像数据的对象像素位置处的第一视差亮度值、及第二视差图像数据的对象像素位置处的第二视差亮度值，根据如下计算式依次算出相对于被拍摄体像具有与第一视差和第二视差均不同的第三视差的第三视差像素值：P3-P0＝(1/2-C)(P2-P1)，其中，P0：基准像素值、P1：第一视差亮度值，P2：第二视差亮度值，P3：第三视差像素值，C：实数(其中，C≠0，0.5，1)；图像数据生成部，使用使对象像素位置相对于基准图像数据中的图像区域依次移动而由算出部算出的多个第三视差像素值生成第三视差图像数据。
本发明第11形态摄像装置包括：对同一场景进行拍摄的摄像元件；以及上述图像处理装置；图像数据取得部取得摄像元件输出的基准图像数据、第一视差图像数据及第二视差图像数据。
本发明第12形态图像处理程序使计算机执行如下步骤：图像数据取得步骤，取得对同一场景进行摄像而生成的、基准图像数据、相对于基准图像数据的被拍摄体像在一方向上具有第一视差的第一视差图像数据、及在与一方向相反的另一方向上具有第二视差的第二视差图像数据；算出步骤，使对象像素位置相对于基准图像数据中的图像区域依次移动的同时，提取基准图像数据的对象像素位置处的基准像素值、第一视差图像数据的对象像素位置处的第一视差亮度值、及第二视差图像数据的对象像素位置处的第二视差亮度 值，根据如下计算式依次算出相对于被拍摄体像具有与第一视差和第二视差均不同的第三视差的第三视差像素值：P3＝2P0×(C·P1+(1-C)P2)/(P1+P2)，其中，P0：基准像素值、P1：第一视差亮度值、P2：第二视差亮度值、P3：第三视差像素值、C：实数(其中，C≠0，0.5，1)；图像数据生成步骤，使用由算出步骤算出的多个第三视差像素值生成第三视差图像数据。
本发明第13形态图像处理程序使计算机执行如下步骤：图像数据取得步骤，取得对同一场景进行摄像而生成的、基准图像数据、相对于基准图像数据的被拍摄体像在一方向上具有第一视差的第一视差图像数据、及在与一方向相反的另一方向上具有第二视差的第二视差图像数据；算出步骤，使对象像素位置相对于基准图像数据中的图像区域依次移动的同时，提取基准图像数据的对象像素位置处的基准像素值、第一视差图像数据的对象像素位置处的第一视差亮度值、及第二视差图像数据的对象像素位置处的第二视差亮度值，根据如下计算式依次算出相对于被拍摄体像具有与第一视差和第二视差均不同的第三视差的第三视差像素值：P3＝P0×(P2/P1)(1/2-C)，其中，P0：基准像素值、P1：第一视差亮度值，P2：第二视差亮度值，P3：第三视差像素值，C：实数(其中，C≠0，0.5，1)；图像数据生成步骤，使用由算出步骤算出的多个第三视差像素值生成第三视差图像数据。
本发明第14形态图像处理程序使计算机执行如下步骤：图像数据取得步骤，取得对同一场景进行摄像而生成的、基准图像数据、相对于基准图像数据的被拍摄体像在一方向上具有第一视差的第一视差图像数据、及在与一方向相反的另一方向上具有第二视差的第二视差图像数据；算出步骤，使对象像素位置相对于基准图像数据中的图像区域依次移动的同时，提取基准图像数据的对象像素位置处的基准像素值、第一视差图像数据的对象像素位置处的第一视差亮度值、及第二视差图像数据的对象像素位置处的第二视差亮度值，根据如下计算式依次算出相对于被拍摄体像具有与第一视差和第二视差均不同的第三视差的第三视差像素值：P3-P0＝(1/2-C)(P2-P1)，其中，P0：基准像素值、P1：第一视差亮度值，P2：第二视差亮度值，P3：第三视差像素值，C：实数(其中，C≠0，0.5，1)；图像数据生成步骤，使用由算出步骤算出的多个第三视差像素值生成第三视差图像数据。
此外，上述的发明内容并不是列举本发明的全部必要特征而得到的。另外， 这些特征组的子组合也能构成发明。
附图说明
图1是说明本发明的实施方式所涉及的数码相机的结构图。
图2是表示本发明的实施方式所涉及的摄像元件的截面示意图。
图3是表示将摄像元件的一部分放大示出后的状态的示意图。
图4是说明视差像素与被摄物体的关系的概念图。
图5是说明用于生成视差图像的处理的概念图。
图6是说明拜耳阵列的图。
图7是说明关于对拜耳阵列分配视差像素，有两种视差像素时的变形的图。
图8是表示变形的一例的图。
图9是表示另一变形的一例的图。
图10是表示又一变形的一例的图。
图11是说明另一彩色滤光片阵列的图。
图12是表示W像素和视差像素的阵列的一例的图。
图13是说明层分离处理的图。
图14是说明层数据的插值处理的图。
图15为说明RAW图像数据集的数据结构的图。
图16是用于说明散焦的概念的图。
图17是用于说明视差像素散焦的概念的图。
图18是表示无视差像素及像差像素的光强度分布的图。
图19是说明彩色视差层数据的生成处理的图。
图20为说明光强度分布的变化的图。
图21为直到生成视差彩色图像数据的处理流程。
图22为说明较佳的开口形状的图。
图23为说明彩色视差层数据的生成处理的图。
图24为说明光强度分布的变化的图。
图25为说明在采用另一重复图案的摄像元件100中的层分离处理的图。
图26为说明采用另一重复图案的摄像元件100中的RAW图像数据集的数 据结构的图。
图27为表示用于说明调整视差量的概念的光强度分布的图。
图28为说明彩色视差层数据的生成处理的图。
图29为说明RGB的光强度分布的变化的图。
图30为直到生成视差彩色图像数据的处理流程。
图31为说明较佳的开口形状的图。
图32为表示用于说明调整视差量的概念的光强度分布的图。
图33为说明彩色视差层数据的生成处理图。
图34为说明RGB的光强度分布的变化的图。
图35为说明采用另一重复图案的摄像元件100中的层分离处理的说明图。
图36为说明采用另一重复图案的摄像元件100中的RAW图像数据集的数据结构的说明图。
具体实施方式
以下，通过发明的实施方式来说明本发明，但以下的实施方式并不限定权利要求书所涉及的发明。另外，实施方式中所说明的特征的组合也并非全部为发明的必要技术特征。
在以下的说明中，首先说明第一实施方式，然后对第二实施方式进行说明。在各个说明中，提到“本实施方式”的情形是指各个实施方式。然而，如后所述，两实施方式在很多方面都是共通的，因此针对共通结构的相关说明，作为两实施方式的说明可以适当互换阅读。另外，将属于各个实施方式的实施例以每三个作为实施例1～3进行说明。
对第一实施方式进行说明。作为图像处理装置及摄像装置的一个方式的本实施方式所涉及的数码相机构成为，能够对一个场景通过一次拍摄来生成多个视点数的图像。将视点互不相同的各个图像称为视差图像。
图1是说明本发明的实施方式所涉及的数码相机10的构成的图。数码相机10具有作为摄影光学系统的摄影透镜20，将沿着光轴21入射的被摄物体光束导向摄像元件100。摄影透镜20也可以是相对于数码相机10可装卸的交换式透镜。数码相机10具有摄像元件100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF(InterFace：接口) 207、操作部208、显示部209、LCD驱动电路210以及AF(自动调焦，Auto Focus)传感器211。
此外，如图所示，将朝向摄像元件100的平行于光轴21的方向定为z轴正方向，将在垂直于z轴的平面中朝向纸面近前的方向定为x轴正方向，将纸面上方定为y轴正方向。在以后的几幅图中，以图1的坐标轴为基准表示坐标轴以使各个图的方向清楚。
摄影透镜20由多个光学透镜组构成，使来自场景的被摄物体光束成像在该摄影透镜20的焦点面附近。此外，图1中为了便于说明摄影透镜20而以配置在光瞳附近的假想的1片透镜为代表来表示。摄像元件100配置在摄影透镜20的焦点面附近。摄像元件100是二维地排列有多个光电转换元件的例如CCD(电荷藕合器件，Charge Coupled Device)、CMOS(互补金属氧化物半导体，Complementary Metal Oxide Semiconductor)传感器等图形传感器。摄像元件100由驱动部204进行定时(t iming)控制，将成像在受光面上的被摄物体像转换成图像信号并输出到A/D转换电路202。
A/D转换电路202将摄像元件100输出的图像信号转换成数字图像信号并输出到存储器203。图像处理部205将存储器203作为工作空间来实施各种图像处理，生成图像数据。尤其是，图像处理部205具有：像素值提取部231，从彩色图像数据的对象像素位置提取像素值；亮度值提取部232，从视差图像数据的对象像素位置提取亮度值；算出部233，使用提取的像素值和亮度值算出作为对象像素位置处的彩色图像数据的像素值。在后面对各个处理进行详细说明。
图像处理部205另外也承担依照所选择出的图像格式来调整图像数据等图像处理的通常功能。所生成的图像数据通过LCD驱动电路210被转换成显示信号并显示在显示部209上。另外，被记录在安装于存储卡IF207的存储卡220中。
AF传感器211是对被摄物体空间设置有多个测距点的相位差传感器，在各个测距点检测被摄物体像的散焦量。通过操作部208受理用户的操作并向控制部201输出操作信号来开始一连串的摄影过程。在控制部201中控制并执行摄影过程所附带的AF、AE等各种动作。例如，控制部201解析AF传感器211的检测信号，执行使构成摄影透镜20的一部分的聚焦透镜移动的聚焦 控制。
接着，对摄像元件100的构成进行详细说明。图2是表示本发明的实施方式所涉及的摄像元件的截面示意图。图2的(a)是彩色滤光片102和开口掩模103分体构成的摄像元件100的截面示意图。另外，作为摄像元件100的变形例，图2的(b)是具有彩色滤光片部122和开口掩模部123一体构成的屏幕滤光片121的摄像元件120的截面示意图。
如图2的(a)所示，摄像元件100构成为从被摄物体侧依次排列有微透镜101、彩色滤光片102、开口掩模103、布线层105以及光电转换元件108。光电转换元件108由将入射的光转换成电信号的光电二极管构成。光电转换元件108在基板109的表面二维地排列有多个。
由光电转换元件108转换后的图像信号、控制光电转换元件108的控制信号等经由设置于布线层105的布线106进行收发。另外，具有与各光电转换元件108一一对应地设置的开口部104的开口掩模103，与布线层接触地设置。开口部104如后述那样相对于各个对应的光电转换元件108偏移，其相对位置被严格地确定。通过具有该开口部104的开口掩模103的作用而在光电转换元件108受光的被摄物体光束中产生视差，这将在后详细说明。
另一方面，在不产生视差的光电转换元件108上，不存在开口掩模103。换言之，也可以说成是，设置有具有不限制向对应的光电转换元件108入射的被摄物体光束、即使有效光束全部穿过的开口部104的开口掩模103。虽然不产生视差，但实质上由布线106形成的开口107规定入射的被摄物体光束，所以也可以将布线106看做是不产生视差的使有效光束全部穿过的开口掩模。开口掩模103可以与各光电转换元件108对应地分别独立地排列，也可以与彩色滤光片102的制造工序同样地对多个光电转换元件108统一形成。
彩色滤光片102设置在开口掩模103上。彩色滤光片102是以使特定的波段透过各光电转换元件108的方式被着色、并与光电转换元件108分别一一对应地设置的滤光片。要输出彩色图像，只要排列互不相同的至少2种彩色滤光片即可，但为取得更高画质的彩色图像，排列3种以上的彩色滤光片为好。这些彩色滤光片可以说是用于生成彩色图像的原色滤光片。原色滤光片的组合例如为使红色波段透过的红色滤光片(R滤光片)、使绿色波段透过的绿色滤光片(G滤光片)以及使蓝色波段透过的蓝色滤光片(B滤光片)。 这些彩色滤光片如后述那样与光电转换元件108对应地呈格子状排列。
微透镜101设置在彩色滤光片102上。微透镜101是用于将入射的被摄物体光束更多地导向光电转换元件108的聚光透镜。微透镜101与光电转换元件108分别一一对应地设置。微透镜101优选的是，考虑摄影透镜20的光瞳中心与光电转换元件108的相对位置关系来移动其光轴，以使更多的被摄物体光束被导向光电转换元件108。进而，可以与开口掩模103的开口部104的位置一起来调整配置位置以使后述的特定的被摄物体光束更多地入射。
如此，将与各个光电转换元件108一一对应地设置的开口掩模103、彩色滤光片102以及微透镜101的一个单位称为像素。尤其是，将设有产生视差的开口掩模103的像素称为视差像素，将没有设置产生视差的开口掩模103的像素称为无视差像素。例如，在摄像元件100的有效像素区域为24mm×16mm左右的情况下，像素数达到1200万左右。另外，有时将从摄像元件100的输出而生成的图像数据中与摄像元件100的像素相对应有可能具有输出值的单位也简单地称为像素。
此外，在聚光效率、光电转换效率良好的图形传感器的情况下，也可以不设置微透镜101。另外，在背面照射型图形传感器的情况下，将布线层105设置于光电转换元件108的相反侧。
彩色滤光片102和开口掩模103的组合存在各种变形。在图2的(a)中，只要使开口掩模103的开口部104具有色彩成分，就能够一体地形成彩色滤光片102和开口掩模103。另外，在将特定的像素设为获取被摄物体的亮度信息的像素的情况下，也可以不在该像素设置对应的彩色滤光片102。或者，也可以以使可见光的大约全部波段透过的方式排列没有着色的透明滤光片。
另外，在本实施方式中，开口掩模103和布线106分体地设置，但也可以由布线106承担视差像素中开口掩模103的功能。即，由布线106形成所规定的开口形状，通过该开口形状限制被拍摄体光束从而仅将特定的部分光导入光电转换元件108。在该情况下，形成开口形状的布线106优选位于布线层105中最靠近光电转换元件108的一侧。
另外，开口掩模103也可以由与光电转换元件108重合设置的防透膜形成。该情况下，开口掩模103例如依次层叠有SiN膜和Si02膜而成为防透膜，并通过蚀刻除去与开口部104相当的区域而形成。
若将取得亮度信息的像素设为视差像素，则能够采用作为图2的(b)所示的摄像元件120的构成。也就是说，可以将由作为彩色滤光片发挥作用的彩色滤光片部122和具有开口部104的开口掩模部123一体构成的屏幕滤光片121配设在微透镜101与布线层105之间。
在彩色滤光片部122中实施例如蓝绿红色的着色并在开口掩模部123中对开口部104以外的掩模部分实施黑色的着色，从而形成屏幕滤光片121。采用屏幕滤光片121的摄像元件120与摄像元件100相比，因为从微透镜101到光电转换元件108的距离短，所以被摄物体光束的聚光效率高。
接着，对开口掩模103的开口部104和所产生的视差的关系进行说明。图3是表示将摄像元件100的一部分放大后的状态的示意图。在此，为了简单地说明，对于彩色滤光片102的配色在后面再次提及之前不考虑。在不提及彩色滤光片102的配色的以下说明中，能够看做是仅将具有同色(包含透明的情况)的彩色滤光片102的视差像素汇集的图形传感器。因此，以下说明的重复图案也可以被认为是同色的彩色滤光片102中的相邻像素。
如图3所示，开口掩模103的开口部104相对于各个像素相对偏移地设置。而且，在相邻像素的彼此之间，各个开口部104也被设置于彼此错位的位置。
在图示的例子中，作为开口部104相对于各个像素的位置，准备相互在左右方向上偏移的6种开口掩模103。而且，在整个摄像元件100中，二维且周期性地排列有光电转换元件组，该光电转换元件组以分别具有从纸面左侧向右侧逐渐偏移的开口掩模103的6个视差像素为一组。即，可以说摄像元件100通过包含一组光电转换元件组的重复图案110周期性地铺满而构成。
图4是说明视差像素与被摄物体的关系的概念图。尤其是图4的(a)示出在摄像元件100的与摄影光轴21垂直的中心处排列的重复图案110t的光电转换元件组，图4的(b)示意性地示出排列在周边部分的重复图案110u的光电转换元件组。图4的(a)、(b)中的被摄物体30相对于摄影透镜20位于聚焦位置。图4的(c)与图4的(a)对应，示意性地示出在捕捉到相对于摄影透镜20位于非聚焦位置的被摄物体31时的关系。
首先，说明在摄影透镜20捕捉位于聚焦状态的被摄物体30的情况下的视差像素与被摄物体的关系。被摄物体光束穿过摄影透镜20的光瞳而被导向摄像元件100，但对被摄物体光束穿过的整个截面区域规定了6个部分区域Pa～ Pf。而且，从放大图也可以看出，构成例如重复图案110t、110u的光电转换元件组的纸面左端的像素的开口掩模103的开口部104f的位置被确定成，仅使从部分区域Pf射出的被摄物体光束到达光电转换元件108。同样，关于朝向右端的像素，分别与部分区域Pe对应地确定开口部104e的位置、与部分区域Pd对应地确定开口部104d的位置、与部分区域Pc对应地确定开口部104c的位置、与部分区域Pb对应地确定开口部104b的位置、与部分区域Pa对应地确定开口部104a的位置。
换言之，也可以说是，通过由例如部分区域Pf与左端像素的相对位置关系定义的从部分区域Pf射出的被摄物体光束的主光线Rf的倾斜来确定开口部104f的位置。而且，当光电转换元件108经由开口部104f接收来自位于聚焦位置的被摄物体30的被摄物体光束时，该被摄物体光束如虚线所图示的那样成像在光电转换元件108上。同样，关于朝向右端的像素，可以说是根据主光线Re的倾斜来设定开口部104e的位置，根据主光线Rd的倾斜来设定开口部104d的位置，根据主光线Rc的倾斜来设定开口部104c的位置，根据主光线Rb的倾斜来设定开口部104b的位置，根据主光线Ra的倾斜来设定开口部104a的位置。
如图4的(a)所示，从位于聚焦位置的被摄物体30中的、与光轴21交叉的被摄物体30上的微小区域Ot放射的光束，穿过摄影透镜20的光瞳而到达构成重复图案110t的光电转换元件组的各像素。也就是说，构成重复图案110t的光电转换元件组的各像素分别经由6个部分区域Pa～Pf而接收从一个微小区域Ot放射的光束。微小区域Ot具有与构成重复图案110t的光电转换元件组的各像素的位置偏离相对应程度的扩散，但实质上能够大致近似于同一物点。同样，如图4的(b)所示，从位于聚焦位置的被摄物体30中的离开光轴21的被摄物体30上的微小区域Ou放射的光束，穿过摄影透镜20的光瞳而到达构成重复图案110u的光电转换元件组的各像素。也就是说，构成重复图案110u的光电转换元件组的各像素分别经由6个部分区域Pa～Pf而接收从一个微小区域Ou放射的光束。微小区域Ou与微小区域Ot同样地，也具有与构成重复图案110u的光电转换元件组的各像素的位置偏离相对应程度的扩散，但实质上能够大致近似于同一物点。
即，只要被摄物体30位于聚焦位置，与摄像元件100上的重复图案110 的位置相应地，光电转换元件组所捕捉的微小区域就不同，并且构成光电转换元件组的各像素经由互不相同的部分区域而捕捉同一微小区域。而且，在各个重复图案110中，对应的像素彼此接收来自相同部分区域的被摄物体光束。即，图中，例如重复图案110t、110u各自的左端的像素接收来自相同部分区域Pf的被摄物体光束。
排列在与摄影光轴21垂直的中心处的重复图案110t中左端像素接受来自部分区域Pf的被摄物体光束的开口部104f的位置，和排列在周边部分的重复图案110u中左端像素接受来自部分区域Pf的被摄物体光束的开口部104f的位置严格来说是不同的。然而，从功能性的观点出发，在用于接受来自部分区域Pf的被摄物体光束的开口掩模这一点上，能够将它们作为同一种开口掩模来处理。因此，在图4的例子中，可以说排列在摄像元件100上的视差像素分别具有6种开口掩模中的一种。
接着，说明在摄影透镜20捕捉处于非聚焦状态的被摄物体31的情况下的视差像素与被摄物体的关系。在该情况下，来自位于非聚焦位置的被摄物体31的被摄物体光束也穿过摄影透镜20的光瞳的6个部分区域Pa～Pf而到达摄像元件100。但是，来自位于非聚焦位置的被摄物体31的被摄物体光束不是成像在光电转换元件108上而是成像在其他位置。例如，如图4的(c)所示，若被摄物体31与被摄物体30相比位于更远离摄像元件100的位置，则被摄物体光束成像在比光电转换元件108更靠被摄物体31侧。相反，若被摄物体31与被摄物体30相比位于更接近摄像元件100的位置，则被摄物体光束与光电转换元件108相比在被摄物体31的相反侧成像。
因此，从位于非聚焦位置的被摄物体31的微小区域Ot′放射的被摄物体光束，穿过6个部分区域Pa～Pf中的某一个而到达不同组的重复图案110中的对应像素。例如，如图4的(c)的放大图所示，穿过了部分区域Pd的被摄物体光束作为主光线Rd′而入射到包含在重复图案110t′中的具有开口部104d的光电转换元件108。而且，从微小区域Ot′放射且穿过了其他部分区域的被摄物体光束，没有入射到包含在重复图案110t′中的光电转换元件108，而入射到其他重复图案中具有对应开口部的光电转换元件108。换言之，到达构成重复图案110t′的各光电转换元件108的被摄物体光束是从被摄物体31的互不相同的微小区域放射的被摄物体光束。也就是说，向与开口部 104d对应的108入射主光线为Rd′的被摄物体光束，向与其他开口部对应的光电转换元件108入射主光线为Ra+、Rb+、Rc+、Re+、Rf+的被摄物体光束，但这些被摄物体光束是从被摄物体31的互不相同的微小区域放射的被摄物体光束。这样的关系在图4的(b)的排列在周边部分的重复图案110u中也是同样的。
于是，在观察摄像元件100整体的情况下，例如，由与开口部104a对应的光电转换元件108捕捉到的被摄物体像A和由与开口部104d对应的光电转换元件108捕捉到的被摄物体像D，若是针对位于聚焦位置的被摄物体的像则相互没有偏离，若是针对位于非聚焦位置的被摄物体的像则会产生偏离。而且，根据位于非聚焦位置的被摄物体相对于聚焦位置向哪一侧偏离了多少、及部分区域Pa与部分区域Pd的距离，来确定该偏离的方向和偏离量。即，被摄物体像A和被摄物体像D相互成为视差像。该关系对于其他开口部而言也是同样的，因此与开口部104a～104f对应地形成6个视差像。
因此，在如此构成的各个重复图案110中，当将互相对应的像素的输出汇集时，取得视差图像。即，接受了从6个部分区域Pa～Pf中的特定部分区域射出的被摄物体光束的像素的输出形成视差图像。
图5是说明用于生成视差图像的处理的概念图。图中从左列依次表示将与开口部104f对应的视差像素的输出集中而生成的视差图像数据Im_f的生成的状态、由开口部104e的输出实现的视差图像数据Im_e的生成的状态、由开口部104d的输出实现的视差图像数据Im_d的生成的状态、由开口部104c的输出实现的视差图像数据Im_c的生成的状态、由开口部104b的输出实现的视差图像数据Im_b的生成的状态、由开口部104a的输出实现的视差图像数据Im_a的生成的状态。首先对由开口部104f的输出实现的视差图像数据Im_f的生成的状态进行说明。
由以6个视差像素为一组的光电转换元件组构成的重复图案110排列成一横排。因此，具有开口部104f的视差像素在除去无视差像素的假想的摄像元件100上沿左右方向每隔6个像素且在上下方向上连续地存在。这些各像素如上述那样接受来自分别不同的微小区域的被摄物体光束。因此，当将这些视差像素的输出汇集排列时，取得视差图像。
但是，因为本实施方式中的摄像元件100的各像素是正方像素，仅进行单 纯的汇集会造成横向的像素数缩减到1/6的结果，从而生成纵长的图像数据。于是，通过实施插值处理在横向上变为6倍的像素数，从而生成视差图像数据Im_f作为原始长宽比的图像。但是，因为原本插值处理前的视差图像数据为横向上缩减到1/6的图像，所以横向的分辨率比纵向的分辨率低。即，可以说所生成的视差图像数据的数量与分辨率的提高为相反关系。另外，关于在本实施方式中适用的具体的插值处理将在以后进行描述。
同样地取得视差图像数据Im_e～视差图像数据Im_a。也就是说，数码相机10能够生成在横向上具有视差的6个视点的视差图像。
接着说明彩色滤光片102和视差图像。图9是说明拜耳阵列的图。如图6所示，拜耳阵列是如下阵列：将绿色滤光片分配给左上和右下这2个像素，将红色滤光片分配给左下这1个像素，将蓝色滤光片分配给右上这1个像素。在此，将分配了绿色滤光片的左上的像素设为Gb像素，将同样被分配了绿色滤光片的右下的像素设为Gr像素。另外，将分配了红色滤光片的像素设为R像素，将分配了蓝色滤光片的像素设为B像素。而且，将Gb像素和B像素排列的横向设为Gb行，将R像素和Gr像素排列的横向设为Gr行。另外，将Gb像素和R像素排列的纵向设为Gb列，将B像素和Gr像素排列的纵向设为Gr列。
对于这样的彩色滤光片102的排列，通过将视差像素和无视差像素以怎样的周期分配给哪种颜色的像素，能够设定庞大数量的重复图案110。如果将无视差像素的输出汇集，能够与通常的摄影图像同样地生成无视差的摄影图像数据。因此，如果相对地增加无视差像素的比例，则能够输出分辨率高的2D图像。在该情况下，因为视差像素的比例相对变小，所以作为由多个视差图像构成的3D图像，画质降低。相反，如果增加视差像素的比例，虽然能够提高作为3D图像的画质，但因为无视差像素相对减少，所以会输出分辨率低的2D图像。
在这种权衡关系中，通过将哪个像素设为视差像素或设为无视差像素，能够设定具有各种特征的重复图案110。图7是说明关于对拜耳阵列分配视差像素，有2种视差像素的情况下的变形的图。该情况的视差像素假设为开口部104相比于中心偏向左侧的视差Lt像素和相比于中心偏向右侧的视差Rt像素。即，从这样的视差像素输出的2个视点的视差图像实现所谓的立体视 图。
对各个重复图案的特征性说明如图所示那样。例如，如果无视差像素分配得较多则成为高分辨率的2D图像数据，如果针对任意RGB像素都进行平均分配，则成为颜色失真小的高画质的2D图像数据。另一方面，若视差像素分配得较多则成为高分辨率的3D图像数据，如果针对任意RGB像素都进行平均分配，则在为3D图像的同时还成为色彩再现性好的高品质的彩色图像数据。
以下对几个变形进行说明。图8是表示变形的一例的图。图8的变形与图7中的重复图案分类A-1相当。
在图示例子中，将与拜耳阵列相同的4个像素设为重复图案110。R像素和B像素为无视差像素，将Gb像素分配给视差Lt像素，将Gr像素分配给视差Rt像素。该情况下，同一重复图案110所包含的视差Lt像素和视差Rt像素的开口部104设定成，在被摄物体位于聚焦位置时接受从相同微小区域放射的光束。
在图示的例子中，因为使用光敏度高的绿色像素的Gb像素和Gr像素来作为视差像素，所以能够期待取得对比度高的视差图像。另外，因为使用相同绿色像素的Gb像素和Gr像素作为视差像素，所以容易将这2个像素的输出换算成无视差的输出，能够与无视差像素的R像素和B像素的输出一起生成高画质的2D图像数据。另外，关于换算将在以后进行描述。
图9是表示另一变形的一例的图。图9的变形与图7中的重复图案分类B-1相当。
在图示的例子中，将拜耳阵列的4个像素左右连续2组得到的8个像素设为重复图案110。8个像素中，对左侧的Gb像素分配视差L像素，对右侧的Gb像素分配视差R像素。在这样的排列中，通过将Gr像素设为无视差像素，与图8的例子相比，更加实现2D图像的高画质化。
图10是表示又一变形的一例的图。图10的变形与图7中的重复图案分类D-1相当。
在图示的例子中，将拜耳阵列的4个像素左右连续2组得到的8个像素设为重复图案110。8个像素中，对左侧的Gb像素分配视差Lt像素，对右侧的Gb像素分配视差Rt像素。进而，对左侧的R像素分配视差Lt像素，对右侧的R像素分配视差Rt像素。进而，对左侧的B像素分配视差Lt像素，对右 侧的B像素分配视差Rt像素。对2个Gr像素分配无视差像素。
被分配给2个Gb像素的视差Lt像素和视差Rt像素，在被摄物体位于聚焦位置时接受从一个微小区域放射的光束。另外，被分配给2个R像素的视差Lt像素和视差Rt像素接受从与Gb像素时不同的一个微小区域放射的光束，被分配给2个B像素的视差Lt像素和视差Rt像素接受从与Gb像素及R像素时不同的一个微小区域放射的光束。因此，与图9的例子相比，作为3D图像的分辨率在纵向上变为3倍。而且，因为取得了RGB三色的输出，所以取得高品质的作为彩色图像的3D图像。
此外，如果如上述那样将视差像素的种类设为两种，则能取得两个视点的视差图像，但视差像素的种类当然也可以根据想要输出的视差图像数来采用各种数量。即使视点数递增，也能够形成各种重复图案110。因此，能够选择与规格、目的等相应的重复图案110。
在上述的例子中，对作为彩色滤光片阵列而采用了拜耳阵列的情况进行了说明，但当然也可以为其他的彩色滤光片阵列。此时，只要使构成一个光电转换元件组的视差像素分别包括具有面向互不相同的部分区域的开口部104的开口掩模103即可。
因此，摄像元件100只要如下即可：具有：将入射光光电转换成电信号的二维排列的光电转换元件108、与光电转换元件108的至少一部分分别一一对应地设置的开口掩模103、和与光电转换元件108的至少一部分分别一一对应地设置的彩色滤光片102，相邻的n个(n为3以上的整数)光电转换元件108中，与至少2个(也可以是3个以上)的光电转换元件108对应设置的各个开口掩模103的开口部104，包含在由使互不相同的波段透过的至少三种彩色滤光片102构成的彩色滤光片图案的一个图案内，并且以使来自入射光的截面区域内的互不相同的部分区域的光束分别穿过的方式定位，以n个光电转换元件108为一组的光电转换元件组周期性地排列。
图11是说明另一彩色滤光片阵列的图。如图所示，另一彩色滤光片阵列为如下阵列：将图6所示的拜耳阵列的Gr像素维持为分配绿色滤光片的G像素，另一方面，将Gb像素变更为没有分配彩色滤光片的W像素。此外，W像素也可以如上述那样以使可见光的大约全部的波段透过的方式排列有没有实施着色的透明滤光片。
如果采用包含这样的W像素的彩色滤光片阵列，则虽然摄像元件输出的色彩信息的精度稍微降低，但W像素受光的光量比设有彩色滤光片的情况多，所以能够取得高精度的亮度信息。如果将W像素的输出汇集，也能够形成单色图像。
在包含W像素的彩色滤光片阵列的情况下，视差像素和无视差像素的重复图案110存在进一步的变形。例如，即使在比较暗的环境下拍摄的图像，与从彩色像素输出的图像相比，若是从W像素输出的图像，则被摄物体像的对比度高。因此，如果对W像素分配视差像素，则在多个视差图像之间进行的匹配处理中，能够期待高精度的运算结果。因此，在对2D图像的分辨率及视差图像画质的影响的基础上，进一步考虑对所提取的其他信息带来的利弊，来设定视差像素与无视差像素的重复图案110。
图12是表示在采用图11的另一彩色滤光片阵列的情况下的W像素和视差像素的排列的一例的图。图12的变形与拜耳阵列中的图7的重复图案分类B-1类似，因此在此设为B′-1。在图示的例子中，将另一彩色滤光片阵列的4个像素左右连续2组得到的8个像素设为重复图案110。8个像素中，对左侧的W像素分配视差Lt像素，对右侧的W像素分配视差Rt像素。在这样的排列中，摄像元件100能够输出视差图像作为单色图像，能够输出2D图像作为彩色图像。
在该情况下，摄像元件100只要如下即可：具有：将入射光光电转换成电信号的二维排列的光电转换元件108、与光电转换元件108的至少一部分分别一一对应地设置的开口掩模103、和与光电转换元件108的至少一部分分别一一对应地设置的彩色滤光片102，相邻的n个(n为4以上的整数)光电转换元件108中，与至少2个光电转换元件108对应设置的各个开口掩模103的开口部104，不包含在由使互不相同的波段透过的至少3种彩色滤光片102构成的彩色滤光片图案的一个图案内，并且所述开口部104以使来自入射光的截面区域内的互不相同的部分区域的光束分别穿过的方式被定位，以n个光电转换元件108为一组的光电转换元件组周期性地排列。
以上，构成摄像元件100的各像素是将着眼于开口部104的情况下的视差像素和无视差像素、以及着眼于彩色滤光片102的情况下的R像素、G像素、B像素、W像素进行各种各样的组合并赋予特征。因此，即使使摄像元件100 的输出与其像素排列一致地进行罗列，也不会成为表示特定的像的图像数据。即，使摄像元件100的像素输出按被赋予同一特征的像素组分离并汇集之后，形成了表示属于该特征的一个像的图像数据。例如，如已经使用图5说明的那样，使视差像素的输出按其开口部的种类汇集时，能够得到相互具有视差的多个视差图像数据。像这样，将按被赋予同一特征的像素组分离并聚集而成的各个图像数据称为层数据(plane data)。
图像处理部205接收到按照摄像元件100的像素排列顺序罗列其输出值的RAW原始图像数据，执行将其分离成多个层数据的层分离处理。图13是将使用图12所说明的B'-1的重复图案作为例子说明层分离处理的图。另外，如图所示，对于摄像元件100的像素排列，朝右定为i轴，朝下定为j轴。另外，将左端且上端的座标作为(1，1)，将右端且下端的座标作为(i0，j0)。在图中依照图12的例子进行了记载以便理解像素的种类，但作为实际的层数据排列有与各像素对应的输出值。
如图13的上段所表示的，RAW原始图像数据在第i＝1行中，从(1，1)到(i0，1)，按照视差Lt像素、无视差B像素、视差Rt像素、无视差B像素的顺序反复排列各个输出值。另外，在第i＝2行中，从(1，2)到(i0，2)，按照无视差R像素、无视差G像素(Gr像素)的顺序反复排列各个输出值。RAW原始图像数据的这种行方向的输出值与列方向相交替地反复排列。
图像处理部205将视差Lt像素、视差Rt像素、无视差R像素、无视差G像素、及无视差B像素的每一个作为赋予同一特征的像素组，将RAW原始图像数据分离成各个层数据。在B'-1的重复图案中，RGB的彩色像素为无视差像素，视差像素为W像素。此处，图像处理部205从RAW原始图像数据仅分离出无视差R像素而生成R0层数据，仅将无视差G像素分离而生成G0层数据，仅将无视差B像素分离而生成B0层数据，将他们总结在一起作为彩色图像数据进行管理。
同样地，图像处理部205从RAW原始图像数据中仅将视差Lt像素分离出来生成Lt0层数据，仅将视差Rt像素分离生成Rt0层数据，将他们总结起来作为视差图像数据进行管理。此处可以说视差图像数据不包含色彩信息，而表示被拍摄体像的亮度信息，因此能够作为亮度图像数据处理。此处，在本实施方式中，将属于彩色图像数据的各层输出值称为像素值，将属于亮度图 像数据的各层输出值作为亮度值。另外，图像处理部205将彩色图像数据和视差图像数据作为从一个RAW原始图像数据生成的层数据群，作为RAW图像数据集进行管理。
如图所示，此时的各层数据在RAW原始图像数据中仅在存在输出值的像素位置存在输出值。例如，在R0层数据中，对于一个重复图案110存在输出值(像素值)的是两个像素，另外六个像素分作为空格子存在。同样地，在Lt0层数据中，对一个重复图案存在输出值(亮度值)的是一个像素分，另外的七个像素分作为空格子存在。因此，图像处理部205执行填埋各层数据的空格子的插值处理。
图14为说明层数据的插值处理的图。此处表示了对存在空格子的R0层数据实施插值处理，生成不存在空格子的Rn层数据的样子。
图像处理部205使用接近空格子的像素的像素值作为插值处理而生成该空格子的像素值。例如，只要在与成为对象的空格子相邻接的像素中有像素值，便将这些平均值作为该空格子的像素值。另外，当使用不相邻像素时，对应于到该空格子的距离赋予加权并进行平均化处理。
如此通过实施插值处理，能够从各个层数据去除空格子。图15为说明实施了插值处理后的RAW图像数据集的数据结构图。
如图所示，构成RAW图像数据集的彩色图像数据包括：不存在空格子的Rn层数据、Gn层数据、及Bn层数据。这些图像数据分别相当于：对被拍摄体像仅提取红色彩成分的图像数据、仅提取绿色彩成分的图像数据、仅提取蓝色彩成分的图像数据。
同样地，构成RAW图像数据集的视差图像数据(亮度图像数据)包含不存在空格子的Lt层数据及Rt层数据。这些图像数据分别相当于：对被拍摄体像仅提取左侧视点的亮度成分的图像数据、仅提取右侧视点的亮度成分的图像数据。
在本实施方式中，图像处理部205使用这五个层数据生成左侧视点的彩色图像数据及右侧视点的彩色图像数据。(在后述第二实施方式中，通过导入立体调整参数，在维持模糊量不变的情况下生成任意调整视差量的彩色图像数据)。在具体的处理之前，首先，关于生成原理进行说明。
图16是用于说明散焦的概念的图。如图16的(a)所示，被拍摄体即物 点存在于焦点位置的情况下，通过透镜光瞳到达摄像元件受光面的被拍摄体光束以对应的像点的像素为中心表现出陡急的光强度分布。即，若接受通过透镜光瞳的所有有效光来的无视差像素排列在像点附近，则与像点对应的像素的输出值最大，排列在周边的像素的输出值急剧降低。
另一方面，如图16的(b)所示，物点从焦点位置偏移时，与物点存在于焦点位置的情况相比，被拍摄体光束在摄像元件受光面上表现出了缓和的光强度分布。即，示出了在对应的像点的像素中的输出值降低的基础上，直到周边像素都具有输出值的分布。
另外，如图16的(c)所示，物点进一步从焦点位置偏移时，被拍摄体光束在摄像元件受光面上示出了更缓和的光强度分布。即，示出了在对应的像点的像素中的输出值进一步降低的基础上，直到周边像素都具有输出值的分布。
以下，对于视差Lt像素及视差Rt像素接受光的情况下的散焦概念进行说明。图17是用于说明视差像素散焦的概念的图。视差Lt像素及视差Rt像素从作为透镜光瞳的部分区域而分别设定于光轴对象上的两个视差假想光瞳中的任意一方接受到达的被拍摄体光束。
如图17的(a)所示，被拍摄体的物点存在于焦点位置的情况下，通过哪一个视差假想光瞳的被拍摄体光束都表现出了以对应的像点的像素为中心陡急的光强度分布。若视差Lt像素排列在像点附近，则与像点对应的像素的输出值最大，排列在周边的像素的输出值急剧降低。另外，即使视差Rt像素排列在像点附近，与像点对应的像素的输出值最大，排列在周边的像素的输出值急剧降低。即，示出了被拍摄体光束不论通过哪一个视差假想光瞳，都是与像点对应的像素的输出值最大而排列在周边的像素的输出值急剧降低的分布，各自的分布相互一致。
另一方面，如图17的(b)所示，物点从焦点位置偏移时，与物点存在于焦点位置的情况相比，视差Lt像素所表现出的光强度分布的峰值出现于从与像点对应的像素向一方向远离的位置，并且其输出值降低。另外，具有输出值的像素的幅度也宽。视差Rt像素所表现出的光强度分布的峰值出现于从与像点对应的像素向与视差Lt像素中15的一方向相反方向且等距离地远离的位置，同样地，其输出值降低。另外，同样池，具有输出值的像素的幅度也 变宽。即，与物点存在于焦点位置的情况相比变得缓和的相同的光强度分布相互等距离地分离地呈现。另外，如图17的(c)所示，物点进一步从焦点位置偏移时，与图17的(b)的状态相比，变得更缓和的相同的光强度分布更分离地呈现。也就是说，可以说物点越从焦点位置大幅度偏移，模糊量和视差量越增加。换言之，模糊量和视差量对应于散焦而联动地变化。即模糊量与视差量具有一一对应的关系。
将图16中说明的光强度分布的变化和图17中说明的光强度分布的变化分别如图18所示图表化。在图中，横轴表示像素位置，中心位置是与像点对应的像素位置。纵轴表示各像素的输出值，该输出值实质上与光强度成正比，从而在图中作为光强度表示。
图18的(a)是表示图16中说明的光强度分布的变化的曲线图。分布曲线1801表示与图16的(a)对应的光强度分布，示出了最陡急的情况。分布曲线1802表示与图16的(b)对应的光强度分布，另外，分布曲线1803表示与图16的(c)对应的光强度分布。与分布曲线1801相比可知，具有峰值逐渐降低而扩展的样子。
图18的(b)是表示图17中说明的光强度分布的变化的曲线图。分布曲线1804和分布曲线1805分别表示图17的(b)的视差Lt像素的光强度分布和视差Rt像素的光强度分布。从图中可知，这些分布相对于中心位置呈线对称的形状。另外，叠加它们而得到的合成分布曲线1806示出了与相对于图17的(b)来说同等的散焦状态即图16的(b)的分布曲线1802相似的形状。
分布曲线1807和分布曲线1808分别表示图17的(c)的视差Lt像素的光强度分布和视差Rt像素的光强度分布。从图中可知，这些分布也相对于中心位置呈线对称的形状。另外，叠加它们而得到的合成分布曲线1809示出了与相对于图17的(c)来说同等的散焦状态即图16的(c)的分布曲线1803相似的形状。
在本实施方式中，利用这种光强度分布的性质，从构成RAW图像数据集的五个层数据生成左侧视点的彩色图像数据及右侧视点的彩色图像数据。左侧视点的彩色图像数据由左侧视点对应的作为红色层数据的RLt层数据、作为绿色层数据的GLt层数据、以及作为蓝色层数据的BLt层数据这三个彩色视差层数据而构成。同样地，右侧视点的彩色图像数据由右侧视点对应的作为 红色层数据的RRt层数据、作为绿色层数据的GRt层数据、以及作为蓝色层数据的BRt层数据这三个彩色视差层数据而构成。
图19为说明彩色视差层数据的生成处理的图。尤其是表示了在彩色视差层中的作为红色视差层的RLt层数据和RRt层数据的生成处理。
红色视差层使用如图15所说明的Rn层数据的像素值和Lt层数据及Rt层数据的亮度值而生成。具体地，例如，当算出RLt层数据的对象像素位置(im，jn)的像素值RLtmn时，首先，图像处理部205的像素值提取部231从Rn层数据的同一像素位置(im，jn)提取像素值Rnmn。然后，图像处理部205的亮度值提取部232从Lt层数据的同一像素位置(im，jn)提取亮度值Ltmn，从Rt层数据的同一像素位置(im，jn)提取亮度值Rtmn。而且，图像处理部205的算出部233按照亮度值Ltmn与Rtmn的比分配像素值Rnmn而算出像素值RLtmn。具体地，由以下的式(1)算出。
RLtmn＝2Rnmn×Ltmn/(Ltmn+Rtmn)…(1)
同样地，当算出RRt层数据的对象像素位置(im，jn)的像素值RRtmn时，算出部233按照由亮度值提取部232提取的亮度值Ltmn与亮度值Rtmn的比进行分配来算出由像素值提取部231提取的像素值Rnmn。具体地，由以下的式(2)算出。
RRtmn＝2Rnmn×Rtmn/(Ltmn+Rtmn)…(2)
图像处理部205从作为左端且上端的像素的(1、1)到作为右端且下端的座标的(i0，j0)依次执行这样的处理。
而且，作为红色视差层的RLt层数据和RRt层数据的生成处理完成后，接着执行作为绿色视差层的GLt层数据和GRt层数据的生成处理。具体地，取代在上述说明中从Rn层数据的同一像素位置(im，jn)提取像素值Rnmn，而是从Gn层数据的同一像素位置(im，jn)提取像素值Gnmn进行相同的处理。进一步地，作为绿色视差层的GLt层数据和GRt层数据的生成处理完成后，接着执行作为蓝色视差层的BLt层数据和BRt层数据的生成处理。具体地，取代在上述说明中从Rn层数据的同一像素位置(im，jn)提取像素值Rnmn，而是从Bn层数据的同一像素位置(im，jn)提取像素值Bnmn进行同样的处理。
通过以上的处理生成了左侧视点的彩色图像数据(RLt层数据、GLt层数据、BLt层数据)及右侧视点的彩色图像数据(RRt层数据、GRt层数据、BRt 层数据)。即，实际上作为摄像元件100的像素不存在的、作为结合了RGB任一的彩色滤光片的视差Lt像素及视差Rt像素的假想输出，能够通过比较简单地处理取得左侧视点及右侧视点的彩色图像数据。因此，只要通过3D图像对应的再现装置来再现这些图像数据，用户便能够观赏作为彩色图像的3D影像。尤其是，由于处理很简单，因此能够高速地生成图像数据，并能够适用于动态图像。
在如上所述中，只要在实际的摄像元件100上对RGB的任一像素均等分配视差像素，便能够得到同时既是3D图像又具有彩色再现性好的高质量的彩色图像数据，虽然对此进行了说明，但实际上即使不具备这样的像素，通过施加以上的处理，也可以说能够得到与此相当的高品质的3D彩色图像数据。另外，作为实际的像素也可以不将视差像素对RGB像素分配，因此，据此能够提高另一层数据的品质。
以下从光强度分布的观点来说明以上处理。图20为说明光强度分布的变化的图。图20的(a)为接收到从在焦点位置仅错开一定量的位置处存在的物点发出的被拍摄体光束时，排列有作为W像素的视差Lt像素的输出值和视差Rt像素的输出值的曲线图。这些输出值是不包含色彩信息的亮度值。另外，如上所述，像素的输出值与光强度成正比，因此可以说曲线图表示光强度分布。
图20的(b)为接收到来自于图20的(a)中的物点的被拍摄体光束时，排列有作为无视差像素的R像素、G像素、B像素的输出值的曲线图。这些输出值是包含色彩信息的像素值。另外，该曲线图也可以说表示各颜色的光强度分布。
按对应的像素实施上述处理后，成为图20的(c)的曲线图所表示的光强度分布。从图中可见，成为了好像是排列有来自实际的RLt像素、RRt像素、GLt像素、GRt像素、BLt像素、BRt像素彩色的输出值的分布。
此处，从处理流程的观点来说明直到生成视差彩色图像数据。图21为直到生成视差彩色图像数据的处理流程。流程可以与摄影动作相联动而开始，也可以通过从存储器卡220读出对象图像数据而开始。
图像处理部205在步骤S101中取得RAW原始图像数据。然后，在步骤S102中，使用图13所说明的那样，将RAW原始图像数据分离成作为彩色图像数据 的R0层数据、G0层数据、B0层数据、作为视差图像数据的Lt0层数据、Rt0层数据。图像处理部205在步骤S103中，执行对分离的各层数据中存在的空格子进行插值的插值处理。具体地，使用图14所说明的那样，使用临近的像素的输出值通过平均化处理等算出空格子的输出值。
图像处理部205在步骤S104中进行各变量的初始化。具体地，首先在色彩变量Cset中代入1。色彩变量Cset表示1＝红、2＝绿、3＝蓝。而且，在作为座标变量的i和j中代入1。进一步地，在视差变量S中代入1。视差变量S表示1＝左、2＝右。
图像处理部205的像素值提取部231在步骤S105中，从Cset层的对象像素位置(i，j)提取像素值。例如当Cset＝1，对象像素位置为(1，1)时，提取的像素值为Rn11。进一步地，图像处理部205的亮度值提取部232在步骤S106中，从Lt层数据、Rt层数据的对象像素位置(i，j)提取亮度值。例如，当对象像素位置为(1，1)时，提取的亮度值为Lt11和Rt11。
图像处理部205的算出部233在步骤S107中，算出与视差变量S对应的对象像素位置(i，j)的像素值。例如，Cset＝1、S＝1，当对象像素位置为(1，1)时算出RLt11。具体地，例如，通过上述的式(1)算出。
图像处理部205在步骤S108中，使视差变量S递增。然后，在步骤S109中判断视差变量S是否超过2。如果未超过则返回步骤S107。如果超过则前进到步骤S110。
图像处理部205在步骤S110中在视差变量S中代入1的同时使座标变量i递增。然后在步骤S111中判断座标变量i是否超过i0。如果未超过则返回步骤S105。如果超过了则前进到步骤S112。
图像处理部205在步骤S112中在座标变量i中代入1的同时使座标变量j递增。然后在步骤S113中判断座标变量j是否超过j0。如果未超过则返回步骤S105。如果超过了则前进到步骤S114。
当前进到步骤S114时，由于相对于Cset的左右各个全像素的像素值齐备，因此，图像处理部205排列这些像素值生成层图像数据。例如当为Cset＝1时，生成RLt层数据和RRt层数据。
前进到步骤S115，图像处理部205在座标变量j中代入1的同时，使色彩变量Cset递增。然后，在步骤S116中判断色彩变量Cset是否超过3。如 果未超过则返回步骤S105。如果超过则认为左侧视点的彩色图像数据(RLt层数据、GLt层数据、BLt层数据)及右侧视点的彩色图像数据(RRt层数据、GRt层数据、BRt层数据)已全部齐备，结束一连串的处理。
以下，针对开口部104的较佳的开口形状进行说明。图22为说明较佳的开口形状的图。
视差Lt像素的开口部104l及视差Rt像素的开口部104r优选相对于分别对应的光电转换元件108包含中心地相互朝相反方向偏移。具体地，开口部104l及104r的每一个优选是与通过光电转换元件108的中心(像素中心)的假想的中心线322相接触的形状，或者为跨越中心线322的形状。
尤其是，如图所示，开口部104l的形状与开口部104r的形状优选为与用中心线322分割无视差像素的开口部104n的形状后的各个形状相同。换言之，开口部104n的形状优选为与使开口部104l的形状和开口部104r的形状相邻接的形状相等。只要开口部104n、104l及104r的各个形状为这种关系，当使用上述的式(1)、(2)所述运算式时，能够算出与更加接近于实际的视差彩色像素(RLt像素、RRt像素、GLt像素、GRt像素、BLt像素、BRt像素)的输出值。
以下针对与图19及图20所说明的处理不同的处理进行说明。图23为说明彩色视差层数据的生成处理的图。尤其是针对彩色视差层中作为红色视差层的RLt层数据和RRt层数据的生成处理进行表示。
红色视差层使用图15所说明的Rn层数据的像素值和Lt层数据及Rt层数据的亮度值而生成。具体地，例如当算出RLt层数据的对象像素位置(im，jn)的像素值RLtmn时，首先，图像处理部205的像素值提取部231从Rn层数据的同一像素位置(im，jn)提取像素值Rnmn。然后，图像处理部205的亮度值提取部232从Lt层数据的同一像素位置(im，jn)提取亮度值Ltmn，从Rt层数据的同一像素位置(im，jn)提取亮度值Rtmn。然后，图像处理部205的算出部233算出像素值RLtmn，使得想要算出的像素值RLtmn与提取的像素值Rnmn的差相对于提取的亮度值Ltmn与Rtmn的差保持相关。具体地，通过以下的式(3)算出。
RLtmn-Rnmn＝(Ltmn-Rtmn)/2…(3)
同样地，当算出RRt层数据的对象像素位置(im，jn)的像素值RRtmn时， 算出部233算出像素值RRtmn，使得相要算出的像素值RRtmn与提取的像素值Rnmn的差相对于提取的亮度值Ltmn与Rtmn的差保持相关。具体地，通过以下的式(4)算出。
RRtmn-Rnmn＝(Rtmn-Ltmn)/2…(4)
图像处理部205从作为左端且上端的像素的(1、1)到右端且下端的座标的(i0，j0)依次执行这种处理。
B'-1的重复图案的情形，B'-1的视差Lt像素中，开口部104相对于无视差像素朝左侧偏心，视差Rt像素以与视差Lt像素相对于无视差像素的偏心量相同的偏心量朝右侧偏心。因此，想要算出的像素值RLtmn与提取的像素值Rnmn的差如上述式(3)所示，相对于提取的亮度值Ltmn与Rtmn的差以比例系数1/2保持相关。即，提取的亮度值Ltmn与Rtmn的差相对于想要算出的像素值RLtmn与提取的像素值Rnmn的差的相关关系主要通过视差Lt像素与视差Rt像素的各自的开口部的偏心量来规定。另外，可以考虑与开口部的大小，无视差像素的开口部的相对关系等的参数。无论哪种，制定下来以保持所规定的相关关系，算出像素值RLtmn。在上述式(3)的例子中，虽然作为相关关系规定了比例系数1/2，但除了改变比例系数以外，例如，可以加上常量等作为修正项来适当调整相关关系。另外，想要算出的像素值也可以为像素值RRtmn、GLtmn、GRtmn、BLtmn、BRtmn，上述关系均相同。
作为红色视差层的RLt层数据和RRt层数据的生成处理完成后，接着执行作为绿色视差层的GLt层数据和GRt层数据的生成处理。具体地，在上述说明中，取代从Rn层数据的同一像素位置(im，jn)提取像素值Rnmn，而是从Gn层数据的同一像素位置(im，jn)提取像素值Gnmn，进行同样的处理。进一步地，作为绿色视差层的GLt层数据和GRt层数据的生成处理完成，然后执行作为蓝色视差层的BLt层数据和BRt层数据的生成处理。具体地，在上述说明中，取代从Rn层数据的同一像素位置(im，jn)提取像素值Rnmn，而是从Bn层数据的同一像素位置(im，jn)取得像素值Bnmn，进行同样的处理。
通过以上处理，生成了左侧视点的彩色图像数据(RLt层数据、GLt层数据、BLt层数据)及右侧视点的彩色图像数据(RRt层数据、GRt层数据、BRt层数据)。即，通过比较简单的处理能够取得左侧视点及右侧视点的彩色图像数据，作为实际上作为摄像元件100的像素不存在的、结合有RGB的任一 彩色滤光片的视差Lt像素及视差Rt像素的假想输出。因此，只要通过3D图像对应的再现装置对这些图像数据进行再现，用户便能够观赏作为彩色图像的3D影像。尤其是，由于处理很简单因此能够高速地生成图像数据，也能够适用于动态图像。进一步地，和与差的运算封装到ASIC等电路是很容易的。
如上所述，只要在实际的摄像元件100上对RGB的任一像素均等分配视差像素，便能够得到同时既是3D图像又具有彩色再现性好的高质量的彩色图像数据，虽然对此进行了说明，但实际上即使不具备这样的像素，通过施加以上的处理，也可以说能够得到与此相当的高品质的3D彩色图像数据。另外，作为实际的像素也可以不将视差像素对RGB像素分配，因此，据此能够提高另一层数据的品质。
以下从光强度分布的观点说明以上的处理。图24为说明光强度分布的变化的图。图24的(a)为接收到从在焦点位置仅错开一定量的位置处存在的物点发出的被拍摄体光束时，排列有作为W像素的视差Lt像素的输出值和视差Rt像素的输出值的曲线图。这些输出值是不包含色彩信息的亮度值。另外，如上所述，像素的输出值与光强度成正比，因此可以说曲线图表示光强度分布。
图24的(b)是分别排列有从图24的(a)中的视差Lt像素的输出值减去视差Rt像素的输出值的值、以及从视差Rt像素的输出值减去视差Lt像素的输出值的值的曲线图。
图24的(c)为接收到来自于图24的(a)中的物点的被拍摄体光束时，排列有作为无视差像素的R像素、G像素、B像素的输出值的曲线图。这些输出值是包含色彩信息的像素值。另外，该曲线图也可以说表示各颜色的光强度分布。
对相应的像素逐个实施上述处理后，成为图24的(d)的曲线图所表示的光强度分布。从图中可见，成为了好像是排列有来自实际的RLt像素、RRt像素、GLt像素、GRt像素、BLt像素、BRt像素彩色的输出值的分布。
在以上的说明中对摄像元件100采用B'-1的重复图案的情形的例子进行了说明。即，说明了视差像素为W像素，利用视差图像数据作为不包含色彩信息的亮度图像数据生成左侧视点的彩色图像数据与右侧视点的彩色图像数据的六层数据的例子。然而，如上所述，对彩色滤光片的排列以何种颜色的 像素什么的周期来分配视差像素和无视差像素，从而能够设置大量的的重复图案。在特定颜色的彩色滤光片上分配有视差像素的摄像元件100的情形，对上述处理稍加改变使左侧视点的彩色图像数据和右侧视点的彩色图像数据的六层数据齐备。以下针对具体的步骤进行说明。
图25为说明采用另一重复图案的摄像元件100中的层分离处理的图。在图中例子中，摄像元件100采用上述A-1的重复图案。A-1的重复图案中，拜耳阵列中的Gb像素成为视差Lt像素，Gr像素成为视差Rt像素。
从这种摄像元件100输出的RAW原始图像数据，作为彩色图像数据虽然将R0层数据与B0层数据相分离，但G0层数据不可能分离。另外，作为视差图像数据而被分离的Lt0层数据和Rt0层数据具有绿色的色彩信息。换句话说，视差图像数据可以说是被拍摄体光束中捕捉到绿色波长成分的亮度图像数据。因此，这些层数据的各个输出值能够作为亮度值处理。另一方面，这些层数据可以说是具有视差信息的绿色的彩色图像数据。因此，各个输出值能够作为像素值处理。
对被分离层数据实施上述插值处理，将各自存在的空格子填埋。图26为说明进行插值处理后的RAW图像数据集的数据结构图。
生成Rn层数据、Bn层数据、Lt层数据及Rt层数据的插值处理与上述例子相同。此处所生成的Lt层数据成为属于左侧视点的彩色图像数据的GLt层数据其自身。同样地，Rt层数据成为属于右侧视点的彩色图像数据的GRt层数据其自身。因此，图像处理部205能够针对GLt层数据和GRt层数据所对应的各个像素算出平均值并生成Gn层数据。
对Rn层数据进行使用视差图像数据生成RLt层数据和RRt层数据的处理以及对Bn层数据进行使用视差图像数据生成BLt层数据和BRt层数据的处理与上述例子相同。
除以上所说明的各种重复图案以外，也能够从被分离并进行了插值处理的彩色图像数据和亮度图像数据生成彩色图像数据层。例如，当作为被分离并进行了插值处理的彩色图像数据存在RLt层数据，作为亮度图像数据存在Lt层数据和Rt层数据时，能够通过将式(1)变形后的以下式(4)来生成Rn层数据。
Rnmn＝RLtmn×(Ltmn+Rtmn)/(2×Ltmn)…(4)
另外，将从式(4)算出的Rnmn代入式(2)便能够算出RRtmn，从而能够生成RRt层数据。
或者，能够通过将式(3)变形后的以下式(5)来生成Rn层数据。
Rnmn＝RLtmn-(Ltmn-Rtmn)/2…(5)
另外，将从式(3)算出的Rnmn代入式(5)便能够算出RRtmn，从而能够生成RRt层数据。
此处，从无视差像素生成的无视差图像能够理解为与上述左侧视点的图像及右侧视点的图像相对应的从正面的视点图像。也就是说，可作为这些互不相同视点的图像。因此可以说只要亮度图像数据与至少任一视点中的彩色图像数据存在，便能够生成包含无视差图像的另一视点的彩色图像数据。
另外，在以上说明中，作为构成被拍摄体像的色彩的原色使用了红色、绿色及蓝色这三种。然而，将加上草绿色等的四个以上色彩作为原色也是可以的。另外，也可以取代红色、绿色及蓝色，而使用黄、品红、靛青的组合而成的互补色的三原色。
在上述说明中，将例如图像处理部205所包含的像素值提取部231、亮度值提取部232及算出部233等作为构成数码相机10的各构成要素的功能，对其各自的处理进行了说明。另外，使控制部201及图像处理部205动作的控制程序将也可作为使构成数码相机10的各硬件执行上述处理的构成要素而发挥功能。另外，生成彩色图像数据的这些处理即使不在数码相机10中进行，而是在外部的个人计算机等机器中进行也是可以的。此时，外部的个人计算机等机器作为图像处理装置而发挥功能。图像处理装置取得例如RAW原始图像数据生成彩色图像数据。图像处理装置当取得RAW原始图像数据时也执行上述的层分离处理、层数据的插值处理。另外，图像处理装置还可以取得在摄像装置侧实施了插值处理的层数据。
以下，相对于到此所说明的上述实施例(实施例1)针对另一实施例(实施例2)进行说明。在实施例1中显示了生成左视点的彩色图像的概念，为了生成左视点的彩色图像与右视点的彩色图像，将通常图像Rn，Gn，Bn的色面信息相对于左视点的亮度图像Lt与右视点的亮度图像Rt的算术平均的图像，在制作左视点的彩色图像时以使左视点的亮度图像与算数平均的图像之比保持一定的方式比拟成左视点的亮度图像。在实施例2中提供了使比例相 对于几何平均值而非算数平均保持一定的式子。式(1)、式(2)所示的式子可以置换成如下的运算式。
生成左视点的彩色图像
RLt=Rn×Lt/ (Lt*Rt)]]>
GLt=Gn×Lt/ (Lt*Rt)]]>
BLt=Bn×Lt/ (Lt*Rt)]]>
生成右视点的彩色图像
RRt=Rn×Rt/ (Lt*Rt)]]>
GRt=Gn×Rt/ (Lt*Rt)]]>
BRt=Bn×Rt/ (Lt*Rt)]]>
上述式子使比例相对于左视点的亮度图像Lt与右视点的亮度图像Rt的几何平均值保持一定，比拟右视点的亮度图像或左视点的亮度图像而生成左视点的彩色图像和右视点的彩色图像，因此生成了各视点的彩色图像的模糊特性与算数平均时不同的特性图像。这是因为，算数平均使模糊宽度，而与此相对的是说几何平均不会使模糊宽度展宽。
如果将上述式子进行改写，则满足以下这样的关系。
生成左视点的彩色图像
RLt/Rn= (Lt/Rt)]]>
GLt/Gn= (Lt/Rt)]]>
BLt/Bn= (Lt/Rt)]]>
生成右视点的彩色图像
RRt/Rn= (Rt/Lt)]]>
GRt/Gn= (Rt/Lt)]]>
BRt/Bn= (Rt/Lt)]]>
即，所求对象的左视点的彩色图像的像素值在求值时使左视点的彩色图像的像素值与无视差图像的像素值之间的比相对于左视点的亮度图像的亮度值与右视点的亮度图像的亮度值之间的比保持相关。另外，所求对象的右视点的彩色图像的像素值在求值时使右视点的彩色图像的像素值与无视差图像的像素值之间的比相对于右视点的亮度图像的亮度值与左视点的亮度图像的亮 度值之间的比保持相关。
如下表示实施例3。实施例2所示式子取对数时等价地表示为以下的式子。
生成左视点的彩色图像
log(RLt)＝log(Rn)+log(Lt)-[log(Lt)+log(Rt)]/2
log(GLt)＝log(Gn)+log(Lt)-[log(Lt)+log(Rt)]/2
log(BLt)＝log(Bn)+log(Lt)-[log(Lt)+log(Rt)]/2
生成右视点的彩色图像
log(RRt)＝log(Rn)+log(Rt)-[log(Lt)+log(Rt)]/2
log(GRt)＝log(Gn)+log(Rt)-[log(Lt)+log(Rt)]/2
log(BRt)＝log(Bn)+log(Rt)-[log(Lt)+log(Rt)]/2
即，迁移到具有对数灰度的灰度特性的图像处理空间时，在线性灰度的图像处理空间中使比例保持一定的运算式能够通过在对数灰度空间中使差值保持一定的视差调制来生成左右的各视点的彩色图像。概括该思考方式，并不止于对数灰度，在具有由平方根和立方根等幂乘法表示的灰度特性、任意灰度特性的伽玛空间中，只要进行使差值保持一定的运算即可以同样得到增加视差调制的效果。
流程图
1)输入色彩·视差复用马赛克图像数据
2)迁移到由灰度转换而成的伽玛空间
3)生成色彩、视差图像
4)迁移到由反向灰度转换而成的原始色彩空间
5)迁移到输出色彩空间
处理步骤
1)输入色彩·视差复用马赛克图像数据
输入将拜耳阵列型的G像素光瞳分割成右视差和左视差并复用色彩和视差的单板式马赛克图像。将其表示为M[i，j]。各像素值为取与透光量成正比的值的线性灰度的数据。
2)迁移到由灰度转换而成的伽玛空间
对马赛克图像实施灰度转换，迁移到伽玛空间。
M[i，j]→MΓ[i，j]
实际上，对输入像素值x实施非线性转换y＝f(x)从而得到输出像素值y。作为非线性转换的特性的例子，考虑以下的各种情形。然而，以输入信号为x、以输出信号为y，输入信号的灰度和输出信号的灰度均被定义在[0，1]的范围。输入输出特性定义灰度曲线(伽玛曲线)，使其通过(x，y)＝(0，0)和(1，1)。以实际的输入灰度X的最大值为Xmax、以输出灰度Y的最大值为Ymax，则x＝X/Xmax、y＝Y/Ymax，灰度转换根据下式进行：
Y=Ymax·f(XXmax)]]>
作为灰度特性的例子考虑以下这种情形。
a)立方根灰度特性
y＝1.16x1/3-0.16 if x＞0.008856
y＝1.16×7.781x otherwise
b)带偏移的平方根灰度特性
偏移值ε为正的常量。参照USP7，957，588。
c)对数特性
y=log(kx+1)log(k+1)]]>
系数k为正的常量。
d)线性特性
y＝x
3)生成彩色、视差图像
在伽玛空间与实施例1相同地，生成无视差彩色图像RnΓ、GnΓ、BnΓ和左视点的亮度图像LtΓ和右视点的亮度图像RtΓ。此后，通过以下式子增加视差调制，生成左视点的彩色图像和右视点的彩色图像。另外，示意性地用指数Γ表示伽玛空间的值。
生成左视点的彩色图像
RLtΓ＝RnΓ+LtΓ-(LtΓ+RtΓ)/2
GLtΓ＝GnΓ+LtΓ-(LtΓ+RtΓ)/2
BLtΓ＝BnΓ+LtΓ-(LtΓ+RtΓ)/2
生成右视点的彩色图像
RRtΓ＝RnΓ+RtΓ-(LtΓ+RtΓ)/2
GRtΓ＝GnΓ+RtΓ-(LtΓ+RtΓ)/2
BRtΓ＝BnΓ+RtΓ-(LtΓ+RtΓ)/2
对上述式子进行改写后，满足以下的关系。
生成左视点的彩色图像
RLtΓ-RnΓ＝(LtΓ-RtΓ)/2
GLtΓ-GnΓ＝(LtΓ-RtΓ)/2
BLtΓ-BnΓ＝(LtΓ-RtΓ)/2
生成右视点的彩色图像
RRtΓ-RnΓ＝(RtΓ-LtΓ)/2
GRtΓ-GnΓ＝(RtΓ-LtΓ)/2
BRtΓ-BnΓ＝(RtΓ-LtΓ)/2
即，所求对象的左视点的彩色图像的像素值在求值时要使左视点的彩色图像的像素值与无视差图像的像素值之间的差相对于左视点的亮度图像的亮度值与右视点的亮度图像的亮度值之间的差保持相关。而且，所求对象的右视点的彩色图像的像素值在求值时要使右视点的彩色图像的像素值与无视差图像的像素值之间的差相对于右视点的亮度图像的亮度值与左视点的亮度图像的亮度值之间的差保持相关。
4)由反向灰度转换变到原始色彩空间
通过施加从伽玛空间到线性灰度空间的反向灰度转换，返回原始色彩空间。对必要的彩色图像数据实施。形成左视点的彩色图像与右视点的彩色图像。
左视点的彩色图像
RLtΓ[i，j]→RLt[i，j]
GLtΓ[i，j]→GLt[i，j]
BLtΓ[i，j]→BLt[i，j]
右视点的彩色图像
RRtΓ[i，j]→RRt[i，j]
GRtΓ[i，j]→GRt[i，j]
BRtΓ[i，j]→BRt[i，j]
5)转换到输出色彩空间
对所形成的左视点的彩色图像和右视点的彩色图像施加色彩转换和输出灰度转换，生成各输出彩色图像。例如转换为sRGB色彩空间。
另外，包含视差的马赛克图像表示原色拜耳阵列的例子，但这些彩色滤光片即使置换到互补色系，也能同样以相同的原理生成右视差的互补彩色图像和左视差的互补彩色图像。
以下针对第二实施方式进行说明。第二实施方式在数码相机10的硬件结构、摄像元件100的结构、视差图像取得的原理等方面与第一实施方式共通。具体地，直到上述图18相关的说明都是共通的。因此，将其省略，以下接着对直到图18相关的说明对第二实施方式进行说明。然而，以下说明并不限于与第一实施方式的不同点，考虑到理解的容易性，也包含了与第一实施方式共通的部分进行说明。
在本实施方式中使用视差Lt像素的亮度值和视差Rt像素的亮度值做出假想的光强度分布，这些亮度值实际上被取得作为摄像元件100的输出值，空格子被进行了插值处理，表示这样的光强度分布。此时，由光强度分布展宽表现的模糊量大致被维持，并调整表现为峰值间的间隔的视差量。也就是说，在本实施方式中，图像处理部205使作为像的模糊量几乎原封不动，在从无视差像素生成的2D图像与从视差像素生成的3D图像之间生成具有被调整的视差量的图像。图27为表示用于说明调整视差量的概念的光强度分布图。
在图中用实线表示的Lt分布曲线1901与Rt分布曲线1902是对Lt层数据和Rt层数据的实际亮度值进行绘制而成的分布曲线。例如相当于图18中的分布曲线1804、1805。而且，Lt分布曲线1901与Rt分布曲线1902各自的峰值间距离表示3D视差量，该距离越大，图像再现时的立体感就越强。
将Lt分布曲线1901和Rt分布曲线1902分别作为五成而汇总成的2D分布曲线1903成为左右无偏的凸形状。2D分布曲线1903相当于图18中的合成分布曲线1806的高度分成1/2后的形状。即，2D分布曲线1903表示与绘制了无视差像素的亮度值的分布曲线相似的形状。即，基于该亮度分布的图像成为视差量0的2D图像。
调整Lt分布曲线1905是将Lt分布曲线1901的8成与Rt分布曲线1902的两成汇总在一起而成的曲线。调整Lt分布曲线1905的峰值以加上Rt分布 曲线1902的成分的量比Lt分布曲线1901的峰值更靠近中心地移位。同样地，调整Rt分布曲线1906是将Lt分布曲线1901的两成与Rt分布曲线1902的八成汇总在一起而成的曲线。调整Rt分布曲线1906的峰值以加上Lt分布曲线1901的成分的量比Rt分布曲线1902的峰值更靠近中心地移位。
因此，由调整Lt分布曲线1905与调整Rt分布曲线1906各自的峰值间距离所表示的调整视差量比3D视差量更小。因此，图像再现时的立体感得到缓和。另一方面，调整Lt分布曲线1905和调整Rt分布曲线1906各自分布的展宽与2D分布曲线1903的展宽相同，因此可以说模糊量与2D图像相等。
即，能够根据以何等的比例来相加Lt分布曲线1901与Rt分布曲线1902，据此来调整视差量。而且，通过适用于从无视差像素生成的彩色图像数据的各层，能够将该被调整的亮度分布赋予与从视差像素生成的视差图像数据不同的立体感的左侧视点的彩色图像数据和右侧视点的彩色图像数据。
在本实施方式中，从构成RAW图像数据集的五个层数据生成左侧视点的彩色图像数据和右侧视点的彩色图像数据。左侧视点的彩色图像数据由作为左侧视点对应的红色层数据的RLtc层数据、作为绿色层数据的GLtc层数据、及作为蓝色层数据的BLtc层数据这三个彩色视差层数据构成。同样地，右侧视点的彩色图像数据由右侧视点对应的作为红色层数据的RRtc层数据、作为绿色层数据的GRtc层数据、及作为蓝色层数据的BRtc层数据的三个彩色视差层数据构成。
图28为说明彩色视差层数据的生成处理图。尤其是表示彩色视差层中作为红色视差层的RLtc层数据和RRtc层数据的生成处理。
红色视差层使用通过图15所说明的Rn层数据的像素值和Lt层数据及Rt层数据的亮度值而生成。具体地，例如，当算出RLtc层数据的对象像素位置(im，jn)的像素值RLtmn时，首先，图像处理部205的像素值提取部231从Rn层数据的同一像素位置(im，jn)取得像素值Rnmn。然后，图像处理部205的亮度值提取部232从Lt层数据的同一像素位置(im，jn)提取亮度值Ltmn，从Rt层数据的同一像素位置(im，jn)提取亮度值Rtmn。并且，图像处理部205的算出部233在像素值Rnmn上乘以由立体调整参数C对亮度值Ltmn和Rtmn进行分配后的值，从而算出像素值RLtmn。具体地，通过以下式(1)算出。然而，立体调整参数C在0.5<C<1的范围内被预先设定。
RLtmn＝2Rnmn×{C·Ltmn+(1-C)·Rtmn}/(Ltmn+Rtmn)…(1)
同样地，当算出RRtc层数据的对象像素位置(im，jn)的像素值RRtmn时，算出部233也在由像素值提取部231提取的像素值Rnmn上乘以由立体调整参数C对由算出亮度值提取部232提取的亮度值Ltmn和亮度值Rtmn进行分配后的值而算出。具体地，由以下式(2)算出。
RRtmn＝2Rnmn×{C·Rtmn+(1-C)·Ltmn}/(Ltmn+Rtmn)…(2)
图像处理部205从作为左端且上端的像素的(1、1)作为到右端且下端的座标的(i0，j0)依次执行这样的处理。
而且，作为红色视差层的RLtc层数据和RRtc层数据的生成处理完成后，接着执行作为绿色视差层的GLtc层数据和GRtc层数据的生成处理。具体地，在上述说明中，取代从Rn层数据的同一像素位置(im，jn)提取像素值Rnmn，而是从Gn层数据的同一像素位置(im，jn)提取像素值Gnmn，进行同样的处理。进一步地，作为绿色视差层的GLtc层数据和GRtc层数据的生成处理完成后，接着执行作为蓝色视差层的BLtc层数据和BRtc层数据的生成处理。具体地，在上述说明中，取代从Rn层数据的同一像素位置(im，jn)提取像素值Rnmn，而是从Bn层数据的同一像素位置(im，jn)提取像素值Bnmn，进行同样的处理。
通过以上的处理，生成了左侧视点的彩色图像数据(RLtc层数据、GLtc层数据、BLtc层数据)及右侧视点的彩色图像数据(RRtc层数据、GRtc层数据、BRtc层数据)。即，即使是实际上作为摄像元件100的像素不存在的假想输出，也能够通过比较容易的处理取得左侧视点及右侧视点的彩色图像数据。
而且，由于能够在0.5<C<1的范围内改变立体调整参数C，因此能够在将由无视差像素引起的2D彩色图像的模糊量维持不变的情形下，调整视差量的大小。因此，只要通过3D图像对应的再现装置对这些图像数据进行再现，用户便能够观赏作为彩色图像的3D影像。尤其是，由于处理很简单因此能够高速地生成图像数据，也能够适用于动态图像。
在上述内容中，只要在实际的摄像元件100上对RGB的任一像素均等分配视差像素，便能够得到同时既是3D图像又具有彩色再现性好的高质量的彩色图像数据，虽然对此进行了说明，但实际上即使不具备这样的像素，通过施加以上的处理，也可以说能够得到与此相当的高品质的3D彩色图像数据。另 外，作为实际的像素也可以不将视差像素对RGB像素分配，因此，据此能够提高另一层数据的品质。
以下从光强度分布和彩色的观点来说明以上的处理。图29为说明RGB的光强度分布变化的图。图29的(a)为当接收到在从焦点位置错开一定量的位置处存在的物点发出的被拍摄体光束时排列作为W像素的视差Lt像素的输出值和视差Rt像素的输出值的曲线图。这些输出值为不包含色彩信息的亮度值。另外，如上所述，由于像素的输出值与光强度成正比，因此可以说曲线图表示了光强度分布。
图29的(b)为当接收到来自于图29的(a)中的物点的被拍摄体光束时排列作为无视差像素的R像素、G像素、B像素的输出值的曲线图。这些输出值是包含色彩信息的像素值。而且，可以说该曲线图表示了各色的光强度分布。
作为C＝0.8，按相应的像素实施上述处理时，成为图29的(c)的曲线图所表示的光强度分布。从图中可以看出，能够得到与RGB各自的像素值相应的分布。
以下对直到生成视差彩色图像数据从处理流程的观点来进行说明。图30是直到生成视差彩色图像数据的处理流程。流程可以随着摄影动作联动地开始，也可以通过从存储器卡220读出对象图像数据而开始。
图像处理部205在步骤S201中取得RAW原始图像数据。然后，在步骤S202中，如通过图13所说明的那样，将RAW原始图像数据分离成作为彩色图像数据的R0层数据、G0层数据、B0层数据、作为视差图像数据的Lt0层数据、Rt0层数据。图像处理部205在步骤S203中执行对所分离的各层数据中存在的空格子进行插值的插值处理。具体地，如通过图14所说明的那样，使用临近像素的输出值通过平均化处理等算出空格子的输出值。
图像处理部205在步骤S204中进行各变量的初始化。具体地，首先，向色彩变量Cset中代入1。色彩变量Cset表示1＝赤、2＝绿、3＝蓝。并且，向作为座标变量的i和j中代入1。进一步地，向视差变量S中代入1。视差变量S表示1＝左、2＝右。
图像处理部205的像素值提取部231在步骤S205中从Cset层的对象像素位置(i，j)提取像素值。例如，当Cset＝1、对象像素位置为(1，1)时， 提取的像素值为Rn11。进一步地，图像处理部205的亮度值提取部232在步骤S206中从Lt层数据、Rt层数据的对象像素位置(i，j)提取亮度值。例如，当对象像素位置为(1，1)时，提取的亮度值为Lt11和Rt11。
图像处理部205的算出部233在步骤S207中算出与视差变量S对应的对象像素位置(i，j)的像素值。例如，当Cset＝1、S＝1，对象像素位置为(1，1)时，算出RLt11。具体地，例如，通过上述的式(1)算出。另外，立体调整参数C预先设定0.5<C<1的范围。具体地，例如，控制部201由操作部208接收用户指示进行设定。
图像处理部205在步骤S208使视差变量S递增。然后在步骤S209中判断视差变量S是否超过了2。如果未超过则返回步骤S207。如果超过了则前往步骤S210。
图像处理部205在步骤S210中向视差变量S代入1，并使座标变量i递增。然后在步骤S211中判断座标变量i是否超过了i0。如果未超过则返回步骤S205。如果超过了则前往步骤S212。
图像处理部205在步骤S212中向座标变量i代入1并使座标变量j递增。然后在步骤S213中判断座标变量j是否超过了j0。如果没超过则返回步骤S205。如果超过了则前往步骤S214。
当前进到步骤S214时，由于相对于Cset的左右各个全像素的像素值均已齐备，因此，图像处理部205排列这些像素值生成层图像数据。例如，当Cset＝1时，生成RLtc层数据和RRtc层数据。
前往步骤S215，图像处理部205在座标变量j中代入1并使色彩变量Cset递增。然后在步骤S216中判断色彩变量Cset是否超过3。如果未超过则返回步骤S205。如果超过了则认为左侧视点的彩色图像数据(RLtc层数据、GLtc层数据、BLtc层数据)及右侧视点的彩色图像数据(RRtc层数据、GRtc层数据、BRtc层数据)的全部均已齐备，结束一连串的处理。
以下针对开口部104的较佳开口形状进行说明。图31为说明较佳开口形状的图。
视差Lt像素的开口部104l及视差Rt像素的开口部104r优选为相对于分别对应的光电转换元件108包含中心地互相朝相反方向偏移。具体地，开口部104l及104r的每一个优选为与通过光电转换元件108的中心(像素中心) 的假想的中心线322相接触的形状，或者为跨越中心线322的形状。
尤其是，如图所示，开口部104l的形状与开口部104r的形状优选为与由中心线322将无视差像素的开口部104n的形状分割后的各自形状相同。换言之，开口部104n的形状优选与使开口部104l的形状和开口部104r的形状相邻接的形状相等。
以下针对与图27～图29说明的概念、处理不同的概念、处理进行说明。图32为表示用于说明另一调整视差量的概念的光强度分布的图。
在图32的(a)中，Lt分布曲线1901和Rt分布曲线1902是绘制了Lt层数据与Rt层数据的实际亮度值的分布曲线。具体为着眼于具有视差方向的像素排列，使其与该视差方向中的像素位置相对应而绘制了亮度值的曲线。这些曲线例如相当于图18中的分布曲线1804、1805。而且，Lt分布曲线1901与Rt分布曲线1902各自的峰值间距离表示3D视差量，该距离越大，再现图像时的立体感就越强。
对该Lt分布曲线1901和Rt分布曲线1902，在各自的像素位置处使用以下两式算出的值分别进行绘制生生成两个调制曲线。
Lt调制曲线…(1/2-C)(Lt-Rt)
Rt调制曲线…(1/2-C)(Rt-Lt)
其中，C为立体调整参数，通常采用0<C<0.5的实数。
图32(b)表示改变立体调整参数C的值时的样子。左图为C＝0.2时的分布，Lt调制曲线1913与Rt调制曲线1914关于光强度成为对称形状。同样地，中图为C＝0.3时的分布，右图表示C＝0.4的情形。
图32的(c)表示绘制了成为实施立体调制的对象的彩色图像数据的层数据的像素值的分布曲线1915。具体地，是着眼于视差方向的某个像素排列，使其与该视差方向中的像素位置相对应绘制了像素值的曲线。该分布曲线也可以说表示了光强度分布。
图32的(d)表示调整Lt分布曲线1916和调整Rt分布曲线1917。具体地，调整Lt分布曲线1916是在分布曲线1915上加上Lt调制曲线1913而生成。另外，调整Rt分布曲线1917是在分布曲线1915上加上Rt调制曲线1914而生成。左图表示C＝0.2时的分布，中图表示C＝0.3时的分布，右图表示C＝0.4时的分布。调整Lt分布曲线1916与调整Rt分布曲线1917各自的峰值间距 离表示调整视差量。
例如，C＝0.4时的Lt调制曲线1913及Rt调制曲线1914的变化量比C＝0.2时更小。通过这种关系，C＝0.4时的调整视差量变得比C＝0.2时更小。而且，在立体调整参数C满足0<C<0.5时，调整视差量变得比3D视差量更小。因此，图像再现时的立体感得到缓和。另一方面，调整Lt分布曲线1916与调整Rt分布曲线1917各自分布的展宽与分布曲线1915的展宽几乎相同，因此可以说模糊量等于2D图像的模糊量。
即，根据以各种比例来使Lt分布曲线1901与Rt分布曲线1902相关，能够控制调整视差量。通过实施这样的运算，能够生成赋予了与从视差像素生成的视差图像数据不同的立体感的左侧视点的彩色图像数据和右侧视点的彩色图像数据。
另外，通过使立体调整参数C的值在C<0的范围内变化，得到比原始3D视差量更强调的调整视差量，通过使其在0.5<C的范围内进行变化，能够实现视差方向逆转的倒视，以及各种各样的影像效果。
在本实施方式中，从构成RAW图像数据集的五个层数据生成左侧视点的彩色图像数据和右侧视点的彩色图像数据。左侧视点的彩色图像数据由左侧视点对应的作为红色层数据的RLtc层数据、作为绿色层数据的GLtc层数据、以及作为蓝色层数据的BLtc层数据的三个彩色视差层数据而构成。同样地，右侧视点的彩色图像数据由右侧视点对应的作为红色层数据的RRtc层数据、作为绿色层数据的GRtc层数据、以及作为蓝色层数据的BRtc层数据的三个彩色视差层数据而构成。
图33为说明彩色视差层数据的生成处理的图。尤其是针对作为彩色视差层中的红色视差层的RLtc层数据和RRtc层数据的生成处理进行表示。
红色视差层使用通过图15所说明的Rn层数据的像素值和Lt层数据及Rt层数据的亮度值而生成。具体地，例如，当算出RLtc层数据的对象像素位置(im，jn)的像素值RLtmn时，首先，图像处理部205的像素值提取部231从Rn层数据的同一像素位置(im，jn)取得像素值Rnmn。然后，图像处理部205的亮度值提取部232从Lt层数据的同一像素位置(im，jn)提取亮度值Ltmn，从Rt层数据的同一像素位置(im，jn)提取亮度值Rtmn。并且，图像处理部205的算出部233在像素值Rnmn上乘以由立体调整参数C对亮度值Ltmn和Rtmn 进行分配后的值，从而算出像素值RLtmn。具体地，通过以下式(3)算出。然而，立体调整参数C在0<C<0.5的范围内被预先设定。
RLtmn-Rnmn＝(1/2-C)(Ltmn-Rtmn)…(3)
同样地，在算出RRt层数据的对象像素位置(im，jn)的像素值RRtmn时，算出部233算出像素值RRtmn，使得想要算出的像素值RLtmn与提取的像素值Rnmn的差相对于在提取的亮度值Ltmn与Rtmn的差上乘上立体调整参数C相关项后的值保持相关。具体地，通过以下的式(4)算出。其中，此处的立体调整参数C与式(3)的C取值相同。
RRtmn-Rnmn＝(1/2-C)(Rtmn-Ltmn)…(4)
图像处理部205从作为左端且上端的像素的(1、1)到右端且下端的座标的(i0，j0)依次执行这种处理。另外，在上述式(3)、式(4)的例子中，作为立体调整参数C的相关项规定了(1/2-C)，但想要算出的像素值RRtmn与提取的像素值Rnmn的差和提取的亮度值Ltmn与Rtmn的差的相关关系可以适当改变。可以考虑视差像素的开口部的偏心量、大小、与无视差像素的开口部的相对关系等的参数来改变比例系数，加上常量作为修正项等方式来适当调整相关关系。另外，即使想要算出的像素值是像素值RRtmn、GLtmn、GRtmn、BLtmn、BRtmn，上述关系仍然是相同的。
作为红色视差层的RLtc层数据和RRtc层数据的生成处理完成，然后执行作为绿色视差层的GLtc层数据和GRtc层数据的生成处理。具体地，在上述说明中，取代从Rn层数据的同一像素位置(im，jn)提取像素值Rnmn，而是从Gn层数据的同一像素位置(im，jn)提取像素值Gnmn，进行同样的处理。进一步地，作为绿色视差层的GLtc层数据和GRtc层数据的生成处理完成后，接着执行作为蓝色视差层的BLtc层数据和BRtc层数据的生成处理。具体地，在上述说明中，取代从Rn层数据的同一像素位置(im，jn)提取像素值Rnmn，而是从Bn层数据的同一像素位置(im，jn)取得像素值Bnmn，进行同样的处理。
过以上处理，生成了左侧视点的彩色图像数据(RLtc层数据、GLtc层数据、BLtc层数据)及右侧视点的彩色图像数据(RRtc层数据、GRtc层数据、BRtc层数据)。即，通过比较简单的处理能够取得左侧视点及右侧视点的彩色图像数据，作为实际上作为摄像元件100的像素不存在的假想输出。
而且，由于能够改变立体调整参数C，因此能够在将由无视差像素引起的 2D彩色图像的模糊量维持不变的情形下，调整视差量的大小。因此，只要通过3D图像对应的再现装置对这些图像数据进行再现，用户便能够观赏作为彩色图像的3D影像。尤其是，由于处理很简单因此能够高速地生成图像数据，也能够适用于动态图像。另外，所生成的左侧视点的彩色图像数据可以与由Lt层数据等导出的左侧视点的视差图像数据相关联保存，所生成的右侧视点的彩色图像数据可以与由Rt层数据等导出的右侧视点的视差图像数据相关联保存。如此一来，通过保持与导出所生成的图像数据的图像数据的关联性进行保存，能够使图像再现时的管理等变得容易。关联例如在各自的头信息中记录文件名作为关联图像数据。此时，图像处理部205承担作为附加关联信息的附加部的作用。
在上述内容中，只要在实际的摄像元件100上对RGB的任一像素均等分配视差像素，便能够得到同时既是3D图像又具有彩色再现性好的高质量的彩色图像数据，虽然对此进行了说明，但实际上即使不具备这样的像素，通过施加以上的处理，也可以说能够得到与此相当的高品质的3D彩色图像数据。另外，作为实际的像素也可以不将视差像素对RGB像素分配，因此，据此能够提高另一层数据的品质。
以下从光强度分布的观点对以上处理进行说明。图34为说明光强度分布的变化的图。图34的(a)为当接收到在从焦点位置错开一定量的位置处存在的物点发出的被拍摄体光束时排列作为W像素的视差Lt像素的输出值和视差Rt像素的输出值的曲线图。这些输出值为不包含色彩信息的亮度值。另外，如上所述，由于像素的输出值与光强度成正比，因此可以说曲线图表示了光强度分布。
图34的(b)是在从图34的(a)中的视差Lt像素的输出值减去视差Rt像素的输出值后的值以及从视差Rt像素的输出值减去视差Lt像素的输出值后的值上分别乘以(1/2-C)后排列而成的曲线图。在图的例子中，作为立体调整参数C采用C＝0.2。这些曲线相当于图32的Lt调制曲线1913和Rt调制曲线1914。
图29的(c)为排列当接收到来自于图28的(a)中的物点的被拍摄体光束时的作为无视差像素的R像素、G像素、B像素的输出值的曲线图。这些输出值为包含色彩信息的像素值。而且，该曲线图也可以说表示了各种颜色的 光强度分布。
按相应的各像素实施上述处理后，成为图24的(d)的曲线图所表示的光强度分布。从图中可见，成为了好像是排列有来自实际的RLt像素、RRt像素、GLt像素、GRt像素、BLt像素、BRt像素彩色的输出值的分布。另外，直到生成视差彩色图像数据的处理流程与图30的处理相同。此时，在步骤S107中，立体调整参数C在0<C<0.5的范围内被预先设定。
在以上的说明中对摄像元件100采用B'-1的重复图案的情形的例子进行了说明。即，说明了视差像素为W像素，利用作为不包含色彩信息的亮度图像数据的视差图像数据生成左侧视点的彩色图像数据和右侧视点的彩色图像数据的六层数据的例子。然而，如上所述，对彩色滤光片的排列以何种颜色的像素什么的周期来分配视差像素和无视差像素，从而能够设置大量的的重复图案。在特定颜色的彩色滤光片上分配有视差像素的摄像元件100的情形，对上述处理稍加改变使左侧视点的彩色图像数据和右侧视点的彩色图像数据的六层数据齐备。以下针对具体的步骤进行说明。
图35为说明采用另一重复图案的摄像元件100中的层分离处理的图。在图的例子中，摄像元件100采用上述A-1的重复图案采用。A-1的重复图案中，拜耳阵列中的Gb像素成为视差Lt像素，Gr像素成为视差Rt像素。
从这种摄像元件100输出的RAW原始图像数据色彩作为彩色图像数据被分离成R0层数据和B0层数据，但不可能分离成G0层数据。而且，作为视差图像数据被分离出的Lt0层数据和Rt0层数据具有绿色的色彩信息。换言之，视差图像数据可以说是在被拍摄体光束中捕捉到绿色波长成分的亮度图像数据。因此，这些层数据的各输出值可以作为亮度值处理。
对被分离的层数据实施上述的插值处理，分别填充所存在的空格子。图36为说明插值处理后的RAW图像数据集的数据结构图。
生成Rn层数据、Bn层数据、Lt层数据及Rt层数据的插值处理与上述例子相同。而且，图像处理部205针对GLt层数据和GRt层数据按对应的各像素算出平均值而生成Gn层数据。
对Rn层数据使用视差图像数据生成RLtc层数据和RRtc层数据的处理、对Gn层数据使用视差图像数据生成GLtc层数据和GRtc层数据的处理、以及对Bn层数据使用视差图像数据生成BLtc层数据和BRtc层数据的处理与上述例子 相同。
在以上说明中，作为构成被拍摄体像的色彩的原色使用了红色、绿色及蓝色这三种。然而，将加上草绿色等的四个以上色彩作为原色也是可以的。另外，也可以取代红色、绿色及蓝色，而使用黄、品红、靛青的组合而成的互补色的三原色。
在上述的式(1)和式(2)中，使立体调整参数C为范围为0.5<C<1。如果C＝1，作为实际上作为摄像元件100的像素并不存在的、作为结合有RGB任一的彩色滤光片的视差Lt像素及视差Rt像素的假想输出，能够生成左侧视点及右侧视点的彩色图像数据。另外，如果C＝0.5，如图36的Gn层数据的举例那样，能够生成2D彩色图像数据。另外，如果C＝0，则成为左右亮度分布逆转的视差图像数据。另外，如果采用除此之外的值，则能够进一步得到逆视等特殊的视差图像数据。
另外，在图30的流程中的处理中，作为立体调整参数C的值，自始至终适用同一值。但例如也可以配合被拍摄体像的特征，针对各个领域逐个地改变C值。具体地，对应于对象像素位置(i，j)改变C。如何改变C，可以对分割出的区域预先从用户接收指示，也可以通过人脸识别技术等对各个区域设定适当值。通过使C值可变，即使在同一图像内也能针对各个区域得到立体感不同的图像。
在以上说明中，成对地生成了左侧视点的彩色图像数据及右侧视点的彩色图像数据。也就是说，当适用式(1)时，如果在0.5<C<1的范围内设定立体调整参数C，式(2)便成为对式(1)替换了C与1-C的关系。此时，从式(1)生成的彩色图像数据作为左侧视点的彩色图像数据，例如与Lt层数据相关联地管理，从式(2)生成的彩色图像数据作为右侧视点的彩色图像数据，例如与Rt层数据相关联地管理。此时，图像处理部205承担执行附加关联的附加部的功能。
另外，在上述的式(3)和式(4)中，使立体调整参数C的范围为0.5<C<1。然而，与上述的式(1)和式(2)中通过改变立体调整参数C的值而得到多样的图像数据的情形相同，也可以通过改变式(3)和式(4)的立体调整参数C来得到多样的图像数据。
另外，在将上述的式(3)和式(4)适用于图30的流程时，作为立体调 整参数C的值，并不是自始至终只适用同一值，例如可以配合被拍摄体像的特征，针对各个领域改变C值。
在以上说明中，成对地生成了左侧视点的彩色图像数据及右侧视点的彩色图像数据。也就是说，当适用式(3)时，如果在0.5<C<1的范围内设定立体调整参数C，式(4)便成为对式(3)替换了C与1-C的关系。此时，从式(3)生成的彩色图像数据作为左侧视点的彩色图像数据，例如与Lt层数据相关联地管理，从式(4)生成的彩色图像数据作为右侧视点的彩色图像数据，例如与Rt层数据相关联地管理。此时，图像处理部205承担执行附加关联的附加部的功能。
在上述内容中，将例如图像处理部205所包含的像素值提取部231、亮度值提取部232及算出部233等作为构成数码相机10的各构成要素的功能，对其各自的处理进行了说明。另外，使控制部201及图像处理部205动作的控制程序作为使构成数码相机10的各硬件执行上述处理的构成要素而发挥功能也是可能的。另外，生成彩色图像数据的这些处理即使不在数码相机10中进行，而是在外部的个人计算机等机器中进行也是可以的。此时，外部的个人计算机等机器作为图像处理装置而发挥功能。图像处理装置取得例如RAW原始图像数据生成彩色图像数据。图像处理装置当取得RAW原始图像数据时也执行上述的层分离处理、层数据的插值处理。另外，图像处理装置还可以取得在摄像装置侧实施了插值处理的层数据。
以下，相对于到此所说明的上述实施例(实施例1)针对另一实施例(实施例2)进行说明。在实施例1中显示了生成左视点的彩色图像的概念，为了生成左视点的彩色图像与右视点的彩色图像，将通常图像Rn，Gn，Bn的色面信息相对于左视点的亮度图像Lt与右视点的亮度图像Rt的算术平均的图像，在制作左视点的彩色图像时对左视点的亮度图像加权的同时进行比拟，以使左视点的亮度图像与右视点的亮度图像的混合图像与算数平均的图像之比保持一定。在实施例2中提供了另一式子。以式(1)、式(2)所示的式子置换成以下这种运算式。
生成左视点的彩色图像
RLt=Rn×(Lt(1-d)*Rtd)/ (Lt*Rt)]]>
GLt=Gn×(Lt(1-d)*Rtd)/ (Lt*Rt)]]>
BLt=Bn×(Lt(1-d)*Rtd)/ (Lt*Rt)]]>
生成右视点的彩色图像
RRt=Rn×(Rt(1-d)*Ltd)/ (Lt*Rt)]]>
GRt=Gn×(Rt(1-d)*Ltd)/ (Lt*Rt)]]>
BRt=Bn×(Rt(1-d)*Ltd)/ (Lt*Rt)]]>
其中，立体调整参数d取0≦d≦0.5的范围的值。
上述式当d＝0时，比拟成右视点的亮度图像和左视点的亮度图像生成左视点的彩色图像和右视点的彩色图像，从而使相对于左视点的亮度图像Lt与右视点的亮度图像Rt的几何平均值保持比例一定。当d＝0.5时与无视差图像相同。
如果对上述式子进行改写则满足以下这样的关系。
生成左视点的彩色图像
RLt/Rn＝(Lt/Rt)(0.5-d)
GLt/Gn＝(Lt/Rt)(0.5-d)
BLt/Bn＝(Lt/Rt)(0.5-d)
生成右视点的彩色图像
RRt/Rn＝(Rt/Lt)(0.5-d)
GRt/Gn＝(Rt/Lt)(0.5-d)
BRt/Bn＝(Rt/Lt)(0.5-d)
即，所求对象的左视点的彩色图像的像素值进行求值，使得左视点的彩色图像的像素值与无视差图像的像素值之间的比例相对于左视点的亮度图像的亮度值与右视点的亮度图像的亮度值之间的比例保持相关。另外，所求对象的右视点的彩色图像的像素值进行求值，使得右视点的彩色图像的像素值与无视差图像的像素值之间的比例相对于右视点的亮度图像的亮度值与左视点的亮度图像的亮度值之间的比例保持相关。
以下表示实施例3。在实施例2中所示式子取对数由以下这样的式子进行等价表示。
生成左视点的彩色图像
log(RLt)＝log(Rn)+(1-d)*log(Lt)+d*log(Rt)-[log(Lt)+log(Rt)]/2
log(GLt)＝log(Gn)+(1-d)*log(Lt)+d*log(Rt)-[log(Lt)+log(Rt)]/2
log(BLt)＝log(Bn)+(1-d)*log(Lt)+d*log(Rt)-[log(Lt)+log(Rt)]/2
生成右视点的彩色图像
log(RRt)＝log(Rn)+(1-d)*log(Rt)+d*log(Lt)-[log(Lt)+log(Rt)]/2
log(GRt)＝log(Gn)+(1-d)*log(Rt)+d*log(Lt)-[log(Lt)+log(Rt)]/2
log(BRt)＝log(Bn)+(1-d)*log(Rt)+d*log(Lt)-[log(Lt)+log(Rt)]/2
即，迁移到具有对数灰度的灰度特性的图像处理空间时，在线性灰度的图像处理空间中使比例保持一定的运算式能够通过在对数灰度空间中使差值保持一定的视差调制来生成左右的各视点的彩色图像。概括该思考方式，并不止于对数灰度，在具有由平方根和立方根等幂乘法表示的灰度特性、任意灰度特性的伽玛空间中，只要进行使差值保持一定的运算即可以同样得到增加视差调制的效果。
流程图
1)输入色彩·视差复用马赛克图像数据
2)迁移到由灰度转换而成的伽玛空间
3)生成色彩、视差图像
4)迁移到由反向灰度转换而成的原始色彩空间
5)迁移到输出色彩空间
处理步骤
1)输入色彩·视差复用马赛克图像数据
输入将拜耳阵列型的G像素光瞳分割成右视差和左视差并复用色彩和视差的单板式马赛克图像。将其表示为M[i，j]。各像素值为取与透光量成正比的值的线性灰度的数据。
2)迁移到由灰度转换而成的伽玛空间
对马赛克图像实施灰度转换，迁移到伽玛空间。
M[i，j]→MΓ[i，j]
实际上，对输入像素值x实施非线性转换y＝f(x)从而成为输出像素值y。作为非线性转换的特性的例子，考虑以下的各种情形。然而，以输入信号为x、以输出信号为y，输入信号的灰度和输出信号的灰度均被定义在[0，1]的范围。输入输出特性定义灰度曲线(伽玛曲线)，使其通过(x，y)＝(0，0) 和(1，1)。以实际的输入灰度X的最大值为Xmax、以输出灰度Y的最大值为Ymax，则x＝X/Xmax、y＝Y/Ymax，根据下式进行灰度转换
Y=Ymax&CenterDot;f(XXmax)]]>
作为灰度特性的例子考虑以下这种情形。
a)立方根灰度特性
y＝1.16x1/3-0.16 if x＞0.008856
y＝1.16×7.781x otherwise
b)带偏移的平方根灰度特性
偏移值ε为正的常量。参照USP7，957，588。
c)对数特性
y=log(kx+1)log(k+1)]]>
系数k为正的常量。
d)线性特性
y＝x
3)生成彩色、视差图像
在伽玛空间与实施例1相同地，生成无视差彩色图像RnΓ、GnΓ、BnΓ和左视点的亮度图像LtΓ和右视点的亮度图像RtΓ。此后，通过以下式子增加视差调制，生成左视点的彩色图像和右视点的彩色图像。另外，示意性地用指数Γ表示伽玛空间的值。
生成左视点的彩色图像
RLtΓ＝RnΓ+(1-d)*LtΓ+d*RtΓ-(LtΓ+RtΓ)/2
GLtΓ＝GnΓ+(1-d)*LtΓ+d*RtΓ-(LtΓ+RtΓ)/2
BLtΓ＝BnΓ+(1-d)*LtΓ+d*RtΓ-(LtΓ+RtΓ)/2
生成右视点的彩色图像
RRtΓ＝RnΓ+(1-d)*RtΓ+d*LtΓ-(LtΓ+RtΓ)/2
GRtΓ＝GnΓ+(1-d)*RtΓ+d*LtΓ-(LtΓ+RtΓ)/2
BRtΓ＝BnΓ+(1-d)*RtΓ+d*LtΓ-(LtΓ+RtΓ)/2
其中，立体调整参数d取0≦d≦0.5范围的值。
对上述式子进行改写后，满足以下的关系。
生成左视点的彩色图像
RLtΓ-RnΓ＝(0.5-d)*(LtΓ-RtΓ)
GLtΓ-GnΓ＝(0.5-d)*(LtΓ-RtΓ)
BLtΓ-BnΓ＝(0.5-d)*(LtΓ-RtΓ)
生成右视点的彩色图像
RRtΓ-RnΓ＝(0.5-d)*(RtΓ-LtΓ)
GRtΓ-GnΓ＝(0.5-d)*(RtΓ-LtΓ)
BRtΓ-BnΓ＝(0.5-d)*(RtΓ-LtΓ)
即，所求对象的左视点的彩色图像的像素值在求值时要使左视点的彩色图像的像素值与无视差图像的像素值之间的差相对于左视点的亮度图像的亮度值与右视点的亮度图像的亮度值之间的差保持相关。而且，所求对象的右视点的彩色图像的像素值在求值时要使右视点的彩色图像的像素值与无视差图像的像素值之间的差相对于右视点的亮度图像的亮度值与左视点的亮度图像的亮度值之间的差保持相关。
4)由反向灰度转换变到原始色彩空间
通过施加从伽玛空间到线性灰度空间的反向灰度转换，返回原始色彩空间。对必要的彩色图像数据实施。形成左视点的彩色图像与右视点的彩色图像。
左视点的彩色图像
RLtΓ[i，j]→RLt[i，j]
GLtΓ[i，j]→GLt[i，j]
BLtΓ[i，j]→BLt[i，j]
右视点的彩色图像
RRtΓ[i，j]→RRt[i，j]
GRtΓ[i，j]→GRt[i，j]
BRtΓ[i，j]→BRt[i，j]
5)转换到输出色彩空间
对所形成的左视点的彩色图像和右视点的彩色图像施加色彩转换和输出灰度转换，生成各输出彩色图像。例如转换为sRGB色彩空间。
另外，包含视差的马赛克图像表示原色拜耳阵列的例子，但这些彩色滤光片即使置换到互补色系，也同样以相同的原理生成右视差的互补彩色图像和左视差的互补彩色图像。
以上，使用本发明的实施方式进行了说明，但本发明的技术范围不限于上述实施方式所记载的范围。另外，本领域技术人员应当清楚，在上述实施方式的基础上可加以增加各种变更或改进。此外，由权利要求的记载可知，这种加以变更或改进的实施方式也包含在本发明的技术范围内。
应当注意的是，权利要求书、说明书及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤及阶段等各个处理的执行顺序，只要没有特别明示“更早”、“早于”等，或者只要前面处理的输出并不用在后面的处理中，则可以以任意顺序实现。关于权利要求书、说明书及附图中的动作流程，为方便起见而使用“首先”、“然后”等进行了说明，但并不意味着必须按照这样的顺序实施。
附图标记说明
10数码相机、20摄影镜头、21光轴、30、31被拍摄体、100摄像元件、101微型镜头、102彩色滤光片、103开口掩模、104开口部、105布线层、106布线、107开口、108光电转换元件、109基板、110重复图案、120摄像元件、121屏幕滤光片、122彩色滤光片部、123开口掩模部、201控制部、202A/D转换电路、203存储器、204驱动部、205图像处理部、207存储器卡IF、208操作部、209显示部、210LCD驱动电路、211AF传感器、220存储器卡、231像素值提取部、232亮度值提取部、233算出部、322中心线、1801、1802、1803、1804、1805、1807、1808分布曲线、1806、1809合成分布曲线、1901Lt分布曲线、1902Rt分布曲线、19032D分布曲线、1905调整Lt分布曲线、1906调整Rt分布曲线、1913Lt调制曲线、1914Rt调制曲线、1915分布曲线、1916调整Lt分布曲线、1917调整Rt分布曲线。