技术领域
本发明涉及摄像系统、处理装置、处理方法以及处理程序。
背景技术
近年来,作为数字照相机,提出有如下构成的一体型的立体照相机:设置相当于双眼的两个摄像元件和对应于各摄像元件的两个光学系统来拍摄被摄体,根据拍摄到的左右两个图像数据来获得立体图像(例如,参照专利文献1)。这种立体照相机具有如下功能:保存与所搭载的两个光学系统的个体差异对应的校正参数,并使用该校正参数,在立体照相机内部校正由于两个光学系统的个体差异引起的左眼图像数据和右目图像数据的大小的不一致。
但是,在医疗领域等中使用的可拆装内窥镜和处理装置(处理器)的内窥镜系统中,为了诊断或检查的顺利进行,存在想要以立体图像来观察观察对象的要求。作为响应该要求的技术,已知有设置有如下内窥镜,该内窥镜具有立体观察用的两个光学系统的光学单元、和对应于各光学单元的两个摄像元件。安装有该内窥镜的处理器从所安装的内窥镜接收左右的图像数据,并根据该两个图像数据生成立体图像。
在先技术文献
专利文献
专利文献1:日本特开2006-162991号公报
发明内容
发明要解决的技术课题
由于在内窥镜中存在个体差异,且根据所安装的内窥镜的不同,内窥镜的两个光学系统的个体差异引起的图像间的大小的偏差不同,所以处理器无法进行适于所安装的内窥镜的图像校正。
本发明就是鉴于上述情况而完成的,其目的在于提供摄像系统、处理装置、处理方法和处理程序,无论在将哪个光学单元安装于处理装置来作为具有立体观察用的两个光学系统的光学单元的情况下,都能够适当地执行与所安装的光学单元对应的图像校正。
为了解决上述问题,并达成目的,本发明涉及的摄像系统具有:光学单元;处理装置,其具有拆装自如地安装所述光学单元的结构;以及摄像装置,其配置于所述光学单元和所述处理装置中的任意一个而成,其特征在于,所述光学单元具有:第1光学系统,其对来自被摄体的入射光进行成像;第2光学系统,其以与所述第1光学系统具有视差的方式对来自所述被摄体的入射光进行成像;以及第1存储部,其存储用于校正所述第1光学系统和所述第2光学系统的视场角的差异的视场角校正数据,所述摄像装置具有:第1摄像部,其对由所述第1光学系统形成的光学像进行摄像而生成第1图像数据;以及第2摄像部,其对由所述第2光学系统形成的光学像进行摄像而生成第2图像数据,所述处理装置具有:数据取得部,其从所述第1存储部取得所述视场角校正数据;以及校正部,其根据由所述数据取得部取得的视场角校正数据,对所述第1图像数据和所述第2图像数据中的至少任意一方进行校正,使得对应于所述第1图像数据的第1图像的视场角与对应于所述第2图像数据的第2图像的视场角一致,并且所述第1图像的大小与所述第2图像的大小一致。
此外,本发明的摄像系统的特征在于,所述视场角校正数据至少包含:指示所述校正部使所述第2图像的视场角和大小与所述第1图像的视场角和大小一致的指示数据;以及所述第2图像的视场角相对于所述第1图像的视场角第1倍率。
此外,本发明的摄像系统的特征在于,所述处理装置还具有:显示部,其显示输出由该处理装置处理后的图像;以及参数生成部,其根据与所述光学单元的类别和所述显示部的规格相应地预先设定的放大缩小倍率即第2倍率,生成由所述校正部使用的第1放大缩小倍率,根据由所述数据取得部取得的所述第1倍率和所述第2倍率,生成由所述校正部使用的第2放大缩小倍率,所述校正部具有:区域设定部,其根据来自各图像的提取基准区域设定要从所述第1图像提取的第1提取区域的大小,另一方面,根据所述提取基准区域和由所述数据取得部取得的所述第1倍率设定要从所述第2图像提取的第2提取区域的大小;以及放大缩小部,其从所述第1图像提取所述第1提取区域,输出按照所述第1放大缩小倍率将该提取出的所述第1提取区域放大或缩小后的图像,作为校正后的第1图像,另一方面,从所述第2图像提取所述第2提取区域,输出按照所述第2放大缩小倍率将该提取出的所述第2提取区域放大或缩小后的图像,作为校正后的第2图像。
此外,本发明的摄像系统的特征在于,所述处理装置还具有第2存储部,该第2存储部与所述光学单元的类别和所述显示部的规格分别对应地存储所述第2倍率,所述第1存储部存储表示所述光学单元的类别的识别信息,所述数据取得部从所述第1存储部取得所述光学单元的识别信息,从所述第2存储部取得与该取得的识别信息表示的所述光学单元的类别和所述显示部的规格对应的所述第2倍率,所述参数生成部根据由所述数据取得部取得的所述第1倍率和所述第2倍率,生成所述第1放大缩小倍率和所述第2放大缩小倍率。
此外,本发明的摄像系统的特征在于,所述视场角校正数据包含:第1位置数据,其表示所述第1图像中的所述提取基准区域的位置;以及第2位置数据,其表示所述第2图像中的所述提取基准区域的位置,所述区域设定部根据由所述数据取得部取得的所述第1位置数据,设定所述第1图像中的所述提取基准区域的位置,根据由所述数据取得部取得的所述第2位置数据,设定所述第2图像中的所述提取基准区域的位置。
此外,本发明的摄像系统的特征在于,所述第1光学系统和所述第2光学系统具有改变各自的视场角的光学变焦功能,所述校正部根据由所述数据取得部取得的视场角校正数据,控制所述第1光学系统和所述第2光学系统中的至少任意一方的所述光学变焦功能,由此,使对应于所述第1图像数据的第1图像的视场角与对应于所述第2图像数据的第2图像的视场角一致,并且使所述第1图像的大小与所述第2图像的大小一致。
此外,本发明的摄像系统的特征在于,具有:内窥镜装置,其具有所述光学单元和所述摄像装置;以及所述处理装置,其处理由所述摄像装置拍摄的图像数据。
此外,本发明的处理装置拆装自如地安装光学单元,并处理从摄像装置输出的图像数据,该光学单元具有:第1光学系统,其对来自被摄体的入射光进行成像;第2光学系统,其以与所述第1光学系统具有视差的方式对来自所述被摄体的入射光进行成像;以及第1存储部,其存储用于校正所述第1光学系统和所述第2光学系统的视场角的差异的视场角校正数据,该摄像装置配置于所述光学单元和该处理装置中的任意一方,并具有:第1摄像部,其对由所述第1光学系统形成的光学像进行摄像而生成第1图像数据;以及第2摄像部,其对由所述第2光学系统形成的光学像进行摄像而生成第2图像数据,其特征在于,该处理装置具有:数据取得部,其从该处理装置所安装的所述光学单元的所述第1存储部取得所述视场角校正数据;以及校正部,根据由所述数据取得部取得的视场角校正数据,对所述第1图像数据和所述第2图像数据中的至少任意一方进行校正,使得对应于所述第1图像数据的第1图像的视场角与对应于所述第2图像数据的第2图像的视场角一致,并且所述第1图像的大小与所述第2图像的大小一致。
此外,本发明的处理方法由处理装置执行,该处理装置拆装自如地安装光学单元,并处理从第1摄像部和第2摄像部输出的图像数据,该光学单元具有:第1光学系统,其对来自被摄体的入射光进行成像;以及第2光学系统,其以与所述第1光学系统具有视差的方式对来自所述被摄体的入射光进行成像,该第1摄像部对由所述第1光学系统形成的光学像进行摄像而生成第1图像数据,该第2摄像部对由所述第2光学系统形成的光学像进行摄像而生成第2图像数据,其特征在于,该处理方法包含:数据取得处理,从所述处理装置所安装的所述光学单元具有的第1存储部,取得用于校正所述第1光学系统和所述第2光学系统的视场角的差异的视场角校正数据;以及校正处理,根据在所述数据取得处理中取得的视场角校正数据,对所述第1图像数据和所述第2图像数据中的至少任意一方进行校正,使得对应于所述第1图像数据的第1图像的视场角与对应于所述第2图像数据的第2图像的视场角一致,并且所述第1图像的大小与所述第2图像的大小一致。
此外,本发明的处理程序使处理装置执行以下步骤,该处理装置拆装自如地安装光学单元,并处理从第1摄像部和第2摄像部输出的图像数据,该光学单元具有:第1光学系统,其对来自被摄体的入射光进行成像;以及第2光学系统,其以与所述第1光学系统具有视差的方式对来自所述被摄体的入射光进行成像,该第1摄像部对由所述第1光学系统形成的光学像进行摄像而生成第1图像数据,该第2摄像部对由所述第2光学系统形成的光学像进行摄像而生成第2图像数据,其特征在于,该步骤包含:数据取得步骤,从所述处理装置所安装的所述光学单元具有的第1存储部,取得用于校正所述第1光学系统和所述第2光学系统的视场角的差异的视场角校正数据;以及校正步骤,根据在所述数据取得步骤中取得的视场角校正数据,对所述第1图像数据和所述第2图像数据中的至少任意一方进行校正,使得对应于所述第1图像数据的第1图像的视场角与对应于所述第2图像数据的第2图像的视场角一致,并且所述第1图像的大小与所述第2图像的大小一致。
根据本发明,无论在将哪个光学单元安装于处理装置来作为具有立体观察用的两个光学系统的光学单元的情况下,都能够适当地执行与所安装的光学单元对应的图像校正。
附图说明
图1是示出本发明实施方式的内窥镜系统的概略结构的示意图。
图2是示出由图1所示的光源一体型处理器对从内窥镜输入的图像数据执行的处理的处理步骤的流程图。
图3是示出图2所示的校正处理的处理步骤的流程图。
图4是用于说明图3所示的基准区域位置设定处理的图。
图5是用于说明图3所示的提取区域的大小设定处理的图。
图6是用于说明图3所示的放大缩小处理的图。
图7是用于说明图3所示的基准区域位置设定处理的图。
图8是用于说明图3所示的提取区域的大小设定处理的图。
图9是用于说明图3所示的放大缩小处理的图。
图10是示出本发明实施方式的摄像系统的其他概略结构的示意图。
具体实施方式
以下,说明医疗用的内窥镜系统,作为用于实施本发明的方式(以下称作“实施方式”)。此外,本发明不由该实施方式限定。并且,在附图记载中,对相同的部分标注相同的标号。
(实施方式)
图1是示出本发明实施方式的内窥镜系统的概略结构的示意图。如图1所示,本实施方式的内窥镜系统1具有:被检体内导入用的内窥镜2;光源一体型处理器3(处理装置),其对从经由连接器(未图示)而安装的内窥镜2(摄像装置)发送的摄像信号实施规定的图像处理;显示装置4(显示部),其显示与内窥镜2的摄像信号对应的立体影像;以及输入装置5,其受理各种指示信息的输入并将指示信息输入到光源一体型处理器3。光源一体型处理器3具有经由连接器而拆装自如地安装有内窥镜2的结构。光源一体型处理器3是在内部具有光源部6的处理器。
内窥镜2具有插入到被检体内的挠性的插入部,通过设置于插入部的前端部的摄像部20,生成对被检体的体内进行拍摄得到的被检体内的图像数据。内窥镜2在前端部具有:左眼用光学系统21A(第1光学系统);右眼用光学系统21B(第2光学系统);具有左眼用摄像元件22A(第1摄像部)、右眼用摄像元件22B(第2摄像部)、左眼用信号处理部23A和右眼用信号处理部23B的摄像部20;存储器24(第1存储部);照明透镜25。内窥镜2具有从前端延伸至基端的连接器(未图示)的照明光纤(光导缆线)和电缆(未图示)。此外,内窥镜2具有设置有各种操作开关的操作开关部(未图示)。
左眼用光学系统21A使用一个或多个镜头构成,并设置于左眼用摄像元件22A的前级,对来自被摄体的入射光进行成像。
右眼用光学系统21B使用一个或多个透镜构成,并设置于右眼用摄像元件22B的前级,以与左眼用光学系统21A具有视差的方式对来自被摄体的入射光进行成像。另外,左眼用光学系统21A和右眼用光学系统21B可以具有分别使视场角发生变化的光学变焦功能和使焦点发生变化的对焦功能。
左眼用摄像元件22A拍摄由左眼用光学系统21A形成的光学像而生成左眼图像数据(第1图像数据)。左眼用摄像元件22A是CMOS摄像元件或CCD摄像元件,在受光面上呈矩阵状地配置有多个像素,该多个像素接收来自被光照射的被摄体的光,对接收到的光进行光电转换而生成图像数据。
右眼用摄像元件22B拍摄由右眼用光学系统21B形成的光学像而生成右眼图像数据(第2图像数据)。右眼用摄像元件22B是CMOS摄像元件或CCD摄像元件,在受光面上呈矩阵状地配置有多个像素,该多个像素接收来自被光照射的被摄体的光,将接收到的光进行光电转换而生成图像数据。
左眼用信号处理部23A具有对从左眼用摄像元件22A输出的左眼图像数据(模拟)进行去噪处理或钳位处理的模拟处理部、以及进行A/D转换处理的A/D转换部,将左眼图像数据(数字)输出到光源一体型处理器3。另外,还具有在光源一体型处理器3侧设置有左眼用信号处理部23A的结构。
右眼用信号处理部23B具有对从右眼用摄像元件22B输出的右眼图像数据(模拟)进行去噪处理或钳位处理的模拟处理部、以及进行A/D转换处理的A/D转换部,将右眼图像数据(数字)输出到光源一体型处理器3。另外,还具有在光源一体型处理器3侧设置有右眼用信号处理部23B的结构。
存储器24记录识别信息,该识别信息表示内窥镜2的类别、型号、左眼用摄像元件22A和右眼用摄像元件22B的类别等。存储器24存储视场角校正数据,该视场角校正数据用于校正左眼用光学系统21A和右眼用光学系统21B的视场角的差异。视场角校正数据是与各内窥镜2相应的数据。视场角校正数据包含指示数据,该指示数据指示校正部35使与左眼图像数据对应的左眼图像(第1图像)和与右眼图像数据对应的右眼图像(第2图像)中的、右眼图像的视场角和大小与左眼图像的视场角和大小一致。视场角校正数据包含右眼图像的视场角相对于左眼图像的视场角的倍率γ(第1倍率)。存储器24存储表示基准区域(提取基准区域)的位置的位置数据,该基准区域表示来自光源一体型处理器3中的各图像的提取区域的基准的大小。位置数据是表示左眼图像中的基准区域的位置的第1位置数据和表示右眼图像中的基准区域的位置的第2位置数据。另外,存储器24可以记录有白平衡(WB)调整用的参数等针对由左眼用摄像元件22A和右眼用摄像元件22B拍摄的图像数据的图像处理用的各种参数。在光源一体型处理器3上安装有内窥镜2的情况下,通过与光源一体型处理器3之间的通信处理,将由存储器24记录的各种信息经由电缆(未图示)输出到光源一体型处理器3的校正数据取得部311。
照明透镜25位于从连接器延伸的光导缆线的前端。在光源一体型处理器3上安装有内窥镜2的情况下,从后述光源一体型处理器3的光源部6发出的光经由光导缆线从内窥镜2前端的照明透镜25对被摄体进行照明。
光源一体型处理器3拆装自如地安装有内窥镜2,对从所安装的内窥镜2发送的左眼图像数据和右眼图像数据实施规定的图像处理,生成立体图像。光源一体型处理器3将生成的立体图像显示输出到显示装置4。
光源一体型处理器3具有:控制部31、存储部32(第2存储部)、左右图像转换部33、第1图像处理部34、校正部35、第2图像处理部36、OSD(屏幕显示)生成部37、合成部38、显示控制部39和光源部6。
控制部31使用CPU等实现。控制部31通过进行针对光源一体型处理器3的各结构的指示信息或数据的传输等,控制光源一体型处理器3的各部位的处理动作。在光源一体型处理器3上安装有内窥镜2的情况下,控制部31经由各缆线,分别与内窥镜2的左眼用摄像元件22A、右眼用摄像元件22B、左眼用信号处理部23A和右眼用信号处理部23B连接,还进行它们的控制。控制部31具有校正数据取得部311和参数生成部312。
校正数据取得部311从实际安装在该光源一体型处理器3上的内窥镜2的存储器24取得视场角校正数据。校正数据取得部311从存储器24取得以使右眼图像的视场角和大小与左眼图像的视场角和大小一致的方式对校正部35进行指示的指示数据、该内窥镜2的右眼图像的视场角相对于左眼图像的视场角的倍率γ、表示左眼图像中的基准区域的位置的第1位置数据、及表示右眼图像中的基准区域的位置的第2位置数据。校正数据取得部311从内窥镜2的存储器24取得表示该内窥镜2的类别的识别信息,从后述存储部32取得与该取得的识别信息表示的内窥镜2的类别和显示装置4的规格对应的倍率α(第2倍率)。倍率α是与内窥镜2的类别和显示装置4的规格相应地预先设定的针对放大缩小处理对象的图像的放大缩小倍率。倍率α在将所输入的图像进行放大或缩小的处理中使用,以生成与由显示装置4显示的图像的大小一致的大小的图像。在实施方式中,设为倍率α是针对左眼图像的放大缩小倍率,针对右眼图像的放大缩小倍率也是α来进行以下的说明。
参数生成部312根据由校正数据取得部311取得的倍率γ,生成在由后述放大缩小部352执行的放大缩小处理中,针对从左眼图像提取的第1提取区域使用的第1放大缩小倍率。参数生成部312根据由校正数据取得部311取得的倍率γ和倍率α,生成在由放大缩小部352执行的放大缩小处理中,从右眼图像提取的第2提取区域使用的第2放大缩小倍率。
存储部32使用易失性存储器或非易失性存储器实现,存储用于使光源一体型处理器3进行动作的各种程序。存储部32暂时记录光源一体型处理器3的处理中的信息。存储部32存储表示基准区域的信息,该基准区域表示来自各图像的提取区域的基准的大小。存储部32存储将倍率α分别与内窥镜2的类别和显示装置4的规格相对应起来的放大缩小倍率数据321。存储部32存储从内窥镜2输出的左眼图像数据、右眼图像数据、识别信息等各种信息。存储部32可以使用从光源一体型处理器3的外部安装的存储卡等构成。
左右图像转换部33根据从左眼用信号处理部23A输入的左眼图像数据和从右眼用信号处理部23B输入的右眼图像数据,使用例如并排(Side-by-Side)方式来横向排列与左眼图像数据对应的左眼图像和与右眼图像数据对应的右眼图像,从而转换为1张图像数据。左右图像转换部33将从左眼用信号处理部23A输入的左眼图像数据和从右眼用信号处理部23B输入的右眼图像数据转换为适于后级的第1图像处理部34的图像处理的形式。
第1图像处理部34对从左右图像转换部33输入的图像数据进行光学黑体(OB)减法处理、去马赛克处理和白平衡(WB)调整处理等。
校正部35根据由校正数据取得部311取得的视场角校正数据,对左眼图像数据和右眼图像数据中的至少任意一方进行校正,使得对应于左眼图像数据的左眼图像的视场角与对应于右眼图像数据的右眼图像的视场角一致,并且左眼图像的大小与右眼图像的大小一致。在实施方式中,通过指示数据对校正部35进行指示,使得右眼图像的视场角和大小与左眼图像的视场角和大小一致。另外,设为在两个图像之间在水平方向的大小和垂直方向的大小分别一致的情况下该两个图像的大小一致来进行以下的说明。校正部35具有处理区域设定部351和放大缩小部352。
处理区域设定部351根据由校正数据取得部311取得的第1位置数据,设定左眼图像中的基准区域的位置。处理区域设定部351根据由校正数据取得部311取得的第2位置数据,设定右眼图像中的基准区域的位置。处理区域设定部351根据设定出的左眼图像的基准区域来设定要从左眼图像提取的第1提取区域的大小,另一方面,根据设定出的右眼图像的基准区域和由校正数据取得部311取得的倍率γ来设定要从右眼图像提取的第2提取区域的大小。
放大缩小部352从左眼图像提取第1提取区域,输出按照第1放大缩小倍率将该提取出的第1提取区域进行放大或缩小后的图像,作为校正后的左眼图像。放大缩小部352从右眼图像提取第2提取区域,输出按照第2放大缩小倍率将该提取出的第2提取区域进行放大或缩小后的图像,作为校正后的右眼图像。第1放大缩小倍率和第2放大缩小倍率是由参数生成部312生成的。
第2图像处理部36针对由校正部35输出的校正后的右眼图像和校正后的左眼图像,进行构造强调处理(边缘强调处理)等图像处理,生成立体显示用的图像数据。
OSD生成部37生成用于与立体显示用的图像数据重叠的字符或菜单等图像数据。
合成部38生成将由OSD生成部37生成的图像与从第2图像处理部36输出的立体显示用的图像数据合成后的显示用的图像数据。
显示控制部39将由合成部38生成的显示用的图像数据转换为显示装置4可显示输出的形式的图像数据,并显示在显示装置4上。显示控制部39具有从数字信号向模拟信号转换的转换器(DAC)或编码器,将从合成部38输入的图像数据例如从数字信号转换为模拟信号,并将转换后的模拟信号的图像数据变更为高清晰方式等格式,输出到显示装置4。
光源部6具有光源驱动器和光源,在控制部31的控制下,向内窥镜2供给照明光。光源部6的光源例如由发出白色光的白色LED构成。此外,光源部6的光源也可以使用分别发出不同波段的光的多个LED(例如红色LED、绿色LED、蓝色LED),对由各LED发出的光进行合波而获得期望色调的照明光。此外,光源部6也可以采用按照时间序列射出不同颜色成分的光的面序式的结构。此外,光源部6也可以使用激光光源。此外,光源部6也可以是具有氙气灯、卤素灯等光源、和控制光学滤光器、光圈和光源部6的各部件的光源控制部件的结构。
显示装置4使用显示器等构成,该显示器使用了液晶或有机EL(Electro Luminescence:电致发光)。显示装置4显示包含从光源一体型处理器3输出的显示用图像的各种信息。
输入装置5使用鼠标、键盘和触摸面板等操作设备来实现,受理各种指示数据的输入,并将所受理的各种指示数据输入到光源一体型处理器3的控制部31。输入装置5受理与作为被检体的患者相关的患者数据(例如ID、出生日期、姓名等)和检查内容等数据的输入。
图2是示出由光源一体型处理器3对从内窥镜2输入的图像数据执行的处理的处理步骤的流程图。
如图2所示,在光源一体型处理器3中,控制部31判断是否将内窥镜2安装于了光源一体型处理器3(步骤S1)。在控制部31判断为未将内窥镜2安装于光源一体型处理器3的情况下(步骤S1:否),反复步骤S1的判断处理,直到判断为将内窥镜2安装于了光源一体型处理器3为止。
在控制部31判断为将内窥镜2安装于了光源一体型处理器3的情况下(步骤S1:是),校正数据取得部311进行如下的识别信息取得处理:与内窥镜2的存储器24之间进行通信处理,从存储器24取得内窥镜2的识别信息(步骤S2)。
校正数据取得部311进行如下的倍率α取得处理:从存储部32的放大缩小倍率数据321读出并取得倍率α,该倍率α与步骤S2中取得的识别信息表示的内窥镜2的类别和连接到光源一体型处理器3的显示装置4的规格对应(步骤S3)。
校正数据取得部311进行从存储器24取得视场角校正数据的视场角校正数据取得处理,该视场角校正数据包含指示数据、倍率γ、第1位置数据和第2位置数据(步骤S4)。步骤S2和步骤S4可以是并列处理。将由校正数据取得部311取得的倍率α和视场角校正数据输出到校正部35。
参数生成部312进行如下的参数生成处理:根据由校正数据取得部311取得的倍率γ来生成第1放大缩小倍率,并根据由校正数据取得部311取得的倍率γ和倍率α来生成第2放大缩小倍率(步骤S5)。将由参数生成部312生成的第1放大缩小倍率和第2放大缩小倍率输出到校正部35的放大缩小部352。
控制部31判断是否从内窥镜2输入了图像数据(步骤S6)。在控制部31判断为未从内窥镜2输入有图像数据的情况下(步骤S6:否),结束处理。
在控制部31判断为从内窥镜2输入有图像数据的情况下(步骤S6:是),在由左右图像转换部33将所输入的图像数据即左眼图像数据和右眼图像数据转换为1张图像数据以后,由第1图像处理部34进行OB减法处理、去马赛克处理和WB调整处理等第1图像处理(步骤S7)。
校正部35针对进行第1图像处理后的图像进行校正处理,使得对应于左眼图像数据的左眼图像的视场角与对应于右眼图像数据的右眼图像的视场角一致,并且左眼图像的大小与右眼图像的大小一致(步骤S8)。校正部35的校正后的左眼图像和右眼图像的视场角和图像的大小一致。
第2图像处理部36和合成部38进行如下的第2图像处理:对校正部35中的校正后的左眼图像和右眼图像进行边缘强调处理等图像处理,生成立体显示用的图像数据(步骤S9)。显示控制部39进行如下的图像显示控制处理:将在第2图像处理中生成的立体显示用的图像数据转换为显示装置4可显示输出的形式的图像数据,并显示在显示装置4上(步骤S10)。由此,在显示装置4上显示基于视场角和图像的大小一致的左眼图像和右眼图像的立体图像。然后,返回到步骤S6,继续进行处理。
图3是示出图2所示的校正处理的处理步骤的流程图。如图3所示,在校正处理中,处理区域设定部351进行如下的基准区域位置设定处理:根据由校正数据取得部311取得的第1位置数据来设定左眼图像中的基准区域的位置,另一方面,根据第2位置数据来设定右眼图像中的基准区域的位置(步骤S11)。
处理区域设定部351进行如下的提取区域的大小设定处理:设定从左眼图像提取的第1提取区域的大小,另一方面,设定从右眼图像提取的第2提取区域的大小(步骤S12)。
放大缩小部352进行如下的放大缩小处理:从左眼图像提取第1提取区域,输出按照第1放大缩小倍率将该提取出的第1提取区域进行放大或缩小后的图像,作为校正后的左眼图像,另一方面,从右眼图像提取第2提取区域,输出按照第2放大缩小倍率将该提取出的第2提取区域进行放大或缩小后的图像,作为校正后的右眼图像(步骤S13)。
参照图4~图6对图3所示的各处理进行说明。图4是用于说明图3所示的基准区域位置设定处理的图。图5是用于说明图3所示的提取区域的大小设定处理的图。图6是用于说明图3所示的放大缩小处理的图。
例如图4的(a)那样,以如下情况为例进行说明:设定了使水平方向和垂直方向的大小均为n的正方形的区域C作为基准区域的大小,即第1位置数据表示左眼图像中的基准区域的左上顶点的位置PL、第2位置数据表示右眼图像中的基准区域的左上顶点的位置PR。处理区域设定部351在基准区域位置设定处理(步骤S11)中,如图4的(b)所示,设定以左上顶点位于第1位置数据表示的位置PL的方式配置了区域C的区域C1,作为左眼图像G1中的基准区域。如图4的(b)所示,处理区域设定部351设定以左上顶点位于第2位置数据表示的位置PR的方式配置了区域C后的区域C2,作为右眼图像G2中的基准区域。另外,第2位置数据可以是相对于左眼图像中的基准区域的左上顶点PL的偏离量Z,在该情况下,处理区域设定部351可以以使得左上顶点位于从位置PL偏离了Z的位置的方式配置区域C,从而设定基准区域C2。
在实施方式中,进行指示以使得右眼图像的视场角和大小与左眼图像的视场角和大小一致。处理区域设定部351在提取区域的大小设定处理(步骤S12)中,如图5所示,针对左眼图像G1,直接设定在步骤S11中设定出的基准区域C1,作为第1提取区域。处理区域设定部351针对右眼图像G2,设定如下的区域C2R作为第2提取区域:该区域C2R是以使得右眼图像的视场角与左眼图像的视场角一致的校正的方式,如箭头Ya那样将步骤S11中设定出的右眼图像G2的基准区域C2在水平方向和垂直方向分别成设为(1/γ)倍后的得到的区域。因此,设定了水平方向和垂直方向的大小均为(n/γ)的正方形的第2提取区域C2R。另外,处理区域设定部351在使基准区域C2的中心的位置固定了的状态下,使基准区域C2在水平方向和垂直方向上分别成为(1/γ)倍。
在放大缩小处理(步骤S13)中,如图6的(a)所示,放大缩小部352从左眼图像G1(参照图5)提取第1提取区域C1,从右眼图像G2(参照图5)提取第2提取区域C2R。在如图4的(a)所示地设定了正方形的区域C作为基准区域的大小的情况下,在步骤S5中,参数生成部312将针对不是校正对象的左眼图像的第1放大缩小倍率设定为倍率α。参数生成部312设定将倍率α乘以倍率γ后的倍率(α×γ),作为针对作为校正对象的右眼图像的第2放大缩小倍率,使得按照倍率α进行放大缩小后的校正后的左眼图像的大小与校正后的右眼图像的大小一致。因此,放大缩小部352生成如箭头Yb那样按照α倍分别将从左眼图像G1提取的第1提取区域C1的水平方向的大小和垂直方向的大小进行放大或缩小后的图像O1(参照图6的(b))。放大缩小部352生成如箭头Yc那样按照(α×γ)倍分别将提取出的第2提取区域C2R的水平方向的大小和垂直方向的大小进行放大或缩小后的图像O2(参照图6的(b))。其结果,左眼图像O1和右眼图像O2的水平方向和垂直方向的大小均为(n×α),图像的大小一致。
这样,在本实施方式中,在各个内窥镜2的存储器24中存储有用于校正内窥镜2的左眼用光学系统21A和右眼用光学系统21B的视场角的差异的视场角校正数据。在光源一体型处理器3上安装有内窥镜2时,光源一体型处理器3从内窥镜2的存储器24读出视场角校正数据,并根据读出的视场角校正数据,执行校正处理,使得对应于左眼图像数据的左眼图像的视场角与对应于右眼图像数据的右眼图像的视场角一致,并且左眼图像的大小与右眼图像的大小一致。换言之,在实施方式中,即使在由于立体观察用的两个光学系统的个体差异引起的图像之间的大小的偏差按照每个内窥镜2而不同的情况下,光源一体型处理器3也从内窥镜2的存储器24读出与实际上所安装的内窥镜2对应的视场角校正数据,并根据读出的视场角校正数据,进行校正处理。因此,根据实施方式,无论在将哪种内窥镜2安装于了光源一体型处理器3的情况下,光源一体型处理器3都能够适当地进行与所安装的内窥镜2对应的图像校正。
另外,在设定了水平方向和垂直方向的大小不同的长方形的区域作为基准区域的大小的情况下,作为第1倍率,存在对于水平方向设定有倍率α1、对于垂直方向设定有倍率α2的情况。接着说明该情况下的校正处理。图7是用于说明图3所示的基准区域位置设定处理的图。图8是用于说明图3所示的提取区域的大小设定处理的图。图9是用于说明图3所示的放大缩小处理的图。
例如图7的(a)那样,设定了水平方向的大小为x且垂直方向的大小为y的长方形的区域D,作为基准区域的大小。处理区域设定部351在基准区域位置设定处理(步骤S11)中,如图7的(b)所示,设定以左上顶点位于位置PL的方式配置区域D后的区域D1,作为左眼图像F1中的基准区域,并设定以左上顶点位于位置PR的方式配置区域D后的区域D2,作为右眼图像F2中的基准区域。
处理区域设定部351在提取区域的大小设定处理(步骤S12)中,如图8所示,针对左眼图像F1,直接设定在步骤S11中设定出的基准区域D1,作为第1提取区域。处理区域设定部351针对右眼图像F2,如箭头Ye、Yf那样设定使步骤S11中设定出的右眼图像F2的基准区域D2的水平方向和垂直方向分别成为(1/γ)倍的区域D2R,作为第2提取区域,以进行使右眼图像的视场角与左眼图像的视场角一致的校正。因此,针对右眼图像F2,设定了水平方向的大小为(x/γ)、垂直方向的大小为(y/γ)的长方形的第2提取区域D2R。
在放大缩小处理(步骤S13)中,如图9的(a)所示,放大缩小部352从左眼图像F1(参照图8)提取第1提取区域D1,从右眼图像F2(参照图8)提取第2提取区域D2R。这里,在步骤S5中,参数生成部312将水平方向的倍率设定为α1、垂直方向的倍率设定为α2,作为针对不是校正对象的左眼图像的第1放大缩小倍率。另一方面,在步骤S5中,参数生成部312设定将倍率α1、α2乘以倍率γ后的倍率,作为针对作为校正对象的右眼图像的第2放大缩小倍率。具体而言,参数生成部312将水平方向的倍率设定为(α1×γ)、垂直方向的倍率设定为(α2×γ),作为第2放大缩小倍率。因此,放大缩小部352生成如箭头Yg那样将第1提取区域D1在水平方向上放大或缩小α1倍、在垂直方向上放大或缩小α2倍后的图像P1(参照图9的(b))。放大缩小部352生成如箭头Yh那样将第2提取区域D2R在水平方向上放大或缩小(α1×γ)倍、在垂直方向上放大或缩小(α2×γ)倍后的图像P2(参照图9的(b))。其结果,校正后的左眼图像P1和校正后的右眼图像P2在水平方向的大小为(x×α1),在垂直方向的大小为(y×α2),所以图像的大小一致。
此外,在实施方式中,对于设置两个摄像元件来取得左眼图像数据和右眼图像数据的例子进行了说明,但也可以是将CMOS摄像元件的受光面划分为左眼用区域和右眼用区域的两个区域,通过一个CMOS摄像元件取得左眼图像数据和右眼图像数据的结构。
此外,在实施方式中,对于通过放大缩小部352对图像数据的放大缩小处理而使左右图像的大小一致的例子进行了说明,但也可以是,控制部31根据由参数生成部312生成的参数来控制左眼用光学系统21A和右眼用光学系统21B中的至少一方的光学变焦功能,从而进行使左右图像的视场角和大小一致的校正处理。
此外,在实施方式中,以光源部6成为一体的光源一体型处理器3为例进行了说明,但也同样能够应用于处理器和光源装置是分开的情况。
此外,在实施方式中,在内窥镜2和光源一体型处理器3之间被收发的信号不限于电信号,也可以是将电信号转换后的光信号。在该情况下,使用光纤等光信号用的传输路径,在内窥镜2与光源一体型处理器3之间进行光信号的传输。在内窥镜2和光源一体型处理器3之间,不限于有线通信,也可以使用无线通信来进行信号的收发。
此外,在实施方式中,对应用插入部为挠性的内窥镜的内窥镜系统进行了说明,但也可以是应用插入部为硬性的内窥镜的内窥镜系统。此外,可以在作为摄像装置发挥作用的内窥镜中具有光源、及控制摄像元件和光源的控制功能。在该情况下,光源可以是设置于内窥镜的插入部前端的半导体光源等。此外,不限于在内窥镜的插入部前端设置摄像元件的结构,例如也可以构成为将摄像元件设置于插入部基端侧,拍摄通过光纤从插入部的前端向基端传输的光学像。此外,不限于将摄像元件设置于插入部前端的内窥镜,也可以是将纤维镜或光学视管等光学式内窥镜的目镜部摄像头连接起来的结构。
此外,作为实施方式,以内窥镜系统1为例进行了说明,但不限于内窥镜系统,还能够应用于将具有左眼用光学系统21A、右眼用光学系统21B、摄像部20、存储器24和照明透镜25的摄像单元拆装自如地安装于至少具有控制部31、存储部32、左右图像转换部33、第1图像处理部34、校正部35和第2图像处理部36的处理装置的摄像系统。
图10是示出本发明实施方式的摄像系统的其他概略结构的示意图。如图10的摄像系统1A所示,本实施方式的摄像系统可以具有在具有显示装置4和输入装置5的照相机主体部3A上设置有摄像部20的结构。在该情况下,在照相机主体部3A上拆装自如地安装光学单元2A,该光学单元2A具有左眼用光学系统21A、右眼用光学系统21B、存储器24和照明透镜25,在照相机主体部3A中,控制部31A的校正数据取得部311从所安装的光学单元2A的存储器24读出与光学单元2A对应的视场角校正数据。
此外,针对由本实施方式的光源一体型处理器、照相机主体部以及其他结构部执行的各个处理的执行程序,可以构成为以可安装的形式或者可执行的形式的文件记录于CD-ROM、软盘、CD-R、DVD(Digital Versatile Disk:数字多功能光盘)等计算机可读的记录介质中来进行提供,也可以构成为存储到与互联网等网络连接的计算机上,通过经由网络进行下载来进行提供。此外,还可以构成为经由互联网等网络来进行提供或者发布。
标号说明
1:内窥镜系统;1A:摄像系统;2:内窥镜;2A:光学单元;3:光源一体型处理器;3A:照相机主体部;4:显示装置;5:输入装置;6:光源部;20:摄像部;21A:左眼用光学系统(第1光学系统);21B:右眼用光学系统(第2光学系统);22A:左眼用摄像元件(第1摄像部);22B:右眼用摄像元件(第2摄像部);23A:左眼用信号处理部;23B:右眼用信号处理部;24:存储器;25:照明透镜;31、31A:控制部;32:存储部;33:左右图像转换部;34:第1图像处理部;35:校正部;36:第2图像处理部;37:OSD生成部;38:合成部;39:显示控制部;311:校正数据取得部;312:参数生成部;321:放大缩小倍率数据;351:处理区域设定部;352:放大缩小部。