技术领域
本发明涉及能够获取具有荧光色素的物体的图像的成像装置、成像系 统、手术导航系统和成像方法。
背景技术
已知将诸如红外光的激发光照射到被给予荧光色素的观察对象物并 基于发光的荧光色素的分布等观察该观察对象物的技术。例如，靛氰绿 (ICG)可用作该技术中使用的荧光色素。ICG关于约800nm的激发光发 出约850nm的近红外光。例如，在乳腺癌手术中，获取被给予人体的ICG 的荧光现象的图像，并且观察其红外光图像，由此可识别要切除的哨位淋 巴结(sentinel lymph node)的位置。
在日本专利申请公开No.2009-66121(下文中，称为专利文件1)中 公开的成像装置中，通过设置有滤色器的光接收像素，获取被给予荧光颜 料的观察对象物的可见光图像和红外光图像。然后，生成可见光图像和红 外光图像的合成图像(专利文件1的段落[0015]和[0017]和图3)。
发明内容
在专利文件1中公开的可见光图像和红外光图像的合成图像用在上 述手术等的情形中，必须获取具有高精确度的红外光图像，以准确地掌握 荧光颜料的分布等。此外，当用于获取红外光图像的曝光时间较长时，在 手术期间不能实时获取组织等的情况的图像，这使得难以正确执行手术。
鉴于上述情况，期望提供能够在短的曝光时间中高精度地获取具有荧 光颜料的物体的图像的成像装置、成像系统、手术导航系统和成像方法。
根据本发明的实施方式，提供了图像装置，包括第一照明单元、第二 照明单元、光学滤波器单元、成像单元、光学元件和控制装置。
第一照明单元被配置为将可见光照射到具有荧光物质的物体。
第二照明单元被配置为将激发光照射到物体，使得从荧光物质生成荧 光。
光学滤波器单元被配置为透过第一照明单元照射的可见光和荧光物 质生成的荧光，并且遮蔽第二照明单元照射的激发光。
成像单元包括多个成像元件和输出单元。多个成像元件能够基于入射 光生成各图像信号。输出单元从多个成像元件读取图像信号，并且基于所 读取的图像信号输出图像信息。
光学元件被配置为将透过光学滤波器的可见光分为多个分量光束 (component light beam)，使所分开的分量光束入射在各成像元件上，并 且使从荧光物质生成的荧光入射在多个成像元件中至少一个上。
控制装置交替地照射可见光和激发光，并且交替地输出可见光的图像 信息和荧光的图像信息，可见光图像信息基于从入射有各分量光束的多个 成像元件中读取的图像信号，荧光的图像信息基于从入射有荧光的多个成 像元件中的至少一个读取的图像信号。
在成像装置中，成像单元包括多个成像元件，并且基于由多个成像元 件生成的图像信号交替地输出可见光的图像信息和荧光的图像信息。因 此，具有优异的图像获取灵敏度的成像单元允许在短的曝光时间中输出可 见光的图像信息和荧光的图像信息。此外，可获得高精度的可见光图像和 荧光图像。因此，可在短的曝光时间中高精度获取具有荧光物质的物体的 图像。
输出单元能够以隔行方式(interlace system)从各成像元件读取图像 信号，并且基于所读取的图像信号输出构成帧图像信息的第一场图像 (field image)信息和第二场图像信息。在这个情形中，控制装置可以输 出可见光的图像信息作为第一场图像信息，并且输出荧光的图像信息作为 第二场图像信息。
在成像装置中，可见光的图像信息被输出作为第一场图像信息，并且 荧光的图像信息被输出作为第二场图像信息。因此，可容易地获得可见光 图像和荧光图像的合成图像。
多个成像元件可以滚动快门方式(rolling shutter system)生成图像信 号的互补型金属氧化物半导体(CMOS)图像传感器。在该情形中，控制 装置可以在输出单元从CMOS图像传感器中读取图像信号的期间，停止 照射可见光和激发光。
在成像装置中，在从CMOS传感器中读取图像信号的期间，停止可 见光和激发光的照射。因此，具有以滚动快门方式驱动的CMOS传感器 的成像单元可适当地输出可见光的图像信息和荧光的图像信息。
物体可具有通过被照射第一激发光生成第一荧光的第一荧光物质，和 通过被照射不同于第一激发光的第二激发光生成第二荧光的第二荧光物 质。
在该情形中，第二照明单元可包括照射第一激发光的第一激发光照明 单元和照射第二激发光的第二激发光照明单元。
此外，光学滤波器单元可包括透过可见光和第一荧光并且遮蔽第一激 发光的第一滤波器，以及透过可见光和第二荧光并遮蔽第二激发光的第二 滤波器。
此外，光学元件可将透过第一光学滤波器和第二光学滤波器中的一个 的可见光分为多个分量光束，使所分开的分量光束入射在各成像元件上， 并且使第一荧光和第二荧光入射在多个成像元件中的至少一个上。
此外，控制装置可以在照射的可见光、第一激发光和第二激发光之间 进行切换、基于切换时机在第一光学滤波器和第二光学滤波器之间交替地 切换，并且交替地输出可见光的图像信息、第一荧光的图像信息和第二荧 光的图像信息，第一荧光的图像信息基于从入射有第一荧光的至少一个成 像元件中读取的至少一个图像信号，第二荧光的图像信息基于从入射有第 二荧光的至少一个成像元件中读取的至少一个图像信号。
通过成像装置，例如，可在短的曝光时间中高精度获取具有不同类型 的荧光物质的物体的图像。
根据本发明的实施方式，提供了一种成像系统，包括照明装置、成像 装置和控制装置。
照明装置包括被配置为将可见光照射到具有荧光物质的物体的第一 照明单元，和被配置为将激发光照射到物体使得从荧光物质生成荧光的第 二照明单元。
成像装置包括光学滤波器单元、成像单元和光学元件。
光学滤波器单元被配置为透过第一照明单元照射的可见光和从荧光 物质生成的荧光，并且遮蔽第二照明单元照射的激发光。
成像单元包括多个成像元件和输出单元。多个成像元件能够基于入射 光生成各图像信号。输出单元从多个成像元件读取图像信号并且基于所读 取的图像信号输出图像信息。
光学元件被配置为透过光学滤波器的可见光分为多个分量光束，使所 分开的分量光束入射在各成像元件上，并且使荧光物质生成的荧光入射在 多个成像元件中至少一个上。
控制装置交替地照射可见光和激发光，并且交替地输出可见光的图像 信息和荧光的图像信息，可见光图像信息基于从入射有各分量光束的多个 成像元件中读取的图像信号，荧光的图像信息基于从入射有荧光的多个成 像元件中的至少一个读取的图像信号。
根据本发明的实施方式，提供了一种手术导航系统，包括显示器、照 明装置、成像装置和控制装置。
照明装置包括被配置为将可见光照射到给予荧光物质的操作部的第 一照明单元，和被配置为将激发光照射到该操作部使得从荧光物质生成荧 光的第二照明单元。
成像装置包括光学滤波器单元、成像单元和光学元件。
光学滤波器单元被配置为透过第一照明单元照射的可见光和荧光物 质生成的荧光，并且遮蔽第二照明单元照射的激发光。
成像单元包括多个成像元件和输出单元。多个成像元件能够基于入射 光生成各图像信号。输出单元从多个成像元件读取图像信号并且基于所读 取的图像信号输出图像信息。
光学元件被配置为将透过光学滤波器的可见光分为多个分量光束，使 所分开的分量光束入射在各成像元件上，并且使荧光物质生成的荧光入射 在多个成像元件中至少一个上。
控制装置交替地照射可见光和激发光，交替地输出可见光的图像信息 和荧光的图像信息，可见光图像信息基于从入射有各分量光束的多个成像 元件中读取的图像信号，荧光的图像信息基于从入射有荧光的多个成像元 件的至少一个中读取的至少一个图像信号。
根据本发明的实施方式，提供了一种成像方法，包括将可见光和用于 从所述荧光物质生成荧光的激发光交替地照射到具有荧光物质的物体。
使照射到该物体上的可见光和从该荧光物质生成的荧光透过光学滤 波器单元，并且遮蔽照射到该物体的激发光。
将透过该光学滤波器单元的可见光分为多个分量光束，使所分开的分 量光束入射在能够基于入射光生成各图像信号的多个成像元件上，并且使 该荧光入射在多个成像元件中的至少一个上，从而交替地输出可见光的图 像信息和荧光的图像信息，可见光的图像信息基于从入射有各分量光束的 多个成像元件中读取的图像信号，荧光的图像信息基于从入射有荧光的所 述多个成像元件的至少一个中读取的至少一个图像信号。
如上所述，根据本发明的实施方式，可在短的曝光时间中高精度获取 具有荧光物质的物体的图像。
根据本发明最佳模式实施方式的详细描述，本发明的这些和其他目 的、特征和优点将变得更显而易见，如附图所示。
附图说明
图1是示出根据本发明第一实施方式的成像系统的结构实例的示意 图；
图2是示出图1中所示的成像系统的功能结构的框图；
图3是示出图1中所示的照相机的结构实例的示意图；
图4是示出包括在图3中所示的照相机中的光学滤波器单元的光学特 性的图表；
图5是示意地示出图3中所示的传感器单元的结构的示图；
图6是示意地示出包括在图5中所示的传感器单元中的成像元件的示 图；
图7是示出图1中所示的可见光滤波器的光学特性的示意图表；
图8是示出图1中所示的激发光滤波器的光学特性的示意图表；
图9是示出用作第一实施方式的放大控制器单元的设备的实例的PC (个人计算机)的结构的示意图；
图10是示出根据第一实施方式的成像系统获取的可见光图像的示意 图；
图11是示出根据第一实施方式的成像系统获取的荧光图像的示意 图；
图12是示出在一个成像元件用于获取彩色图像的情形中的成像元件 的示意图；
图13是示出通过合成根据第一实施方式的成像系统获取的可见光图 像和荧光图像而获得的合成图像的示意图；
图14是示出根据第一实施方式的成像系统获取的荧光图像的另一实 例的示意图；
图15是示出通过合成根据第一实施方式的成像系统获取的图14中所 示的可见光图像和荧光图像而获得的合成图像的示意图；
图16是用于说明根据本发明第二实施方式的照相机的电路单元输出 图像信息的操作的示图；
图17是示出根据第二实施方式的成像系统生成的合成图像的示意 图；
图18是示出根据第二实施方式的成像系统生成的合成图像的示意 图；
图19是示出在本发明第三实施方式中可见光和激发光的照射定时以 及来自CMOS传感器的图像信号的读取定时的实例的时序图；
图20是示出根据本发明第四实施方式的成像系统的结构实例的示意 图；
图21是示出根据本发明第五实施方式的手术导航系统的结构实例的 示意图；
图22是示出根据本发明第五实施方式的手术导航系统的结构实例的 示意图；
图23是示出根据本发明第六实施方式的成像装置的内视镜的结构实 例的示意图；
图24是示出根据本发明第六实施方式的成像装置的内视镜的结构实 例的示意图；以及
图25是示出图3中所示的照相机结构的另一实例的示意图。
具体实施方式
下文中，将参考附图描述本发明的实施方式。
<第一实施方式>
[成像系统的结构]
图1是示出根据本发明第一实施方式的成像系统的结构实例的示意 图。图2是示出图1所示的成像系统的功能结构的框图。
该实施方式的成像系统100是用于获取具有荧光物质1的物体2的图 像的系统，并且包括作为成像装置的照相机3、将可见光5和激发光6照 射到通过照相机3获取其图像的成像获取区域4的照明装置7、以及用作 用于控制照相机3和照明装置7的控制装置的放大控制器单元8。在该实 施方式中，ICG(靛氰绿)用作包含在物体2中的荧光物质1，其中荧光 激发波长的中心值约为786nm，荧光发射波长约为845nm。
图3是示出照相机3的结构实例的示意图。图4是示出包括在照相机 3中的光学滤波器单元的光学特性的图表。
该照相机3包括主体9、照相机支架10、和可拆卸地安装在照相机支 架10上的透镜单元11。该透镜单元11包括用于图像获取的透镜12和用 作设置在透镜12的前面的光学滤波器单元的光学滤波器13。
光学滤波器13透过包括红色(R)、绿色(G)和蓝色(B)的分量 光束的可见光和从激发的ICG发出的荧光。此外，光学滤波器13遮蔽照 射到物体2的激发光。具体地，如图4的图表所示，光学滤波器13透过 波长范围在约400nm至约740nm的可见光带中的可见光和波长范围在约 800nm以上的荧光。例如，透过率为90％以上。在波长范围在约750nm 到约790nm的荧光激发光带中的激发光在光学密度(OD)为2以上(即， 透过率为1％以下)被遮蔽。由于光学滤波器13设置在透镜12的前面， 所以例如当获取不同于ICG的荧光物质的图像时，基于该荧光物质的激发 光和荧光的波长的光学滤波器可容易地连接至透镜单元11。
主体9包括可基于入射光强度生成模拟图像信号的传感器14和用作 用于从传感器单元14读取图像信号并且基于该图像信号输出数字图像信 息的输出装置的电路单元15。此外，主体9包括控制单元16，其具有由 例如CPU(中央处理器)、ROM(只读存储器)或RAM(随机存取存储 器)构成的主存储器等，并且控制包括传感器单元14和电路单元15的整 个照相机3。根据该实施方式，传感器单元14和电路单元15、或传感器 单元14、电路单元15和控制单元16构成成像单元。
图5是示意性地示出传感器单元14的结构实例的示图。图6是示意 性示出包括在图5中所示的传感器单元14中的成像元件的示图。
传感器单元14包括多个成像元件17，并且在该实施方式中，如图5 所示，三个成像元件17(17R、17G、17B)设置在传感器单元14中。例 如，CCD(电荷耦合设备)传感器和CMOS(互补型金属氧化物半导体) 传感器可用作成像元件17。
此外，传感器单元14包括用作将透过光学滤波器13的可见光分为多 个分量光束的光学元件的光谱透镜18。在光谱透镜18中，通过在透镜边 界的涂层表面19，限定在边界上反射的光和透过的光。在该实施方式中， 可见光被光谱透镜18分为R、G和B三个分量光束，并且分量光束R、G 和B分别入射在三个成像元件17R、17G和17B上。此外，透过光学滤波 器13(未示出)的荧光通过光谱透镜18入射在三个成像元件17中的至少 一个上。例如，二向色透镜用作光谱透镜18。
如图6所示，每个成像元件17包括与要生成的图像的像素对应的多 个光接收元件20，并且分量光束R、G和B经由单片(on-chip)透镜21 入射在光接收元件20上。然后，分量光束R、G和B受到光接收元件20 的光电转换，使得输出各分量光束R、G和B的图像信号。
电路单元15包括模拟信号处理电路、A/D转换器电路、数字信号处 理电路、和诸如传感器单元驱动器电路(未示出)的各种处理电路。电路 单元15从多个成像元件17读取图像信号，并且基于所读取的图像信号输 出图像信息作为帧图像信息。例如，所输出的帧(frame)图像信息的帧 速率是30fps(帧每秒)。
如图1所示，照明装置7包括用作第一照明单元的可见光照明单元 22和用作第二照明单元的激发光照明单元23。
可见光照明单元22包括可见光照明22a、透镜22b和可见光滤波器 22c。例如，可见光照明22a具有白色LED(发光二极管)或者由各色LED 构成的可见光照明LED。透镜22b有效地将从可见光照明22a发出的可见 光5导向至图像获取区域4。图7是示出可见光滤波器22c的光学特性的 示意图表。如图所示，可见光滤波器22c透过波长范围在约400nm至约 740nm中的可见光5。
激发光照明单元23包括激发光照明23a、透镜23b和激发光滤波器 23c。例如，激发光照明23a包括ICG激发LED。透镜23b有效地将从激 发光照明23a发出的激发光5导向至图像获取区域4。为了从激发光照明 23a照射的激发光6不包含提供至照相机3的光学滤波器13的透过波长带 的分量，使用激发光滤波器23c。
图8是示出激发光滤波器23c的光学特性的示意图表。该实施方式的 激发光滤波器23c透过波长范围在约755nm至785nm的激发光6。换句 话说，激发光滤波器23c的透过波长带从光学滤波器13的遮蔽波长带的 每个下限值和上限值缩小5nm。因此，可令人满意地阻止从激发光照明单 元23照射的激发光6入射在照相机3内的传感器单元14上。因此，可高 精度获取可见光图像和荧光图像。应注意，可以使激发光滤波器23c的透 过波长带变得较小。可选地，激发光滤波器23c的透过波长带和光学滤波 器13的遮蔽波长带可基本上相同。
将可见光5照射到物体2的可见光照明单元22的结构，和将激发光 6照射到物体2的激发光照明单元23的结构不限于该实施方式中所述的这 些。例如，可使用除LED之外的光源。此外，可采用其中不使用透镜22b 或23b、可见光滤波器22c等的结构。
如图2所示，放大控制器单元8包括系统控制器24、照明控制箱25、 和照相机控制器26。
系统控制器24将关于照明条件的指令信息输出至照明控制箱25。作 为照明条件，包括可见光和激发光的照射定时、照射时间、可见光和激发 光的强度等。
基于从系统控制器24输出的指令信息，照明控制箱25驱动包括可见 光照明LED的可见光照明单元22和包括ICG激发LED的激发光照明单 元23。
此外，系统控制器24将上述照明条件作为信息输出到照相机控制器 26。基于从系统控制器24输出的照明条件信息，照相机控制器26将图像 获取命令信息输出到图3中所示的照相机3中的控制单元16。此外，照相 机控制器26将从照相机3输出的图像信息输出到图2中所示的图像处理 单元27。
图像处理单元27执行各种类型的图像处理，诸如从照相机控制器26 输出的图像信息的合成处理。
图9是示出作为用作该实施方式的放大控制器单元8的设备的实例的 PC(个人计算机)的结构的示意图。应注意，在该实施方式中，PC也用 作上述图像处理单元。
PC 800包括CPU 801、ROM 802、RAM 803、输入/输出接口805、 和连接这些组件的总线804。
显示器806、输入单元807、存储器808、通信单元809、驱动单元 810等连接到输入/输出接口805。
显示器806是使用例如液晶、EL(电子发光)或CRT(阴极射线管) 的显示设备。
例如，输入单元807是点击设备、键盘、触摸板或其他操作装置。在 输入单元807包括触摸板的情形中，触摸板可与显示器806集成。
存储器808是诸如HDD(硬盘驱动器)、闪速存储器或其他固体存储 器的非易失性存储器。
驱动装置810是能够驱动例如光学记录介质、软(floppy)(注册商 标)盘、磁记录带或闪速存储器的可移动的记录介质811的设备。与此相 反，存储器808用作PC 800的内置设备，其在多数情形中主要驱动不可 移动的记录介质。
通信单元809是能够连接到LAN(局域网)、WAN(广域网)等并 用于与其他设备进行通信的调制解调器、路由器、或其他通信设备。通信 单元809可执行有线或无线通信。在多数情形中，可独立于PC 800使用 通信单元809。
上述PC 800用作放大控制器单元8，使得可执行各种类型的数据处 理。结合存储器808、ROM 802等中存储的软件和PC 800的硬件资源实 现由PC 800执行的数据处理。具体地，CPU 801将构成存储在存储器808、 ROM 802等中的软件的程序加载至RAM 803，并执行该程序，因此实现 各种类型的数据处理。
应注意，专用控制设备可取代PC 800用作放大控制器单元8和图像 处理单元27。此外，不同的设备可用作放大控制器单元8和图像处理单元 27。
[成像系统的操作]
将给出关于该实施方式的成像系统100的操作的描述。图10是示出 该实施方式的成像系统获取的可见光图像的示意图。图11是示出该实施 方式的成像系统获取的荧光图像的示意图。
可见光照明单元22和激发光照明单元23的驱动由放大控制器单元8 控制，使得可见光5和激发光6交替地照射到设置在成像获取区域4中的 物体。在该实施方式中，根据上述帧速率，每1/30秒切换可见光5的照射 和激发光6的照射。此外，照相机3的驱动由放大控制器单元8控制，使 得基于如下可见光5和激发光6的照射定时，可见光图像信息和荧光图像 信息均交替地输出作为帧图像信息。
当可见光照明单元22将可见光5照射至物体2时，在物体2上反射 的可见光透过图4中所示的具有光学性质的光学滤波器13入射在传感器 单元14上。通过传感器单元14的光谱透镜18，可见光被分成R、G和B 三个分量光束，并且分量光束R、G和B分别入射在三个成像元件17R、 17G和17B上。然后，分量光束R、G和B的图像信号分别由成像元件 17R、17G和17B生成。生成的分量光束R、G和B的图像信号均由电路 单元15读取，并且基于每个图像信号输出可见光图像信息。如图10所示， 基于可见光图像信息，获取为物体2的彩色图像(图像获取区域4)的可 见光图像28。
当激发光照明单元23将激发光6照射至物体2时，来自包括在物体 2中的荧光物质的荧光透过光学滤波器13入射在传感器单元14上。在该 实施方式中，具有约850nm的波长的荧光入射在主要入射有分量光束G 的成像元件17G上，因此生成图像信号。电路单元15从成像元件17G读 取图像信号，并且基于图像信号输出荧光图像信息。基于荧光图像信息， 如图11所示，获取为荧光物质1的彩色图像的荧光图像29。应注意，荧 光图像29内的荧光物质1的颜色不限于绿色。电路单元15可适当设定荧 光物质1的颜色，并且可输出其荧光图像信息。可选地，图像处理单元27 可适当设定荧光物质1的颜色。
例如，在单独使用一个成像元件97获取彩色图像的情形中，如图12 所示，滤色器98必须提供至成像元件97。在这个情形中，由于入射在成 像元件97上的光被滤色器98吸收，所以光吸收效率较低。
与此相反，滤色器不用在该实施方式中，并且图6所示的单片透镜 21不具有吸收光的材料。此外，光谱透镜18用于通过涂层表面19上的反 射特性和透过特性将可见光分开，并且吸收光的材料也不用于光谱透镜 18。因此，入射在根据该实施方式的传感器单元14上的可见光和荧光高 效率(即，高灵敏度)成像，因此可在短的曝光时间中输出可见光图像信 息和荧光图像信息。此外，可获得高精度的可见光图像28和荧光图像29。 因此，可在短的曝光时间中高精度获取包括荧光物质1的物体2的图像。
由于每1/30秒切换可见光的照射和激发光的照射，所以照明光较暗 的时间(激发光照射时间)非常短。因此，例如，在使用该成像系统执行 手术等的情形中，手术者的视野实际上不会变暗。此外，由于以30fps的 帧速率交替输出可见光图像信息和荧光图像信息，所以可实时获取包括荧 光物质1的物体2的图像。通过这些信息，手术者可正确执行手术。此外， 由于可在短的曝光时间中获取物体2的图像，所以可抑制由可见光和激发 光的照射产生的热对物体2的影响。
将照相机3输出的可见光图像信息和荧光图像信息输出到图像处理 单元27。此时，将用于识别可见光图像信息和荧光图像信息的信息附加至 每条图像信息。此外，可附加关于当生成这些图像信息时所使用的上述图 像获取条件的信息。
图像处理单元27合成可见光图像28和荧光图像29。图13是示出通 过合成可见光图像28和荧光图像29获得的合成图像的示意图。
可见光图像28和荧光图像29的合成处理可适当采用各种类型的合成 处理，诸如增加两个图像的像素数据。下面将描述合成处理的实例。
例如，假设图11所示的荧光图像29的不存在荧光物质1的区域31 是透明的，该荧光图像29可与图10所示的可见光图像28合并。因此， 可通过简单处理生成图13所示的合成图像30。
此外，可通过诸如微分处理(differential processing)的图像处理从图 11所示的荧光图像29检测荧光物质1的轮廓部32，并且如图14所示该 图像可生成为轮廓图像33。假设轮廓图像33的不存在荧光物质1的轮廓 部32的区域34是透明的，则可合成可见光图像28和轮廓图像33。因此， 可生成如图15所示的合成图像35。例如，在人体的手术中旨在去除荧光 物质1所在的部分的情形中，使用图15所示的合成图像35使去除操作变 得容易。
如上所述，在该实施方式中，独立于照相机3设置的PC用作图像处 理单元27。然而，可在照相机3中提供处理图像的块，在照相机3中执行 上述图像处理，并且输出经过图像处理的可见光图像信息和荧光图像信 息。
此外，只驱动可见光照明单元22并且获取物体2的可见光图像，因 此该实施方式的成像系统100可用作记录物体2的状态的记录系统。
<第二实施方式>
将给出关于根据本发明第二实施方式的成像系统的描述。在下面的描 述中，将不描述或简单描述与第一实施方式中描述的成像系统100相同的 结构和操作。
图16是用于描述根据该实施方式的照相机中的电路单元输出图像信 息的操作的图表。图17和图18均是示出根据该实施方式的成像系统生成 的合成图像的示意图。
在该实施方式中，在照相机中的电路单元可以隔行方式从各成像单元 读取图像信号。然后，输出构成帧图像的作为第一场图像信息的偶数场图 像信息和作为第二场图像信息的奇数场图像信息。每个场图像信息的场速 率为60fps，即，帧图像信息的帧速率是30fps。
根据上述场速率，每1/60秒切换到物体2的可见光5的照射和激发 光6的照射。如图16所示，通过电路单元，可见光图像信息236输出作 为偶数场图像信息237，并且荧光图像信息238输出作为奇数场图像信息 239。因此，如图17所示，可以容易地获得合成图像230，其中对物体202 的可见光图像和荧光物质201的荧光图像进行合成，而没有经过图像处理 单元执行的图像合成处理。此外，当合成这两个图像时，可见光图像和荧 光图像的对准是不必要的。
此外，可在照相机中处理荧光图像并且生成为荧光物质201的轮廓部 232的图像的轮廓图像，这已参照图14在第一实施方式中描述。然后，轮 廓图像的信息可输出作为奇数场图像信息239以生成图18所示的合成图 像235。
应注意，可通过控制可见光照明单元和激发光照明单元中的每个的照 明光的照射定时和电路单元从成像元件读取图像信号的读取定时适当设 定将要输出的场图像信息237和239的场速率。
如上述第一实施方式中所述，可在短的曝光时间中高精度获取可见光 图像和荧光图像，因此在该实施方式中可在60fps的场速率下获取两个图 像。
<第三实施方式>
将给出根据本发明第三实施方式的成像系统的描述。在该实施方式 中，以滚动快门方式生成图像信号的三个CMOS传感器均用作包括在照 相机的成像单元中的成像元件。
图19是示出在该实施方式中可见光和激发光的照射定时和来自 CMOS传感器的图像信号的读取定时的实例的时序图。
如图19所示，在时间t1可见光照明单元将可见光照射到物体。可见 光入射在CMOS传感器上，并且电荷蓄积在CMOS传感器的光接收元件 上。在时间t2，照相机中的输出单元为每条线顺序读取蓄积的电荷作为与 可见光对应的图像信号。在为每条线顺序读取图像信号的时间t2中，停止 可见光和激发光的照射。
当在时间t2结束读取图像信号时，在时间t3激发光照明单元将激发光 照射至物体。从荧光物质生成的荧光入射在CMOS传感器上，并且电荷 蓄积在CMOS传感器的光接收元件中。在时间t4，照相机中的输出单元为 每条线顺序读取基于荧光蓄积的电荷作为图像信号。在为每条线顺序读取 图像信号的时间t4中，停止可见光和激发光的照射。
例如，基于帧确定可见光的照射时间t1、激发光的照射时间t3和图像 信号的读取时间t2和t4。换句话说，在第一帧(时间t1)中照射可见光， 而在第二帧(t2)中停止该照射。在第三帧(时间t3)中照射激发光，而 在第四帧(t4)中停止该照射。以这种方式，与一帧对应的图像信号可在 与二帧对应的时间中读取。然而，照明光的照射时间t1和t3以及图像信号 的读取时间t2和t4可能比一帧的时间更长或更短。此外，时间t1至t4可设 定为彼此不同。
如上所述，在根据该实施方式的成像系统中，在照相机中的输出单元 从CMOS传感器中读取图像信号的时间(时间t2和t4)中，停止可见光和 激发光的照射。因此，在时间t2和t4中，CMOS传感器中没有蓄积电荷。 因此，可防止滚动快门方式的影响，诸如在由于每条线的读取时间和曝光 时间之间的偏差而引起的一个帧图像的上半区域是可见光图像而其下半 区域是荧光图像的情形中。换句话说，包括通过滚动快门方式驱动的 CMOS传感器的传感器单元和电路单元(成像单元)可适当地输出可见光 图像信息和荧光图像信息。
应注意，如图19所示，取代停止可见光和荧光的照射，可在输出单 元从COMS传感器读取图像信号的时间中，可通过光遮光滤波器等遮蔽 可见光和荧光。此外，可结合使用光遮光滤波器停止可见光和荧光的照射 和可见光和荧光的遮蔽。
<第四实施方式>
图20是示出根据本发明第四实施方式的成像系统的结构实例的示意 图。在根据该实施方式的成像系统400中，如图20所示，可获取包括第 一荧光物质401和第二荧光物质451的两种类型的荧光物质的物体402图 像(图像获取区域404)。当第一激发光照射至第一荧光物质401时，激发 第一荧光物质401，并且生成第一荧光(未示出)。当第二激发光456照射 至第二荧光物质451时，激发第二荧光物质451，并且生成第二荧光(未 示出)。在该实施方式中，第一和第二激发光406和456与第一和第二荧 光是类似于上述ICG的近红外光。
如图20所示，成像系统400包括可见光照明单元422和激发光照明 单元423。可见光照明单元422包括可见光照明422a、透镜422b和可见 光滤波器422c。
激发光照明单元423包括作为用于生成第一激发光406的第一激发光 照明单元的第一激发光源单元460和作为用于生成第二激发光456的第二 激发光照明单元的第二激发光源单元470。第一激发光源单元460包括激 发光照明460a、透镜460b和激发光滤波器460c。第二激发光源单元470 包括激发光照明470a、透镜470b和激发光滤波器470c。
此外，根据该实施方式的成像系统400的照相机403包括作为光学滤 波器单元的滤波器转换器440。滤波器转换器440包括用于获取第一荧光 物质401的第一光学滤波器413和用于获取第二荧光物质451的图像的第 二光学滤波器453。第一光学滤波器413透过可见光和从激发的第一荧光 物质401生成的第一荧光，并且遮蔽照射至物体402的第一激发光406。 第二光学滤波器453透过可见光和从激发的第二荧光物质451生成的第二 荧光，并且遮蔽照射至物体402的第二激发光456。
滤波器转换器440可与照相机403集成形成，或者可独立于照相机 403设置在照相机403的前面。滤波器转换器440的驱动由放大控制器单 元408控制。
放大控制器单元408切换用于照射的可见光405、第一激发光406和 第二激发光456。基于每个照明光照射定时，驱动滤波器转换器440，使 得交替切换第一和第二光学滤波器413和453。具体地，基于第一激发光 406的照射定时，设定第一光学滤波器413。此外，基于第二激发光456 的照射定时，设定第二光学滤波器453。当照射可见光405时，可不切换 第一和第二光学滤波器413和453。
如上所述，提供了用于照射第一和第二激发光406和456的第一和第 二激发光源单元460和470，并且与第一激发光源单元460和第二激发光 源单元407对应的第一光学滤波器413和第二光学滤波器453分别提供至 照相机403。然后，基于照明光的照射定时，交替地切换第一和第二光学 滤波器413和453，因此可在短的曝光时间中高精度获取具有不同类型的 第一和第二荧光物质401和451的物体402的图像。
应注意，滤波器转换器440可具有仅透过可见光的光学滤波器、仅透 过从第一荧光物质401生成的第一荧光的光学滤波器以及仅透过从第二荧 光物质451生成的第二荧光的光学滤波器。在该情形中，基于照明光的照 射定时，可通过在上述三个滤波器之间交替地切换来获取物体402的图像。 可选地，可使用这三个滤波器和包括第一和第二光学滤波器413和453的 滤波器转换器。可根据例如物体402中激发光和荧光物质的荧光的波长带 或物体402的观察目的，适当设定提供至滤波器转换器440的光学滤波器。
<第五实施方式>
将给出根据本发明第五实施方式的手术导航系统的描述。在根据该实 施方式的手术导航系统中，根据上述每个实施方式的成像系统用于手术操 作的导航。通过该实施方式的手术导航系统，获取给予荧光物质的操作部 的图像。
图21和图22是示出根据该实施方式的手术导航系统的结构实例的示 意图。如图21所示，手术导航系统500包括照相机503和倾斜台541，包 括在照明装置507中的可见光照明单元522和激发光照明单元523安装在 该倾斜台541上。
如图21所示，照相机503包括用于图像获取的变焦透镜单元542， 并且可见光照明单元522包括可见光照明变焦透镜单元543，激发光照明 单元523包括激发光照明变焦透镜单元544。在该实施方式中，光学滤波 器单元设置在照相机503中，但是光学滤波器单元可设置在用于图像获取 的变焦透镜单元542的前面。可见光滤波器545设置在可见光照明变焦透 镜单元543的前面，并且激发光滤波器546设置在激发光照明变焦透镜单 元544的前面。
倾斜台541和变焦透镜单元542、543和544由图像获取区域控制器 547控制。根据该实施方式的图像获取区域控制器547与照相机控制器526 一起设置在图22所示的放大控制器单元508中。然而，图像获取区域控 制器547可独立于放大控制器单元508设置。
此外，该实施方式的手术导航系统500设置有控制包括放大控制器单 元508的整个系统500的主控制器548。例如，多用PC可用作主控制器 548，并且PC也可用作放大控制器单元508。
主控制器548与显示所获取的图像的图像显示器549连接。尽管图像 显示器549的数目可能是一个，但是通常为操作者(控制器的)和手术者 提供两个或更多图像显示器549。
操作者557输入信息，例如作为操作部的图像获取区域(手术视野) 504的位置或尺寸的指令、或者图像获取方法的指令。例如，图像获取区 域504的位置是手术者558操作的切除部分的位置。此外，为了记录操作 部，图像获取方法的实例包括获取可见光图像和荧光图像的合成图像的方 法和只获取可见光图像的方法。
将指令信息从已接收各种类型的指令信息的主控制器548输出至放 大控制器单元508，并且照相机503、可见光照明单元522、激发光照明单 元523、倾斜台541以及变焦透镜单元542、543和544被控制。因此，已 给予荧光物质的操作部的可见光图像信息和荧光图像信息输出至主控制 器548，并且基于这些图像信息，在图像显示器549上显示可见光图像和 荧光图像的合成图像。
在该实施方式的手术导航系统500中，倾斜台541由图像获取区域控 制器547控制，并且因此使能图像获取区域504的移动，即使能移动镜头。 连同照相机503的移动镜头，可见光照明单元522和激发光照明单元523 的照明区域也移动，因此可执行高效照明和图像获取。
此外，变焦透镜542、543和544由图像获取区域控制器547控制， 并且因此能够调节图像获取区域504的尺寸，即能够变焦。连同照相机503 的变焦，适当地设定可见光照明单元522和激发光照明单元523的照明区 域的尺寸。
应注意，在该实施方式中，图像获取区域控制器547的信号反馈至照 相机控制器526。因此，例如，当图像获取区域504的尺寸改变时，连同 该改变，可改变激发光照明单元523照射的激发光的照明光量。
当观察给予荧光物质的操作部(图像获取区域504)的可见光图像和 荧光图像的合成图像时，手术者可高效率且精确地执行手术。
<第六实施方式>
将给出根据本发明第六实施方式的成像装置的描述。根据本发明第六 实施方式的成像装置是集成图1和2中所示的成像系统100的照相机3、 可见光照明单元22、激发光照明单元23和放大控制器单元8的设备。例 如，照相机(见图3)中设置的控制单元用作放大控制器单元8。
图23和图24均示出用作根据该实施方式的成像装置的内视镜的结构 实例的示意图。图23示出软性内视镜，图24示出硬性内视镜。
图23所示的软性内视镜600包括主体680和操纵器单元690。主体 680包括作为成像单元的照相机单元603、光学滤波器单元613、投影透镜 612以及包括可见光照明单元和激发光照明单元(未示出)的照明装置607。 此外，主体680包括控制照相机单元603和照明装置607的放大控制器单 元608。
操纵器单元690是插入身体的部分，并且包括例如成像纤维镜691。 虽然未示出，但是操纵器单元690设置有用于切除或缝合身体的操作部的 设备、用于提取身体的组织作为样本的设备等。在操纵器单元690的前端， 设置图像获取透镜692。
在该实施方式中，在操纵器单元690中，在成像纤维镜691周围设置 用于将照明光从照明装置607导向至操作部的照明导向纤维693。因此， 可见光和激发光交替地照射到操作部。在操作部上反射的可见光和从荧光 物质生成的荧光通过成像纤维镜691入射到照相机单元603中。因此，获 取高度精确的可见光图像和荧光图像。
图24所示的硬性内视镜700包括具有与图23中所示的可弯曲内视镜 600的主体680的结构相同的结构的主体780和操纵器单元790。操纵器 单元790包括图像导轴794和在图像导轴794内的多个中继透镜795。由 照明引导纤维793导向的可见光和激发光通过图像获取透镜792交替地照 射到操作部。透过图像获取透镜792的可见光和荧光由该多个中继透镜 795导向以入射在照相机单元703中。
除以上之外，能够获取光学显微镜获得的物体图像的装置可用作根据 该实施方式的成像装置。例如，具有光学显微镜功能的扫描装置可用作该 装置。光学显微镜的照明光学系统设置有可见光照明单元和激发光照明单 元，并且基于照明光的照射时间，获取可见光图像和荧光图像。因此，可 在短的曝光时间中高精度获取具有荧光物质的物体的放大图像。
在根据本发明的上述这个实施方式的成像装置中，可见光图像和荧光 图像由一个照相机单元603或703获取，这对减小成像装置的尺寸是有好 处的。
<其他实施方式>
根据本发明的实施方式不限于上述实施方式，并且构思其他各种实施 方式。
例如，当合成可见光图像和荧光图像时，可单独调节可见光图像和荧 光图像的增益值。例如，调节可见光的增益值，使得图像不饱和，即在可 见光图像内获得对比度。例如，在激活成像系统或成像装置时，基于预置 的设定值调节荧光图像。
例如，在作为基准的激发光照明下或者将使用的激发光照明单元的激 发光照明下，在管理浓度和保存状态的状态中获取荧光物质的图像。此后， 可确定该设定值，使得图像获取的荧光物质具有期望的亮度。
可通过图2所示的放大控制器单元8或图像处理单元27执行可见光 图像和荧光图像的增益值的调节。可选地，可通过将照相机控制器26的 功能予照相机3中的控制单元16来构造图2所示的放大照相机单元85， 并且两个图像的增益值都由放大照相机单元85调节。
在图11所示的荧光图像上，可执行各种类型的图像处理。例如，基 于荧光图像29的亮度值，可执行表示亮度值分布的图像处理。换句话说， 类似于示出将获取其图像的物体的温度分布的温度记录图像，可获取荧光 图像29。因此，在该物体中，可基于荧光的强度掌握荧光物质1的分布。 可选地，可预先为荧光图像29的亮度值设定阈值，并且只有亮度值大于 阈值的部分可在荧光图像29上显示为荧光物质1。因此，具有高强度荧光 的部分，通常为荧光物质的中心的部分可被把握。图像处理可能不基于荧 光图像29的亮度值执行，但是基于从成像元件读取的图像信号。
在上述的实施方式中，如图3所示，光学滤波器13设置在照相机3 中的透镜12的前面。如图25所示，然而，光学滤波器913可设置在位于 透镜912之后主体909的前面的照相机支架910上。
在上述实施方式中，可见光被分为R、G和B三个分量光束。然而， 可见光可被分成青色(C)、紫色(M)、和黄色(Y)三个分量光束，或者 可被分为三个颜色以上的分量光束。在可见光被分为三个颜色以上的分量 光束的情形中，可设置与分量光束的数目对应的多个成像元件。
在第一实施方式中，滤波器转换器可用作光学滤波器单元。在该情形 中，滤波器转换器仅需要设置有仅透过可见光的光学滤波器和仅透过从荧 光物质生成的荧光的光学滤波器，并且根据可见光和荧光的照射时间切换 光学滤波器。
将获取其图像的荧光物质不限于ICG。例如，可使用各种荧光物质， 诸如DAPI(4’，6-联脒-2-二氢氯化苯基吲哚)。
在第五实施方式中描述的手术导航系统500中，例如，在能够控制 LED等的照射时间等的照明装置用作在其中执行手术的手术室的无影灯 的情形中，手术光可用作可见光照明单元的一部分或全部可见光照明单 元。
本申请包含于2010年7月13日向日本专利局提交的日本在先专利申 请JP 2010-158848中所公开的主题，其全部内容结合于此作为参考。
本领域的技术人员应当理解，根据设计需求和其他因素，可以进行各 种修改、组合、子组合和变形，均应包含在所附权利要求或其等同物的范 围之内。