显微镜控制装置及光学失真校正方法 【技术领域】
本发明涉及显微镜控制装置和光学失真校正方法。背景技术 已经提出了一种技术, 其中, 使用了用于观察诸如细胞组织切片的样本的显微镜, 将通过显微镜观察的样本图像保存为数字图像, 并从互联网或内部网上设置的其他装置来 观察所保存的数字图像 ( 例如, 参考下面的日本未审查专利申请公开第 2003-222801 号 )。 通过使用该技术, 可以促进所谓的远程病理学 ( 远程位置的医生使用网络进行病理诊断 ) 的发展。
发明内容 然而, 在使用如日本未审查专利申请公开第 2003-222801 号所披露的透镜将放大 图像或缩小图像投影在成像元件上的情况下, 图像中发生失真 ( 失真像差 )。为此, 在诸 如相机的一般摄像装置中, 执行失真校正处理, 其中, 一组单独透镜预先摄取点阵图案的图 像, 并且使用理想点阵点和实际成像的点阵位置的点阵位置之间的间隙来校正图像的失 真。
然而, 在这种失真校正处理中, 由于相对于形成图像的所有像素在每个像素位置 处估计失真量, 然后针对每个像素执行用于校正失真的计算, 因此存在需要非常大量的计 算和资源的问题。
期望提供一种能够使用相差光学系统来抑制散焦检测处理中的失真校正处理所 需的计算负荷的显微镜控制装置和光学失真校正方法。
根据本发明的实施方式, 提供了一种显微镜控制装置, 包括 : 偏移处理单元, 基于 由显微镜特有的光学失真引起的相差的偏移信息, 校正基于显微镜摄取的样本的一组相差 图像生成的、 关于相应相差图像之间的相差的相差信息, 以及散焦量计算单元, 根据偏移校 正之后的相差信息, 计算样本的散焦量。
优选地, 偏移处理单元的偏移处理是从相差信息减去偏移信息的处理。
偏移信息可包括用作偏移处理中的基准的基准偏移信息和针对样本的各散焦量 设置的多个偏移信息。偏移处理单元可以基于基准偏移信息对相差信息执行偏移处理, 而 散焦量计算单元可以根据基于基准偏移信息的偏移校正之后的相差信息来计算散焦量。 另 外, 偏移处理单元可以通过使用与计算的散焦量相对应的偏移信息, 再次对相差信息执行 偏移处理。
显微镜控制装置可以进一步包括散焦量校正单元, 用于计算覆盖样本的盖玻片的 厚度, 并根据计算出的相应盖玻片的厚度来校正散焦量。
根据本发明的另一实施方式, 提供了一种光学失真校正方法, 包括 : 基于由显微镜 特有的光学失真引起的相差的偏移信息, 校正基于显微镜摄取的样本的一组相差图像生成 的、 关于相应相差图像之间的相差的相差信息 ; 以及根据偏移校正之后的相差信息, 计算样
本的散焦量。
如上所述, 根据本发明的实施方式, 可以使用相差光学系统抑制散焦检测处理中 的失真校正处理所需的计算负荷。 附图说明 图 1 是示出根据本发明第一实施方式的显微镜图像管理系统的结构的示图。
图 2 是示出根据同一实施方式的显微镜和显微镜控制装置的整体结构的示图。
图 3 是示出样本的放大图像和相差图像的实例的示图。
图 4 是示出基于相差图像生成的相差信息的实例的示图。
图 5A 至图 5D 是示出失真的示图。
图 6 是示出根据同一实施方式的显微镜控制装置中所包括的整体控制单元的结 构的框图。
图 7 是示出根据同一实施方式的整体控制单元中所包括的失真校正单元的结构 的框图。
图 8 是示出根据同一实施方式的偏移图案的示图。
图 9 是示出根据同一实施方式的偏移校正处理的示图。 图 10 是示出根据同一实施方式的偏移校正处理的示图。 图 11 是示出根据同一实施方式的失真校正单元的第一变形例的框图。 图 12 是示出盖玻片厚度的计算处理的示图。 图 13A 至图 13C 是示出盖玻片厚度的计算处理的示图。 图 14 是示出盖玻片厚度的计算处理的示图。 图 15 是示出根据本发明实施方式的失真校正方法的流程的流程图。 图 16 是示出根据本发明实施方式的显微镜控制装置的硬件配置的框图。具体实施方式
在下文中, 将参照附图详细描述本发明的优选实施方式。另外, 在说明书和附图 中, 具有大致相同功能和结构的构成元件给以相同的参考标号, 并且将省略重复的描述。
将按以下顺序进行描述。
1. 第一实施方式
1-1. 显微镜图像管理系统的结构
1-2. 显微镜的整体结构
1-3. 显微镜控制装置的整体结构
1-4. 相差计算处理的概要
1-5. 整体控制单元的结构
1-6 失真校正单元的结构
1-7. 第一变形例
1-8. 光学失真校正方法
2. 根据本发明实施方式的显微镜控制装置的硬件配置
3. 结论在下文中, 虽然作为由显微镜成像的样本实例描述了作为实例的包括诸如以血液 为例的结缔组织、 上皮组织、 或者这两种组织的组织切片或涂片细胞的生物样本 ( 细胞组 织样本 ), 但是本发明不限于此。
第一实施方式 : 显微镜图像管理系统的结构
首先, 将参照图 1 描述根据本发明的第一实施方式的显微镜图像管理系统 1 的结 构。图 1 是示出根据本实施方式的显微镜图像管理系统 1 的结构的示图。
如图 1 所示, 根据本实施方式的显微镜图像管理系统 1 包括 : 显微镜 10、 显微镜控 制装置 20、 图像管理服务器 30 以及图像显示装置 40。 显微镜控制装置 20、 图像管理服务器 30 以及图像显示装置 40 经由网络 3 彼此连接。
网络 3 是能够将根据本实施方式的显微镜控制装置 20、 图像管理服务器 30 以及 图像显示装置 40 彼此连接从而以双向方式通信的通信网络。例如, 网络 3 包括诸如以互联 网、 电话网络、 卫星通信网络或广播线为例的公共网络或以 WAN( 广域网 )、 LAN( 局域网 )、 IP-VPN( 互联网协议 - 虚拟专用网络 )、 以太网 ( 注册商标 ) 或无线 LAN 为例的专用网络, 并包括有线或无线网络。另外, 网络 3 可以是专用于根据本实施方式的显微镜图像管理系 统 1 的通信网络。
显微镜 10 用预定照明光照亮置于对应的显微镜 10 的镜台上的样本 ( 例如, 生物 样本 ), 并使透过样本传输的光或从样本发射的光成像。 下面将再次详细描述根据本实施方 式的显微镜 10 的整体结构。
将显微镜 10 控制成通过显微镜控制装置 20 驱动, 并且经由显微镜控制装置 20 将 由显微镜 10 摄取的样本图像存储在图像管理服务器 30 中。
显微镜控制装置 20 控制将样本成像的显微镜 10 的驱动。显微镜控制装置 20 控 制显微镜 10 以摄取样本的数字图像, 并对获得的样本的数字图像数据执行预定数字处理。 另外, 显微镜控制装置 20 将获得的样本的数字图像数据上传到图像管理服务器 30。
图像管理服务器 30 存储已经由显微镜 10 成像的样本的数字图像数据, 并管理数 字图像数据。当从显微镜控制装置 20 输出样本的数字图像数据时, 图像管理服务器 30 在 预定存储区域存储获得的样本的数字图像数据, 使得检查员可以使用数字图像数据。 此外, 当检查员请求从检查员所操作的图像显示装置 40( 即, 对应于观看者的装置 ) 检查样本的 数字图像数据时, 图像管理服务器 30 将对应样本的数字图像数据提供到图像显示装置 40。
图像显示装置 40 是由想要检查样本的数字图像数据的检查员操作的终端 ( 即, 对 应于观看者的装置 )。 想要检查数字图像数据的检查员参照图像管理服务器 30 中存储的数 字图像数据列表等, 指定希望检查的数字图像数据, 并请求图像管理服务器 30 提供所指定 的数字图像数据。当从图像管理服务器 30 提供数字图像数据时, 检查员可以通过在图像显 示装置 40 的显示器等上显示与之对应的图像来检查数字图像数据。
下面将再次描述根据本实施方式的显微镜控制装置 20 和图像管理服务器 30 的详 细结构。
在图 1 中, 虽然示出了系统 1 中包括的显微镜 10、 显微镜控制装置 20 以及图像管 理服务器 30 分别单独存在的情况, 但是显微镜图像管理系统 1 中包括的显微镜 10、 显微镜 控制装置 20 以及图像管理服务器 30 的数量不限于图 1 示出的实例, 而是可以分别有多个。
显微镜的整体结构接下来, 将参照图 2 描述根据本实施方式的显微镜 10 的整体结构。图 2 是示出根 据本实施方式的显微镜 10 和显微镜控制装置 20 的整体结构的示图。
整体结构
如图 2 中示例的, 根据本实施方式的显微镜 10 包括 : 缩略图像摄取单元 110, 其摄 取的制品 PRT( 其上放置了生物样本 SPL) 的整体图像 ( 下文中, 该图像还称为缩略图像 ) ; 以及放大图像摄取单元 120, 其摄取生物样本 SPL 以预定放大倍率被放大的图像 ( 下文中, 该图像也称为放大图像 )。另外, 放大图像摄取单元 120 包括 : 散焦量检测单元 130, 用于检 测放大图像摄取单元 120 中设置的照明视场光阑的散焦量。
制品 PRT 通过预定固定方法将包括诸如以血液为例的结缔组织、 上皮组织、 或者 这两种组织的组织切片或涂片细胞的生物样本 SPL 固定到载玻片。如果有必要, 该组织切 片或涂片细胞经受各种染色。该染色不仅包括诸如 HE( 苏木精 - 曙红 ) 染色、 姬姆萨染色 (Giemsa stain)、 或巴氏染色 (Papanicolaou stain) 的一般染色, 还包括诸如 FISH( 荧光 原位杂交 ) 或酶标记抗体法的荧光染色。
此外, 可以将描述了用于说明相应的生物样本 SPL 的附加信息 ( 例如, 提供样本的 人员姓名、 提供日期、 染色种类等 ) 的标签附着到制品 PRT。 根据本实施方式的显微镜 10 设置有放置了上述制品 PRT 的镜台 140 和用于在各 方向上移动镜台 140 的镜台驱动机构 141。镜台 140 可以通过镜台驱动机构 141 在平行于 镜台表面的方向 (X 轴方向和 Y 轴方向 ) 上和与其垂直的方向 (Z 轴方向 ) 上自由移动。
另外, 放大图像摄取单元 120 设置有聚光透镜驱动机构 142, 其是照明视场光阑品 脱 (pint) 调整单元的实例。
根据本实施方式的显微镜 10 可以设置有样本传送装置 150, 其将包括样本 SPL 的 制品 PRT 传送到镜台 140。传送装置 150 能够将预定要成像的样本自动地放置到镜台 140 上, 并自动地更换样本 SPL。
缩略图像摄取单元
如图 2 所示, 缩略图像摄取单元 110 主要包括光源 111、 物镜 112 以及成像元件 113。
光源 111 设置在镜台 140 的安放了制品的表面侧的相对侧。光源 111 可以在被施 加于对其执行了一般染色的生物样本 SPL 的光 ( 下文中, 还称为明场照明光, 或简称为照明 光 ) 和被施加于对其执行了特殊染色的生物样本 SPL 的光 ( 下文中, 还称为暗场照明光 ) 之 间变化, 用于照明。另外, 光源 111 可以施加明场照明光或暗场照明光。在该情况下, 设置 了两个光源, 即, 用于施加明场照明光的光源和用于施加暗场照明光的光源作为光源 111。
在缩略图像摄取单元 110 中, 可以单独设置标签光源 ( 未示出 ), 其施加用于将附 着于制品 PRT 的标签中所描述的附加信息成像的光。
具有预定放大倍率的物镜 112 具有在安放了制品的表面中的作为光轴 SRA 的缩略 图像摄取单元 110 基准位置法线, 并且被安装在安放了制品的镜台 140 的表面这一侧。在 物镜 112 处聚集透过安装在镜台 140 上的制品 PRT 的光, 并使得能够在设置于物镜 112 的 后侧 ( 即, 照明光的行进方向 ) 上的成像元件 113 中形成图像。
成像元件 113 形成对应于包括整个制品 PRT 的成像范围中的光 ( 换句话说, 透过 整个制品 PRT 的光 ) 的图像, 整个制品 PRT 放置在安放了制品的镜台 140 的表面上。在成
像元件 113 上形成的图像是作为包含整个制品 PRT 的显微镜图像的缩略图像。
放大图像摄取单元
如图 2 所示, 放大图像摄取单元 120 主要包括光源 121、 聚光透镜 122、 物镜 123 以 及成像元件 124。此外, 放大图像摄取单元 120 还设置有照明视场光阑 ( 未示出 )。
光源 121 施加明场照明光, 并被设置在安放了制品的镜台 140 的表面侧的相对侧。 另外, 用于施加暗场照明光的光源 ( 未示出 ) 设置在与光源 121 的位置不同的位置 ( 例如, 安放了制品的表面侧 )。
聚光透镜 122 聚集从光源 121 提供的明场照明光或从用于暗场照明的光源提供的 暗场照明光, 并将光引导至镜台 140 上的制品 PRT。聚光透镜 122 具有在安放了制品的表 面中的作为光轴 ERA 的放大图像摄取单元 120 基准位置法线, 并被安装在光源 121 和镜台 140 之间。另外, 聚光透镜驱动机构 142 能够沿光轴 ERA 的方向驱动聚光透镜 122。聚光透 镜 122 能够通过聚光透镜驱动机构 142 改变其在光轴 ERA 上的位置。
具有预定放大倍率的物镜 123 具有在安放了制品的表面中的作为光轴 ERA 的放大 图像摄取单元 120 基准位置法线, 并被安装在安放了制品的镜台 140 的表面侧。通过适当 地更换物镜 123, 放大图像摄取单元 120 能够通过以各种放大倍率放大而将生物样本 SPL 成 像。由物镜 123 聚集透过镜台 140 上放置的制品 PRT 的光, 并使得能够在物镜 123 的后面 ( 即, 照明光的行进方向 ) 上设置的成像元件 124 上形成图像。 此外, 可以在物镜 123 和成像元件 124 之间的光轴 ERA 上设置光束分离器 131。在 设置了光束分离器 131 的情况下, 透过物镜 123 透射的透射光束的一部分被引导至随后描 述的散焦量检测单元 130。
根据成像元件 124 的像素尺寸和物镜 123 的放大倍率, 在成像元件 124 上形成在 包括安放了制品的镜台 140 表面上预定纵向宽度和横向宽度的成像范围中的图像。此外, 由于生物样本 SPL 的一部分被物镜 123 放大, 因此, 上述成像范围比成像元件 113 的成像范 围小很多。
这里, 如图 2 所示, 就分别是基准位置法线的光轴 SRA 和光轴 ERA 而言, 将缩略图 像摄取单元 110 和放大图像摄取单元 120 设为在 Y 轴方向以距离 D 彼此隔开。将距离 D 设 置为短到使得支撑放大图像摄取单元 120 的物镜 123 的显微镜筒 ( 未示出 ) 不包括在成像 元件 113 的成像范围中并进一步使尺寸小型化。
散焦量检测单元
如图 2 所示, 散焦量检测单元 130 主要包括光束分离器 131、 聚光透镜 132、 双透镜 133 以及成像元件 134。
如上所述, 光束分离器 131 设置在放大图像摄取单元 120 的物镜 123 和成像元件 124 之间的光轴 ERA 上, 并反射透过物镜 123 透射的透射光束的一部分。换句话说, 透过物 镜 123 透射的透射光束被光束分离器 131 分成朝向成像元件 124 行进的光束和朝向随后描 述的散焦量检测单元 130 中的聚光透镜 132 行进的光束。
聚光透镜 132 设置在被光束分离器 131 分离的反射光束的行进方向侧。聚光透镜 132 聚集被光束分离器 131 分离的反射光束, 并将其引导至设置在聚光透镜 132 的后面 ( 反 射光束的行进方向侧 ) 上的双透镜 133。
双透镜 133 将从聚光透镜 132 引导的光束划分成两个光束。经划分的光束在设置
于双透镜 133 的后面 ( 反射光束的行进方向侧 ) 的成像元件 134 的成像表面上形成一组对 象图像。
透过双透镜 133 透射的光束分别在成像元件 134 上形成图像。结果, 在成像元件 134 的成像表面上形成了一组对象图像。由于从聚光透镜 132 发出的在各个方向上的光束 入射到双透镜 133, 因此在形成的一组对象图像之间出现相差。在下文中, 这一组对象图像 称为相差图像。
接下来, 将参照图 3 简要描述由放大图像摄取单元 120 摄取的放大图像和由散焦 量检测单元 130 摄取的相差图像的实例。图 3 是示出样本的放大图像和相差图像的实例的 示图。
在根据本实施方式的显微镜 10 中, 光束分离器 131 设置在物镜 123 的后面, 并且 透过物镜 123 透射的光束在放大图像摄取单元 120 中设置的成像元件 124 上和在散焦量检 测单元 130 中设置的成像元件 134 上成像。这里, 如图 3 所示, 成像元件 134 上形成的相差 图像 ( 例如 ) 是与通过左眼观看的图像和通过右眼观看的图像相对应的一组图像, 并且产 生图像之间的相差。为此, 如果相差减小, 则相差图像的两个图像向彼此远离移动, 如果相 差增大, 则相差图像的两个图像向彼此靠近移动。 这里, 在以下的描述中, 形成相差图像的一组图像中的一个被称为基准图像, 而另 一个图像被称为比较图像。基准图像是当规定了相差图像中的相差时用作基准的图像, 而 比较图像是当规定了相差图像中的相差时与基准图像比较的图像。
如图 4 所示, 针对形成相差图像的每个像素来规定这种相差, 从而生成指示整个 相差图像中的相差分布的相差信息。这里, 由于两个图像之间的相差是可以转化成样本的 凹凸的物理特性值, 因此可以通过获得相差信息来获得关于样本的凹凸的信息。
以上已经描述了根据本实施方式的散焦量检测单元 130。另外, 在上述描述中, 虽 然已经描述了在物镜 123 和成像元件 124 之间设置光束分离器 131 的情况, 但是用于分离 光束的光束分离单元不限于光束分离器, 而是可以使用可移动反射镜等。
另外, 在以上描述中, 虽然已经描述了其中将聚光透镜、 双透镜和成像元件作为离 焦量检测单元 130 内部的相差 AF( 自动对焦 ) 光学系统来设置的结构, 但是本发明不限于 该实例。相差 AF 光学系统可以使用 ( 例如 ) 代替聚光透镜和双透镜的物镜和分离透镜、 或 其他光学系统, 只要他们能够实现等同功能即可。
以上已经参照图 2 详细描述了根据本实施方式的显微镜 10 的整体结构。
另外, 在缩略图像摄取单元 110、 放大图像摄取单元 120 以及散焦量检测单元 130 中的每一个中设置的成像元件可以是一维成像元件或二维成像元件。
此外, 在上述实例中, 虽然已经描述了在被光束分离器 131 反射的光束的行进方 向上设置散焦量检测单元 130 的情况, 但是散焦量检测单元 130 可以设置在透过光束分离 器 131 传播的光束的行进方向上。
显微镜控制装置的整体结构
如图 2 所示, 根据本实施方式的显微镜 10 连接至用于控制显微镜的各个部分的显 微镜控制装置 20。如图 2 所示, 显微镜控制装置 20 主要包括整体控制单元 201、 照明控制 单元 203、 镜台驱动控制单元 205、 聚光透镜驱动控制单元 207、 相差图像摄取控制单元 209、 缩略图像摄取控制单元 211、 放大图像摄取控制单元 213 以及存储单元 215。
这里, 照明控制单元 203 是控制包括显微镜 10 中设置的光源 111 和光源 121 的各 种光源的处理单元, 而镜台驱动控制单元 205 是控制镜台驱动机构 141 的处理单元。聚光 透镜驱动控制单元 207 是控制聚光透镜驱动机构 142 的处理单元, 而相差图像摄取控制单 元 209 是控制用于摄取相差图像的成像元件 134 的处理单元。另外, 缩略图像摄取控制单 元 211 是控制用于摄取缩略图像的成像元件 113 的处理单元, 而放大图像摄取控制单元 213 是控制用于摄取生物样本 SPL 的放大图像的成像元件 124 的处理单元。这些控制单元连接 至经由各种数据通信路径进行控制的部分。
在根据本实施方式的显微镜控制装置 20 中, 控制整个显微镜的控制单元 ( 整体控 制单元 201) 被单独地设置, 并经由各种数据通信路径被连接至上述控制单元。
控制单元通过 CPU( 中央处理单元 )、 ROM( 只读存储器 )、 RAM( 随机存取存储器 )、 存储装置、 通信装置、 运算电路等来实现。
存储单元 215 是在根据本实施方式的显微镜控制装置 20 中设置的存储装置的实 例。 存储单元 215 存储用于控制根据本实施方式的显微镜 10 的各种设置信息、 各种数据库、 查找表等。此外, 存储单元 215 可以存储诸如显微镜 10 中的样本的成像历史的历史信息。 另外, 存储单元 215 适宜记录当根据本实施方式的显微镜控制装置 20 执行特定处理、 处理 的中间过程、 或各种数据库或程序时需要保存的各种参数。
显微镜控制装置 20 中设置的每个处理单元能够自由地从存储单元 215 读取和写 入该存储单元。
在下文中, 将简要描述上述控制单元的功能。
照明控制单元
照明控制单元 203 是控制根据本实施方式的显微镜 10 中设置的各种光源的处理 单元。当从整体控制单元 201 输出指示生物样本 SPL 的照明方法的信息时, 照明控制单元 203 基于获得的指示照明方法的信息来控制相应光源的照明。
例如, 关注于由照明控制单元 203 来控制缩略图像摄取单元 110 中所包括的光源 111 的情况。在该情况下, 照明控制单元 203 通过参考指示照明方法的信息来确定是否执 行获得明场图像的模式 ( 下文中, 称为 “明场模式” ) 或获得暗场图像的模式 ( 下文中, 称为 “暗场模式” )。之后, 照明控制单元 203 在光源 111 中设置与每个模式对应的参数, 并使得 光源 111 施加适合于每个模式的照明光。从而, 从光源 111 提供的照明光经由镜台 140 的 光圈被施加到整个生物样本 SPL。另外, 可以选择 ( 例如 ) 照明光的强度、 光源的类型等作 为由照明控制单元 203 设置的参数。
另外, 关注于由照明控制单元 203 来控制放大图像摄取单元 120 中所包括的光源 121 的情况。 在该情况下, 照明控制单元 203 通过参考指示照明方法的信息来确定是否执行 明场模式或暗场模式。之后, 照明控制单元 203 在光源 121 中设置与每个模式对应的参数, 并使得光源 121 施加适合于每个模式的照明光。从而, 从光源 121 提供的照明光经由镜台 140 的光圈被施加到整个生物样本 SPL。另外, 可以选择 ( 例如 ) 照明光的强度、 光源的类 型等作为由照明控制单元 203 设置的参数。
明场模式中的照明光优选的是可见光。另外, 暗场模式中的照明光优选地是包括 能够激发用于特殊染色的荧光标记的波长的光。在暗场模式中, 去掉了荧光标记的背景部 分。镜台驱动控制单元
镜台驱动控制单元 205 是控制镜台驱动机构 141 的处理单元, 该镜台驱动机构用 于驱动根据本实施方式的显微镜 10 中设置的镜台。当从整体控制单元 201 输出指示生物 样本 SPL 的成像方法的信息时, 镜台驱动控制单元 205 基于获得的指示成像方法的信息来 控制镜台驱动机构 141。
例如, 关注于根据本实施方式的显微镜 10 摄取缩略图像的情况。当从整体控制单 元 201 输出指示摄取了生物样本 SPL 的缩略图像的信息时, 镜台驱动控制单元 205 在镜台 表面方向 (X-Y 轴方向 ) 上移动镜台 140, 使得整个制品 PRT 被包括在成像元件 113 的成像 范围中。此外, 镜台驱动控制单元 205 在 Z 轴方向上移动镜台 140, 使得物镜 112 聚焦于整 个制品 PRT。
另外, 关注于根据本实施方式的显微镜 10 摄取放大图像的情况。当从整体控制 单元 201 输出了指示摄取了生物样本 SPL 的放大图像的信息时, 镜台驱动控制单元 205 控 制镜台驱动机构 141 的驱动, 并在镜台表面方向上移动镜台 140, 使得生物样本 SPL 从光源 111 和物镜 112 之间定位到聚光透镜 122 和物镜 123 之间。
镜台驱动控制单元 205 在镜台表面方向 (X-Y 轴方向 ) 上移动镜台 140, 使得生物 样本的预定部位位于成像元件 124 的成像范围中。 另外, 镜台驱动控制单元 205 控制镜台驱动机构 141 的驱动, 并在垂直于镜台表面 的方向 (Z 轴方向, 组织切片的深度方向 ) 上移动镜台 140, 使得物镜 123 聚焦于生物样本 SPL 的位于预定成像范围中的部位。
聚光透镜驱动控制单元
聚光透镜驱动控制单元 207 是控制聚光透镜驱动机构 142 的处理单元, 该聚光透 镜驱动机构用于驱动根据本实施方式的显微镜 10 的放大图像摄取单元 120 中设置的聚光 透镜 122。 当从整体控制单元 201 输出关于照明视场光阑的散焦量的信息时, 聚光透镜驱动 控制单元 207 基于获得的关于散焦量的信息来控制聚光透镜驱动机构 142。
如果放大图像摄取单元 120 中设置的照明视场光阑不能适当地聚焦, 则所生成的 放大图像的对比度降低。为了防止对比度降低, 整体控制单元 201 可以基于由散焦量检测 单元 130 生成的相差图像来规定照明视场光阑的散焦量。整体控制单元 210 向聚光透镜驱 动控制单元 207 输出指示规定的照明视场光阑散焦量, 并改变聚光透镜 122 的位置, 使得照 明视场光阑聚焦。
聚光透镜驱动控制单元 207 控制聚光透镜驱动机构 142 的驱动, 并校正聚光透镜 122 的位置 ( 光轴 ERA 上的位置 ), 使得照明视场光阑聚焦。
相差图像摄取控制单元
相差图像摄取控制单元 209 是控制散焦量检测单元 130 中设置的成像元件 134 的 处理单元。相差图像摄取控制单元 209 根据成像元件 134 中的明场模式或暗场模式来设置 参数。另外, 当获得从成像元件 134 输出并与成像元件 134 的成像表面上形成的图像相对 应的输出信号时, 相差图像摄取控制单元 209 将获得的输出信号识别为与相差图像对应的 输出信号。当获得与相差图像对应的输出信号时, 相差图像摄取控制单元 209 将与获得的 信号对应的数据输出到整体控制单元 201。 另外, 由相差图像摄取控制单元 209 设置的参数 的实例包括曝光的开始时间和结束时间 ( 即, 曝光时间 ) 等。
缩略图像摄取控制单元
缩略图像摄取控制单元 211 是控制缩略图像摄取单元 110 中设置的成像元件 113 的处理单元。缩略图像摄取控制单元 211 根据成像元件 113 中的明场模式或暗场模式来设 置参数。另外, 当获得了从成像元件 123 输出并与成像元件 113 的成像表面上形成的图像 对应的输出信号时, 缩略图像摄取控制单元 211 将获得的输出信号识别为与缩略图像对应 的输出信号。当获得与缩略图像对应的输出信号时, 缩略图像摄取控制单元 211 将与获得 的信号对应的数据输出到整体控制单元 201。由缩略图像摄取控制单元 211 设置的参数实 例包括曝光开始时间和结束时间等。
放大图像摄取控制单元
放大图像摄取控制单元 213 是控制放大图像摄取单元 120 中设置的成像元件 124 的处理单元。放大图像摄取控制单元 213 根据成像元件 124 中的明场模式或暗场模式来设 置参数。另外, 当获得从成像元件 124 输出并与成像元件 124 的成像表面上形成的图像对 应的输出信号时, 放大图像摄取控制单元 213 将获得的输出信号识别为与放大图像对应的 输出信号。当获得与放大图像对应的输出信号时, 放大图像摄取控制单元 231 将与获得的 信号对应的数据输出到整体控制单元 201。放大图像摄取控制单元 213 设置的参数实例包 括曝光的开始时间和结束时间等。 整体控制单元
整体控制单元 201 是控制包括上述控制单元的整个显微镜的处理单元。整体控制 单元 201 获得关于由显微镜 10 摄取的相差图像的数据, 并能够基于相差图像数据计算照明 视场光阑的散焦量或载玻片的厚度变化量。通过使用载玻片的厚度变化量或散焦量, 整体 控制单元 201 能够调节显微镜 10 的放大图像摄取单元 120 中所包括的光学系统的焦点, 并 进一步提高获得的放大图像的焦点精确性。
另外, 整体控制单元 201 使用随后详细描述的方法校正相差图像中包括的失真。
图 5A 至图 5D 是示出失真的示意图。如上所述, 当使用透镜将样本成像时, 在图像 中发生失真。当使用透镜将图 5A 中示出的没有失真的点阵图案成像时, 发生如图 5B 至图 5D 所示的失真, 并且观察到带有失真的实际点阵图案。 图 5B 示出了桶型失真, 其中, 观察到 点阵图案失真成桶型, 而图 5C 示出了卷轴型失真, 其中, 观察到点阵图像如卷轴一样失真。 另外, 如图 5D 所示, 存在观察到包括桶型失真或卷轴型失真的复杂失真的情况。
由于根据本实施方式的显微镜 10 的散焦量检测单元 130 也是使用相差光学系统 的成像装置, 因此上述失真也包括在由散焦量检测单元 130 摄取的相差图像中。由于基于 相差图像计算的相差 ( 散焦量 ) 和对每个像素位置是固有的相差平面之间的间隙, 而在相 差光学系统中发生失真。因此, 可以通过去除由失真引起的误差成分来获得关于相差 ( 进 一步散焦量 ) 的更精确结果。
以下将再次详细描述整体控制单元 201 中的失真校正处理。
整体控制单元 201 从显微镜 10 获得关于显微镜 10 摄取的缩略图像和放大图像的 显微镜图像数据, 并将数据现像或对数据执行预定数字处理。之后, 整体控制单元 201 经由 网络 3 将关于缩略图像和放大图像的显微镜图像数据上传到图像管理服务器 30。从而, 可 以从图像显示装置 40 检查由显微镜 10 摄取的样本的显微镜图像, 图像显示装置 40 是连接 至网络 3 的客户装置。
以上已经参照图 2 描述了根据本实施方式的显微镜控制装置 20 的整体结构。
整体控制单元的结构
将参照图 6 和图 7 描述根据本实施方式的显微镜控制装置 20 中设置的整体控制 单元 201 的结构。图 6 是示出根据本实施方式的整体控制单元的结构的框图, 而图 7 是示 出整体控制单元中所包括的失真校正单元的结构的框图。
例如, 如图 6 所示, 根据本实施方式的整体控制单元 201 主要包括 : 整体驱动控制 单元 221、 显微镜图像获取单元 223、 图像处理单元 225、 失真校正单元 227、 显微镜图像输出 单元 229 以及通信控制单元 231。
通过 ( 例如 )CPU、 ROM、 RAM 等来实现整体驱动控制单元 221。整体驱动控制单元 221 是集中控制那些控制显微镜 10 的各个部分的控制单元 ( 照明控制单元 203、 镜台驱动 控制单元 205、 聚光透镜驱动控制单元 207、 相差图像摄取控制单元 209、 缩略图像摄取控制 单元 211 以及放大图像摄取控制单元 213) 的驱动控制单元。整体驱动控制单元 231 在显 微镜 10 的各个部分中设置各种信息 ( 例如, 各种设置参数 ), 或从显微镜 10 的各个部分获 得各种信息。整体驱动控制单元 221 能够将从显微镜 10 的各个部分获得的各种信息输出 到随后描述的失真校正单元 227 等。 通过 ( 例如 )CPU、 ROM、 RAM、 通信装置等来实现显微镜图像获取单元 223。显微镜 图像获取单元 223 经由各个成像控制单元获得与缩略图像摄取单元 110 所摄取的缩略图像 对应的数据、 与放大图像摄取单元 120 所摄取的放大图像对应的数据以及与散焦量检测单 元 130 所摄取的相差图像对应的数据。
当经由各成像控制单元获得图像数据时, 显微镜图像获取单元 223 将获得的图像 数据输出到随后描述的图像处理单元 225。
另外, 显微镜图像获取单元 223 在使关于获得的数据等相关联后可以在存储单元 215 等中存储所获得的图像数据 ( 显微镜图像数据 )。
通过 ( 例如 )CPU、 GPU、 ROM、 RAM 等来实现图像处理单元 225。图像处理单元 225 对从显微镜图像获取单元 223 输出的显微镜图像执行预定图像处理。
具体地, 当获得从显微镜图像获取单元 223 输出的相差图像数据、 缩略图像数据 和放大图像数据 ( 更具体地, 图像的原始数据 ) 时, 图像处理单元 225 对原始数据执行显像 处理。另外, 图像处理单元 225 随同图像数据的显像处理一起将形成图像的多个图像彼此 连接 ( 拼接处理 )。
图像处理单元 225 可以根据需要对获得的数字图像数据执行转换处理 ( 转码 )。 数字图像的转换处理可以包括通过压缩数字图像生成 JPEG 图像等的处理、 用于将压缩成 JPEG 图像等的数据转换成具有不同格式 ( 例如, GIF 格式 ) 的压缩图像的处理。另外, 数字 图像的转换处理包括在压缩的图像数据一旦被解压缩并然后经历诸如边缘强调的处理之 后执行二次压缩的处理、 用于改变压缩的图像的压缩率的处理等。
在图像处理单元 225 已经对相差图像数据执行上述图像处理的情况下, 图像处理 之后的相差图像数据被输出到失真校正单元 227。 另外, 在图像处理单元 225 已经对缩略图 像数据和放大图像数据执行了上述图像处理的情况下, 通过成像形成的显微镜图像和对应 于显微镜图像的元数据被输出到随后描述的显微镜图像输出单元 229。
通过 ( 例如 )CPU、 GPU、 ROM、 RAM 等来实现失真校正单元 227。失真校正单元 227
不对目标图像直接执行关于作为光学失真之一的失真 ( 失真畸变 ) 的校正处理, 而是通过 对相差平面执行偏移处理来执行校正处理, 该相差平面通过在关于将任意样本成像时检测 的相差平面的平面上将样本成像而获得。失真校正单元 227 执行失真校正处理, 从而能够 减小由于用于摄取图像的光学系统失真而引起计算的散焦量失真时的影响。
以下将再次描述根据本实施方式的失真校正单元 227 的详细结构和功能。
通过 ( 例如 )CPU、 ROM、 RAM 等来实现显微镜图像输出单元 229。显微镜图像输出 单元 229 将从图像处理单元 225 输出的显微镜图像和诸如伴随相应显微镜图像的元数据的 各种信息, 经由随后描述的通信控制单元 231 输出到图像管理服务器 30。从而, 显微镜 10 摄取的样本的显微镜图像 ( 数字显微镜图像 ) 由图像管理服务器 30 管理。
通过 ( 例如 )CPU、 ROM、 RAM、 通信装置等来实现通信控制单元 231。通信控制单元 231 控制显微镜控制装置 20 外部设置的图像管理服务器 30 和显微镜控制装置 20 之间经由 网络 3 执行的通信。
失真校正单元的结构
接下来, 将参照图 7 详细描述根据本实施方式的失真校正单元 227 的结构。图 7 是示出根据本实施方式的失真校正单元 227 的结构的框图。
基于从散焦量检测单元 130 输出的相差图像直接获得的信息是关于相差图像之 间的相差的信息, 其中, 散焦量检测单元 130 使用获得显微镜 10 中的样本的散焦位置和散 焦量的相差光学系统。然而, 实现显微镜 10 中的自动聚焦机构所需的信息不是相差信息, 而是关于使用相差信息计算的散焦量的信息。为此, 如果基于关于散焦量 ( 是最终输出信 息 ) 的信息去除了由失真引起的误差成分, 则可以不对相差图像执行失真校正。
如上所述, 相差光学系统中的失真是检测的相差 ( 散焦量 ) 和对每个像素位置固 有的相差平面之间的间隙。因此, 在用以通过显微镜 10 的散焦量检测单元 130 容易地检测 相差的构造被置于具有高精确度的平面上的情况下, 使用用于校准的切片, 预先摄取处于 聚焦在放大图像摄取单元 120 的状态中的平面的相差图像。使用相差图像计算处于聚焦状 态的平面的相差平面。以这种方式获得的相差平面是显微镜 10 的设计规范或制造误差引 起的光学系统失真固有的相差的偏移平面。因此, 通过计算偏移平面相对于从通过将任意 样本成像获得的相差图像所生成的相差平面每个像素的差, 可以容易地去除由相差光学系 统中的失真引起的对散焦量的影响。另外, 通过图像尺寸 × 减法处理的计算量来限定该处 理中的计算量, 因此, 相比于用于执行每个像素的失真校正的矢量计算的相关技术中的失 真校正, 可以极大地减小诸如计算量或资源的计算负荷。
如图 7 所示, 执行该处理的根据本实施方式的失真校正单元 227 主要包括偏移图 案生成单元 251、 偏移处理单元 253、 散焦量计算单元 255 以及图案选择单元 257。
通过 ( 例如 )CPU、 GPU、 ROM、 RAM 等来实现偏移图案生成单元 251。 偏移图案生成单 元 251 获得通过使用于校准的样本成像而生成的相差图像, 并分析用于校准的相差图像, 从而计算获得的用于校准的相差图像之间的相差。
用于校准的样本是要将用以容易地检测相差的构造 ( 例如, 具有图 8 所示的点阵 图案的形状 ) 设在具有高精确度的平面上。通过散焦量检测单元 130 在显微镜 10 的放大 图像摄取单元 120 上聚焦的状态下将平面成像来生成用于校准的相差图像。
虽然最初呈现在平面上的样本被成像, 但是如图 8 所示, 指示以这种方式获得的用于校准的相差图像之间的相差的平面是弯曲的。 从通过将置于平面上的点阵图案成像获 得的相差图像计算的相差平面, 指示对由上述显微镜 10 的设计规范和制造误差引起的光 学系统失真固有的相差。另外, 相差平面可以是相差图像上的像素位置与用于对应像素的 相差相关联的情况下的信息。 通过在聚焦状态下将用于校准的样本成像获得的相差平面可 以用作在执行失真校正处理时用作基准 ( 基准偏移图案 ) 的偏移图案。
另外, 相差图像的失真形状根据显微镜 10 的物镜 123 和镜台 140 之间的位置关系 而变化。由于放大图像摄取单元 120 在聚焦状态下记录待摄取的目标的图像并被设置为非 常小的景深, 因此可以仅对特有的失真形状执行校正。相反, 用作焦点调整装置 ( 自动聚焦 机构 ) 的相差光学系统 ( 散焦量检测单元 130) 被设计为具有大的景深, 并相对于焦点位置 在宽操作范围中测量散焦量。为此, 由失真引起的偏移量根据散焦状态而变化。因此, 根据 本实施方式的偏移图案生成单元 251 单独地准备多个散焦状态中的每一个的失真所固有 的上述相差偏移平面。
因此, 根据本实施方式的偏移图案生成单元 251 生成聚焦状态的偏移图案 ( 基准 偏移图案 ) 以及针对各散焦状态的多个偏移图案。
另外, 失真依赖于以用于摄取相差图像的透镜为例的光学元件的组合。 为此, 偏移 图案生成单元 251( 例如 ) 针对显微镜 10 中使用的物镜组合中的每个来生成用于各散焦状 态的多个偏移图案和基准偏移图案。
偏移图案生成单元 251 在存储单元 215 等中存储以这种方式生成的多个偏移图 案。
另外, 偏移图案生成单元 251 可以在任意时刻执行偏移图案的生成处理, 诸如装 载显微镜 10 之前、 执行显微镜 10 的维护时、 或者用户请求开始生成偏移图案时。
通过 ( 例如 )CPU、 GPU、 ROM、 RAM 等来实现偏移处理单元 253。当从图像处理单元 225 输出特定样本的相差图像时, 首先, 偏移处理单元 253 基于一组获得的相差图像来计算 相差图像之间的相差。
不特别限制用于基于相差图像来计算相差的方法, 而是可以使用现有方法, 例如, 可以通过如下方法来计算相差图像之间的相差。
换句话说, 偏移处理单元 253 使用相差图像中的一个作为基准图像, 而其他图像 作为比较图像, 并将基准图像划分成本地子区域。之后, 偏移处理单元 253 针对与基准图像 上的每个子区域匹配的图像区域搜索比较图像, 并指定两个图像 ( 基准图像和比较图像 ) 之间的视差作为相差图像之间的相差 ( 相差信息 )。
当从获得的相差图像计算相差时, 偏移处理单元 253 从存储单元 215 等中存储的 偏移图案中获得基准偏移图案 ( 聚焦状态中的偏移图案 )。 之后, 偏移处理单元 253 从计算 的相差信息减去获得的基准偏移图案 ( 具体地, 从计算的相差信息中的每个像素的相差值 减去基准偏移图案上的对应像素的相差值 )。 从而, 从计算的相差信息去除了由失真引起的 量。
当完成了使用基准偏移图案的偏移处理时, 偏移处理单元 253 将偏移处理后的相 差信息输出到随后描述的散焦量计算单元 255。
另外, 在偏移处理之后的相差信息被输出到散焦量计算单元 255 之后, 当随后描 述的图案检测单元 257 指定用于偏移处理的偏移图案时, 偏移处理单元 253 再次使用指定的偏移图案执行上述偏移处理。
通过 ( 例如 )CPU、 GPU、 ROM、 RAM 等来实现散焦量计算单元 255。散焦量计算单元 255 基于从偏移处理单元 253 输出的偏移校正之后的相差信息来计算样本的散焦量 ( 即, 样 本距焦点位置的距离 )。
例如, 由于相差图像中的散焦量和相差之间有相关性, 因此散焦量计算单元 255 能够通过使用预先确定的相差和散焦量之间的相关性以及所计算的相差来计算样本的散 焦量。
另外, 不特别限制散焦量计算单元 255 基于相差来计算样本的散焦量的方法, 而 是可以使用所有现有方法。
图 9 示出了所计算的散焦量如何根据是否执行上述的偏移处理而变化。如图 9 中 所示的图中, 当不使用偏移校正来计算散焦量时, 观察到多个波峰, 因此难以指定精确的散 焦量。然而, 在示出通过上述偏移校正处理的校正之后的结果的图中, 观察到大约 -1.5μm 的明显波峰, 因此可以规定精确的散焦量。
散焦量计算单元 255 将以这种方式计算的散焦量输出到整体驱动控制单元 211。 整体驱动控制单元 211 能够通过 ( 例如 ) 使用以这种方式计算的散焦量来控制镜台驱动控 制单元 205, 从而实现显微镜 10 中的自动聚焦功能。 另外, 散焦量计算单元 255 可以将计算的散焦量输出到随后描述的图案选择单元 257, 以进一步提高计算的散焦量的精确度。
通过 ( 例如 )CPU、 ROM、 RAM 等来实现图案选择单元 257。图案选择单元 257 基于 从散焦量计算单元 255 输出的散焦量, 从存储单元 215 等选择在最接近对应散焦量的条件 ( 散焦量 ) 下生成的偏移图案。
如上所述, 用作自动聚焦机构的相差光学系统被设计为具大的景深, 并相对于焦 点位置在宽范围内测量散焦量。为此, 由失真引起的偏移量根据散焦状态而变化。因此, 图 案选择单元 257 确定从散焦量计算单元 255 输出的散焦量是否适合偏移处理单元 253 使用 的偏移图案。 另外, 如果不使用适当的偏移图案, 则从预先记载的多个偏移图案中选择最接 近计算的散焦量的偏移平面。
根据本实施方式的失真校正单元 227 将所计算的散焦量能够具有的值的整个范 围划分成多个部分, 并针对每个部分准备至少一个偏移图案。 以这种方式, 根据本实施方式 失真校正单元 227 能够实现偏移校正处理, 通过该偏移校正处理, 在宽散焦范围内不容易 发生由失真引起的误差。
例如, 在图 10 示出的实例中, 散焦量能够具有的值的范围是 -100μm 至 +100μm, 并且该范围被划分成五个部分。此外, 预先记载每个部分的范围中的中间值附近的偏移图 案。此外, 如图 10 中示出的实例所示, 针对每个部分仅设置单个偏移图案, 但也可以针对每 个部分设置多个偏移图案。在图 10 示出的实例中, 虽然散焦量能够具有的值的范围被划分 成五个部分, 但是所划分的部分的数量不限于图中示出的实例。通过增加划分的部分的数 量或增加针对每个部分记载的偏移图案的数量, 可以执行更精确的偏移校正处理。
这里, 当所计算的散焦量在例如 -20μm 至 +20μm 的范围中时, 图案选择单元 257 确定是否使用了适合于 -20μm 至 +20μm 的范围的偏移图案 ( 图 10 情况中的散焦量 0μm 的偏移图案 )。 由于偏移处理单元 253 首先使用基准偏移图案 ( 散焦量 0μm 的偏移图案 ),
因此在该情况下, 图案选择单元 257 确定选择了适当的偏移图案并且因此不选择新的偏移 图案。
另一方面, 当计算的散焦量在 ( 例如 )+60μm 至 +100μm 的范围内时, 该情况中的 适当偏移图案是在散焦量 +80μm 测量的偏移图案。然而, 由于偏移处理单元 253 使用基准 偏移图案执行偏移处理, 因此图案选择单元 257 基于图 10 选择在散焦量 +80μm 测量的偏 移图案。
图案选择单元 257 将用于指定以这种方式选择的偏移图案的信息通知偏移处理 单元 253。 接收通知的偏移处理单元 253 从存储单元 215 等获得指定的偏移图案, 并基于获 得的偏移图案再次执行偏移处理。
以上已经参照图 7 详细描述了根据本实施方式的失真校正单元 227 的结构。
另外, 已经描述了根据本实施方式的显微镜控制装置 20 的功能实例。上述构成元 件中的每个都可以使用一般部件或电路来构造, 或者可以通过对每个构成元件的功能特有 的硬件来构造。可以通过 CPU 等来执行各构成元件的所有功能。因此, 在实践本实施方式 时, 可以根据技术水平适当地修改待使用的结构。
此外, 可以在个人计算机等中创建并安装用于实现根据本实施方式的显微镜控制 装置 20 的各功能的计算机程序。此外, 可以设置将计算机程序存储在其中并可通过计算机 读取的记录介质。记录介质包括 ( 例如 ) 磁盘、 光盘、 磁光盘、 闪存等。在不使用记录介质 的情况下, 可以经由 ( 例如 ) 网络传递计算机程序。 第一变形例
接下来, 将参照图 11 简要描述根据本实施方式的失真校正单元 227 的第一变形 例。图 11 是示出根据本实施方式的失真校正单元的第一变形例的框图。
根据本实施方式的显微镜 10 的放大图像摄取单元 120( 更具体地, 在光源 121 和 镜台 140 之间 ) 设置有照明视场光阑 ( 未示出 ), 并能够使用相差图像将照明视场光阑对 准。另外, 在对准照明视场光阑的处理中, 能够计算放置在镜台上的样本 ( 更具体地, 放置 在载玻片上的样本和盖玻片 ) 的厚度变化量或者其厚度。
另一方面, 即使被设为覆盖样本的盖玻片是根据特定标准的标准化物体, 其厚度 具有 0.01nm 级的变化。因此, 存在球面相差使得从相差图像观察的焦点位置相对于盖玻片 的厚度变化 0.01nm 变化了 0.1μm 的情况。
因此, 在以下描述的第一变形例中, 通过分析相差图像来计算盖玻片的厚度, 并使 用所计算的盖玻片的厚度来来执行针对计算的焦点位置 ( 散焦量 ) 的偏移调整, 从而进一 步提高散焦量的计算精确度。
如图 11 所示, 例如, 根据变形例的失真校正单元 227 主要包括偏移图案生成单元 251、 偏移处理单元 253、 散焦量计算单元 255、 图案选择单元 257 以及散焦量校正单元 261。
这里, 根据变形例的偏移图案生成单元 251、 偏移处理单元 253 以及散焦量计算单 元 255 与根据第一实施方式的各处理单元相同并达到相同效果。因此, 以下将省略其详细 描述。
根据变形例的图案选择单元 257 与根据第一实施方式的图案选择单元 257 相同, 并达到了除基于从随后描述的散焦量校正单元 261 输出的散焦量来选择偏移图案之外的 相同效果。因此, 以下将省略其详细描述。
通过 ( 例如 )CPU、 GPU、 ROM、 RAM 等来实现散焦量校正单元 261。散焦量校正单元 261 通过分析相差图像来计算覆盖样本的盖玻片的厚度。 另外, 散焦量校正单元 261 基于计 算的盖玻片的厚度来校正由散焦量计算单元 255 计算的散焦量。
下文中, 首先, 将参照图 12 至图 14 描述盖玻片的厚度的计算处理。
如图 12 所示, 在根据本实施方式的散焦量检测单元 130 的成像元件 134 上形成作 为相差图像的两个对象图像 ( 图像 B 和图像 C)。 这里, 假设在具有适当位置关系的光源 121 和镜台 140 之间设置照明视场光阑和聚光透镜, 并且适当地向载玻片施加照明光。在该情 况下, 指示相差图像中的视场区域的窗口定位在与对应于双透镜 133 的左透镜的图像和对 应于其右透镜的图像相同的位置。 然而, 如果聚光透镜不在适当位置存在, 并且照明位置低 于适当位置 ( 光源 121 侧 ), 则指示视场区域的窗口移动到靠近成像元件 134 的中心 ( 在图 12 中示出的 x 轴方向靠近成像元件 134 的中心 )。相反, 如果照明位置高于适当位置, 则指 示视场区域的窗口在 x 轴方向朝成像元件 134 的边缘移动。因此, 可以通过关注成像元件 134 上形成的窗口的位置关系来指定照明位置。
通过不同地改变照明位置 ( 例如, 照明视场光阑和聚光透镜之间的距离 ), 预先测 量相差图像上的左窗口位置和右窗口位置之间的间隙, 并且掌握窗口位置之间的间隙和照 明位置之间的相关性。 在该相关性中, 照明位置表示为与适当位置的差异, 从而可以基于窗 口位置之间的间隙计算与适当照明位置的差异。
此时, 可以如图 13A 至 13C 所示规定相差图像中左窗口位置和右窗口位置之间的 间隙。换句话说, 如果假设穿过对应于成像元件 134 的中心并对应于成像元件 134 的宽度 方向的轴是 x 轴, 则关注 x 轴上的成像元件 134 的输出信号值 ( 即, 亮度值 ) 的分布。由 于对应于左透镜的图像和对应于右透镜的图像的两个图像形成在成像元件 134 上, 则如图 13A 所示, 检测对应于左透镜的图像的亮度值分布和对应于右透镜的图像的亮度值分布。
首先, 散焦量校正单元 261 通过使用移动平均法平滑对应于左透镜和右透镜的 图像的亮度值, 并分别检测左亮度和右亮度的最大值 (Lmax 和 Rmax) 和最小值 (Lmin 和 Rmin)。 之后, 散焦量校正单元 261 将各左亮度值和右亮度值彼此独立地归一化。 因此, 散焦 量检测单元 261 能够获得如图 13B 所示的亮度分布。散焦量校正单元 261 在正规化亮度分 布搜索其亮度值超过预定阈值的像素位置, 并且此时, 从亮度分布的左端起搜索对应于左 透镜的图像, 并从亮度分布的右端起搜索对应于右透镜的图像。这里, 如图 13B 所示, 假设 对应于左透镜的图像具有在坐标 Lpos 处的预定亮度值, 而对应于右透镜的图像具有在坐 标 Rpos 处的亮度值。在该情况下, 如图 13C 所示, 散焦量校正单元 261 将坐标 Lpos 和 Rpos 之间的差当作相差图像中的左窗口位置和右窗口位置之间的间隙。
以这种方式, 通过预先规定窗口位置间的间隙和照明位置之间的相关性, 散焦量 校正单元 261 能够基于实际测量的窗口位置间的间隙和相关性来指定照明位置。另外, 散 焦量校正单元 261 使用其整体厚度已知的样本预先测量照明位置和样本的整体厚度之间 的相关性, 并能够基于指定的照明位置计算样本的整体厚度 T。
另外, 各厚度表示为如图 14 所示。
L: 空气中的焦距
s: 样本划分出的空气中的焦距部分
t: 盖玻片厚度 + 成像位置的封固剂的厚度T: 样本的整体厚度
z: 镜台位置
这里, 空气中的焦点是由物镜的种类等限定的固定值, 样本的整体厚度 T 是可以 通过上述处理计算的值, 而镜台位置是能够从整体驱动控制单元 221 获得的值。
另外, 在图 14 中, 如果玻璃的折射率用 δ 表示, 关系 δs = t 成立, 并且关系 L-s+T+Z =恒定值 ( 该值用 C 表示 ) 成立。
因此, 盖玻片和成像位置处的封固剂的厚度 t 用以下公式 151 表示。
t = δ(L+T+Z-C) (151)
从而, 散焦量校正单元 261 能够使用通过分析相差图像而获得的样本的整体厚度 T、 作为设计值的参数 L 和 C、 从整体驱动控制单元 221 获得的镜台位置 Z 以及玻璃的折射率 δ 来计算盖玻片的厚度 ( 更具体地, 盖玻片的厚度和成像位置处的封固剂的厚度之和 )。
根据变形例的散焦量校正单元 261 使用计算的盖玻片的厚度, 对从散焦量计算单 元 255 输出的散焦量执行偏移调节。从而可以在不改变驱动次数的情况下防止发生焦点没 对准, 因此可以进一步增强焦点检测的精确性。
散焦量校正单元 261 将指示偏移处理后的散焦量的信息输出到图案选择单元 257。从而, 图案选择单元 257 可以基于已经校正了由于厚盖玻片引起的焦点没对准的散焦 量来选择偏移图案。
以上已经描述了根据该变形例的显微镜控制装置 20 的功能。上述构成元件中的 每个都可以使用一般部件或电路来构造, 或者可以使用对每个构成元件的功能特有的硬件 来构造。各构成元件的所有功能可以通过 CPU 等来执行。因此, 可以根据实践本实施方式 时的技术水平适当地修改待使用的结构。
光学失真校正方法
接下来, 将参照图 15 描述根据本实施方式的光学失真校正方法 ( 更具体地, 失真 校正方法 ) 的流程。图 15 是示出根据本实施方式的光学失真校正方法的流程的流程图。
在以下描述之前, 假设由偏移图案生成单元 251 生成包括散焦量 0μm 处的偏移图 案 ( 基准偏移图案 ) 的各散焦量的多个偏移图案。
当从图像处理单元 225 输出相差图像时, 失真校正单元 227 的偏移处理单元 253 分析获得的相差图像并计算相差图像之间的相差。 然后, 偏移处理单元 253 从存储单元 215 等获得用作基准的偏移图案 ( 散焦量 0μm 处的偏移图案 ), 并从计算的相差减去用作基准 的偏移图案中描述的相差。之后, 偏移处理单元 253 将偏移处理之后的相差输出到散焦量 计算单元 255。
散焦量计算单元 255 使用从偏移处理单元 253 发送的关于偏移处理之后的相差的 信息来计算散焦量 ( 步骤 S101)。 之后, 散焦量计算单元 255 将计算的散焦量输出到图案选 择单元 257。
图案选择单元 257 确定所计算的散焦量是否适合待使用的偏移图案 ( 步骤 S103)。 如果使用了合适的偏移图案, 则失真校正单元 227 完成失真校正处理, 并将计算的散焦量 输出到整体驱动控制单元 221。
另一方面, 如果没有使用合适的偏移图案, 则图案选择单元 257 选择最接近所计 算的散焦量的偏移图案, 并将所选择的偏移图案输出到偏移处理单元 253。偏移处理单元 253 和散焦量计算单元 255 使用从图案选择单元 257 发送的偏移图 案, 再次执行偏移处理和散焦量计算处理 ( 步骤 S105)。之后, 图案选择单元 257 对再次从 散焦量计算单元 255 输出的散焦量再次执行步骤 S103 中的处理。
在根据本实施方式的光学失真校正处理 ( 失真校正处理 ) 中, 通过执行上述处理, 可以用非常小的计算负荷排除所计算的散焦量由于光学系统的失真而失真时的影响。
硬件结构
将参照图 16 详细描述根据本发明实施方式的显微镜控制装置 20 的硬件结构。图 16 是示出根据本发明实施方式的显微镜控制装置 20 的硬件结构的框图。
显 微 镜 控 制 装 置 20 主 要 包 括 CPU 901、 ROM 903、 RAM 905、 GPU( 图 形 处 理 单 元 )906。另外, 显微镜控制装置 20 进一步包括主机总线 907、 网桥 909、 外部总线 911、 接口 913、 输入装置 915、 输出装置 917、 存储装置 919、 驱动 921、 连接端口 923 以及通信装置 925。
CPU 901 用作运算处理单元和控制装置, 并根据 ROM 903、 RAM 905、 存储装置 919、 或可移动记录介质 927 中记录的各种程序来控制显微镜控制装置 20 的整个操作或其部分 操作。ROM 903 存储由 CPU 901 使用的程序和操作参数。RAM 905 主要存储由 CPU 901 使 用的程序、 在执行程序时适当改变的参数等。另外, GPU 906 用作运算处理单元和控制装 置, 其执行关于显微镜控制装置 20 中执行的各种图像处理的运算处理。GPU 906 根据 ROM 903、 RAM 905、 存储装置 919 或可移动记录介质 927 中记录的各种程序来控制显微镜控制装 置 20 中的图像处理的全部或部分操作。它们经由由诸如 CPU 总线的内部总线形成的主机 总线 907 彼此连接。
主机总线 907 经由网桥 909 连接至诸如 PCI( 外围组件互连 / 接口 ) 的外部总线 911。
诸如以鼠标、 键盘、 触摸屏、 按钮、 开关和控制杆为例的输入设备 915 是由用户操 作的操作装置。 另外, 输入装置 915 可以是 ( 例如 ) 使用红外线或其他电波的远程控制装置 ( 所谓的远程控制器 ), 或者可以是诸如支持显微镜控制装置 20 的操作的移动电话或 PDA 的外部连接装置 929。此外, 输入装置 915 由例如输入控制电路等构成, 其基于由使用操作 装置的用户输入的信息生成输入信号, 并将输入信号输出到 CPU 901。显微镜控制装置 20 的用户能够向显微镜控制装置 20 输入各种数据, 或者通过操作输入装置 915 指示显微镜控 制装置 20 执行处理。
输出装置 917 包括能够以可视或声音方式将获得的信息通知用户的装置。这些装 置包括诸如 CRT 显示装置、 液晶显示器、 离子显示面板、 EL 显示器以及灯的显示装置, 诸如 扬声器和耳机的音频输出装置、 打印机装置、 移动电话、 传真机等。例如, 输出装置 917 输出 ( 例如 ) 由显微镜控制装置 20 执行的各种处理获得的结果。具体地, 显示装置将通过由显 微镜控制装置 20 执行的各种处理获得的结果作为文本或图像来显示。另一方面, 音频输出 装置将包括再生音频数据、 声音数据等的音频信号转换成模拟信号以便输出。
存储装置 919 是用于存储数据的装置, 形成该存储设备作为显微镜控制装置 20 的 存储单元的实例。例如, 存储装置 919 包括诸如 HDD( 硬盘驱动 ) 的磁存储装置、 半导体存 储装置、 光存储装置、 磁光存储装置等。存储装置 919 存储由 CPU 901 执行的程序或各种数 据、 从外部装置获得的各种数据等。
驱动 921 是用于记录介质的读取器和写入器, 并嵌入或安装在显微镜控制装置 20的外部。驱动 921 读取安装的诸如磁盘、 光盘、 磁光盘或半导体存储器的可移动记录介质 927 中记录的信息, 并将读取的信息输出到 RAM 905。另外, 驱动 921 在安装的诸如磁盘、 光 盘、 磁光盘或半导体存储器的可移动记录介质 927 中写入信息。例如, 可移动记录介质 927 包括 DVD 介质、 HD-DVD 介质、 蓝光介质等。另外, 可移动记录介质 927 可以是紧凑型闪存 (CF, 注册商标 )、 闪存、 SD( 安全数字 ) 存储卡等。此外, 可移动记录介质 927 例如可以是 IC( 集成电路 ) 卡或其上安装有非接触 IC 芯片的电子设备。
连接端口 923 用于将装置直接连接至显微镜控制装置 20。连接端口 923 的实例 包括 USB( 通用串行总线 ) 端口、 IEEE1394 端口、 SCSI( 小型计算机系统接口 ) 端口等。连 接端口 923 的其他实例包括 RS-232C 端口、 光音频端子、 HDMI( 高清晰度多媒体接口 ) 端口 等。外部连接装置 929 连接至连接端口 923, 从而显微镜控制装置 20 直接从外部连接装置 929 获得各种数据, 并将各种数据提供到外部连接装置 929。
通信装置 925 是 ( 例如 ) 由用于连接至通信网络 931 的通信装置等构成的通信接 口。通信装置 925 可以是 ( 例如 ) 用于有线或无线 LAN( 局域网 ) 的通信卡等、 蓝牙 ( 注册 商标 )、 或 WUSB( 无线 USB)。 另外, 通信装置 925 可以是用于光通信的路由器、 用于 ADSL( 非 对称数字用户线 ) 的路由器、 用于各种通信的调制解调器等。该通信装置 925 能够基于诸 如以 TCP/IP 为例的预定协议向互联网或其他通信装置传输信号或从其接收信号。另外, 连 接至通信装置 925 的通信网络 931 由以有线或无线方式连接的网络等形成, 并且可以是互 联网、 家庭 LAN、 红外通信、 无线电波通信、 各种专用通信、 卫星通信等。
这样, 已经描述了能够实现根据本发明实施方式的显微镜控制装置 20 的功能的 硬件结构实例。上述构成元件中的每个都可以使用一般部件来构造, 或者可以由专用于每 个构成元件的功能的硬件来构造。 因此, 根据实践本发明时的技术水平, 可以适当地修改待 使用的硬件结构。
结论
如上所述, 在根据本发明实施方式的显微镜控制装置 20 中, 当基于相差图像即刻 获得整个范围中的样本观察表面的形状和散焦量时, 并不直接针对输入图像执行称为失真 的光学失真的校正, 而是通过相对于观察任意目标时检测的相差平面针对观察平面上的目 标时观察的相差平面执行偏移处理来执行。从而, 可以以非常小的计算负荷排除由于光学 系统的失真使所计算的散焦量失真的影响。
虽然已经参照附图描述了本发明的优选实施方式, 但是本发明不限于该实施方 式。本领域普通技术人员应理解, 在所附权利要求的范围内, 显然存在各种修改和替换, 并 且其自然包括在本发明的技术范围内。
例如, 在实施方式中, 虽然由显微镜控制装置 20 执行根据本发明实施方式的光学 失真的校正处理的情况, 但是本发明不限于该实例。 例如, 可以由显微镜本身执行根据本发 明实施方式的光学失真的校正处理。
本申请包含涉及于 2010 年 8 月 18 日在日本专利局提交的日本在先专利申请 JP 2010-183152 中发明的主题, 其全部内容结合于此作为参考。
本领域技术人员应当理解, 根据设计需求和其他因素, 可以进行各种修改、 组合、 子组合以及替换, 只要它们在所附权利要求或其等同物的范围内即可。