图像处理装置、图像处理方法及图像处理程序.pdf

本发明公开了图像处理装置、图像处理方法及图像处理程序，其中该图像处理装置包括：深度计算部，被配置为基于样本的至少部分的观察区域的第一模糊图像以及观察区域的第二模糊图像计算样本中的亮点在显微镜的物镜的光轴方向上的深度，其中第一模糊图像是通过沿光轴方向相对地移动物镜和样本来获得的，第二模糊图像是通过沿包括光轴方向的分量但不同于光轴方向的方向移动物镜和样本来获得的，亮点通过为观察区域中包括的目标染色来获得；以及校正部，被配置为基于关于算得的亮点的深度的信息，校正第一模糊图像。

权利要求书一种图像处理装置，包括：
深度计算部，被配置为基于样本的至少一部分的观察区域的第一模糊图像以及所述观察区域的第二模糊图像计算所述样本中的亮点在显微镜的物镜的光轴方向上的深度，其中所述第一模糊图像是通过沿所述光轴方向相对地移动所述物镜和所述样本来获得的，所述第二模糊图像是通过沿包括所述光轴方向的分量但不同于所述光轴方向的方向移动所述物镜和所述样本来获得的，所述亮点通过为所述观察区域中包括的目标染色来获得；以及
校正部，被配置为基于关于算得的所述亮点的深度的信息，校正所述第一模糊图像。
根据权利要求1所述的图像处理装置，
其中，所述校正部使用为所述光轴方向上的各个单位深度所设定的深度校正参数，校正所述亮点的亮度。
根据权利要求2所述的图像处理装置，进一步包括
波长计算部，被配置为计算所述亮点处的光的波长范围，其中，所述校正部进一步基于所述深度校正参数和关于算得的所述波长范围的信息，校正所述亮点的亮度。
根据权利要求1所述的图像处理装置，
其中，所述校正部使用在所述第一模糊图像的平面内根据距所述亮点的亮度峰值的位置的距离所设定的成形校正参数，校正所述亮点的亮度。
根据权利要求1所述的图像处理装置，进一步包括
三维图像生成部，被配置为基于关于由所述校正部校正的所述亮点的亮度的信息以及关于由所述深度计算部算得的所述亮点的深度的信息，生成包括所述目标的所述观察区域的三维图像。
根据权利要求1所述的图像处理装置，进一步包括：
另一校正部，被配置为校正所述第一模糊图像中的另一目标的模糊图像，所述另一目标包括所述目标，在所述光轴方向上比所述目标厚，并且在所述物镜和所述样本在所述光轴方向上的整个相对移动范围内持续存在于所述样本中。
根据权利要求6所述的图像处理装置，
其中，所述另一校正部使用在所述第一模糊图像的平面内根据距所述另一目标的亮度峰值的位置的距离所设定的成形校正参数，校正所述另一目标的亮度。
一种图像处理方法，包括：
基于样本的至少一部分的观察区域的第一模糊图像以及所述观察区域的第二模糊图像计算所述样本中的亮点在显微镜的物镜的光轴方向上的深度，其中所述第一模糊图像是通过沿所述光轴方向相对地移动所述物镜和所述样本来获得的，所述第二模糊图像是通过沿包括所述光轴方向的分量但不同于所述光轴方向的方向移动所述物镜和所述样本来获得的，所述亮点通过为所述观察区域中包括的目标染色来获得；以及
基于关于算得的所述亮点的深度的信息，校正所述第一模糊图像。
一种图像处理程序，使计算机执行下列步骤：
基于样本的至少一部分的观察区域的第一模糊图像以及所述观察区域的第二模糊图像计算所述样本中的亮点在显微镜的物镜的光轴方向上的深度，其中所述第一模糊图像是通过沿所述光轴方向相对地移动所述物镜和所述样本来获得的，所述第二模糊图像是通过沿包括所述光轴方向的分量但不同于所述光轴方向的方向移动所述物镜和所述样本来获得的，所述亮点通过为所述观察区域中包括的目标染色来获得；以及
基于关于算得的所述亮点的深度的信息，校正所述第一模糊图像。

说明书图像处理装置、图像处理方法及图像处理程序
技术领域
本发明涉及用于对使用显微镜所获得的图像进行处理的图像处理装置、图像处理方法及图像处理程序。
背景技术
在病理诊断等领域中，作为用于观察生物组织的方法有荧光染色法。荧光染色法是一种预先用染色剂对样本进行染色并使用荧光显微镜观察从由于受到激发光的照射而被激发的染色剂发出的荧光的方法。通过选择适当的染色剂，能够观察染色剂对其具有化学特异性的特定组织（例如亚细胞器）。在一些情况下可以使用一种染色剂，但是通过使用具有不同化学特异性和荧光色的多种染色剂，可以利用不同的荧光色而观察多个组织。
例如，诸如细胞核中包含的DNA和RNA的高分子被特定染色剂染色，并且高分子发出的荧光作为荧光显微镜获得的图像（荧光图像）中的亮点。亮点的某一状态（数量、位置、尺寸等）主要为病理学上的分析对象。
例如，在日本专利申请公开第2009‑37250号中记载的“微生物测量装置”包括光谱滤色镜，其对从样本发出的荧光进行分光，并使用单色成像器获得每个预定颜色的荧光图像。由于荧光图像中所包含的亮点局限于光谱滤色镜的透射波长，因此甚至在使用多个染色剂时，也可以计算每种颜色的亮点（例如，参见日本专利申请公开第2009‑37250号）。
发明内容
在使用显微镜的过去图像处理系统中，处理的数据量是巨大的。
鉴于如上所述的情况，需要能够减少数据量的图像处理装置、图像处理方法及图像处理程序。
根据本发明的实施方式，提供一种包括深度计算部和校正部的图像处理装置。
深度计算部被配置为基于样本的至少一部分的观察区域的第一模糊图像以及观察区域的第二模糊图像计算样本中的亮点在显微镜的物镜的光轴方向上的深度，其中第一模糊图像是通过沿光轴方向相对地移动物镜和样本来获得的，第二模糊图像是通过沿包括光轴方向的分量但不同于光轴方向的方向移动物镜和样本来获得的，亮点通过为观察区域中包括的目标染色来获得。
校正部，被配置为基于关于算得的亮点的深度的信息，校正第一模糊图像。
由于深度计算部基于第一模糊图像和第二模糊图像计算样本的观察区域中的亮点的深度，因此能够减少数据量。
通过显微镜获得的图像中的亮点的模糊程度根据样本中的亮点定位在光轴方向上的深度（也就是说，亮点的深度）而变化，因此校正部基于关于所算得的样本中的亮点的深度的信息，校正第一模糊图像。因此，能够量化亮点的亮度。
校正部可以使用为光轴方向上的各个单位深度所设定的深度校正参数，校正亮点的亮度。校正部通过使用深度校正参数，能够容易地执行亮度校正操作。
图像处理装置可以进一步包括波长计算部，被配置为计算亮点处的光的波长范围。在这种情况下，校正部进一步基于深度校正参数和关于算得的波长范围的信息，校正亮点的亮度。利用该结构，可以补偿由于亮点的颜色（波长）造成的物镜的焦点深度的差异。
例如，校正部可以使用在第一模糊图像的平面内根据距亮点的亮度峰值的位置的距离所设定的成形校正参数，校正亮点的亮度。利用该结构，可以校正第一模糊图像中的亮点的模糊。
图像处理装置可能进一步包括：三维图像生成部，被配置为基于关于由校正部校正的亮点的亮度的信息以及关于由深度计算部算得的亮点的深度的信息，生成包括目标的观察区域的三维图像。利用该结构，观察区域的三维显示变得可行。
图像处理装置可以进一步包括：另一校正部，被配置为校正第一模糊图像中的另一目标的模糊图像。该另一目标包括所述目标，在光轴方向上比所述目标厚并且在物镜和样本在光轴方向上的整个相对移动范围内持续存在于所述样本中。
根据本发明实施方式，提供了一种图像处理方法，包括：基于样本的至少一部分的观察区域的第一模糊图像以及观察区域的第二模糊图像计算样本中的亮点在显微镜的物镜的光轴方向上的深度，其中第一模糊图像是通过沿光轴方向相对地移动物镜和样本来获得的，第二模糊图像是通过沿包括光轴方向的分量但不同于光轴方向的方向移动物镜和样本来获得的，亮点通过为观察区域中包括的目标染色来获得。
基于关于所算得的亮点的深度的信息校正第一模糊图像。
根据本发明实施方式的图像处理程序使计算机执行上述图像处理方法的步骤。
如上所述，根据本发明的实施方式，能够减少数据量。
本发明的这些和其它目的、特征以及优点将在下文对附图所示的本发明的最佳模式实施方式的详细描述中变得更加显而易见。
附图说明
图1是示出了根据本发明实施方式的图像处理系统的示意图；
图2是从载物台的侧面方向示出了载置在载物台上的样本的示意图；
图3是示出了图像处理装置的结构的框图；
图4是示出了各个染色剂的发射光谱的示例的示意图；
图5是示出了发射滤色镜的透射光谱的示例的示意图；
图6示出了每种颜色的发射光谱的RGB亮度值的数据；
图7是示出了图像处理装置的处理的流程图；
图8是示出了Z轴方向上焦点的扫描状态的示意图；
图9是示出了焦点在Z轴方向移动时通过执行曝光处理所获得的样本的图像（第一图像）的示意图；
图10是示出了Z方向和X方向上焦点的扫描状态的示意图；
图11是示出了焦点在Z方向和X方向移动时通过执行曝光处理所获得的样本的图像（第二图像）的示意图；
图12是示出了将第一图像和第二图像合成的合成图像的示意图；
图13是示出了使用图12中示出的合成图像对目标的深度位置进行计算处理的示意图；
图14是用于说明对于各个单位深度亮点的亮度不同的示意图；
图15A示出了了通过使用包括亮度校正系数和成形校正系数的校正曲线（图15B），对用黑点表示的每条曲线中的各标记的亮点进行模糊校正所获得的结果的示意图，；
图16示出了了聚焦图像的列表数据的示例；
图17是用于解释生成三维图像数据的方法的示意图；
图18是示出了根据本发明另一实施方式的对目标的模糊图像进行校正处理的流程图；以及
图19是用于解释图18中所示的校正处理的示意图。
具体实施方式
下文中，将参照附图描述本发明的实施方式。
[图像处理系统的结构]
图1是示出了根据本发明实施方式的图像处理系统1的示意图。如图所示，该实施方式的图像处理系统1包括显微镜（荧光显微镜）10和连接至显微镜10的图像处理装置20。
显微镜10包括载物台11、光学系统12、明场拍摄照明灯13、光源14和图像摄取装置30。
载物台11包括能够载置诸如组织切片、细胞和染色体的生物高分子样本SPL的载置面，并可在与载置面平行和垂直的方向（XYZ轴方向）上移动。
图2是从载物台11的侧面方向示出了载置在载物台11上的样本SPL的示意图。
如图所示，样本SPL在Z轴方向上的厚度（深度）大约为4μm~8μm，通过预定固定方法固定于载玻片SG和盖玻片CG之间，并且根据需要对样本SPL中的观察对象进行染色。从利用从一个光源14发出的激发光而发出不同荧光的多个染色剂中选择染色剂。图4是示出了各个染色剂的发射光谱的示例的示意图。例如，执行荧光染色来标记样本SPL中的特定目标。经过荧光染色的目标表示为图2中的荧光标记M（M1、M2），并且荧光标记M被表示为显微镜获得的图像中的亮点。
返回参考图1，光学系统12设置在载物台11上方，并且包括物镜12A、成像透镜12B、分色镜12C、发射滤色镜12D以及激发滤色镜12E。
物镜12A和成像透镜12B将通过明场拍摄照明灯13获得的样本SPL的图像放大预定倍率，并在图像摄取装置30的图像摄取面上形成放大图像的图像。放大图像是样本的至少部分区域的图像以及作为显微镜10的观察区域的图像。应当注意，当使用明场拍摄照明灯13观察样本SPL的图像时，可通过将分色镜12C和发射滤色镜12D从光路移除，来对持有更准确的颜色信息的图像进行观察。
激发滤色镜12E通过仅仅使从光源14发出的光中具有激发荧光色素的激发波长的光透过，来生成激发光。分色镜12C反射透过激发滤色镜并进入分色镜12C的激发光，并将其导向物镜12A。物镜12A将激发光会聚在样本SPL。
当对固定到载玻片SG的样本SPL执行荧光染色时，利用激发光来使荧光色素发光。由这样的发光所获得的光（彩色光）经由物镜12A透过分色镜12C，并经由发射滤色镜12D到达成像透镜12B。
发射滤色镜12D吸收被物镜12A放大的彩色光除外的光（外部光）。外部光已被发射滤色镜12D去除的彩色光的图像被成像透镜12B放大，并如上所述成像在图像摄取装置30上。
图5是示出了发射滤色镜12D的透射光谱的示例的示意图。图4中所示的荧光染色的各个颜色的发射光谱被发射滤色镜12D滤波，并另外被稍后将描述的图像摄取装置30的RGB（红色、绿色、蓝色）滤色器滤波。
图6示出了如上所述生成的各个颜色的发射光谱的RGB亮度值的数据，即，指示在荧光色素发出的光被图像摄取装置30的RGB滤色器吸收并形成彩色信号的情况下的RGB亮度值的比率的数据。RGB亮度值数据在图像处理装置20（或者安装在图像处理装置20中的软件）出厂时预先存储。然而，图像处理装置20可以包括用于创建RGB亮度值数据的程序。
明场拍摄照明灯13设置在载物台11的下方，并且经由形成于载物台11上的开口（未示出）向载置在载置面上的样本SPL照射照明光。
图像摄取装置30的示例包括CCD（电荷耦合器件）和CMOS（互补金属氧化物半导体）。图像摄取装置30是包括如上所述的RGB滤色器的装置，并且是输出入射光作为彩色图像的彩色成像器。图像摄取装置30可以与显微镜10一体地设置，或者可以设置在可与显微镜10连接的图像摄取装置（例如，数码相机）的内部。
图像处理装置20例如由PC（个人计算机）构成，并存储由图像摄取装置30生成的样本SPL的图像作为预定格式（如，JPEG（联合图像专家组））的数字图像数据（虚拟切片）。
[图像处理装置的结构]
图3是示出了图像处理装置20的结构的框图。
如图所示，图像处理装置20包括经由总线28连接的CPU（中央处理单元）21、ROM（只读存储器）22、RAM（随机存取存储器）23、操作输入部24、接口部25、显示部26以及存储部27。
ROM 22固定地存储用于执行各种处理的程序（如，固件）和多种类型的数据。RAM 23用作CPU 21的工作区，并临时存储OS（操作系统）、正在执行的各种应用以及正在处理的各种类型的数据。
存储部27是诸如HDD（硬盘驱动））、闪速存储器和其他固态存储器的非易失性存储器。存储部27存储OS、各种应用和各种类型的数据。具体地，在该实施方式中，存储部27存储从显微镜10获取的图像数据以及用于处理图像数据并计算样本SPL中的目标的亮点的深度（Z轴方向（物镜12A的光轴方向）的高度）的图像处理应用。
接口部25将图像处理装置20连接至显微镜10的载物台11、光源14和图像摄取装置30，并以预定通信标准与显微镜10交换信号。
在RAM 23中，CPU 21将存储在ROM 22和存储部27中的多个程序中与来自操作输入部24的命令相对应的程序展开，并根据所展开的程序适宜地控制显示部26和存储部27。具体地，在该实施方式中，CPU 21通过图像处理应用对样本SPL中的目标的深度执行计算处理。此时，CPU21经由接口部25适宜地控制载物台11、光源14和图像摄取装置30。
可以实施诸如FPGA（现场可编程门阵列）的PLD（可编程逻辑器件）和诸如ASIC（特定用途集成电路）的其他装置来代替CPU 21。
例如，操作输入部24是诸如鼠标的指点装置、键盘、触摸屏或其他操作装置。
显示部26可以与图像处理装置20一体地设置，或者可以外部地连接至图像处理装置20。
[图像处理系统的操作]
将描述如上所述构造的显微镜10的操作和图像处理装置20的处理。图7是示出了图像处理装置20的处理的流程图。通过存储在存储装置（ROM 22、存储部27等）中的软件程序和硬件资源（如CPU 21）的相互协作来实施图像处理装置20的处理。在以下的描述中，为了方便起见，处理的主体将是CPU（CPU 21）。
例如，用户将如图2中所示的已经过荧光染色的样本SPL放置在显微镜10的载物台11上。CPU检测表现为样本SPL中的亮点的荧光标记M的颜色（步骤101），并指出其波长（步骤102）。在这种情况下，CPU用作波长计算部。
实际上，在步骤101和步骤102中，CPU能够获取由图像摄取装置30获得的像素值（亮度值）的数据，并通过参考图6中示出的表格掌握像素值所属的荧光色（波长范围）。在这种情况下，CPU可以选择各自代表荧光色的波长范围的波长之一。
在不使用图6中示出的表格的情况下，CPU可以通过使用基于像素值的预定算法的操作来计算波长。
另一方面，CPU计算荧光标记M1和M2在光轴方向（Z轴方向）上的深度（步骤103）。在这种情况下，CPU主要用作深度计算部。下文中，将描述深度计算方法。
<亮点的深度计算>
在将样本SPL放置在载物台11上之后，CPU设定载物台11在垂直方向（Z轴方向）上的初始位置。
如图8所示，将初始位置DP（默认位置）设定为使得物镜12A的焦点面FP的位置位于深度方向存在有样本SPL的范围之外（以上或以下），也就是说，在图像摄取装置30的曝光过程中，焦点的活动范围（扫描范围）为样本SPL的整个表面。
随后，如图8的箭头所示，CPU通过在以预定恒速度从初始位置DP在垂直方向（Z轴方向）上移动载物台11（即，焦点）的同时，使图像摄取装置30曝光来对样本SPL进行拍摄。这里，CPU将扫描范围为样本SPL的整个表面所在的位置设定为移动结束位置EP（终点）。换句话说，初始位置DP和结束位置EP被设定为使得样本SPL介于初始位置DP和结束位置EP之间的范围中（扫描范围比样本SPL的厚度长）。
图9是示出了通过在如上所述扫描焦点的同时执行曝光处理所获得的样本SPL的图像（第一模糊图像）的示意图。如图所示，在第一模糊图像60中，荧光标记M1代表亮点A的图像，并且荧光标记M2代表亮点B的图像。
这里，由于第一模糊图像60是通过在样本SPL的Z轴方向上扫描焦点的同时进行曝光所拍摄的图像，因此第一模糊图像60为其中聚焦在荧光标记M1和M2上的焦点面FP的图像和未聚焦在荧光标记M1和M2上的焦点面FP的图像相叠加的图像。因此，亮点A和B的图像的外围稍微模糊，但是可以清楚地识别其位置。
CPU经由接口部25从图像摄取装置30获取第一模糊图像60，并且将其临时存储在RAM 23中。
随后，CPU将载物台11设定回至Z轴方向上的初始位置DP。
图10是示出了Z轴方向和X轴方向上的焦点的下一次扫描的状态的示意图。
如图10所示，在CPU使载物台11（焦点）在Z轴方向上以第一速度（Vz）以及在X轴方向上以第二速度（Vx）从初始位置DP移动到结束位置EP的同时，利用图像摄取装置30的曝光，CPU对样本SPL进行拍摄。换句话说，载物台11沿着包括光轴方向的分量但不同于光轴方向的方向移动。
图11是示出了在Z轴方向和X轴方向上扫描焦点的同时通过执行曝光处理所获得的样本SPL的图像（第二模糊图像）的示意图。如图所示，在第二模糊图像80中，样本SPL中焦点每次变化所获得的图像的轨迹表现为单个图像。换句话说，表示荧光标记M1和M2的亮点A和B的图像随着在X轴方向上扫描焦点而从大的模糊状态变成小的聚焦状态，之后再变成模糊状态。
CPU经由接口部25从图像摄取装置30获得第二模糊图像80，并且将其临时存储在RAM 23中。
接着，CPU通过将第一模糊图像60和第二模糊图像80合成，来生成合成图像。
图12是示出了合成图像的示意图。如图所示，在合成图像90中，出现在所获得的第一模糊图像60中的亮点A和B（亮点A1和B1）的图像以及出现在所获得的第二模糊图像80中的亮点A和B（亮点A2和B2）的图像分别在同一行呈现为单个图像。
随后，CPU从合成图像90检测第一模糊图像60中的亮点A1和B1的位置坐标（A1：（XA1,YA），B1：（XB1,YB））以及第二模糊图像80中的亮点A2和B2的位置坐标（A2：（XA2,YA），B2：（XB2,YB））。这里，例如，CPU通过提取具有预定阀值以上的亮度值（荧光强度）的一组多个像素并检测具有最高亮度的像素的位置，来检测各个亮点。当执行根据目标而进行不同颜色的荧光染色时，CPU检测各个不同颜色的亮度。
然后，CPU计算所检测到的第一模糊图像60中的亮点和所检测到的第二模糊图像80中的亮点之间的距离（DA、DB）。换句话说，在图12中，CPU计算亮点A1（XA1,YA）与亮点A2（XA2,YA）之间的距离（XA1‑XA2）和亮点B1（XB1,YB）与亮点B2（XB2,YB）之间的距离DB：（XB1‑XB2）。
之后，基于距离D，CPU计算第一速度Vz作为焦点在Z轴方向的移动速度；第二速度Vx作为焦点在X轴方向上的扫描速度以及样本SPL中的各个荧光标记M的深度h。
图13是示出了使用图12中示出的合成图像90对荧光标记M的深度进行计算处理的示意图。这里，通过tA=hA/Vz（hA代表样本SPL中的亮点A的高度）来计算自载物台11开始移动以来（在焦点聚焦在亮点A之前）所经过的时间tA。
距离DA和DB也用下列的表达式表示。
DA=tA*Vx=Vx*hA/Vz hA*Vx/Vz
DB=hB*Vx/Vz
通过变形上面的表达式，通过下列的表达式可以计算亮点A和B的深度hA和hB。
hA=DA*Vz/Vx
hB=DB*Vz/Vv
CPU基于上面的表达式计算亮点A和B的深度hA和hB，并将通过计算获得的信息输出到例如各个亮点的显示部26。通过计算各个亮点的深度，例如，可以判断由亮点A表示的荧光标记M1和由亮点B表示的荧光标记M2是否存在于相同组织（细胞）中。还能够检测荧光标记M1和荧光标记M2之间的三维距离。图像处理系统的操作者例如可以在各种病理诊断材料以及新药研制中使用该计算结果。
这里，第二速度Vx被设定为大于第一速度Vz。这是因为，在指出从第二模糊图像80获取的亮点A和B的图像在合成图像90中聚焦所在的位置的坐标（A2和B2）时，如果模糊图像的重叠范围很大，则图像变得难以分开，结果就不能容易地指出坐标（A2和B2）。
此外，如图13所示，亮点A和B的深度hA和hB分别被计算为焦点的初始位置DP和亮点之间的距离。因此，为了仅基于样本SPL计算准确的高度，仅需从所算得的深度hA和hB减去对应于初始位置DP与载玻片SG和样本SPL之间的边界之间的距离的长度。
应当注意，CPU能够基于所获得的像素的亮度值是否超过预设阀值，指出第一模糊图像60中构成模糊亮点的图像的像素组。换句话说，CPU能够认识到第一模糊图像60中的像素组的图像是一个模糊亮点的图像。
步骤101至步骤103的过程并不局限于上面提到的顺序，例如，步骤103可以在步骤101和102之前被执行。
<模糊图像的校正>
参考图7，CPU基于关于算出的各个亮点的深度的信息，对通过在Z轴方向扫描焦点所获得的第一模糊图像60的模糊进行校正（步骤104至步骤108）。在这种情况下，CPU主要用作校正部。
CPU计算各个单位深度的深度校正系数（深度校正参数）（步骤104）。对于各个单位深度，深度校正系数像下面的情况那样预设为预定值，例如，深度校正系数在深度方向的中心位置为0，在深度方向距该中心位置±1μm的位置为+1，在深度方向距该中心位置±2μm的位置为+2等。单位深度并不限于1μm。
图14是用于解释亮点的亮度对于各个单位深度不同的示意图。
如图14所示，在焦点的扫描范围例如是5μm时，标记（荧光标记）3出现在扫描范围的中心位置，标记1、2、4和5出现在深度方向上距中心位置每±1μm的位置处。在这种情况下，如图15A所示，CPU能够获取标记1到5的亮点的各个像素的亮度分布（用黑点表示的曲线）。这里，假定标记1到5的发光色均是相同的。在图15A中，横轴表示第一模糊图像的X位置（或Y位置）（像素位置），纵轴表示亮度（以亮度峰值设定为200作为标准值）。
如由图15A的黑点的曲线所表示的，标记2至4的亮点均具有最高亮度峰值，并且随着标记移动而远离扫描范围中标记3所在的中心位置，那些标记的亮点的亮度峰值变得更低。应当注意，虽然在该示例中，标记2的亮度峰值与标记3和4的相同，但是标记2的亮度峰值在一些情况下可以高于标记3和4的亮度峰值。
如上所述，亮度值根据亮点在第一模糊图像60中存在的深度的差异而不同的原因如下。
在正在扫描焦点时，也就是说，在图像摄取装置30的曝光期间，在标记1到5中，焦点被聚焦或处于接近状态的总时间最长的标记是中心位置的标记3。随着总时间增加，亮点的亮度峰值增大。随着标记移动远离中心位置，其处于聚焦状态或接近状态的总时间变得越短，因此亮度峰值变得越低。因此，通过扫描获得的第一模糊图像60的亮度分布为图15A中所示的黑点的曲线中的亮度分布。
应当注意，虽然在图15A示出的示例中，以二维方式获得亮度分布，但是由于图像摄取装置30实际上具有在X和Y轴方向二维排列的像素，因此CPU能够获得三维亮度分布。为了帮助理解描述，亮度分布如图15A所示二维地表示（这种情况下，X‑Z）。
如上所述，由于亮度峰值根据亮点存在的深度的差异而不同，因此为了量化亮度峰值，CPU如上所述生成深度校正系数。
深度校正系数并不限于如上所述预先设置的情况。例如，CPU可以计算第一模糊图像60中的多个亮点的亮度峰值中最高亮度峰值和最低亮度峰值之间的差异，并基于该差异，计算各个单位深度的深度校正系数。
随后，CPU计算亮度校正系数（步骤105）。
基于在步骤102和104获得的亮点的波长（波长系数）和深度校正系数以及物镜12A的NA（数值孔径），CPU计算亮度校正系数（亮度校正参数），以校正第一模糊图像60中的亮点A1和A2的亮度。所算出的波长的数据用于计算亮度校正系数。
使用亮点的波长的数据的原因在于，物镜12A的焦点深度根据亮点的波长而不同，因此模糊程度（也就是说，亮点的亮度）不同。焦点深度d表示为d=λ/NA2。λ表示波长。例如，当在同样深度大概存在具有不同波长的两个亮点时，即时在焦点聚焦于亮点之一上时，由于另一亮点未被聚焦而变得模糊，因此亮点的亮度十分不同。因此，CPU选择取决于波长的波长系数。
作为示例，当光的总波长范围中500nm到550nm之间的中心波长的波长系数是0时，将波长系数设定为，使得每当波长相对于中心波长范围变化对应于单位波长范围（例如，50nm）的量时，其增加预定值。对于各个单位波长，仅需将波长系数预先设定成预定值。
然后，CPU基于深度校正系数和波长系数计算亮度校正系数。例如，通过将深度校正系数乘以波长系数，或者通过使用深度校正参数和波长校正参数的预定算法的操作，CPU计算亮度校正系数，以量化第一模糊图像60的亮点A1和A2的亮度值。换句话说，CPU计算亮度校正系数，使得具有相同波长范围并且基本位于相同深度的亮点的亮度峰值基本相同。
随后，CPU计算成形（shaping）校正系数（成形校正参数）（步骤106）。
根据在第一模糊图像60的平面中距亮点的亮度峰值的位置的距离，设定成形校正系数。换句话说，亮点的亮度峰值所在的位置（以下，称为峰值位置），实际上与发生模糊的亮点的中心位置一致。
还可以根据距峰值位置的距离预设成形校正系数。在这种情况下，可以为各个单位深度设定成形校正系数。在这种情况下，成形校正系数被设定为，使得具有相同波长范围并且实质上存在于相同深度的亮点的亮度分布实际上一致。
可选地，由于在第一模糊图像60中的亮点中，越远离峰值位置的亮点的亮度变得越小，因此CPU可以基于从峰值位置的亮度的变化率，来计算成形校正系数。
应当注意，在步骤107中，对于峰值位置计算方法，在第一模糊图像60的像素中，仅需提取具有超过预设阈值的亮度值的像素中具有最大亮度值的像素作为峰值位置。可以基于第一模糊图像60中的最大亮度值和最小亮度值之间的差来计算阈值。
然后，CPU使用算出的亮度校正系数和成形校正系数来校正第一模糊图像60的亮点A1和A2（步骤107）。因此，能够获得亮点A1和A2的聚焦图像。例如，通过重复地执行利用减法进行的图像拟合，CPU能够获得聚焦图像。
图15A是示出了通过使用包括亮度校正系数和成形校正系数的校正曲线（图15B），校正由黑点表示的各条曲线中的各个标记1到5的亮点的模糊所获得的结果的示意图。在图15B中，横轴表示对应于图15A的第一模糊图像的X位置（或Y位置）（像素位置），纵轴表示校正系数。
如图15A所示，通过使用图15B中示出的校正系数（亮度校正系数和成形校正系数）处理由黑点表示的模糊图像的亮度分布（在该情况下为进行相乘），生成了由图15A的白点表示的聚焦图像（模糊被抑制的图像）。
然后，CPU用通过模糊校正获得的亮点A1和A2的聚焦图像，部分地替换第一模糊图像60中的亮点A1和A2的模糊图像（步骤108）。因此，生成包括模糊已被校正的亮点A1和A2（也就是说，对应于第一模糊图像60的聚焦亮点A1和A2）的图像。
如上所述，由于在该实施方式中，基于第一模糊图像60和第二模糊图像80来计算样本的观察区域中的亮点的深度，因此能够减少数据量。具体地，与载物台11在光轴方向上以步进移动并且对于各个步进拍摄许多图像并将其存储的情况相比，在该实施方式中，通过仅仅存储第一模糊图像60和第二模糊图像80的两个图像，就能够计算亮点的深度。因此，能够减少数据量。
通过显微镜10获得的荧光图像中的亮点的模糊度根据样本中的亮点在光轴方向上的深度（即，焦点深度）而变化，但是在该实施方式中，基于关于算出的样本中的亮点的深度的信息，校正第一模糊图像60。因此，能够量化亮点的亮度。
在该实施方式中，CPU通过使用深度校正系数校正亮度，能够容易地执行亮度校正操作。
在该实施方式中，在亮度校正系数和成形校正系数是预设的时，在存储装置中预先存储如图15B所示的每个单位深度（和每个波长范围）的校正曲线。然后CPU仅需要基于所算出的亮点的波长和深度，通过查找表系统从校正曲线适宜地选择一个校正曲线，并校正第一模糊图像60中的亮点的模糊。
[聚焦图像的列表数据]
图16示出了在步骤108中生成的聚焦图像的列表数据的示例。
该示例示出了两个亮点（亮点编号1和2）的列表。
亮点的XY位置指示（亮点的最大亮度的）亮点中心像素位置。
校正前后的颜色（RGB亮度值）指示亮点的亮度峰值。
作为步骤101中的颜色检测的结果，荧光标记分类指示最可能是哪种颜色的荧光标记的类型。
在出现在中心位置的深度的亮点的亮度（标准亮度）被设定为1.00的情况下，荧光强度指示出现在远离中心位置的深度的亮点的亮度是标准亮度的多少倍。因此，在该示例中，在两个亮点的校正之后获得的RGB亮度值是在校正之前获得的RGB亮度值的1.2和0.9倍。
[创建三维图像数据的方法]
CPU还能够在校正第一模糊图像60之后生成三维图像。在这种情况下，CPU主要用作三维图像生成部。
图17是用于解释生成三维图像数据的方法的示意图。通过如上所述在步骤107和108中校正第一模糊图像60的亮点的模糊，CPU获得聚焦图像61。应当注意，虽然在上面的描述中，在观察区域中存在两个亮点A1和A2，但是在这里的描述中，存在其深度分别是‑3μm、0μm（扫描范围的中心位置）和+2μm的三个亮点A到C。
为了生成左眼图像和右眼图像，CPU复制聚焦图像61，并生成左眼图像62和右眼图像63。
与作为标准的亮点A（深度0μm）相比，如下校正远离物镜12A的亮点B（‑3μm）。具体地，对于亮点B的聚焦图像，CPU根据距标准的深度（‑3μm），向左手方向移动左眼图像并向右手方向移动右眼图像。
另一方面，与作为标准的亮点A相比，如下校正靠近物镜12A的亮点C（+2μm）。具体地，对于亮点C的聚焦图像，CPU根据距标准的深度（+2μm），向右手方向移动左眼图像并向左手方向移动右眼图像。
可以如下设定亮点B和C的聚焦图像的移动量。例如，当横向方向上每单位深度（例如，1μm）的移动量是10个像素时，亮点B的聚焦图像的移动量可以被设定为30个像素，亮点C的聚焦图像的移动量可以被设定为20个像素。应当注意，亮点A的位置不改变。
[根据另一实施方式的目标的模糊图像的校正]
图18是示出了根据本发明另一实施方式的目标的模糊图像的校正处理的流程图。
在上面的实施方式中，在执行荧光染色时，具有相对高亮度的高分子（诸如DNA和RNA）作为目标。在该实施方式中，将对执行荧光染色时，在载物台11的整个扫描范围内持续存在于样本SPL中的目标的模糊图像的校正给出描述。该情况下的目标通常是“细胞核”，包括诸如DNA和RNA的高分子目标。换句话说，该情况下的染色通常称为对比染色。
图19是用于解释校正处理的示意图。
总体上，细胞核CL在光轴方向上的厚度充分大于诸如DNA和RNA的高分子目标T在光轴方向上的厚度。因此，通过对细胞核CL执行对比染色，当在光轴方向上扫描载物台11时，显微镜10能够获得亮度比整个扫描范围内细胞核CL的外围60a的亮度高的亮度的细胞核CL的图像。
然而，当以观察高分子目标T（诸如DNA和RNA）时使用的倍率（高倍率）观察细胞核CL时，物镜12A的焦点不在扫描范围内的细胞核CL上。因此，如图19的上图所示，例如，第一模糊图像60中所获得的细胞核CL的图像以与细胞核CL的外围60a的亮度相比高的均匀亮度在稍微模糊的状态下获得。然而，显示为细胞核CL的染色剂的均匀亮度变得低于诸如DNA和RNA的高分子目标T的亮点的均匀亮度。
例如，CPU基于第一模糊图像60检测其中存在这样的细胞核CL的区域。在这种情况下，CPU用作另一校正部。
如图18所示，CPU检测对比染色的荧光色（步骤201）。该处理与步骤101的处理相同（参见图7）。
然后，CPU检测细胞核CL与其外围60a之间的边界（步骤202）。可以使用边缘检测技术进行该区域检测。在边缘检测中，从第一模糊图像60中具有均匀亮度的细胞核CL的像素位置，检测其亮度逐渐减少或变成另一亮度的像素区域（具有等于或大于阀值的亮度变化率的像素区域）。
随后，CPU通过成形处理校正像素区域（步骤203）。通过成形处理，对应于像素区域的图像被替换成具有细胞核CL的强调轮廓的图像61。
对于成形处理，使用与使用步骤106的成形校正系数的步骤107的模糊校正处理中使用的方法相同的方法（参见图7）。在这种情况下，细胞核CL的亮度值的标准位置可以是第一模糊图像60中整个细胞核CL的亮度值中具有峰值的像素位置，或者是具有等于或大于阀值的亮度变化率的像素区域中具有亮度峰值的像素位置。
因此，在具有细胞核级别大小的目标的情况下，能够校正模糊图像而不管目标的深度信息。
[其他实施方式]
本发明不限于上面的实施方式，还可以实现各种其他实施方式。
在获得第二模糊图像80时，图像处理装置20通过在X（Y）轴方向上移动载物台11来移动焦点。然而，在X（Y）轴方向上移动图像摄取装置30的机构可以设置在图像处理装置20中，以便通过使用该机构移动图像摄取装置30而不是移动载物台11来移动焦点。可替换地，可以使用这两种技术。
在上面的实施方式中使用荧光显微镜，但是可以使用荧光显微镜之外的显微镜。在这种情况下，目标不需要被荧光染色，并仅需要通过某些标记方法作标记以可作为亮点能够被观察即可。
在上面的实施方式中，分离地设置显微镜和图像处理装置，但是它们可以作为单个装置整体地提供。
图像摄取装置不限于3种颜色的RGB滤色器，并可以装配有4种颜色或5种以上颜色的滤色器。
在上面的实施方式中，计算了深度hA和hB，但是由于距离DA和DB是与深度hA和hB成比例的值，因此在步骤104以及后续步骤的处理中，可以处理距离DA和DB作为标准深度。
还可以组合上面实施方式的特征部分中的至少两个特征部分。
本发明还可以采用以下结构。
1）一种图像处理装置，包括：
深度计算部，被配置为基于样本的至少部分的观察区域的第一模糊图像以及所述观察区域的第二模糊图像计算所述样本中的亮点在显微镜的物镜的光轴方向上的深度，其中所述第一模糊图像是通过沿所述光轴方向相对地移动所述物镜和所述样本来获得的，所述第二模糊图像是通过沿包括所述光轴方向的分量但不同于所述光轴方向的方向移动所述物镜和所述样本来获得的，所述亮点通过为所述观察区域中包括的目标染色来获得；以及
校正部，被配置为基于关于算得的所述亮点的深度的信息，校正所述第一模糊图像。
（2）根据（1）所述的图像处理装置，
其中，所述校正部使用为所述光轴方向上的各个单位深度所设定的深度校正参数，校正所述亮点的亮度。
（3）根据（2）所述的图像处理装置，进一步包括：
波长计算部，被配置为计算所述亮点处的光的波长范围，
其中，所述校正部进一步基于所述深度校正参数和关于算得的所述波长范围的信息，校正所述亮点的亮度。
（4）根据（1）至（3）中任一项所述的图像处理装置，
其中，所述校正部使用在所述第一模糊图像的平面内根据距所述亮点的亮度峰值的位置的距离所设定的成形校正参数，校正所述亮点的亮度。
（5）根据（1）至（4）中任一项所述的图像处理装置，进一步包括：
三维图像生成部，被配置为基于关于由所述校正部校正的所述亮点的亮度的信息以及关于由所述深度计算部算得的所述亮点的深度的信息，生成包括所述目标的所述观察区域的三维图像。
（6）根据（1）至（5）中任一项所述的图像处理装置，进一步包括：
另一校正部，被配置为校正所述第一模糊图像中的另一目标的模糊图像，所述另一目标包括所述目标，在所述光轴方向上比所述目标厚并且在所述物镜和所述样本在所述光轴方向上的整个相对移动范围内持续存在于所述样本中。
7）一种图像处理方法，包括：
基于样本的至少部分的观察区域的第一模糊图像以及所述观察区域的第二模糊图像计算所述样本中的亮点在显微镜的物镜的光轴方向上的深度，其中所述第一模糊图像是通过沿所述光轴方向相对地移动所述物镜和所述样本来获得的，所述第二模糊图像是通过沿包括所述光轴方向的分量但不同于所述光轴方向的方向移动所述物镜和所述样本来获得的，所述亮点通过为所述观察区域中包括的目标染色来获得；以及
基于关于算得的所述亮点的深度的信息，校正所述第一模糊图像。
（8）一种图像处理程序，使计算机执行下列步骤：
基于样本的至少部分的观察区域的第一模糊图像以及所述观察区域的第二模糊图像计算所述样本中的亮点在显微镜的物镜的光轴方向上的深度，其中所述第一模糊图像是通过沿所述光轴方向相对地移动所述物镜和所述样本来获得的，所述第二模糊图像是通过沿包括所述光轴方向的分量但不同于所述光轴方向的方向移动所述物镜和所述样本来获得的，所述亮点通过为所述观察区域中包括的目标染色来获得；以及
基于关于算得的所述亮点的深度的信息，校正所述第一模糊图像。
本申请包含于2011年5月13日向日本专利局提交的日本优先权专利申请JP 2011‑107851中所披露的相关主题，将其全部内容结合于此作为参考。
本领域技术人员应当理解，根据设计需要和其他因素，可以有各种改变、组合、子组合和变形，只要它们在所附权利要求及其等同替换的范围。