图像处理装置、图像处理系统、图像处理方法和图像处理程序.pdf

提供了一种能够生成与光学显微镜的观察视野的图像等同的虚拟载物片的显示图像的图像处理装置。一种处理要在图像显示装置中显示的虚拟载物片图像数据的图像处理装置包括图像数据获得单元，其获得通过捕捉目标对象的图像而获得的图像数据，以及图像数据生成单元，其生成要以与显微镜的预定视野数相对应的显示倍率在图像显示装置中显示的与目标对象的图像相对应的显示图像数据。

权利要求书
1.  一种处理要在图像显示装置中显示的虚拟载物片图像数据的图像处理装置，该图像处理装置包括：
图像数据获得单元，被配置为获得通过捕捉目标对象的图像而获得的图像数据；以及
图像数据生成单元，被配置为生成要以与显微镜的预定视野数相对应的显示倍率在所述图像显示装置中显示的与所述目标对象的图像相对应的显示图像数据。

2.  根据权利要求1所述的图像处理装置，
其中，所述图像数据生成单元确定所述显示倍率以使得所述显微镜的预定实际视野的直径与所述图像显示装置的显示屏幕的长边或短边的长度一致。

3.  根据权利要求1或权利要求2所述的图像处理装置，
其中，所述图像数据生成单元根据关于现存显微镜的视野的信息来确定所述显示倍率。

4.  根据权利要求1至权利要求3中的任何一项所述的图像处理装置，
其中，所述图像数据生成单元利用关于现存显微镜的视野的多个信息项中的预定一个作为初始信息来确定所述显示倍率。

5.  根据权利要求1至权利要求4中的任何一项所述的图像处理装置，
其中，所述图像数据生成单元利用关于现存显微镜的视野的多个信息项中由用户选择的一个来确定所述显示倍率。

6.  根据权利要求1至权利要求5中的任何一项所述的图像处理装置，
其中，所述图像数据生成单元根据所述图像显示装置中包括的像素的数目来生成所述显示图像数据。

7.  根据权利要求1至权利要求6中的任何一项所述的图像处理装 置，
其中，所述图像数据生成单元根据在捕捉所述目标图像时物镜的倍率来生成所述显示图像数据。

8.  根据权利要求1至权利要求7中的任何一项所述的图像处理装置，
其中，所述图像数据生成单元生成与由以下式子表示的像素倍率相对应的显示倍率的显示图像数据：
像素倍率＝((图像显示装置的显示屏幕的长边或短边的像素数目)/((显微镜的预定视野数)/(图像拾取传感器的像素间距)))×((图像显示装置的显示屏幕中的显示倍率)/(图像捕捉时的物镜的倍率))。

9.  根据权利要求1至权利要求7中的任何一项所述的图像处理装置，
其中，所述图像数据生成单元生成与由以下式子表示的像素倍率相对应的显示倍率的显示图像数据：
像素倍率＝(放大倍率)×(图像拾取传感器的像素间距)/(图像显示装置的显示屏幕中的像素间距)，
其中所述放大倍率是由以下计算获得的：(显示倍率)×(图像显示装置的显示屏幕中的像素间距)/((图像拾取传感器的像素间距)×(图像捕捉时的物镜的倍率))。

10.  根据权利要求1至权利要求7中的任何一项所述的图像处理装置，还包括：
模式选择单元，被配置为选择用于选择要在所述图像显示装置中显示的图像的以下三种模式(1)至(3)中的至少一种：
(1)用于显示以由以下式子表示的像素倍率生成的显示图像数据的模式：
像素倍率＝((图像显示装置的显示屏幕的长边或短边的像素数目)/((显微镜的预定视野数)/(图像拾取传感器的像素间距)))×((图像显示装置的显示屏幕中的显示倍率)/(图像捕捉时的物镜的倍率))，
(2)用于将显示图像数据显示为像素实际大小显示的模式，以及
(3)用于显示以由以下式子表示的像素倍率生成的显示图像数据的模式：
像素倍率＝(放大倍率)×(图像拾取传感器的像素间距)/(图像显示装置的显示屏幕中的像素间距)，
其中所述放大倍率是通过以下计算获得的：(显示倍率)×(图像显示装置的显示屏幕中的像素间距)/((图像拾取传感器的像素间距)×(图像捕捉时的物镜的倍率))。

11.  一种用于处理虚拟载物片图像的图像处理方法，包括：
图像数据获得步骤，获得通过捕捉目标对象的图像而获得的图像数据；以及
图像数据生成步骤，生成表示要以与显微镜的预定视野数相对应的显示倍率在图像显示装置中显示的图像的显示图像数据。

12.  根据权利要求11所述的图像处理方法，
其中，在所述图像数据生成步骤中，确定所述显示倍率以使得所述显微镜的预定实际视野的直径与所述图像显示装置的显示屏幕的长边或短边的长度一致。

13.  根据权利要求11或权利要求12所述的图像处理方法，
其中，在所述图像数据生成步骤中，根据关于现存显微镜的视野的信息来确定所述显示倍率。

14.  根据权利要求11至权利要求13中的任何一项所述的图像处理方法，
其中，在所述图像数据生成步骤中，利用关于现存显微镜的视野的多个信息项中的预定一个作为初始信息来确定所述显示倍率。

15.  根据权利要求11至权利要求14中的任何一项所述的图像处理方法，
其中，在所述图像数据生成步骤中，利用关于现存显微镜的视野的多个信息项中由用户选择的一个来确定所述显示倍率。

16.  根据权利要求11至权利要求15中的任何一项所述的图像处理方法，
其中，在所述图像数据生成步骤中，生成由以下式子表示的像素倍率所改变的显示倍率的显示图像数据：
像素倍率＝((图像显示装置的显示屏幕的长边或短边的像素数目)/((显微镜的预定视野数)/(图像拾取传感器的像素间距)))×((图像显示装置的显示屏幕中的显示倍率)/(图像捕捉时的物镜的倍率))。

17.  根据权利要求11至权利要求15中的任何一项所述的图像处理方法，
其中，在所述图像数据生成步骤中，生成与由以下式子表示的像素倍率相对应的显示倍率的显示图像数据：
像素倍率＝(放大倍率)×(图像拾取传感器的像素间距)/(图像显示装置的显示屏幕中的像素间距)，
其中所述放大倍率是由以下计算获得的：(显示倍率)×(图像显示装置的显示屏幕中的像素间距)/((图像拾取传感器的像素间距)×(图像捕捉时的物镜的倍率))。

18.  一种图像处理系统，包括：
权利要求1至权利要求10中的任何一项中记载的所述图像处理装置；以及
图像显示装置，被配置为以与显微镜的预定视野数相对应的显示倍率显示经所述图像处理装置处理的虚拟载物片图像。

19.  一种程序，使得计算机执行权利要求11至权利要求17中的任何一项中记载的所述图像处理方法的步骤。

说明书图像处理装置、图像处理系统、图像处理方法和图像处理程序
技术领域
本发明涉及图像处理装置、图像处理方法、图像处理系统和程序。
背景技术
近年来，在病理学的领域中，取代作为病理诊断的工具的光学显微镜，通过捕捉放置在准备的载物片(slide)上的测试样本(标本)的图像并数字化该图像来使能显示器上的病理诊断的虚拟载物片系统已受到了关注。由于利用虚拟载物片系统来数字化病理诊断图像，所以传统上由光学显微镜获得的测试样本的图像可作为数字数据被使用。结果，预期会实现迅速的远程诊断、利用数字图像对患者进行说明、罕见病例的共享以及高效的教育和实践训练。
为了利用虚拟载物片系统实现与光学显微镜的操作等同的操作，优选对放置在准备的载物片上的整个测试样本进行数字化。通过数字化整个测试样本，可通过在PC(个人计算机)和工作站中操作的查看器软件来观察虚拟载物片系统生成的数字数据。当数字化整个测试样本时获得的像素的数目一般是从几亿到几十亿，也就是说，是相当大量的数据。
虽然虚拟载物片系统生成的数据的量很大，但通过利用查看器执行缩放操作，可以执行从微观图像(细节放大图像)的观察到宏观图像(概览图像)的观察的各种类型的观察。因此，实现了改善的易用性。通过预先获得要使用的所有信息，可以立即显示具有用户期望的分辨率和倍率的图像，包括具有低倍率的图像和具有高倍率的图像。
作为相关技术，提出了一种医学图像显示装置，用于通过根据医学图像数据的像素间距和图像处理装置的显示单元的像素间距在显示单元(显示屏幕)中以实际大小显示医学图像数据来支持医生作出的 诊断。
引文列表
专利文献
PTL1：日本专利特开2002-251464号公报
发明内容
技术问题
在通过捕捉观察对象的图像获得的图像数据经历了图像处理之后显示虚拟载物片图像，因此虚拟载物片图像就视野的大小而言不同于用显微镜观察的图像。一般地，对于利用光学显微镜来观察对象(标本)的图像的用户来说，难以利用虚拟载物片来高效地执行诊断，因为光学显微镜图像的观察视野区域和虚拟载物片图像的观察视野区域彼此是不相同的。
因此，本发明的一个目的是提出一种能够生成具有与光学显微镜图像的观察视野等同的观察视野的虚拟载物片图像的图像处理装置。
解决问题的方案
本发明提供了一种处理要在图像显示装置中显示的虚拟载物片图像数据的图像处理装置。
该图像处理装置包括
图像数据获得单元，被配置为获得通过捕捉目标对象的图像而获得的图像数据，以及
图像数据生成单元，被配置为生成要以与显微镜的预定视野数相对应的显示倍率在图像显示装置中显示的与目标对象的图像相对应的显示图像数据。
本发明还提供了一种用于处理虚拟载物片图像的图像处理方法。
该图像处理方法包括
图像数据获得步骤，获得通过捕捉目标对象的图像而获得的图像 数据，以及
图像数据生成步骤，生成表示要以与显微镜的预定视野数相对应的显示倍率在图像显示装置中显示的图像的显示图像数据。
本发明还提供了一种图像处理系统，其包括上述的图像处理装置，以及图像显示装置，该图像显示装置以与显微镜的预定视野数相对应的显示倍率显示经图像处理装置处理的虚拟载物片图像。
本发明还包括一种程序，其使得计算机执行上述图像处理方法的步骤。
本发明的更多特征将从以下参考附图对示范性实施例的描述中变得清楚。
发明的有利效果
根据本发明的优选实施例，可提供一种能够生成与光学显微镜的观察视野的图像等同的虚拟载物片图像的图像处理装置。
附图说明
图1是示意性示出采用根据本发明的图像处理装置的图像处理系统中包括的各装置的配置的整体视图。
图2是示出采用根据本发明的图像处理装置的图像处理系统中包括的图像拾取装置的功能配置的功能框图。
图3是示出根据本发明的图像处理装置的配置的功能框图。
图4是示出根据本发明的图像处理装置的硬件配置的框图。
图5包括示意性示出显示倍率的概念的图。
图6是示出根据本发明的图像处理装置执行的显示倍率改变处理的流程的流程图。
图7是采用根据本发明的第二实施例的图像处理装置的图像处理系统中包括的各装置的配置的整体视图。
图8是示出根据本发明的第二实施例的图像处理装置执行的显示倍率改变处理的流程的流程图。
图9是详细示出根据本发明的图像处理装置执行的生成用于显示显微镜观察视野的图像数据的处理的流程的流程图。
图10包括示出根据本发明的图像处理系统的显示屏幕的图。
具体实施方式
以下，将参考附图来描述本发明的实施例。
根据本发明的优选实施例的图像处理装置处理要在图像显示装置中显示的虚拟载物片图像数据并且至少包括图像数据获得单元和图像数据生成单元。图像数据生成单元优选以与显微镜的预定视野数相对应的显示倍率生成与要在图像显示装置中显示的目标对象的图像相对应的显示用图像数据。
优选根据预先存储在图像处理装置或外部存储装置中的信息来确定或者根据用户的指令来确定预定的显微镜视野。要再现的视野的类型优选被作为上述信息预先存储。预先存储的信息优选包括初始视野信息(当用户没有发出指令时被选择为显微镜视野的信息，以下简称为“初始信息”)和现存显微镜的多个具体视野信息项(用户可选择的多个显微镜视野信息项)中的至少一者。注意，可通过选择多个显微镜视野信息项之一来存储初始视野信息。注意，显微镜视野信息包括视野数和物镜的倍率中的至少一者。另外，根据用户的指令新确定的观察区域可被存储为附加视野信息，该附加视野信息可作为视野信息的一个选项被选择。另外，可以为个体用户管理根据用户的指令新确定的观察区域。
图像数据生成单元可确定显示倍率以使得显微镜的预定实际视野的直径与图像显示装置的显示屏幕的长边的长度或短边的长度一致。另外，图像数据生成单元可根据关于现存显微镜的视野的信息来确定显示倍率。另外，图像数据生成单元可利用关于现存显微镜的视野的多个信息项中的预定的一个来确定显示倍率。另外，图像数据生成单元可利用关于现存显微镜的视野的多个信息项中的由用户选择的一个来确定显示倍率。另外，图像数据生成单元可根据图像显示装置的像 素的数目来生成显示用图像数据。另外，图像数据生成单元可根据在捕捉目标对象时获得的物镜的倍率来生成显示用图像数据。注意，在以下描述和附图中，在适当时将术语“显示用图像数据”称为“显示图像数据”。
图像数据生成单元优选生成其显示倍率按由以下式子表示的像素倍率被改变的显示用图像数据。当按以下像素倍率生成显示用图像数据时，显微镜视野和由图像处理装置生成的图像可与彼此一致。
像素倍率＝((图像显示装置的显示屏幕的长边或短边的像素的数目)/((显微镜的预定视野数)/(图像拾取传感器的像素间距)))×((图像显示装置的显示屏幕中的显示倍率)/(图像捕捉时的物镜的倍率))
这里，在本说明书和本发明中，图像拾取传感器的一个像素的信息与图像显示装置的显示屏幕中的像素的比例被定义为像素倍率。一般地，图像数据的一个像素对应于图像显示装置的显示屏幕的一个像素的显示被称为像素实际大小显示。在本说明书和本发明中，假定从图像拾取传感器的一个像素获得的信息对应于图像数据的一个像素。在此情况下，像素实际大小显示的像素倍率为1。
注意，当长边的像素间距不同于短边的像素间距时，利用“图像拾取传感器的像素间距”和在“图像显示装置的显示屏幕的长边或短边的像素数目”中选择的边的像素间距来定义像素倍率。注意，虽然在假定矩形形状的显示屏幕的情况下使用了术语“长边”和“短边”，但当显示屏幕具有椭圆形状时，长轴被定义为长边并且短轴被定义为短边。
另外，当按以下像素倍率生成显示用图像数据时，具有不同大小的显示屏幕的图像显示装置中实际显示的图像的大小可与彼此一致。
像素倍率＝(放大倍率)×(图像拾取传感器的像素间距)/(图像显示装置的显示屏幕中的像素间距)
这里，放大倍率表示显示屏幕中显示的目标图像的放大程度。放大倍率和显示倍率之间的关系根据以上式子和接下来的式子：像素倍率＝(显示倍率)/(图像捕捉时的物镜的倍率)，由以下式子来表示。
放大倍率＝(显示倍率)×(图像显示装置的显示屏幕的像素间距)/((图像拾取传感器的像素间距)×(图像捕捉时的物镜的倍率))
图像处理装置还可包括模式选择单元。模式选择单元优选地选择用于选择要在图像显示装置中显示的图像的以下三个模式(1)至(3)中的至少一个：
(1)用于显示以由以下式子表示的像素倍率生成的显示图像数据的模式：
像素倍率＝((图像显示装置的显示屏幕的长边或短边的像素数目)/((显微镜的预定视野数)/(图像拾取传感器的像素间距)))×((图像显示装置的显示屏幕中的显示倍率)/(图像捕捉时的物镜的倍率))。
(2)用于将显示图像数据显示为像素实际大小显示的模式，以及
(3)用于显示以由以下式子表示的像素倍率生成的显示图像数据的模式：
像素倍率＝(放大倍率)×(图像拾取传感器的像素间距)/(图像显示装置的显示屏幕中的像素间距)。
注意，放大倍率是由以下计算获得的：(显示倍率)×(图像显示装置的显示屏幕中的像素间距)/((图像拾取传感器的像素间距)×(图像捕捉时的物镜的倍率))。
注意，模式(1)对应于用于再现显微镜视野的模式。
根据本发明的优选实施例的图像处理方法处理虚拟载物片图像数据并且至少包括图像数据获得步骤和图像数据生成步骤。在图像数据获得步骤中，获得通过捕捉目标对象的图像而获得的图像数据。在图像数据生成步骤中，生成用于以与显微镜的视野数相对应的显示倍率显示图像的显示图像数据以便形成与用显微镜查看的图像相似的(观察视野)图像。
在图像数据生成步骤中，优选生成其显示倍率按由以下式子表示的像素倍率被改变的显示用图像数据。
像素倍率＝((图像显示装置的显示屏幕的长边或短边的像素数目)/((显微镜的预定视野数)/(图像拾取传感器的像素间距)))×((图像显 示装置的显示屏幕中的显示倍率)/(图像捕捉时的物镜的倍率))
根据本发明的程序使得计算机执行上述图像处理方法的步骤。
根据本发明的图像处理系统包括处理虚拟载物片图像的图像处理装置和显示经图像处理装置处理的虚拟载物片图像的图像显示装置。另外，图像处理系统还可包括显示由图像显示装置中的图像数据生成单元生成的图像数据的显示单元。图像数据获得单元获得通过捕捉目标对象的图像而获得的图像数据。图像数据生成单元生成用于以与显微镜的视野数相对应的显示倍率在图像显示装置中显示经图像处理装置处理的虚拟载物片图像的显示图像数据。注意，在以下描述和附图中，在适当时将术语“图像显示装置”简称为“显示装置”。
图像处理装置的实施例可被反映到本发明的图像处理方法、程序和图像处理系统。
以下，将描述本发明的实施例。
[第一实施例]
根据本发明的图像处理装置可用在包括图像拾取装置和图像显示装置的图像处理系统中。将参考图1来描述该图像处理系统。
图像处理系统中包括的各装置的配置
图1是示意性示出采用根据本发明的图像处理装置的图像处理系统的整体视图。该系统包括图像拾取装置(显微镜装置或虚拟载物片装置)101、图像处理装置102和图像显示装置103。该系统还包括获得图像捕捉的目标的测试样本(标本)的2D图像并显示该2D图像的功能。在此实施例中，图像拾取装置101和图像处理装置102通过专用或通用I/F线缆104相互连接，并且图像处理装置102和图像显示装置103通过通用I/F线缆105相互连接。
作为图像拾取装置101，可以适当地使用捕捉单个2D图像或者2D平面方向上的不同位置中的多个2D图像并且具有输出数字图像的功能的虚拟载物片装置。为了获得2D图像，适当地使用诸如CCD(电 荷耦合器件)或CMOS(互补金属氧化物半导体)之类的固态图像拾取元件。取代虚拟载物片装置，可以使用通过将数字静止相机附着到一般光学显微镜的接目部来构成的数字显微镜装置作为图像拾取装置101。注意，即使当使用数字静止相机来捕捉图像时，在选择高倍率显示的情况下或者在通过对通过在不同的图像拾取区域上多次执行图像捕捉而获得的原始图像数据项进行合成而形成的显示用图像数据的情况下，也可将捕捉的图像分割成观察区域和观察区域外。
作为图像处理装置102，可以适当地使用具有响应于来自用户的请求而根据从图像拾取装置101获得的单个原始图像数据或多个原始图像数据项生成要在图像显示装置103中显示的数据的功能的装置。作为图像处理装置102，可以使用诸如一般计算机或工作站之类的包括诸如CPU(中央处理单元)、RAM、存储设备和包括操作单元在内的各种I/F之类的硬件资源的装置。作为存储设备，可以适当地使用诸如硬盘驱动器之类的大容量存储设备。存储设备优选地存储实现下文将描述的各种处理的程序和数据以及OS(操作系统)。以上描述的功能是通过在CPU把要使用的程序和数据从存储设备加载到RAM之后执行程序来实现的。操作单元106包括键盘和鼠标并且被用户用于输入各种指令。操作单元106可以是包括在图像处理装置102中的组件。
此实施例的图像显示装置103是诸如CRT或液晶显示器之类的显示器，其显示作为由图像处理装置102执行的计算处理的结果而获得的观察图像。注意，打印和显示图像的打印装置可被用作图像显示装置。以下，在适当时将图像显示装置称为“显示器”。
在图1的示例中，图像拾取系统包括三个装置，即图像拾取装置101、图像处理装置102和图像显示装置103。然而，本发明的配置不限于此配置。例如，可以使用与图像显示装置103集成的图像处理装置102，或者图像处理装置102的功能可被包含在图像拾取装置101中。或者，图像拾取装置101、图像处理装置102和图像显示装置103的功能可由单个装置实现。相反，诸如图像处理装置102之类的每个 装置的功能可被分割并由多个装置来实现。
图像拾取装置的功能配置
图2是示出图像拾取装置101的功能配置的功能框图。
此实施例的图像拾取装置101简单来说包括照明单元201、载物台202、载物台控制单元205、图像形成光学系统207、图像拾取单元210、显影处理单元219、预测量单元220、主控制系统221和数据输出单元(I/F)222。
此实施例的照明单元201对放置在载物台202上的准备的载物片206均匀地照明，并且优选包括光源、照明光学系统和用于驱动光源的控制系统。此实施例的载物台202被控制来被载物台控制单元205驱动以在三个轴方向即X、Y和Z方向上移动。准备的载物片206是通过将作为观察目标的一片组织或涂片组织附着在载玻片玻璃上并且利用封固剂将该片组织或涂片组织固定在盖玻片玻璃下而获得的。
此实施例的载物台控制单元205包括驱动控制系统203和载物台驱动机构204。在此实施例中，驱动控制系统203接收主控制系统221发出的指令以对载物台202执行驱动控制。载物台202的移动方向和移动量在此实施例中是根据由预测量单元220测量到的标本的位置信息和厚度信息(距离信息)并且在适当时根据用户输入的指令来确定的。此实施例的载物台驱动机构204根据驱动控制系统203发出的指令驱动载物台202。
此实施例的图像形成光学系统207是用于在图像拾取传感器208中形成放置在准备的载物片206上的标本的光学图像的透镜组。
此实施例的图像拾取单元210包括图像拾取传感器208和模拟前端(AFE)209。此实施例的图像拾取传感器208是通过光电转换将2D光学图像转换成电物理量的1D图像传感器或2D图像传感器。作为图像拾取传感器208，例如使用CCD器件或CMOS器件。当使用1D传感器时，当1D传感器在扫描方向上执行扫描时可获得2D图像。此实施例的图像拾取传感器208输出具有与光强度相对应的电压值的 电信号。当要获得彩色图像作为捕捉的图像时，例如可以使用附有拜耳阵列的滤色器的单个面板的图像传感器作为图像拾取传感器208。此实施例的图像拾取单元210可通过在载物台202被在X和Y方向上移动的同时执行图像捕捉来捕捉标本的分割图像。
此实施例的AFE209是把从图像拾取传感器208输出的模拟信号转换成数字信号的电路。AFE209优选包括H/V驱动器、CDS(相关双采样)电路、放大器、AD转换器和定时发生器，这些将在下文描述。此实施例的H/V驱动器把用于驱动图像拾取传感器208的垂直同步信号和水平同步信号转换成适用于传感器的驱动的电势。此实施例的CDS是去除固定模式的噪声的相关双采样电路。放大器是控制被CDS去除了噪声的模拟信号的增益的模拟放大器。此实施例的AD转换器把模拟信号转换成数字信号。当在图像拾取装置的最后阶段中输出八比特的数据时，考虑到以后阶段中的处理，AD转换器优选把模拟信号转换成在从约10比特到约16比特的范围中量化的数字信号并优选输出该数字信号。这里，经转换的传感器输出数据被称为RAW数据。在此实施例中，RAW数据在以后阶段中经历由显影处理单元219执行的显影处理。此实施例的定时发生器生成用于控制图像拾取传感器208的定时和以后阶段中的显影处理单元219的定时的信号。
当CCD传感器被用作图像拾取传感器208时，AFE209通常被用作必要组件。另一方面，当能够执行数字输出的CMOS图像传感器被用作图像拾取传感器208时，AFE209的功能通常被包含在传感器中。另外，虽然没有示出，但在此实施例中，提供有控制图像拾取传感器208的图像拾取控制器以执行对图像拾取传感器208的操作的控制、对快门速度的操作定时的控制、对帧速率的控制和对ROI(关注区域)的控制。
此实施例的显影处理单元219包括黑校正单元211、白平衡控制器212、去马赛克处理器213、图像合成处理器214、分辨率转换处理器215、滤波处理器216、伽马校正单元217和压缩处理器218。此实施例的黑校正单元211执行减去在从RAW数据的像素中阻挡光时获 得的黑校正数据的处理。此实施例的白平衡控制器212执行通过根据照明单元201的光的色温控制R、G、B颜色的增益来再现优选的白颜色的处理。具体而言，白平衡校正数据被加到经历了黑校正的RAW数据。在单色图像的情况下，不执行白平衡控制处理。此实施例的显影处理单元219从由图像拾取单元210获得的标本的分割图像数据项生成下文将描述的层次化图像数据。
此实施例的去马赛克处理器213执行从拜耳阵列的RAW数据生成R、G、B颜色的图像数据项的处理。此实施例的去马赛克处理器213通过利用周边像素(包括相同颜色的像素和其他颜色的像素)的值执行插值来计算目标像素的R、G、B颜色的值。另外，去马赛克处理器213还执行校正缺陷像素的处理(插值处理)。注意，当图像拾取传感器208不包括滤色器并且获得单色图像时，不执行去马赛克处理。
此实施例的图像合成处理器214执行通过连接通过分割期望的图像拾取范围并利用图像拾取传感器208捕捉分割的图像拾取范围的图像而获得的图像数据项来生成期望图像拾取范围内的大容量图像数据的处理。一般地，由于标本的范围大于由一般图像传感器执行的一次图像捕捉操作所获得的图像拾取范围，所以通过连接分割的图像数据项来生成2D图像数据。假定以0.25μm的分辨率能力捕捉准备的载物片206上的10毫米见方的范围中的图像，则一侧的像素的数目是4万个(10mm/0.25μm)并且像素的总数是4万的平方，即16亿。当要用具有10M(1千万)像素的图像拾取传感器208获得具有16亿像素的图像数据时，在将区域分割成160个区域(16亿/1千万)之后执行图像捕捉。注意，用于连接多个图像数据项的方法的示例包括用于通过根据载物台202的位置信息执行定位来连接图像数据项的方法、用于通过将多个分割图像中的相应点或相应线彼此关联来连接图像数据项的方法、以及用于根据分割图像数据项的位置信息项来连接图像数据项的方法。通过诸如零阶插值、线性插值或高阶插值之类的插值处理，可以平滑地连接图像数据。虽然在此实施例中考虑了大容 量的单个图像的生成，但是当作为图像处理装置102的功能生成显示用数据时可将分割图像相互连接。注意，在下文中在适当时将术语“显示用数据”称为“显示数据”。
此实施例的分辨率转换处理器215执行如下处理：通过分辨率转换预先生成与显示倍率相对应的倍率的图像，以使得由图像合成处理器214生成的大容量的2D图像被高速显示。分辨率转换处理器215生成从低倍率到高倍率的多个级别的图像数据项并且将这些图像数据项构造为具有总体层构造的图像数据。由图像拾取装置101获得的图像数据就诊断而言优选是具有高分辨率和高分辨力的捕捉图像数据。然而，如上所述，在要显示与具有数十亿像素的图像数据相对应的缩小图像的情况下，如果在每次发出显示请求时执行分辨率转换，则处理的速度可降低。因此，优选预先提供具有不同倍率的不同层的层次化图像，响应于对显示的请求从所提供的层次化图像中选择与显示倍率相似的倍率的图像数据，并且根据显示倍率来控制该倍率。在考虑到图像质量的情况下，更优选从高倍率的图像数据生成显示数据。当以高分辨率捕捉图像时，通过按分辨率转换方法减小具有最高分辨力的图像数据的大小来生成显示用层次化图像数据。分辨率转换方法的示例包括作为2D线性插值处理的双线性和采用3D插值函数的双三次。
此实施例的滤波处理器216是实现对图像中包括的高频成分的抑制、噪声去除和分辨率感觉强调的数字滤波器。此实施例的伽马校正单元217执行根据一般显示设备的灰度表现特性向图像添加逆特性的处理并且通过执行高亮度部的灰度压缩或暗部处理来根据人类的视觉特征执行灰度转换。在此实施例中，由于出于观察构造的目的获得图像，所以对图像数据执行适合于在以后阶段中执行的显示处理的灰度转换。
此实施例的压缩处理器218执行用于压缩的编码处理以便实现大容量的2D图像数据的传送的高效率并且减少要存储的2D图像数据的容量。作为用于压缩静止图像的方法，可以使用标准化编码方法，例 如JPEG(联合图片专家组)，或者作为改进且高级的JPEG的JPEG2000或JPEG XR。
此实施例的预测量单元220预先测量准备的载物片206上的标本的位置信息、关于到期望焦点位置的距离的信息以及用于根据标本的厚度来控制光强度的参数。由于预测量单元220在主测量(捕捉图像数据的获得)之前获得信息，所以可执行高效的图像捕捉。当要获得2D平面中的位置信息时，可以使用具有比图像拾取传感器208的分辨力低的分辨力的2D图像拾取传感器。此实施例的预测量单元220从获得的图像识别XY平面中标本的位置。当要获得距离信息和厚度信息时，可以使用激光位移计或夏克-哈特曼测量设备。
此实施例的主控制系统221控制以上所述的各种单元。主控制系统221和显影处理单元219可由包括CPU、ROM和RAM的控制电路来控制。例如，程序和数据被预先存储在ROM中，并且CPU利用RAM作为工作存储器来执行程序，以便实现主控制系统221和显影处理单元219的功能。ROM的示例包括诸如EEPROM和闪存存储器之类的设备。RAM的示例包括DDR3DRAM设备。注意，显影处理单元219的功能可由被配置为ASIC的专用硬件设备来替换。
此实施例的数据输出单元222是用于把由显影处理单元219生成的R、G、B颜色的图像发送到图像处理装置102的接口。此实施例的图像拾取装置101和图像处理装置102通过光通信线缆相互连接。取代该线缆，可以使用USB或千兆比特以太网(注册商标)的通用接口。
图像处理装置的功能配置
图3是示出根据本发明的图像处理装置102的功能配置的框图。
图像处理装置102简单来说包括图像数据获得单元301、存储/保持单元(存储器)302、用户输入信息获得单元303、显示设备信息获得单元304、像素倍率设定单元305、显示图像数据获得单元306、显示数据生成单元307和显示图像数据输出单元308。
此实施例的图像数据获得单元301获得由图像拾取装置101捕捉的图像数据。此实施例的图像数据至少对应于通过以分割方式捕捉标本的图像而获得的R、G、B颜色的图像的分割数据项、通过对分割图像数据项进行合成而获得的单个2D图像数据、或者基于2D图像数据针对各个显示倍率而层次化的图像数据项。注意，分割图像数据项可以是单色图像数据项。注意，图像拾取规格中包括的图像拾取装置101的图像拾取传感器208的像素间距和物镜的倍率信息被添加到图像数据。
此实施例的存储/保持单元302获得、存储并保持从外部装置通过图像数据获得单元301提供的图像数据。另外，存储/保持单元302优选存储以上描述的实际现存的显微镜的多个视野信息项和关于这些视野信息项中将用作初始信息的所选的那个视野信息项的信息。
此实施例的用户输入信息获得单元303获得用户通过诸如鼠标或键盘之类的操作单元106输入的信息，例如对于更新用于显示图像的数据(包括显示位置和缩放的改变)的指令、对显示模式的选择、或者对观察区域的指定(例如，对存储/保持单元302保持的多个倍率视野信息项之一的选择)。此实施例的显示模式包括再现显微镜观察视野的模式和不再现显微镜观察视野的模式。对显示模式的指定可与对显示倍率的指定相同。另外，除了对显示模式的指定以外，还可执行对作为用于显微镜观察视野的再现的再现源的显微镜的视野数的设定。注意，一般地，视野数在约18mm到约26.5mm的范围中。
此实施例的显示设备信息获得单元304获得存储在图像显示装置103中的显示器的显示区域信息(屏幕分辨率和显示大小)和关于当前显示的图像的显示倍率的信息。
此实施例的像素倍率设定单元305根据由用户输入信息获得单元303获得的用户的指令来生成用于设定显示倍率的控制数据。另外，像素倍率设定单元305根据所设定的像素倍率来计算显示用图像数据的大小并将图像数据大小通知给显示图像数据获得单元306。
从像素倍率设定单元305输出的控制数据和显示图像数据大小中 的至少一者受到上述初始视野信息或由用户指定的观察区域信息的影响。这里，用户指定的观察区域信息的示例包括以下之一：用户选择的实际现存的显微镜视野信息项，通过部分修改这种现存显微镜视野信息项而获得并由用户指定的信息，以及与倍率视野数无关的关于用户指定的观察区域的信息。可从存储/保持单元302读取初始视野信息。此外，从此实施例的像素倍率设定单元305输出的控制数据和显示图像数据大小中的至少一者优选受到包括以下在内的关于图像显示装置103的信息的影响：图像捕捉时的物镜的倍率、关于图像捕捉时的图像拾取传感器208的像素间距的信息、图像显示装置103的显示屏幕的像素间距、以及显示屏幕中包括的像素的数目。
此实施例的显示图像数据获得单元306根据由像素倍率设定单元305发出的控制指令从存储/保持单元302获得用于显示的图像数据。
此实施例的显示数据生成单元307根据由像素倍率设定单元305设定的显示模式和像素倍率，通过倍率改变处理从由显示图像数据获得单元306获得的图像数据生成要在图像显示装置103中显示的显示数据。显示数据的生成将在下文中参考图6的流程图来描述。
此实施例的显示图像数据输出单元308把显示数据生成单元307生成的显示数据输出到作为外部装置的图像显示装置103。
图像处理装置的硬件配置
图4是示出根据本发明的图像处理装置的硬件配置的框图。执行图像处理的装置的示例包括PC(个人计算机)。
此实施例的PC包括CPU(中央处理单元)401、RAM(随机访问存储器)402、存储设备403、数据输入/输出I/F405和将其他单元相互连接的内部总线404。
此实施例的CPU401在适当时访问RAM402等等并且在执行各种计算处理的同时整体上控制PC的全部块。RAM402用作CPU401的工作空间并且临时存储OS、正执行的各种程序、在包括作为本发明的特征的在显微镜观察视野的再现时生成显示用数据的处理在内的 处理中要处理的各种数据(包括显微镜的多个视野信息项)，等等。此实施例的存储设备403是记录和读取信息的辅助存储设备，其牢固地存储CPU401要执行的诸如OS、程序和各种参数之类的固件。存储设备403的示例包括诸如HDD(硬盘驱动器)或SSD(固态盘)之类的磁盘驱动器和使用闪存存储器的半导体设备。此实施例的存储设备403存储以下各项中的一些或全部：OS、当前执行的各种程序、以及包括作为本发明的特征的生成用于显示再现的显微镜观察视野的数据的处理在内的处理要处理的各种数据(包括显微镜的多个视野信息项)。
图像服务器701通过LAN I/F406连接到此实施例的数据输入/输出I/F405，图像显示装置103通过图形板407连接到此实施例的数据输入/输出I/F405，诸如虚拟载物片装置或数字显微镜之类的图像拾取装置101通过外部装置I/F408连接到此实施例的数据输入/输出I/F405，并且键盘410和鼠标411通过操作I/F409连接到此实施例的数据输入/输出I/F405。
此实施例的图像显示装置103是使用液晶、EL(电致发光)、CRT(阴极射线管)等的显示设备。图像显示装置103可以是外部连接的外部装置，或者可以是与图像显示装置集成的PC，例如笔记本PC。
作为要连接到此实施例的操作I/F409的设备，预期有诸如键盘410或鼠标411之类的指点设备。然而，诸如触摸面板之类的图像显示装置103的屏幕可被直接用作输入设备。在此情况下，触摸面板可与图像显示装置103一体构成。
显示倍率的改变的概念图
图5包括简要示出显微镜视野和在图像显示装置103的显示器中再现的显示形态的概念图。
图5(a)是示出当利用显微镜执行观察时获得的视野的图。显微镜视野是根据显微镜的物镜的倍率和视野数来唯一设定的。具体而言，显微镜视野是通过以下式子获得的：显微镜的实际视野F.O.V＝(物镜 的视野数)/(物镜的倍率)。注意，在使用实际视野显微镜的情况下，显微镜的实际视野是通过以下式子获得的：F.O.V＝(物镜的视野数)/((物镜的倍率)×(缩放比例))。当使用显微镜时，如图所示在圆形区域501中获得要观察的标本的放大图像。由于被观察的区域外的区域未被照明，所以该区域中的图像未被识别。在开发出虚拟载物片装置之前，用户也就是病理学家在查看这种观察图像的同时作出诊断。
标号502表示圆形形状的显微镜观察视野的直径。在实际中，该直径由通过将该直径除以图像拾取传感器208的像素间距而获得的像素数目来表示。这里，以下的描述是在假定字母“A”的高度等于显微镜视野的直径的情况下作出的。
图5(b)是示出像素实际大小显示时的显示屏幕的图。术语“像素实际大小”表示如下状态：通过将显微镜观察视野采样为数字数据而获得的像素与显示器中包括的显示元素一对一关联。例如，当通过用1000个像素执行采样来获得显微镜视野的直径502时，在显示侧也使用1000个像素。标号503表示图像显示装置103的4k×2k的大显示屏幕。标号504表示显示屏幕503在垂直方向上的显示屏幕大小。注意，图示了具有小垂直大小的宽高比的显示器，也就是在垂直方向上的像素数目小于水平方向上的像素数目的情况下的显示器。另外，显示器在垂直方向上的像素间距与水平方向上的相同。标号505表示在像素实际大小显示的情况下的图像显示大小。当显微镜视野的直径502包括1000个像素时，图像显示大小505也包括1000个像素。由此，在像素实际大小显示的情况下，由于作为获得来源的图像数据被以像素实际大小来显示，所以当显示屏幕503的大小较大时，具有比显微镜观察视野更大的面积的图像数据可被显示在屏幕中。
图5(c)是也示出像素实际大小显示时的显示屏幕的图。这里，将描述在与图5(b)所示的显示器相比更小并且具有更低分辨率的显示器中显示图像的情况。
标号506表示具有1024×768的像素的比较小的图像显示装置的显示屏幕。
标号507表示显示屏幕506在垂直方向上的显示屏幕大小。这里，显示屏幕大小507包括768的显示像素。
标号508表示在像素实际大小显示的情况下的图像大小。由于垂直方向上的显示屏幕大小507(768个像素)小于通过对显微镜观察视野执行采样而获得的像素数目(1000个像素)，所以没有显示整个显微镜视野。如上所述，在像素实际大小显示的情况下，当显示屏幕506的大小较小时，在屏幕中可只显示比显微镜观察视野小的范围中包括的图像数据。注意，如上所述，根据本发明和本说明书，像素实际大小显示的像素倍率被定义为1。
图5(d)是示出相同大小显示中的显示屏幕的图，其中显示倍率被改变以使得在具有不同大小和具有不同显示分辨率的显示器中都以相同大小显示要处理的图像。即使在图5(b)和5(c)中所示的具有不同大小的两个不同显示屏幕的情况下，显示器中显示的图像的大小(物理大小)都是彼此相同的，如大小509所表示。注意，如上所述，根据本发明和本说明书，相同大小显示的像素倍率由以下式(1)定义。
像素倍率＝(放大倍率)×(图像拾取传感器的像素间距)/(图像显示装置中的显示屏幕的像素间距)(1)
相同大小显示在远程诊断的情况下是有效的，其中远程诊断的情况例如是在不同地方或由不同用户以相同大小显示物体的情况。
图5(e)是示出在再现作为本发明的特征的就查看大小而言与图像显示装置的显示区域一致的显微镜观察视野的情况下的显示屏幕的图。即使当与图5(d)的情况类似存在两个不同大小的显示屏幕时，当显微镜视野的直径502与显示区域的垂直大小510和511一致时，无论显示器的规格和性能如何，也可以显示与用户所熟悉的显微镜观察视野相对应的图像。
注意，用于再现显微镜观察视野的像素倍率可通过以下式子来获得。
像素倍率＝((图像显示装置的显示屏幕的长边或短边的像素数目)/((显微镜的预定视野数)/(图像拾取传感器的像素间距)))×((图像显 示装置中的显示倍率)/(图像捕捉时的物镜的倍率))(2)
如上所述，在垂直方向上的像素数目小于水平方向上的像素数目的显示屏幕中，显示屏幕的垂直方向上的像素数目对应于式(2)中包括的短边的像素数目。当取代式(2)计算以下式子时，生成显示屏幕中要显示的整个显微镜视野的图像数据。
像素倍率＝((图像显示装置的显示屏幕的垂直方向上的像素数目)/((显微镜的预定视野数)/(图像拾取传感器的像素间距)))×((图像显示装置中的显示倍率)/(图像捕捉时的物镜的倍率))
如上所述，当要在显示屏幕中显示整个显微镜视野时，向式(2)赋予短边的像素数目。
注意式(2)包括以下情况。具体而言，当数个像素要用于显示除了关于图像显示的信息以外的信息时，当数个图像拾取被用作边框时，或者当数个像素被用于显示另一图像时，“图像显示装置的显示屏幕的长边或短边的像素数目”是除了这些像素以外计算的。另外，在式(2)中，当图像显示装置的显示屏幕的长边或短边的像素数目被设定为基准时，10个像素以内的误差是可接受的。
显示倍率改变处理
将参考图6的流程图来描述根据本发明的图像处理装置102执行的显示倍率改变处理的流程。
在步骤S601中，由显示设备信息获得单元304从图像显示装置103获得作为图像显示装置103的显示器的显示区域的大小(作为屏幕分辨率的像素数目)的信息。关于显示区域的大小的信息用于确定要生成的显示数据的大小。
在步骤S602中，显示设备信息获得单元304获得关于图像显示装置103中当前显示的图像的显示倍率的信息。在初始阶段，设定预定的倍率。显示倍率用于从层次化图像之中选择图像数据。另外，显示倍率用于确定要生成的显示数据的大小。在下文描述的用于再现显微镜观察视野的模式中要使用的视野数的数值也作为预定值被获得或者 根据用户的指令被获得。
在步骤S603中，获得显示模式设定信息。这里，显示模式包括用于再现显微镜观察视野的模式和用于像素实际大小显示的模式。
在步骤S604中，判定用户是否选择了用于再现显微镜观察视野的模式。当选择了用于再现显微镜观察视野的模式时，处理前进到步骤S605，而当选择了与通常观察视野相对应的像素实际大小显示的模式时，处理前进到步骤S607。
在步骤S605中，根据在步骤S601中获得的关于显示区域的大小的信息和在步骤S602中获得的显示倍率和关于视野数的信息从存储/保持单元302获得要在图像显示装置103中显示的图像数据。
当选择了用于再现显微镜观察视野的显示模式时，在步骤S606中生成用于显示再现的显微镜观察视野的图像数据。具体而言，根据由式(2)例示的像素倍率的计算式来对所获得的图像数据执行倍率改变处理。
在步骤S607中，根据在步骤S601中获得的关于显示区域的大小的信息和在步骤S602中获得的关于显示倍率的信息来从存储/保持单元302获得要在图像显示装置103中显示的图像数据。
当选择与通常观察视野相对应的像素实际大小显示的模式时，在步骤S608中生成用于显示通常观察视野的图像数据。在此情况下，执行分辨率转换处理，以使得与在步骤S602中获得的层次化图像的显示倍率类似的显示倍率的图像数据具有预定的分辨率。在适当时执行适合于图像显示装置103的特性的校正处理。
在步骤S609中，在步骤S606或步骤S608中生成的显示数据被输出到图像显示装置103。
在步骤S610中，图像显示装置103在屏幕中显示输入的显示数据。
在步骤S611中，判定是否终止图像显示。当用户选择了另一标本图像或者当显示应用的操作完成时，处理被终止。当要进一步更新显示屏幕时，处理返回到步骤S602并且从步骤S602起的处理被再次执行。
实施例的效果
由于生成了与光学显微镜图像的观察视野等同的虚拟载物片图像，所以在显示器上也可再现显微镜观察的熟悉环境。
[第二实施例]
将参考附图来描述根据本发明的第二实施例的图像处理系统。
在第一实施例中，虚拟载物片图像可被显示为一般像素实际大小显示，并且可通过改变倍率来显示以便再现显微镜观察视野。在第二实施例中，向第一实施例添加了用于执行相同大小显示的改变倍率的显示的功能。另外，为了更精确地再现显微镜观察的环境，提供了圆形视野区域以便更容易执行观察。在第二实施例中，在除了与第一实施例不同的配置以外的配置中可采用第一实施例中描述的配置。
图像处理系统中包括的各装置的配置
图7是示意性示出根据本发明的第二实施例的图像处理系统中包括的各装置的配置的整体视图。
采用图像处理装置的图7的图像处理系统包括图像服务器701、图像处理装置102和图像显示装置103，并且还包括通过网络702远程连接的图像处理装置704和连接到图像处理装置704的图像显示装置705。图像处理装置102可从图像服务器701获得通过捕捉标本的图像获得的图像数据并且生成要在图像显示装置103中显示的图像数据。在此实施例中，图像服务器701和图像处理装置102通过网络702由通用I/F LAN线缆703连接。此实施例的图像服务器701是包括大容量存储设备的计算机，该大容量存储设备存储与由作为虚拟载物片装置的图像拾取装置101捕捉的图像相对应的图像数据。此实施例的图像服务器701可以把不同显示倍率的层次化图像数据项作为一块存储在连接到图像服务器701的本地存储中，或者可以在网络中的某个位置处提供的服务器组(云服务器)中以分布方式把层次化图像数据 项存储为分布式图像数据项的实体并且存储分布式图像数据项的链接信息项。层次化图像数据项不一定要存储在单个服务器中。注意，图像处理装置102和图像显示装置103与第一实施例的图像处理系统中包括的相同。图像处理装置704是通过网络702远程提供的。图像处理装置704的功能类似于图像处理装置102的功能。当获得的图像数据被存储在图像服务器701中时，图像处理装置102和704都可参考该图像数据。
在图7的示例中，图像处理系统包括五个装置，即图像服务器701、图像处理装置102和704以及图像显示装置103和705。然而，本发明的配置不限于此配置。例如，可以使用分别与图像显示装置103和705集成的图像处理装置102和704，或者图像服务器701可具有图像处理装置102和704的数个功能。相反，图像服务器701和图像处理装置102和704的功能可被分割并由多个装置实现。
生成用于显示显微镜视野的图像数据的处理
图8是示出生成用于显示显微镜视野的图像数据的处理的流程的流程图。此处理是通过向参考图6描述的根据第一实施例的生成用于显示显微镜视野的图像数据的处理添加作为本发明的特征的即使当图像显示装置103和705的包括分辨率在内的规格和性能彼此不同时也以相同大小显示图像的相同大小显示的倍率改变功能来获得的。只有相同大小显示模式和再现显微镜观察视野的处理与图6中所示的处理不同，因此将只描述不同的部分。
已参考图6在第一实施例中描述了从步骤S601到步骤S604的获得要用于由像素倍率的改变引起的倍率改变处理的各种信息的处理和分支处理。
当选择用于再现显微镜观察视野的显示模式时，在步骤S801中生成用于显示再现的显微镜观察视野的图像数据。虽然，与步骤S606中的操作一样，根据式(2)来执行像素倍率的倍率改变处理，但还额外地执行显示作为显微镜观察视野的圆形区域的处理。将参考图9来 详细描述该处理。
当选择除了用于再现显微镜观察视野的模式以外的显示模式时，在步骤S802中判定是执行相同大小显示还是像素实际大小显示。当要执行相同大小显示的像素倍率改变时，处理前进到步骤S803，而当选择了像素实际大小显示模式时，处理前进到步骤S607。
在步骤S803中，根据在步骤S601中获得的关于显示区域的大小的信息、关于显示像素间距的大小的信息和在步骤S602中获得的显示倍率从存储/保持单元302获得要在图像显示装置103中显示的图像数据。
当选择相同大小显示模式时，在步骤S804中生成用于相同大小显示的图像数据。具体而言，根据由式(1)例示的像素倍率的计算式对获得的图像数据执行倍率改变处理。
步骤S605中的获得显示图像数据的处理和步骤S607中的获得显示图像数据的处理到步骤S611中的处理与第一实施例的相同，因此省略对其的描述。
生成用于显示显微镜视野的图像数据的处理
图9是示出在图8的步骤S801中执行的生成用于显示再现的显微镜观察视野的图像数据的处理的详细流程的流程图。
在步骤S901中，获得掩蔽信息。掩蔽信息具有与图像显示装置103的显示区域中包括的显示像素相对应的信息项并且包括两类信息，这两类信息包括关于对每个像素作出的对于是要以没有改变的亮度值显示目标图像数据还是要在改变亮度值之后显示目标图像数据的判定的信息和关于对为每个显示像素执行的亮度改变的程度的判定的信息。在步骤S904以后的亮度值移位处理中，每个像素具有五个比特的值，并且当掩蔽信息为0时，图像数据的值被直接用作显示用数据，而当掩蔽信息是任意值时，亮度值经历根据该任意值向低位方向的比特移位。例如，在8比特和256个灰度级别的亮度数据情况下，当掩蔽信息的值为1时，执行向右一位的比特移位，以获得亮度数据的一 半的值。当亮度数据被移位8比特时，图像数据的值为0，并且因此，显示像素被完全掩蔽(目标显示像素的亮度值为0)。在此实施例中，每个像素的亮度数据是利用掩蔽信息进行的计算的目标。然而，当要处理RGB颜色图像数据时，RGB颜色图像数据可被临时转换成YUV或YCC的亮度/色差信号并且转换后获得的亮度信息可经历该计算处理。另外，可对R、G、B颜色中的每一个执行比特移位。可对显示区域中包括的显示像素任意设定比特移位。然而，以下将在假定圆形视野中的掩蔽值为0并且其他区域中的掩蔽值为2以便再现显微镜观察视野的情况下进行描述。在显示区域中的与掩蔽值2相对应的区域中，所获得的图像数据的亮度值被减小到1/4。另外，当向特定的比特赋予意义时，可应用增大亮度的处理。
此外，当执行步骤S907以后的对于每个显示像素改变亮度值的处理时，每个像素具有8比特的值并且作为掩蔽信息和图像数据的亮度值的乘法的结果新计算像素的亮度值。
当选择用于显示再现的显微镜观察视野的模式时，在步骤S606中生成用于显示再现的显微镜观察视野的图像数据。具体而言，根据由式(2)例示的像素倍率的计算式对获得的图像数据执行倍率改变处理。此处理的内容与参考图6描述的处理相同。
在步骤S902中，判定是否要设定与显微镜观察视野相对应的圆形显示区域。当要设定圆形显示区域时，处理前进到步骤S903，而当要在第一实施例中描述的用于显微镜视野的再现的大小的屏幕中显示图像时，处理被终止。
在步骤S903中，判定圆形显示区域以外的区域是在经历移位处理之后被显示为低亮度的图像还是以显示像素为单位被显示为低亮度的图像。
当要执行移位处理时，处理前进到步骤S904，而当要执行掩蔽信息和像素的亮度值的乘法时，处理前进到步骤S907。
当判定要再现显微镜视野时，在步骤S904中由相应像素参考在步骤S901中获得和识别的掩蔽信息的值。判定所参考的相应显示像素的 掩蔽信息的值是否为0，也就是说，像素是具有作为目标区域显示的通常亮度还是像素具有在显微镜观察视野之外要被降低的亮度。当掩蔽值为0时，处理前进到步骤S905，而当掩蔽值不是0时，也就是说，当要通过比特移位来降低像素的亮度值时，处理前进到步骤S906。
当掩蔽值为0时，在步骤S905中，获得的图像数据的像素的亮度值被用作显示用像素值。注意，当要执行适合于图像显示装置103的特性的校正处理时，可以改变亮度值。
当掩蔽值不是0时，在步骤S906中，获得的图像的像素的亮度值经历根据在步骤S901中获得的掩蔽信息的值向低位方向的比特移位计算。结果，实现了根据掩蔽值来降低亮度。
在步骤S907中，获得与图像数据的每个像素相对应的掩蔽信息。掩蔽信息例如具有8个比特，并且是从0到255的值。
在步骤S908中，像素的亮度值和相应掩蔽信息的值经历乘法以获得新的亮度值。在实践中，当通过将乘法的结果除以作为掩蔽信息的最大值的255来执行正规化时，在掩蔽信息是255的情况下可获得与除法前相同的亮度值。因此，在对每个像素执行相同处理时，也再现了显微镜视野。由于执行了亮度值与掩蔽信息之间的乘法而不是取代通过比特移位降低亮度，所以进一步增大了亮度设定的自由度。可以使用预先提供的预定值来作为掩蔽信息，或者可以根据用户的指令来改变或新设定掩蔽信息。结果，可以灵活地采用除了表示显微镜视野的圆形形状以外的观察视野的形状。
显示屏幕布局
图10包括示出在由图像处理装置102生成的显示数据被显示在图像显示装置103中的情况下的显示屏幕的图。在图10中，将描述用于再现显微镜观察视野的两种显示模式。
图10(a)是图像显示装置103的屏幕布局的基本配置。显示屏幕包括显示出显示和操作的状态和关于各种图像的信息的信息区域1002、要观察的标本的缩略图像1003、缩略图像1003中包括的并且 显示被详细观察的区域的详细显示区域1004、显示用于详细观察的标本的图像数据的显示区域1005、以及显示区域1005的显示倍率1006，这些被包括在大窗口1001中。这些区域和图像可由单个文档界面通过对于个体功能区域分割大窗口1001的显示区域来显示，或者可由多个文档界面显示为个体窗口。缩略图像1003显示在标本的整个图像中显示标本的图像数据的显示区域1005的位置和大小。该位置和大小可通过详细显示区域1004的边框来识别。详细显示区域1004可由输入到诸如触摸面板或鼠标411之类的外部连接的输入设备的用户的指令来直接设定和更新，或者可通过在显示的图像中移动显示区域或者通过缩放操作来设定和更新。标本图像数据显示区域1005显示被详细观察的标本的图像数据。这里，显示通过根据用户发出的操作指令移动显示区域(标本的整个图像中要观察的区域的选择或移动)或改变显示倍率来缩放的图像。
虚拟载物片装置获得的图像数据是以通过连接通过以分割方式捕捉标本而获得的图像数据项所获得的图像的形式提供的。因此，在像素实际大小显示中，可在图像显示装置103的整个屏幕中在比显微镜视野大的区域中显示信息。此外，省略了向显微镜中看的动作，在某种程度上确保了查看距离，并且可以同时显示大量图像数据和关于标本的信息。因此，改善了易用性。
图10(b)是示出当再现显微镜视野并且在显微镜观察视野以外的区域中均匀降低亮度时获得的显示屏幕的图。标号1006表示显示倍率。这里假定以原始倍率的40倍的高倍率来显示图像。标号1008表示与显微镜视野相对应的观察区域。在观察区域1008中，也就是说，在圆形视野中，显示具有通常亮度的图像。另一方面，显微镜视野以外的区域1007具有降低到某种程度的亮度。虽然标本的图像被显示在大显示区域中，但显微镜观察视野以外的区域中的亮度被降低，从而再现了病理学领域中熟悉的显微镜观察视野，同时实现了作为虚拟载物片装置的优点的周围区域中的更大量图像信息的显示。作为用于减少除了显微镜观察视野中的信息以外的信息的量的方法，除了降低亮 度的方法以外，还可以采用减少颜色信息以便显示单色数据的方法。
图10(c)是示出当再现显微镜观察视野并且根据与显微镜视野的中心的距离逐渐降低显微镜观察视野以外的区域中的亮度时获得的显示屏幕的图。显微镜观察视野以外的区域1009中的亮度根据与表示再现的显微镜视野的圆形区域的中心的距离被逐渐降低。这里，显微镜观察视野以外的区域的亮度被根据与要观察的圆形的中心的距离来降低，而不改变要观察的显微镜观察视野中的图像的显示。当与图10(b)所示的显微镜视野以外的区域上的信息的均匀降低相比时，这个配置是方便的，因为由于增大了要观察的区域中的信息的量，所以容易找到关注区域。
实施例的效果
根据本发明，可以提供能够生成与利用光学显微镜查看的观察视野的图像等同的虚拟载物片图像的图像处理装置。具体地，即使在远程提供的图像显示装置具有不同规格的环境下，也可以以相同大小显示图像。另外，由于使用了圆形掩蔽图像，所以可以再现由显微镜进行的显示。
[其他实施例]
可以如下实现本发明的目的。具体而言，记录实现前述实施例中的功能的全部或一些的软件的程序代码的记录介质(或存储介质)被提供到系统或装置。然后，该系统或装置中包括的计算机(或CPU或MPU)读取并执行记录介质中存储的程序代码。在此情况下，从记录介质读取的程序代码本身实现前述实施例的功能，并且记录这些程序代码的记录介质被包括在本发明中。
另外，计算机执行读取的程序代码，并且根据程序代码的指令，在计算机中操作的操作系统(OS)等执行所有实际处理或者实际处理中的一些。前述实施例的功能由这些处理来实现的情况也可被包括在本发明中。
另外，假定从记录介质读取的程序代码被写入在插入到计算机中的功能扩展卡或连接到计算机的功能扩展单元中包括的存储器中。于是如下情况也可被包括在本发明中：根据程序代码的指令，功能扩展卡或功能扩展单元中包括的CPU等执行实际处理的全部或一些，以使得前述实施例的功能被这些处理所实现也可被包括在本发明中。
当本发明被应用到上述记录介质时，记录介质存储与上述流程图相对应的程序代码。
另外，根据第一和第二实施例的配置可被相互组合。例如，在图像处理装置和图像拾取装置在本地相互连接的环境下，可以选择包括第二实施例中描述的相同大小显示模式在内的三种显示模式之一。另外，图像处理装置可连接到图像拾取装置和图像服务器以从这些装置中的任何一个获得要处理的图像。此外，通过在适当时将根据前述实施例的各种技术相互组合来获得的配置也被包括在本发明中。本发明的技术范围由专利权利要求的范围内的权利要求限定，而不限于前述实施例。
本申请要求2011年12月27日递交的日本专利申请2011-286783号和2012年12月26日递交的日本专利申请2012-282784号的权益，特此通过引用将这些日本专利申请全部并入在此。
附图标记列表
101  图像拾取装置
102  图像处理装置
103  图像显示装置
301  图像数据获得单元
302  存储/保持单元
303  用户输入信息获得单元
304  显示设备信息获得单元
305  像素倍率设定单元
306  显示图像数据获得单元
307  显示数据生成单元
308  显示图像数据输出单元
701  图像服务器
704  通过网络连接的远程图像处理装置
705  连接到图像处理装置的图像显示装置