图像处理装置、图像显示系统、图像处理方法和图像处理程序.pdf

提供一种能够防止基于合成图像中的组合位置进行高精度诊断的增加难度的图像处理设备。图像处理设备具有：图像数据获取部件，获得通过将成像目标的成像范围分割成多个区并对其进行成像而获得的多个分割图像数据；合成图像数据产生部件，基于多个分割图像数据产生合成图像数据；以及用于合成区显示的数据产生部件，产生用于使观察者识别合成图像数据中的合成区的显示图像数据。图像处理设备的特征在于，用于合成区显示的数据产生部件至少改变包含在显示区中的所有合成区的颜色或亮度。

权利要求书1.  一种图像处理装置，包括：图像数据获取部件，该图像数据获取部件获取通过捕获成像目标的捕获区被分割成的多个区域的图像而获得的多条分割图像数据；合成图像数据产生部件，该合成图像数据产生部件基于多个分割图像数据产生合成图像数据；以及合成边界区域显示数据产生部件，该合成边界区域显示数据产生部件产生用于供观察者识别合成图像数据中的合成边界区域的显示图像数据，其中，所述合成边界区域显示数据产生部件改变包含在显示区中的所有合成边界区域的颜色和亮度中的至少一个。2.  根据权利要求1的图像处理装置，其中，所述图像处理装置被应用于通过使用显微镜获得的图像。3.  根据权利要求1的图像处理装置，其中，所述图像处理装置被用于虚拟载片系统中。4.  根据权利要求1～3中的任一项的图像处理装置，其中，所述图像数据获取部件获取通过以存在多条分割图像数据重叠的区域的方式捕获图像而获得的多条分割图像数据，并且其中，所述合成边界区域显示数据产生部件使用多条分割图像数据重叠的区域的图像数据，以便产生用于供观察者识别合成边界区域的图像数据。5.  根据权利要求4的图像处理装置，其中，所述合成图像数据产生部件对多条分割图像数据执行叠加或混合以便产生合成图像数据。6.  根据权利要求4的图像处理装置，其中，所述合成图像数据产生部件对多条分割图像数据重叠的区域进行内插，以便产生合成图像数据。7.  根据权利要求1～3中的任一项的图像处理装置，其中，所述合成图像数据产生部件对多条分割图像数据进行合成以便产生要被显示的合成图像数据，并且所述合成边界区域显示数据产生部件产生多条分割图像数据被连接的区域的线作为合成边界区域数据。8.  根据权利要求1～7中的任一项的图像处理装置，还包括：合成边界区域数据切换部件，该合成边界区域数据切换部件执行由所述合成边界区域显示数据产生部件所产生的用于供观察者识别合成边界区域的图像数据的切换。9.  根据权利要求8的图像处理装置，其中，所述合成边界区域数据切换部件在某一边界处执行由所述合成边界区域显示数据产生部件所产生的用于供观察者识别合成边界区域的图像数据的切换。10.  根据权利要求8的图像处理装置，其中，所述合成边界区域数据切换部件以某一倍率执行由所述合成边界区域显示数据产生部件所产生的用于供观察者识别合成边界区域的图像数据的切换。11.  一种显微镜图像显示系统，包括：图像处理装置；以及图像显示装置，其中，所述图像处理装置是根据权利要求1～6中的任一项的图像处理装置，并且其中，所述图像显示装置显示用于成像目标且从所述图像处理装置传送的合成图像数据和用于供观察者识别合成边界区域的图像数据。12.  根据权利要求11的显微镜图像显示系统，其中，所述显微镜图像显示系统具有用于在接收到显示合成边界区域的指令时显示所述合成边界区域的机构。13.  一种图像处理方法，包括：获取通过捕获成像目标的捕获区被分割成的多个区域的图像而获 得的多条分割图像数据；基于多个分割图像数据产生合成图像数据；以及产生用于供观察者识别合成图像数据中的合成边界区域的显示图像数据，其中，在显示图像数据的产生中，对于包含在显示区中的所有合成边界区域改变颜色和亮度中的至少一个。14.  根据权利要求13的图像处理方法，其中，合成图像数据的产生和显示图像数据的产生被同时执行。15.  一种使计算机执行处理的程序，该处理包括：获取通过捕获成像目标的捕获区被分割成的多个区域的图像而获得的多条分割图像数据；基于多个分割图像数据产生合成图像数据；以及产生用于供观察者识别合成图像数据中的合成边界区域的显示图像数据，其中，在显示图像数据的产生中，对于包含在显示区中的所有合成边界区域改变颜色和亮度中的至少一个。16.  一种存储根据权利要求15的程序的计算机可读存储介质。

说明书图像处理装置、图像显示系统、图像处理方法和图像处理程序
技术领域
本发明涉及图像处理装置，并且特别地涉及用于观察成像目标的数字图像处理。
背景技术
最近，在病理领域中，用作作为病理诊断的工具的光学显微镜的替代、且使得能够通过拍摄安装在制备物(preparation)上的要被检查的样本(成像目标)并通过数字化图像来在显示器上执行病理诊断的虚拟载片(slide)系统受到关注。通过利用虚拟载片系统数字化病理诊断图像，相关技术中的要被检查的样本的光学显微镜图像可被作为数字数据处理。结果，有望实现诸如更快的远距离诊断、使用数字图像作为对病人的解释性帮助、共享罕见的病例和更有效的教育和培训的优点。
为了使用虚拟载片系统实现大致与使用光学显微镜等同的操作，必须数字化处于制备物上的整个要被检查的样本。通过数字化要被检查的样本，可使用在个人计算机(PC)或工作站上操作的查看器软件观察使用虚拟载片系统产生的数字数据。用于整个数字化的要被检查的样本的像素的数量典型地为数亿到数十亿，这是量非常大的数据。
使用虚拟载片系统产生的数据量是巨大的，并且可通过使用查看器执行放大/缩小处理执行从微观观察(放大的细节图像)到宏观观察(整体的鸟瞰图)的各种观察，并且系统因此在各个不同的方面是便利的。通过事先获得所有必要的信息，可使用用户希望的分辨率和倍率执行低倍率图像到高倍率图像的即时显示。另外，获得的数字数据经受图像分析，并且例如执行细胞形状的确定、细胞数量的计算和细胞核与细胞质面积比(N/C比)的计算。因此，在病理诊断中有用的 各种类型的信息也可被展现。
作为这种获得成像目标的高倍率图像的技术，已提出了一种使用通过拍摄成像目标的多个部分所获得的高倍率图像以获得整个成像目标的高倍率图像的方法。具体地，在PTL1中，公开了一种显微镜系统，该显微镜系统将成像目标分割成被拍摄的小的部分，并且将由此获得的小的部分的图像合成为显示的成像目标的合成图像。在PTL2中，公开了一种图像显示系统，该图像显示系统通过在移动显微镜的台架的同时捕获图像来获得成像目标的部分图像并且校正图像中的畸变以便合成图像。在PTL2中，产生具有不显眼的连接区域的合成图像。
引文列表
专利文献
PTL1：日本专利公开No.2007-121837
PTL2：日本专利公开No.2010-134374
发明内容
技术问题
由于由例如不可避免地发生的部分图像之间的错误配准和畸变校正所导致的伪像的不利影响，使用PTL1的显微镜系统和PTL2的图像显示系统获得的合成图像中的连接区域极有可能是与当病理医生使用光学显微镜执行观察时所获得的图像不同的图像。尽管如此，当在没有认识到这种误诊的可能性的情况下使用合成图像进行诊断时，存在基于合成图像中的连接区域进行诊断从而妨碍高度精确的诊断的问题。
问题的解决方案
本发明基本上在图像处理装置中体现，该图像处理装置包括图像数据获取部件、合成图像数据产生部件和合成边界区域显示数据产生部件。该图像数据获取部件获取通过捕获成像目标的捕获区被分割成的多个区域的图像而获得的多条分割图像数据。该合成图像数据产生 部件基于多个分割图像数据产生合成图像数据。该合成边界区域显示数据产生部件产生用于供观察者识别合成图像数据中的合成边界区域的显示图像数据。所述合成边界区域显示数据产生部件改变包含在显示区中的所有合成边界区域的颜色和亮度中的至少一个。
另外，本发明基本上在显微镜图像显示系统中体现，该显微镜图像显示系统至少包含图像处理装置和图像显示装置。该图像显示装置显示用于成像目标且从图像处理装置传送的合成图像数据和用于供观察者识别合成边界区域的图像数据。
并且，本发明基本上在图像处理方法中体现，该图像处理方法包括：获取通过捕获成像目标的捕获区被分割成的多个区域的图像而获得的多条分割图像数据；基于多个分割图像数据产生合成图像数据；以及产生用于供观察者识别合成图像数据中的合成边界区域的显示图像数据。在显示图像数据的产生中，对于包含在显示区中的所有合成边界区域改变颜色和亮度中的至少一个。
并且，本发明基本上在使计算机执行处理的程序中体现，该处理包括：获取通过捕获成像目标的捕获区被分割成的多个区域的图像而获得的多条分割图像数据；基于多个分割图像数据产生合成图像数据；以及产生用于供观察者识别合成图像数据中的合成边界区域的显示图像数据。在显示图像数据的产生中，对于包含在显示区中的所有合成边界区域改变颜色和亮度中的至少一个。
本发明的有利效果
在根据本发明的优选的图像处理装置、优选的图像显示系统、优选的图像处理方法和优选的图像处理程序中，可以防止难以使用合成图像中的合成边界区域执行高度精确的诊断的情况。
附图说明
图1是根据本发明的使用图像处理装置的图像显示系统的装置配置的示例性总体示图。
图2是根据本发明的使用图像处理装置的图像显示系统中的成像 装置的示例性功能框图。
图3是根据本发明的图像处理装置的示例性功能框图。
图4是根据本发明的图像处理装置的示例性硬件配置图。
图5包含用于描述根据第一实施例的合成图像数据产生和合成边界区域数据产生的概念的图。
图6是根据本发明的图像处理装置中的合成边界区域显示数据的产生的示例性流程图。
图7是合成边界区域呈现数据的产生的示例性流程图。
图8是叠加处理的示例性流程图。
图9示出根据本发明的图像显示系统的示例性显示画面。
图10是通过根据本发明的图像处理装置的切换部件执行的显示的切换的示例性流程图。
图11是根据第二实施例的使用图像处理装置的图像显示系统的总体示图。
图12是用于描述根据第二实施例的合成边界区域数据产生的概念的图。
图13是根据第二实施例的合成边界区域数据产生的流程图。
图14是根据第二实施例的叠加处理的流程图。
图15示出根据第二实施例的图像显示系统的示例性显示画面。
具体实施方式
以下将参照附图描述本发明的实施例。以下全部描述都是关于本发明的优选实施例，并且本发明不限于此。
根据本发明的优选的图像处理装置包含图像数据获取部件、合成图像数据产生部件和合成边界区域显示数据产生部件。该图像数据获取部件获取通过捕获成像目标的捕获区被分割成的多个区域的图像而获得的多条分割图像数据。该合成图像数据产生部件基于多个分割图像数据产生合成图像数据。该合成边界区域显示数据产生部件产生用于供观察者识别合成图像数据中的合成边界区域的显示图像数据。所 述合成边界区域显示数据产生部件改变包含在显示区中的所有合成边界区域的颜色和亮度中的至少一个。因此，当合成通过将要被拍摄的成像目标的区域分割成小的部分而捕获的图像(数据)使得产生成像目标的图像(数据)时，可防止由于可能与成像目标的原始图像不同的合成图像(数据)的显示而难以使用合成边界区域执行高度精确的诊断的情况。根据本发明的图像处理装置可被应用于使用显微镜获得的图像。另外，根据本发明的图像处理装置可被用于图像显示系统、特别是显微镜图像显示系统或虚拟载片系统中。
这里使用的合成图像(数据)的方法的示例包含连接多条图像数据(以下，也可称为“部分图像数据”)、叠加多条部分图像数据、α混合多条部分图像数据和内插以平滑地合成多条部分图像数据。用于连接要被重叠的多条图像数据的方法的示例包含通过基于台架的位置信息对准多条图像数据来连接它们的方法、通过关联多条分割图像中的对应点或对应线来连接多条图像数据的方法和基于分割图像数据的位置信息连接多条图像数据的方法。叠加在广义上意味着多条图像数据重叠。用于叠加多条图像数据的方法的示例包含多条图像数据中的多个部分或者全部在具有重叠的图像数据的区域中重叠的情况。α混合表示两个图像使用系数(α值)合成。执行内插以平滑地连接多条图像数据的方法的示例包含使用零阶内插的处理、使用线性内插的处理和使用较高次内插的处理。为了平滑地连接图像，使用较高次内插的处理是优选的。
合成边界区域显示数据产生部件是用于产生供观察者视觉地识别显示图像中的合成边界区域的数据的部件。
合成边界区域是在合成图像数据时获得的，并且是多条原始部分图像数据之间的连接区域或处于合成图像中且由于合成处理而产生其外观(appearance)与原始部分图像数据不同的图像数据的区域。当显示合成边界区域时，观察者需要视觉地识别合成边界区域。因此，多条原始部分图像数据之间的连接区域是包含一定程度的周边区的区，而不仅仅是线。一定程度的周边区的宽度可能依赖于显示倍率。
术语“用于显示合成边界区域的数据”不仅仅是关于合成边界区域的数据(诸如合成边界区域的位置信息)，而且是以下方面中的一个：数据，基于该数据，合成图像数据被处理使得要被显示的图像中的合成边界区域可被视觉地识别；和被重写以便变成与部分图像数据不同的数据使得合成图像数据中的合成边界区域可被视觉地识别的数据的一部分(包含在合成图像数据中)。
合成边界区域显示数据产生部件可在产生合成图像数据之后提取合成边界区域，以便产生用于供观察者识别合成边界区域的图像数据，或者可基于例如分割图像数据的位置信息产生用于供观察者识别合成边界区域的图像数据。
合成图像数据的产生和用于供观察者识别合成边界区域的图像数据的产生被以任意的次序执行，并且例如可被同时执行。作为用于显示合成边界区域的方法，优选改变颜色或亮度。
优选地，图像处理装置通过使用捕获显微镜图像(光学显微镜图像)的图像数据获取部件来获得多条分割图像数据，并在虚拟载片系统中使用所获得的数据。
图像数据获取部件可获取通过以多条分割图像数据具有重叠区域的方式捕获图像所获得的多条分割图像数据，并且合成边界区域显示数据产生部件可产生多条分割图像数据重叠的区数据作为用于供观察者识别合成边界区域的图像数据。
当通过以多条分割图像数据具有重叠区域的方式捕获图像来获得多条分割图像数据时，合成图像数据产生部件优选对多条分割图像数据执行叠加或混合以便产生合成图像数据。
当通过以多条分割图像数据具有重叠区域的方式捕获图像来获得多条分割图像数据时，合成图像数据产生部件优选对多条分割图像数据重叠的区域进行内插，以便产生合成图像数据。
合成图像数据产生部件可合成多条分割图像数据以便产生要被显示的合成图像数据，并且合成边界区域显示数据产生部件可产生多条分割图像数据被连接的区域的线作为合成边界区域数据。
优选地，图像处理装置还包含合成边界区域数据切换部件，其执行由合成边界区域显示数据产生部件所产生的用于供观察者识别合成边界区域的图像数据的切换。合成边界区域数据切换部件可优选在显示合成边界区域的模式与不显示合成边界区域的模式之间切换合成边界区域的显示模式。
合成边界区域数据切换部件优选在某一边界处执行由合成边界区域显示数据产生部件所产生的用于供观察者识别合成边界区域的图像数据的切换。作为某一边界，可以使用预定的倍率或预定的(在图像显示装置上显示的图像的)滚动速度。例如，仅在倍率比某一倍率高的情况下或者在(图像显示装置上显示的图像的)滚动速度比某一速度低的情况下，产生用于供观察者识别合成边界区域的图像数据才是优选的。
根据本发明的优选的图像显示系统至少包含上述图像处理装置和图像显示装置，该图像显示装置显示用于成像目标且从图像处理装置传送的合成图像数据，并且显示用于供观察者识别合成图像数据中的合成边界区域的图像数据。
根据本发明的优选的图像处理方法包含：获取通过捕获成像目标的捕获区被分割成的多个区域的图像而获得的多条分割图像数据；基于多个分割图像数据产生合成图像数据；以及产生用于供观察者识别合成图像数据中的合成边界区域的显示图像数据。在显示图像数据的产生中，对于包含在显示区中的所有合成边界区域改变颜色和亮度中的至少一个。合成图像数据的产生和显示图像数据的产生可被同时执行。
根据本发明的优选的程序使计算机执行处理，该处理包含：获取通过捕获成像目标的捕获区被分割成的多个区域的图像而获得的多条分割图像数据；基于多个分割图像数据产生合成图像数据；以及产生用于供观察者识别合成图像数据中的合成边界区域的显示图像数据。在显示图像数据的产生中，对于包含在显示区中的所有合成边界区域改变颜色和亮度中的至少一个。
说明书中关于根据本发明的图像处理装置的优选方面可在根据本发明的图像处理方法或程序中反映。
第一实施例
根据本发明的图像处理装置可被用于包含成像装置和图像显示装置的图像显示系统中。将通过使用图1来描述该图像显示系统。
(图像拾取系统的配置)
图1示出根据本发明的使用图像处理装置的图像显示系统。图像显示系统包含成像装置(显微镜装置或虚拟载片扫描仪)101、图像处理装置102和图像显示装置103，并具有获得和显示要被拍摄的成像目标(要被检查的样本)的二维图像的功能。成像装置101和图像处理装置102通过作为专用I/F或通用I/F的线缆104彼此连接，而图像处理装置102和图像显示装置103通过作为通用I/F的线缆105彼此连接。
作为成像装置101，可以使用具有沿二维方向在不同位置处捕获多个二维图像并输出数字图像的功能的虚拟载片装置。诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的固态图像感测元件被用于获得二维图像。代替虚拟载片装置，成像装置101可包含其中数字照相机被附接到典型的光学显微镜的目镜部分的数字显微镜装置。
图像处理装置102具有例如通过使用从成像装置101所获得的多条被分割的原始图像数据来产生合成图像数据的功能。图像处理装置102由包含诸如中央处理单元(CPU)、RAM、存储设备、操作单元和I/F的硬件资源的通用计算机或工作站构成。存储设备是诸如硬盘驱动的大容量信息存储设备，并存储例如用于实现以下描述的处理的程序、数据和操作系统(OS)。上述功能利用CPU将必要的程序和数据从存储设备加载到RAM上并执行程序来实现。操作单元由例如键盘和鼠标构成，并被操作员用于输入各种指令。图像显示装置103是显示作为由图像处理装置102执行的计算的结果的用于观察的图像的监视器，并由例如CRT或液晶显示器构成。
在图1中的示例中，图像拾取系统由成像装置101、图像处理装置102和图像显示装置103这三个装置构成。但是，本发明的配置不限于此。例如，可以使用图像显示装置被集成到其中的图像处理装置，或者图像处理装置的功能可被合并到成像装置中。可替代地，可在单个装置中实现成像装置、图像处理装置和图像显示装置的功能。相反，例如图像处理装置的功能可被分割成在多个装置中执行的小功能。
(成像装置的配置)
图2是示出成像装置101的功能配置的框图。
成像装置101一般包含照明单元201、台架202、台架控制单元205、成像光学系统207、图像拾取单元210、显影处理单元216、预测量单元217、主控制系统218和数据输出单元219。
照明单元201是利用光均匀地照射位于台架202上的制备物206的部件，并包含光源、照明光学系统和用于驱动光源的控制系统。台架202被台架控制单元205驱动和控制，并可沿XYZ三个轴移动。制备物206是其中用作观察对象的组织的切片或涂抹细胞被置于载玻片上以便与封固剂一起被保持在盖玻片下面的部材(member)。
台架控制单元205包含驱动控制系统203和台架驱动机构204。驱动控制系统203接收来自主控制系统218的指令并控制台架202的驱动。基于通过预测量单元217所测量的成像目标的位置信息和厚度信息(距离信息)并在必要时基于来自用户的指令，确定台架202的移动方向、移动量等。台架驱动机构204根据来自驱动控制系统203的指令驱动台架202。
成像光学系统207是用于将制备物206上的成像目标的光学图像形成在成像传感器208上的透镜单元。
图像拾取单元210包含成像传感器208和模拟前端(AFE)209。成像传感器208是通过光电转换将二维光学图像转换成电气物理量的一维或二维图像传感器，并且，例如使用CCD或CMOS器件。当使用一维传感器时，通过沿扫描方向执行扫描来获得二维图像。具有根据光强度的电压值的电信号从成像传感器208输出。在作为捕获图像 希望彩色图像的情况下，例如，可以使用附接使用Bayer阵列的滤色器的单芯片图像传感器。图像拾取单元210在台架202沿XY轴方向被驱动的情况下捕获成像目标的分割图像。
AFE209是将从成像传感器208输出的模拟信号转换成数字信号的电路。AFE209包含以下描述的H/V驱动器、相关双采样(CDS)、放大器、AD转换器和定时产生器。H/V驱动器将用于驱动成像传感器208的垂直同步信号和水平同步信号转换成驱动传感器所需要的电势。CDS是去除固定模式噪声的相关双采样电路。放大器是调整在CDS中经受噪声消减的模拟信号的增益的模拟放大器。AD转换器将模拟信号转换成数字信号。在来自成像装置的最后级的输出为8比特的情况下，AD转换器在考虑下游处理的情况下将模拟信号转换成通过从10比特到16比特阶的量化所获得的数字数据，并输出该数字数据。经转换的传感器输出数据被称为RAW数据。RAW数据在位于下游的显影处理单元216中经受显影处理。定时产生器产生用于调整成像传感器208的定时和用于位于下游的显影处理单元216的定时的信号。
在CCD被用作成像传感器208的情况下，上述AFE209是必需的。相反，在使用可输出数字输出的CMOS图像传感器的情况下，传感器包含上述AFE209的功能。另外，存在控制成像传感器208的图像拾取控制器(未示出)，并且该图像拾取控制器不仅控制成像传感器208的操作，而且负责操作定时和快门速度、帧速率、关注区域(ROI)等的控制。
显影处理单元216包含黑校正单元211、白平衡调整单元212、去马赛克单元213、滤波单元214和γ校正单元215。黑校正单元211从RAW数据的像素中的每一个减去在遮光的情况下所获得的用于黑校正的数据。白平衡调整单元212根据来自照明单元201的光的色温调整RGB颜色中的每一个的增益以便再现希望的白色。具体地，用于白平衡校正的数据被加到黑校正之后的RAW数据。在处理单色图像的情况下，白平衡调整处理不是必须的。显影处理单元216产生通过 图像拾取单元210所拍摄的成像目标的分割图像数据。
去马赛克单元213从根据Bayer阵列的RAW数据产生RGB颜色中的每一个的图像数据。去马赛克单元213使用RAW数据中周围像素(包含相同颜色的像素和其它颜色的像素)的值通过内插来计算目标像素的RGB颜色值。另外，去马赛克单元213对有缺陷的像素执行校正处理(内插处理)。在成像传感器208不具有滤色器且获得单色图像的情况下，去马赛克处理不是必须的。
滤波单元214是实现包含在图像中的高频率成分的抑制、噪声消减和高分辨率的强调的数字滤波器。γ校正单元215向图像添加典型显示设备的灰度(gradation)表现特性的逆特性，并通过高辉度部分中的灰度压缩或暗部处理根据人的视觉特性执行灰度转换。根据本实施例，为了获得用于形态观察的图像，图像数据经受适合位于下游的合成处理和显示处理的灰度转换。
预测量单元217执行用于计算制备物206上的成像目标的位置信息、到希望的焦点位置的距离信息和用于由成像目标的厚度导致的光量调整的参数的预测量。预测量单元217在主测量之前获得信息，从而使得能够有效地捕获图像。为了获得二维平面中的位置信息，具有比成像传感器208的分辨率低的分辨率的二维成像传感器被使用。预测量单元217从获得的图像确定成像目标在XY平面中的位置。激光位移传感器或Shack-Hartmann测量设备被用于获得距离信息和厚度信息。
主控制系统218控制上述各种单元。主控制系统218和显影处理单元216的功能通过具有CPU、ROM和RAM的控制电路来实现。即，ROM存储程序和数据，并且CPU使用RAM作为工作存储器以便执行程序，从而实现主控制系统218和显影处理单元216的功能。诸如EEPROM或闪存的设备被用作ROM，并且诸如DDR3的DRAM设备被用作RAM。
数据输出单元219是用于将由显影处理单元216产生的RGB彩色图像传送到图像处理装置102的接口。成像装置101和图像处理装 置102通过光学通信线缆彼此连接。可替代地，使用诸如USB或GigabitEthernet(注册商标)的接口。
(图像处理装置的配置)
图3是示出根据本发明的图像处理装置102的功能配置的框图。
图像处理装置102一般包含数据输入/输出单元301和308、存储保持单元302、合成处理器303、合成边界区域提取单元304、合成边界区域呈现单元305、叠加处理器306和模式选择器307。
存储保持单元302经由数据输入单元301接收从外部装置获得以及通过拍摄成像目标的分割部分获得的RGB的分割彩色图像数据，并且存储和保持该数据。彩色图像数据不仅包含图像数据，而且包含位置信息。位置信息是描述哪条分割图像数据与成像目标的哪个拍摄部分对应的信息。例如，可通过在捕获分割图像数据时记录正被驱动的台架202的XY坐标以及分割图像数据来获得位置信息。
合成处理器303基于多条分割图像数据的位置信息通过使用通过拍摄成像目标的分割部分而获得的彩色图像数据(分割图像数据)来产生成像目标的合成图像数据。
合成边界区域提取单元304在由合成处理器303产生的合成图像数据中提取经受例如内插的合成边界区域。例如，当以简单的方式连接多条分割图像数据时，连接区域被提取作为合成边界区域。当通过例如内插平滑地连接多条分割图像数据时，已施加内插等的连接区域被提取作为合成边界区域。在本实施例中，假定以与连接区域对应的区彼此重叠的方式捕获图像，并且向获得的多条分割图像数据施加内插处理，使得多条分割图像数据被平滑地连接。
模式选择器307选择显示合成边界区域的模式。作为显示合成边界区域的模式，颜色的变化、亮度的变化、点线的显示、闪烁等被指定。将通过使用图5来描述细节。
合成边界区域呈现单元305通过使用由模式选择器307所选择的模式来呈现由合成边界区域提取单元304所提取的合成边界区域。
叠加处理器306在由合成处理器303产生的合成图像数据上叠加 已由合成边界区域呈现单元305呈现的用于合成边界区域的呈现数据。在叠加处理之后获得且其中产生的连接区域重叠的合成图像数据中，经受合成处理的区域与没有经受合成处理的原始分割图像数据区分开。在叠加处理之后获得且其中合成边界区域被区分的合成图像数据经由数据输出单元308被传送到例如外部监视器。
(图像处理装置的硬件配置)
图4是示出根据本发明的图像处理装置的硬件配置的框图。例如，个人计算机(PC)400被用作信息处理装置。
PC400包含中央处理单元(CPU)401、硬盘驱动(HDD)402、随机存取存储器(RAM)403、数据输入/输出单元405和将这些彼此连接的总线404。
CPU401在必要时适当访问例如RAM403，并在执行各种计算处理的同时总体控制PC400中的全部块。硬盘驱动(HDD)402是永久存储由CPU401执行的OS和诸如程序和各种参数的固件且记录并读出信息的辅助存储器。RAM403被用作例如CPU401的工作区，并且暂时存储OS、正被执行的各种程序和要被处理的各种数据，诸如在叠加处理之后获得并且作为本发明的特征的合成图像。
图像显示装置103、输入装置407和作为外部装置的成像装置101等与数据输入/输出单元405连接。
图像显示装置103是使用例如液晶、电致发光(EL)或阴极射线管(CRT)的显示设备。假定图像显示装置103作为外部装置被连接。可替代地，可假定PC400与图像显示装置集成。
输入装置407的示例包含诸如鼠标的定点设备、键盘、触摸板和其它操作输入装置。当输入装置407包含触摸板时，触摸板可与图像显示装置103集成。
成像装置101是图像拾取装备，诸如显微镜装置或虚拟载片扫描仪。
(合成边界区域的显示)
将通过使用图5来描述作为由包含在根据本发明的图像处理装置 中的叠加处理器306所产生的显示数据、并且要在图像显示装置103上显示的叠加处理之后的合成图像。
在根据本发明的图像处理装置中，通过合成通过拍摄分割部分所获得的多条图像数据来产生合成图像数据(图5(a))。通过呈现合成边界区域并将它们叠加在获得的合成图像数据上，获得其中合成边界区域被区分的叠加处理之后的合成图像数据(图5(b))。
作为用于产生要被用于显示合成边界区域的数据并显示产生的数据的方法，例如可以使用以下方法：通过改变合成边界区域的颜色信息来产生数据的方法；通过改变合成边界区域的亮度信息来产生数据的方法；通过在合成边界区域的中心区域(中心线)中显示网格来产生数据的方法；利用诸如箭头的标记显示合成边界区域的方法；和以时间分割的方式切换呈现的合成边界区域且显示闪烁以表示是否已执行叠加的方法。通过改变合成边界区域的颜色来产生显示数据的方法是优选的，原因在于用于合成边界区域的区与其它区域区分开。通过改变合成边界区域的亮度来产生显示数据的方法是优选的，原因在于用于合成边界区域的区与其它区域区分开，并且可以使用在诊断中所需要的合成边界区域的图像数据。
(用于显示合成边界区域的方法)
将使用图6中的流程图描述根据本发明的图像处理装置中的合成边界区域显示数据的产生的流程。
在步骤601中，在图像处理装置102中，通过将要拍摄的成像目标的区域分割成多个区域并拍摄获得的区域所获得的多条图像数据(分割图像数据)经由数据输入/输出单元301从例如作为外部装置的成像装置101获得，并被传送到存储保持单元302。
在步骤602中，掌握(grasp)包含于存储在存储保持单元302中的分割图像数据中的位置信息或作为单独的数据附加到分割图像数据的位置信息。位置信息是描述哪条分割图像数据与成像目标的哪个拍摄部分对应的信息。
在步骤603中，合成处理器303基于掌握的位置信息合成分割图 像数据，并产生成像目标的合成图像数据。合成方法的示例包含连接多条部分图像数据、叠加多条部分图像数据、α混合多条部分图像数据和内插以平滑地合成多条部分图像数据。用于连接要被重叠的多条图像数据的方法的示例包含通过基于台架的位置信息对准多条图像数据来连接它们的方法、通过关联多条分割图像中的对应点或对应线来连接多条图像数据的方法和基于分割图像数据的位置信息来连接多条图像数据的方法。叠加在广义上意味着多条图像数据重叠。用于叠加多条图像数据的方法的示例包含多条图像数据的多个部分或整体在具有重叠图像数据的区域中重叠的情况。α混合表示使用系数(α值)合成两个图像。执行内插以平滑地连接多条图像数据的方法的示例包含使用零阶内插的处理、使用线性内插的处理和使用较高次内插的处理。为了平滑地连接图像，使用较高次内插的处理是优选的。
在步骤604中，模式选择器307选择用于显示合成边界区域的方法。模式选择器307首先选择是否要显示合成边界区域。如果要显示合成边界区域，那么模式选择器307选择显示如何显现。例如，作为显示方法，选择诸如改变颜色或改变亮度的显示模式。
在步骤605中，确定是否要在合成图像中显示合成边界区域。如果确定不在合成图像中显示合成边界区域，那么在不呈现合成边界区域或在叠加处理器306中叠加呈现的合成边界区域的情况下图像数据经由数据输出单元308被传送到外面。如果确定要在合成图像中显示合成边界区域，那么处理前进到下一步骤S606。
在步骤606中，基于位置信息从产生的合成图像数据提取合成边界区域的区。
在步骤607中，合成边界区域呈现单元305通过使用在步骤604中选择的显示方法来产生在步骤606中提取的合成边界区域的呈现数据。以下将使用另一流程图描述合成边界区域呈现数据的产生的细节。
在步骤608中，叠加处理器306将步骤607中所产生的合成边界区域呈现数据叠加在步骤603中所获得的合成图像数据上，并获得在叠加处理之后获得且其中合成边界区域与其它区域区分开的合成图像 数据。以下将使用另一流程图描述叠加处理的细节。
(呈现连接区域)
图7是作为合成边界区域的连接区域的呈现数据的产生的流程图。将使用图7描述通过改变合成边界区域的亮度或颜色来执行显示的情况下的流程。
在步骤S701中，确定已由模式选择器307设定的模式。在该步骤中，确定要在呈现合成边界区域中改变亮度还是颜色。
在步骤S702中，确定是否要在合成边界区域的呈现中改变亮度。如果要改变亮度，那么处理前进到步骤S703。如果不要改变亮度，那么处理前进到步骤S706。
在步骤S703中，确定是否要通过降低合成边界区域的亮度来改变亮度。如果合成边界区域的亮度与合成边界区域以外的区的亮度相比要被相对降低，那么处理前进到步骤S704。如果不要降低合成边界区域的亮度，即要改变合成边界区域以外的区的亮度或者要增加合成边界区域的亮度，那么处理前进到步骤S705。
在步骤S704中，在降低亮度的情况下产生合成图像中的合成边界区域的呈现数据。
在步骤S705中，在不改变或者增加亮度的情况下产生合成边界区域的呈现数据。
在步骤S706中，为了改变颜色，设定当显示合成边界区域时所使用的颜色。
在步骤S707中，基于已在步骤S706中设定的颜色产生合成边界区域的呈现数据。
(叠加合成边界区域呈现数据)
图8是在合成图像上叠加合成边界区域呈现数据的流程图。在图8中，在合成图像数据上叠加合成边界区域呈现数据。当选择改变亮度作为合成边界区域的呈现方法时，显示方法中的一种是降低合成图像的亮度使得合成边界区域与其它区域区分开。当要在观察显示图像的同时调查合成边界区域时，降低合成图像的亮度是有利的。
在步骤S801中，获得通过由合成处理器303执行的合成所产生的合成图像数据。
在步骤S802中，获得通过合成边界区域呈现单元305所产生的合成边界区域呈现数据。
在步骤S803中，基于在步骤S701中所确定的合成边界区域的呈现方法的设定，确定是否要降低合成边界区域的亮度。如果合成边界区域的亮度与合成边界区域以外的区的亮度相比要被相对降低，那么处理前进到步骤S804。如果不要降低合成边界区域的亮度，即要改变合成边界区域以外的区的亮度，那么处理前进到步骤S805。在步骤S805中，降低合成图像中的合成边界区域的亮度。
在步骤S804中，为了与合成边界区域以外的区的亮度相比相对降低合成边界区域的亮度，在步骤S603中所产生的合成图像数据上叠加其中合成边界区域的亮度被降低的合成边界区域呈现数据。除了通过在合成图像数据上重写(overwrite)合成边界区域呈现数据来产生叠加图像的处理以外，叠加处理的示例还包含多条图像数据中的每一条经受α混合使得产生叠加图像的处理。
(显示画面布局)
图9描述在图像显示装置103上显示由根据本发明的图像处理装置102所产生的用于显示的图像数据的情况的示例。
图9(a)示出图像显示装置103的画面的布局。在画面中的整个窗口901中，显示用于详细观察的图像拾取目标图像数据的显示区902、要观察的成像目标的缩略图图像903和显示设定区904。这些区可以将整个窗口901中的显示区分成功能区的方式在单个文件界面中被显示，或者可以在单独的窗口中显示每个区的方式在多个文件界面中被显示。在用于图像拾取目标图像数据的显示区902中，显示用于详细观察的成像目标的图像数据。来自用户的操作指令导致显示区的移动(要在整个成像目标中观察的部分区的选择和移动)和由于显示倍率的变化而造成的放大或缩小图像的显示。缩略图图像903表示图像拾取目标图像数据的显示区902相对于成像目标的整个图像的位置 和尺寸。在显示设定区904中，例如，通过来自外部连接的诸如触摸板或鼠标的输入装置407的用户指令来选择和按压设置按钮905，由此可改变显示设定。
图9(b)示出当选择和按压设置按钮905时显示为对话框且其中选择是否要显示作为合成图像中的合成边界区域的连接区域的显示设定画面。在本实施例中，假定提供设置按钮并通过按压按钮打开设定画面。可替代地，可直接在显示设定区904上提供可显示、选择和改变图9(c)所示的各种详细设定的UI。可代替的是，可显示其中集成显示包含是否要显示合成边界区域的详细设定的列表的画面。
图9(c)示出用于连接区域并且当要显示作为合成边界区域的连接区域时显示为对话框的显示设定画面。在显示设定画面中，选择或设定如何显示作为合成图像中的合成边界区域的连接区域。具体地，从例如以下选项选择作为合成边界区域的连接区域的显示方法：改变连接区域的颜色；改变连接区域的亮度；和改变合成图像的亮度。选择改变颜色和选择改变亮度是相互排斥的。当要改变连接区域的颜色时，可以选择连接区域的颜色。在改变颜色时，能够进一步提供颜色样本的列表以允许用户选择希望的颜色。在要改变合成边界区域的区的亮度的情况下，或者在要改变合成边界区域以外的区的亮度的情况下，可以设定要改变亮度的程度。在改变亮度中，可以假定以下情况：使用例如使用滑块的直观界面的情况；和输入数值以相对于当前亮度相对改变亮度的情况。另外，能够在合成边界区域经受叠加处理时对要叠加的图像设定α值，以便设定半透明叠加图像的显示。
图9(d)示出在改变合成边界区域的颜色时显示的示例性显示画面。在本示例中，使用特定的颜色作为十字形连接区域的颜色呈现图像，该十字形连接区域是四条部分图像数据中的合成边界区域，由此，可以掌握连接区域的位置和多条部分图像数据之间的关系。图9(e)示出通过降低合成边界区域以外的合成图像的亮度来使合成边界区域与其它区域区分开的示例性显示画面。在本示例中，四条部分图像数据中的合成边界区域以外的区的亮度被降低，由此可以深入观察合成 边界区域中的细胞和组织片。
(合成边界区域区的显示的改变)
在以用户希望的方式显示合成图像数据中的合成边界区域之后，可通过来自用户的指令进一步改变合成边界区域的显示的模式。将通过使用图10中的流程图来描述改变合成边界区域区的显示模式(叠加处理)的流程。
在步骤S1001中，确定是否已接收到来自用户的用于改变合成边界区域的显示的指令。如果已接收到指令，那么处理前进到步骤S1002。如果还没有接收到指令，那么保持当前的显示。
在步骤S1002中，掌握来自用户的关于合成边界区域的显示模式的指令。
在步骤S1003中，获得合成边界区域的图像数据。该处理与图6中的步骤606相同。
在步骤S1004中，合成边界区域呈现单元305通过使用在步骤S1002中确定的显示方法来产生合成边界区域呈现数据。产生合成边界区域呈现数据的该处理与图7的相同。
在步骤S1005中，在步骤S1004中所产生的合成边界区域呈现数据被叠加在图6中的步骤603中所描述的合成图像上，并且获得在叠加处理之后获得且其中合成边界区域与其它区域区分开的合成图像数据。该叠加处理与图8的相同。
因此，可依赖于用户的指令或意图改变观察图像中的合成边界区域的显示方法。例如，在图像在选择降低合成边界区域的亮度的显示方法的状态下被观察的情况下，当关注区从合成边界区域以外的区偏移到合成边界区域中的区时，合成边界区域的亮度返回到原始值，而取而代之的是，降低合成边界区域以外的区的亮度。因此，可在关注合成边界区域的同时执行组织片和细胞的平滑的形态观察。
在本实施例中，能够执行以下一系列的处理：事先在整个合成图像数据上叠加合成边界区域呈现数据；选择要在图像显示装置103上显示的叠加合成图像的区域；和在图像显示装置103上输出选择的区 域。可替代地，在必要时，可叠加和输出与要在图像显示装置103上显示的区域对应的合成边界区域呈现数据。
通过将观察图像中的合成边界区域与其它区域区分开，防止难以使用合成边界区域执行高度精确的诊断的情况。特别地，在本实施例中，假定合成边界区域具有通过内插获得的一定量的连接区域的情况。因此，观察图像被显示，并且同时，通过改变其亮度区分合成边界区域，由此可以在不妨碍诊断处理的情况下执行诊断成像。
第二实施例
将使用附图描述根据本发明的第二实施例的图像显示系统。
在第一实施例中，对于其中例如向通过拍摄分割部分所获得的多条图像数据施加内插的合成图像数据产生要通过改变合成边界区域的颜色或亮度而显示的显示数据。在第二实施例中，使用其中沿一维连接区域(线)对准通过拍摄分割部分而获得的图像的合成图像，产生要以区分连接区域的线的方式显示的显示数据。
图像合成方法的示例包含仅依赖于台架的位置精度基于台架的位置信息对准图像的方法，和通过诸如仿射变换的几何变换改变获得的分割图像数据中的像素的位置且在连接区域的理想位置处合成图像的方法。除了与第一实施例中的那些组件不同的组件以外，可在第二实施例中使用在第一实施例中所描述的配置。
(图像处理装置的系统配置)
图11是根据本发明的第二实施例的图像显示系统的装置配置的总体示图。
在图11中，根据本发明的使用图像处理装置的图像显示系统包含图像服务器1101、图像处理装置102和图像显示装置103。图像处理装置102可从图像服务器1101获得成像目标的分割图像，并可产生要在图像显示装置103上显示的图像数据。图像服务器1101和图像处理装置102经由网络1102与作为通用I/F的LAN线缆1103连接。图像服务器1101是包含存储由作为虚拟载片装置的成像装置101所捕获的分割图像数据的大容量存储设备的计算机。图像服务器1101可在与图 像服务器1101连接的本地存储器中将分割图像作为组存储。可替代地，图像服务器1101可由单独存在于网络上的某处的服务器(云服务器)构成，并可单独地具有每一条分割图像数据自身及其链接信息。不必将分割图像数据自身存储在一个服务器中。图像处理装置102和图像显示装置103与根据第一实施例的图像拾取系统中的类似。
在图11中的示例中，图像处理系统由图像服务器1101、图像处理装置102和图像显示装置103这三个装置构成。但是，本发明的配置不限于此。例如，可以使用图像显示装置被集成到其中的图像处理装置，或者图像处理装置102的一部分功能可被合并到图像服务器1101中。相反，图像服务器1101和图像处理装置102的功能可被分割成在多个装置中执行的小功能。
(合成边界区域的显示)
将使用图12描述在叠加处理之后获得、作为由包含在根据第二实施例的图像处理装置中的叠加处理器306所产生的显示数据、且在图像显示装置103上被显示的合成图像。
在图12中，通过拍摄分割部分所获得的多条图像数据在以任何方式经受例如坐标变换之后被连接。实际上，通过沿任意边界对准在变换处理之后获得的多条图像数据来产生合成图像。通过在连接的合成图像数据上叠加与用于连接作为合成边界区域的区域的线对应的呈现数据，获得其中合成边界区域与其它区域区分开的合成图像数据。用于连接区域的线的颜色、线宽和线型可被设定。例如，线型可以是单线或多线，可以是点线、虚线或点-划线，或者可以是这些线的组合。并且，用于连接区域的线以时间分割的方式切换，并且可以显示闪烁以表示是否存在线。
(呈现连接区域)
图13是与根据第一实施例的图6中的步骤607中的处理对应并且其中产生用于合成边界区域的呈现数据的第二实施例中的处理的流程图。
在步骤S1301、S1302和S1303中，根据由模式选择器307执行 的选择来分别选择颜色、线宽和线型。
在步骤S1304中，反映在步骤S1301、S1302和S1303中选择的设定值，以便产生与合成边界区域对应的线的呈现数据。
(合成边界区域呈现数据的叠加)
图14是根据第二实施例的在合成图像上叠加合成边界区域呈现数据的流程图。该处理流程与根据第一实施例的图8中的处理流程对应。
在步骤S1401中，获得通过由合成处理器303所执行的合成处理而获得的合成图像数据。
在步骤S1402中，获得通过合成边界区域呈现单元305所产生的合成边界区域呈现数据。参照图13描述产生合成边界区域呈现数据的处理。
在步骤S1403中，在步骤S1402中所获得的合成边界区域呈现数据上叠加在步骤S1401中所获得的合成图像数据。
(画面布局)
图15(a)示出根据第二实施例的当在图像显示装置103上显示由图像处理装置102所产生的图像数据时所使用的示例性画面布局。显示区具有整个窗口1501，其中包含用于详细观察的图像拾取目标图像数据的显示区1502、要观察的成像目标的缩略图图像1503和显示设定区1504。在用于图像拾取目标图像数据的显示区1502中，除了用于详细观察的图像拾取目标图像数据以外，合成图像中的连接区域1505被显示为线。图15(b)示出当选择和按压设置按钮时显示为对话框的显示设定画面，并且选择作为合成图像中的合成边界区域的连接区域是否显示为线。图15(c)示出用于连接区域的线的各种显示设定并且当要显示用于连接作为合成边界区域的区域的线时显示为对话框的画面，并且设定要如何显示用于连接作为合成图像中的合成边界区域的区域的线。具体地，例如，可选择和设定线的颜色、线宽和线型。在本实施例中，与第一实施例类似，假定提供设置按钮并通过按压按钮打开设定画面。但是，可直接在显示设定区1504上提供可显 示、选择和改变图15(c)所示的各种详细设定的UI。可替代地，可显示其中集成提供包含是否要显示合成边界区域的详细设定的列表的画面。
在本实施例中，能够确定由不可避免地发生的部分图像之间的位置偏离和部分图像之间的焦点偏离所导致的奇怪图像显现。作为结果，防止难以使用合成边界区域执行高度精确的诊断的情况。
第三实施例
在第三实施例中，通过设定边界来改变合成图像中的合成边界区域的显示模式。
在第三实施例中，与第一实施例类似，在连接区域具有一定程度的宽度的前提下，显示倍率被设定为边界。当显示倍率高时，如第一实施例那样，显示合成边界区域。当显示倍率变低时，如第二实施例那样，合成边界区域显示为线。
例如，在当使用40倍的显示倍率时其中连接区域的宽度为64像素的数据的情况下，为了详细观察，用于显示连接区域的像素的数量在40倍的显示倍率(光学显微镜的场中的观察倍率)下为64，并且在20倍的显示倍率下为32。因此，由于连接区域具有足够的宽度，尽管提供亮度的变化，但希望从观察的角度显示连接区域的图像。但是，在病理诊断中的筛选处理中，典型地利用5～10倍的显示倍率执行鸟瞰图观察。在上述情况下，用于显示连接区域的像素的数量为8～16。这对于组织和细胞的形态观察是不足的。随着显示倍率变低，这种趋势明显地显现，并且亮度改变的连接区域的可见性显著降低。为了补全这一点，在合成边界区域的宽度不足以观察的倍率下，切换到合成边界区域如第二实施例中所描述的那样显示为线的方法是有效的。一般地，希望通过使用执行筛选的10倍的倍率作为边界来改变合成边界区域显示的模式。
在本实施例中，根据用作边界的显示倍率切换用于呈现合成边界区域的方法，由此能够以适于观察显示倍率中的每一个的目的的方式显示连接区域。
其它实施例
在第一到第三实施例中，描述了与用户可视觉地观察的图像数据(诸如显微镜图像)等同的图像数据的连接区域。本发明不仅可应用于基于这种视觉信息的图像的连接区域，而且可应用于其通过使用各种类型的部件或原理将关于诸如人体的内部结构的一般不可见对象的信息可视化的装置(诸如磁共振成像装置(MRI)、X射线诊断装置或使用光学超声的诊断设备)而获得的显示数据的连接区域，从而实现类似的效果。特别地，与可见图像不同，这是从基于强度的信息而产生的图像数据。因此，当发生连接区域周围的衬度或亮度的变化、由校正处理导致的图像劣化或由缝合(stitch)对准导致的误差时，与使用例如具有颜色信息的显微镜获得的图像信息相比，非常难以确定这种图像变化或奇异点是否由于连接区域而发生或者指示诊断部位的异常状态。因此，向用户清楚地展现连接区域使得给予用户连接区域周围的图像区可能具有低的可靠性的指示是非常重要的。
本发明的目的可实现如下。即，其中记录实现上述实施例的功能中的一些或全部的软件程序代码的记录介质(或存储介质)被供给到系统或装置。然后，系统或装置中的计算机(或CPU或MPU)读出并执行存储在记录介质中的程序代码。在这种情况下，从记录介质读出的程序代码自身实现上述实施例的功能，并且其中记录程序代码的记录介质包含在本发明中。
计算机执行读出的程序代码，由此，例如，在计算机上操作的操作系统(OS)基于程序代码的指令执行实际处理中的一些或全部。这些处理实现上述实施例的功能的情况可包含在本发明中。
另外，从记录介质读出的程序代码可被写入到插入计算机中的功能扩展卡或包含在与计算机连接的功能扩展单元中的存储器中。然后，例如，包含在功能扩展卡或功能扩展单元中的CPU基于程序代码的指令执行实际处理中的一些或全部，并且这种处理实现上述实施例的功能。这种情况也包含在本发明中。
在本发明被应用于上述记录介质的情况下，与上述流程图对应的 程序代码存储在记录介质中。
本发明不限于上述实施例。在不背离本发明的精神和范围的情况下可进行各种修改和改变。因此，附加权利要求以向公众宣告本发明的范围。
本申请要求2011年12月27日提交的日本专利申请No.2011-286785和2012年12月26日提交的日本专利申请No.2012-282781的权益，其在此通过全部引用而被特此合并。
附图标记列表
101  成像装置
102  图像处理装置
103  图像显示装置
303  合成处理器
304  合成边界区域提取单元
305  合成边界区域呈现单元
306  叠加处理器
307  模式选择器
1101 图像服务器