《自动图像对齐.pdf》由会员分享，可在线阅读，更多相关《自动图像对齐.pdf（23页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103325085 A (43)申请公布日 2013.09.25 CN 103325085 A *CN103325085A* (21)申请号 201310059353.4 (22)申请日 2013.02.26 13/410,960 2012.03.02 US G06T 3/00(2006.01) G06T 1/00(2006.01) (71)申请人 索尼公司 地址 日本东京 (72)发明人 余良吟 刘明昌 (74)专利代理机构 中国国际贸易促进委员会专 利商标事务所 11038 代理人 冯玉清 (54) 发明名称 自动图像对齐 (57) 摘要 本公开涉及自动图像对齐。。
2、一种自动对齐图 像的方法包括 ： (a) 确定第一图像与第二图像之 间的初始对应点特征 ； (b) 从所述图像内的初始 对应点特征为所述图像创建三角形网格 ； (c) 利 用所述三角形网格基于仿射变换估计来改善第一 图像与第二图像之间的点对应关系。所述方法还 可包括 ： (d)根据在(c)中改善的点对应关系为所 述图像创建改善的三角形网格 ； 以及 (e) 通过改 善的三角形网格中的多对对应三角形上的仿射变 换的插值来确定所述多对对应三角形的区域内的 坐标对齐。 (30)优先权数据 (51)Int.Cl. 权利要求书 2 页 说明书 9 页 附图 11 页 (19)中华人民共和国国家知识产权局。
3、 (12)发明专利申请 权利要求书2页 说明书9页 附图11页 (10)申请公布号 CN 103325085 A CN 103325085 A *CN103325085A* 1/2 页 2 1. 一种计算机实施的用于对齐图像的方法， 所述方法包括由一个或多个计算机执行的 以下步骤 ： (a) 确定第一图像与第二图像之间的初始对应点特征 ； (b) 从所述图像内的初始对应点特征对所述图像创建三角形网格 ； (c) 利用所述三角形网格基于仿射变换估计来改善第一图像与第二图像之间的点对应 关系 ； (d) 根据在 (c) 中改善的点对应关系为所述图像创建改善的三角形网格 ； 以及 (e) 通过改善的。
4、三角形网格中的多对对应三角形上的仿射变换的插值来确定所述多对 对应三角形的区域内的坐标对齐。 2. 根据权利要求 1 所述的方法， 其中， (a) 确定初始对应点特征的步骤包括 ： 产生第一图像中的关键点 ； 确定第二图像中针对所述关键点的对应关系 ； 以及 将在第二图像中具有对应关系的关键点选择为初始对应点特征。 3. 根据权利要求 2 所述的方法， 还包括 ： 将所述第二图像划分为多个子图像窗口 ； 以及 识别所述第一图像中对应的子图像窗口 ； 其中， 产生关键点的步骤包括为所述第一图像中的对应子图像窗口产生关键点。 4. 根据权利要求 1 所述的方法， 其中， (c) 改善点对应关系的步。
5、骤包括 ： 将所述第二图像划分为多个子图像窗口 ； 利用 (b) 的三角形网格基于仿射变换估计在所述第一图像中识别对应子图像窗口 ； 以 及 针对所述第一图像和第二图像中的对应子图像窗口识别第一图像与第二图像之间的 对应点。 5. 根据权利要求 4 所述的方法， 其中， 识别对应点的步骤包括 ： 对所述第一图像中的对应子图像窗口产生关键点 ； 针对所述关键点确定在所述第二图像中的对应关系 ； 以及 选择在所述第二图像中具有对应关系的关键点作为对应点。 6. 根据权利要求 4 所述的方法， 还包括 ： 对所述第一图像和第二图像中的一个图像计算包含所述对应点的凸空间 ； 识别所述一个图像中位于所述。
6、凸空间外部的缺失区域 ； 以及 识别所述缺失区域中的所述第一图像与第二图像之间的对应点。 7. 根据权利要求 2 所述的方法， 其中， 确定对应关系的步骤包括规范化互关联。 8. 根据权利要求 3 所述的方法， 其中， 产生关键点的步骤包括在第一图像上的图像分 割之后的最大曲率检测。 9. 一种用于对齐图像的装置， 包括 ： 图像对应关系创建器， 其确定第一图像与第二图像之间的初始对应点特征 ； 第一三角仪， 其从图像内的初始对应点特征为所述图像创建三角形网格 ； 对应关系改善器， 其利用所述三角形网格基于仿射变换估计来改善第一图像与第二图 像之间的点对应关系 ； 权 利 要 求 书 CN 1。
7、03325085 A 2 2/2 页 3 第二三角仪， 其从改善的点对应关系为所述图像创建改善的三角形网格 ； 以及 坐标对齐产生器， 其通过改善的三角形网格中的多对对应三角形上的仿射变换的插值 来确定所述多对对应三角形的区域内的坐标对齐。 10. 根据权利要求 9 所述的装置， 还包括 ： 图像对齐呈现引擎， 其基于所述坐标对齐和改善的三角形网格来产生图像对齐。 权 利 要 求 书 CN 103325085 A 3 1/9 页 4 自动图像对齐 技术领域 0001 本公开涉及用于自动地对齐图像 （例如， 用不同方法染色的组织样本的图像） 的方 法和系统。 背景技术 0002 病理诊断通常涉及。
8、将组织样本 （例如， 活体样本） 切成薄片， 将切片放置在各个载 玻片上， 并用不同的方法和试剂给切片染色。例如， 组织样本切片可用苏木精和伊红 （H&E） 染色剂染色， 以用于使样本的组织结构显现， 而相邻的组织样本切片可用具有因病而异的 抗体的免疫组织化学 （IHC） 染色剂染色。病理学家通常对 H&E 染色样本执行初步诊断， 然 后从同一活体块进行 IHC 染色以用于验证和预后。 0003 随着数字化的趋势， 标本玻片通常被扫描为数字图像 （虚拟玻片） 以供日后在监控 器上查看。为了做出最终诊断， 病理学家需要同时检查来自同一活体块的 H&E 图像上的感 兴趣的区域及其在 IHC 图像上。
9、的对应区域。因此， 需要在监控器上对齐这些染色图像， 使得 可在整个图像上实现同时、 同步的查看， 并且无论倍率如何， 对应查看都是准确的 （图 1） 。 0004 对齐这样的染色图像是有挑战性的， 因为在用不同方法染色的两个相邻样本切片 之间通常存在很大的图像外观差异， 并且涉及各种局部变形。相邻样本通过简单变换之后 通常是不相关的， 并且结构变化在整个相邻样本和不同倍率上是不可预测的。 例如， 从组织 块的相邻但不同的部分获得的两个图像可能具有未良好定义的结构对应关系 （参见图 2） 。 并且染色图像可能具有微弱的结构， 需要使其变得明确以便对齐整个图像 （图 3） 。此外， 因 为组织切。
10、片在样本处理期间可能被拉伸或变形， 所以每个图像的不同部分可能与同一图像 的其他部分不同地变换 （图 4） 。 0005 由于上述问题， 现有的用于图像对齐和导航的系统要求用户手工定位虚拟玻片 （图像） 上的对应区域。当在远离对齐区域的区域中和在不同分辨率查看时， 必须重新进行 该过程。对于非常大的图像 （例如， 100k100k） ， 该过程变得繁琐且不实用。另外， 当在高 分辨率对图像进行局部检查时， 对应区域之间的外观快速岔开， 变得难以找到匹配点。 0006 因此， 需要开发用于自动地对齐整体外观类似但具有局部变形的图像 （例如， 用不 同方法染色的组织样本的大图像） 的方法和系统。 。
11、发明内容 0007 本公开包括用于对齐图像的示例性方法。所述方法的实施例包括 ： (a) 确定第一 图像与第二图像之间的初始对应点特征 ； (b) 从所述图像内的初始对应点特征对所述图像 创建三角形网格 ； 和 (c) 基于使用所述三角形网格的仿射变换估计来改善第一图像与第二 图像之间的点对应关系。所述方法的实施例还可包括 ： (d) 从在 (c) 中改善的点对应关系 对所述图像创建改善的三角形网格 ； 和 (e) 通过改善的三角形网格中的多对对应三角形上 的仿射变换的插值来确定所述多对对应三角形的区域内的坐标对齐。 0008 根据本公开内容的示例性系统包括 ： 对应关系创建器， 其确定第一图。
12、像与第二图 说 明 书 CN 103325085 A 4 2/9 页 5 像之间的初始对应点特征 ； 第一三角仪， 其从所述图像内的初始对应点特征对所述图像创 建三角形网格 ； 对应关系改善器， 其基于使用所述三角形网格的仿射变换估计来改善第一 图像与第二图像之间的点对应关系 ； 第二三角仪， 其从改善的点对应关系对所述图像创建 改善的三角形网格 ； 和坐标对齐产生器， 其通过使用改善的三角形网格中的多对对应三角 形上的仿射变换进行插值来确定所述多对对应三角形的区域内的坐标对齐。 0009 本公开内容包括一种存储在被执行时使计算机执行用于对齐图像的方法的示例 性计算机可读介质， 所述方法包括 。
13、： (a) 确定第一图像与第二图像之间的初始对应点特征 ； (b) 从所述图像内的初始对应点特征对所述图像创建三角形网格 ； (c) 基于使用所述三角 形网格的仿射变换估计来改善第一图像与第二图像之间的点对应关系 ； (d) 从在 (c) 中改 善的点对应关系对所述图像创建改善的三角形网格 ； 和 (e) 通过使用改善的三角形网格中 的多对对应三角形上的仿射变换进行插值来确定所述多对对应三角形的区域内的坐标对 齐。 0010 还提供一种用于对齐图像的示例性计算机系统， 该计算机系统包括 ： 一个或多个 处理器， 其被构造为执行程序指令 ； 和计算机可读介质， 其包含在被所述一个或多个处理器 执。
14、行时使所述计算机系统执行用于对齐图像的方法的可执行指令， 所述方法包括 ： (a) 确 定第一图像与第二图像之间的初始对应点特征 ； (b) 从所述图像内的初始对应点特征对所 述图像创建三角形网格 ； (c) 基于使用所述三角形网格的仿射变换估计来改善第一图像与 第二图像之间的点对应关系 ； (d) 从在 (c) 中改善的点对应关系对所述图像创建改善的三 角形网格 ； 和 (e) 通过改善的三角形网格中的多对对应三角形上的仿射变换的插值来确定 所述多对对应三角形的区域内的坐标对齐。 0011 要理解， 前面的概括描述和下面的详细描述都仅仅是示例性的、 解释性的， 而非限 制要求保护的本发明。 。
15、附图说明 0012 图 1 示出用于病理诊断目的的图像的对齐。 0013 图 2 显示分别用 H&E（左） 和 IHC（右） 染色的两个相邻组织样本之间的未良好定 义的结构对应关系的例子。 0014 图 3 显示分别用 H&E（左） 和 IHC（右） 染色的两个相邻组织样本中的微弱结构的 例子。 0015 图 4 显示由于组织处理而导致分别用 H&E（左） 和 IHC（右） 染色的两个相邻组织 样本之间的不均匀变换的例子。 0016 图 5 显示流程图， 示出与目前要求保护的发明一致的示例性方法。 0017 图 6 显示流程图， 示出对齐两个图像的示例性第一阶段。 0018 图 7 显示对齐两。
16、个图像的示例性第一阶段期间的示例性关键点产生 （A） 和关键点 交叉匹配 （B） 。 0019 图 8 显示在对齐两个图像的示例性方法中基于初始对应点特征而创建的示例性 三角形网格。 0020 图 9 显示流程图， 示出对齐两个图像的示例性第二阶段。 0021 图 10 显示流程图， 示出对齐两个图像的示例性第三阶段。 说 明 书 CN 103325085 A 5 3/9 页 6 0022 图 11 示出与本发明一致的示例性图像对齐系统的框图。 具体实施方式 0023 现在将详细论述示例性实施例， 这些示例性实施例的例子在附图中被示出。只要 有可能， 相同的附图标记在所有附图中用于指代相同部分。
17、或相似部分。 0024 本文所公开的方法和系统具有许多实际应用。例如， 示例性实施例可被用于自动 地对齐用不同方法染色的组织样本的大图像。 通过识别匹配点和通过局部变换对局部变形 进行建模， 本文所公开的方法和系统可实现不同分辨率的同步查看， 并且使图像中的对应 区域同步。本文所公开的方法和系统不仅可用于病理诊断目的， 而且还可用于对齐整体外 观类似、 但是包含局部变化或差异的任何图像， 例如， 同一场景的不同视角的卫星图像。 0025 在下面的段落中， 出于说明的目的， 频繁地使用术语 “IHC 图像” 和 “H&E 图像” 。它 们旨在概括地指代将被对齐的任何图像， 而非字面上限于 IHC。
18、 图像或 H&E 图像。 0026 图 5 示出与目前要求保护的发明一致的示例性方法的流程图。如图 5 所示， 确定 两个图像之间的初始对应点特征 （步骤 506） 。所述图像可以是整体外观类似但有局部差异 的任何图像， 比如， 用不同方法染色的相邻组织样本的图像， 例如， 一个用 H&E 染色剂， 另一 个用 IHC 染色剂。在一些实施例中， 所述图像可从相同倍率获得， 例如， 图像可从 40 倍率 获得。在一些实施例中， 出于处理的目的， 可对图像进行下采样。 0027 可通过图像处理算法 （例如， 沿着图像曲线的最大曲率） 从图像提取点特征。然后， 可通过在两个图像之间对点特征进行交叉匹。
19、配来确定这些点特征的对应关系。 0028 基于初始对应点特征， 可对每个图像创建三角形网格 （步骤 508） ， 其中每个识别的 对应点特征被用作三角形的顶点。 在一些实施例中， 三角形网格是Delaunary三角剖分。 将 意识到， 至少三个初始对应点特征将被步骤 508 识别， 以便创建三角形网格。 0029 基于三角形网格上的仿射变换估计， 可改善所述两个图像之间的点对应关系 （步 骤510） ， 以获得这些图像的更精细的对应关系覆盖范围。 有效地， 仿射变换估计允许三角形 网格中的对应三角形内的坐标的粗略对齐。结果， 可识别附加的更多的准确对应点。 0030 接着， 可基于改善的点对应。
20、关系对每个图像创建改善的三角形网格 （步骤512） 。 与 从初始对应点特征创建的三角形网格相比， 改善的三角形网格可包含更精细的三角形， 并 且覆盖图像中更多的空间。 在一些实施例中， 改善的三角形网格是Delaunary三角剖分。 在 一些实施例中， 可对图像的未被改善的三角形网格覆盖的区域进行进一步处理， 以识别附 加的点对应关系， 这些附加的点对应关系可被用于改进所述改善的三角形网格。 0031 可使用改善的三角形网格来确定两个图像之间每个三角形内的坐标对齐 （步骤 514） 。 在一些实施例中， 可对每对对应三角形计算仿射变换， 并可基于仿射变换数据的插值 来对齐三角形内的区域的坐标。
21、。 0032 可基于三角形网格和三角形内的插值坐标对齐来对齐整个图像。对齐的坐标 （516） （包括在三角形网格的边缘上对齐的坐标和基于插值对齐的坐标） 可被存储在包括数 据结构的数据库中， 以用于再现在监控器上供用户同步查看。 0033 图 6 显示了更详细地示出对齐两个图像的示例性第一阶段的流程图， 示例性第一 阶段包括确定两个图像之间的初始对应点特征并且从初始对应点特征对每个图像创建三 角形网格。如图 6 所示， 在一些实施例中， 可将图像划分为多个子图像窗口， 可对这些子图 说 明 书 CN 103325085 A 6 4/9 页 7 像窗口单个地进行处理以提取点特征并确定对应关系。 。
22、图像划分可基于适合于图像的任何 标准。例如， 可基于图像的结构特征来划分图像之一 （比如， H&E 染色图像） （步骤 608） 。在 一些实施例中， 从 H&E 染色图像提取结构图， 以识别用于图像划分的结构特征。在一些实施 例中， 在划分图像之前， 可用染色剂分离算法来分离 H&E 或其他试剂的染色剂。在一些实 施例中， 子图像窗口可以以结构特征为中心。子图像窗口的大小可以是对于点特征提取和 / 或对应关系确定而言可取的任何大小， 例如， 100100、 200200、 300300、 400400、 500500、 600600、 800800、 900900 或 10001000。在一。
23、些实施例中， 子图像窗口的 大小可以是 600600 或 400400。 0034 另外， 可将另一图像 （例如， IHC 染色图像） 划分为对应的相同大小的子图像窗口 （步骤 606） 。在一些实施例中， 为了确定初始对应点特征， 可基于所述两个图像之间的直接 图像坐标对应关系来划分另一图像 （例如， IHC图像） 。 例如， 可通过直接图像坐标映射将H&E 图像的子图像窗口的中心映射到 IHC 图像， 并且可基于该中心的位置在 IHC 图像中确定相 同大小的子图像窗口。 0035 如图 6 中进一步显示的， 可通过分析子图像窗口的内容来对子图像窗口产生关键 点 （步骤 610） 。适合于图。
24、像的任何图像处理方法可用于产生关键点 （比如， 最大曲率检测） 。 如图 7A 中所例示的， 在一些实施例中， 可在图像分割之后基于最大曲率检测对 IHC 图像中 的子图像窗口产生关键点。 0036 返回参照图 6， 可在所述另一图像的对应子图像窗口中对关键点进行交叉匹配 （步 骤 612） 。在一些实施例中， 小的关键点窗口 （比如， 以关键点为中心的 6464 窗口） 可被用 于扫描另一图像 （例如， H&E 图像） 中的对应子图像窗口以检测对应关系。在一些实施例中， 可通过关键点窗口的互关联 （例如， 规范化互关联 （normalized cross correlation） ） 来确 。
25、定所述另一图像中的关键点的对应关系。也可使用用于交叉匹配目的的其他图像分析方 法， 例如， 基于相似性的匹配或模板匹配。一旦确定存在对应关系， 就选择一个图像中的关 键点及其在另一图像中的对应点作为初始对应点特征， 并将这些点整合为用于三角剖分的 一组初始对应点特征。 0037 可对每个关键点重复交叉匹配， 直到对子图像窗口产生的所有关键点都已被处理 为止。在一些实施例中， 可对来自步骤 608 的划分图像 （例如， 划分的 H&E 图像） 的每个子图 像窗口， 重复迭代包括对应子图像窗口的识别 （606） 、 关键点产生 （610） 和关键点交叉匹配 （612） 的步骤。 0038 在一些实。
26、施例中， 可基于可取的标准 （例如， 子图像窗口中心中的结构特征的密 度） 来按优先级排列一个图像 （例如， H&E 图像） 中的子图像窗口以供处理。在一些实施例 中， 可根据优先级来选择 H&E 图像中的子图像窗口进行处理。然后， 可在 IHC 图像中识别其 对应的子图像窗口。在 IHC 图像中的识别窗口内， 产生关键点， 并将这些关键点与 H&E 图像 中对应的子图像窗口进行匹配。一旦所有关键点对于该对子图像窗口被试尽， 就根据优先 级从 H&E 图像选择新的子图像窗口来重复该过程。 0039 在一些实施例中， 对初始对应点特征进行过滤， 以消除错误的对应点 （步骤 614） 。 例如， 。
27、如图 7B 的下图所示， 可绘制连接两个图像之间的对应点的线段。理论上， 如果对应点 都是真的， 则这些线将都是平行的。因此， 连接对应点的非平行 （例如交叉） 线表明对应关系 是错误的， 对应点可作为错误肯定被滤除。 可在图像对齐过程的某一时刻执行这样的过滤， 说 明 书 CN 103325085 A 7 5/9 页 8 例如， 在每个子图像窗口被处理之后、 在初始对应点特征确定期间和 / 或之后、 和 / 或在改 善点对应关系之后。 0040 对于每个图像， 从对于该图像识别的初始对应点特征创建三角形网格。在一些实 施例中， 三角形网格是 Delaunary 三角剖分。图 8 显示了从 H。
28、&E 染色图像 （左） 和 IHC 染色 图像 （右） 中的初始对应点特征创建的示例性三角形网格。 0041 图 9 显示了示出对齐两个图像的示例性第二阶段的流程图。在这个阶段， 可利用 从第一阶段获得的三角形网格基于仿射变换估计来改善点对应关系。如图 9 所示， 可再次 如上所述那样将图像划分为多个子图像窗口 （步骤906） 。 例如， 可基于结构特征来对H&E图 像进行划分， 并且子图像窗口均可以以结构特征点为中心。子图像窗口可以是对于改善点 对应关系而言可取的任何大小， 例如， 100100、 200200、 300300、 400400、 500500、 600600、 800800、。
29、 900900 或 10001000。 0042 在一些实施例中， 对于每个子图像窗口， 可通过基于从初始对应点特征创建的三 角形网格的仿射估计来在另一图像中识别对应的子图像窗口。例如， 可基于从包含 H&E 图 像中的子图像窗口的中心的三角形的仿射估计来将该中心映射到 IHC 图像， 并且可基于映 射的位置在 IHC 图像中识别对应的相同大小的子图像窗口。 0043 在一些实施例中， 如上述第一阶段中那样， 对对应的子图像窗口产生关键点 （步骤 908） 。在一些实施例中， 可在图像分割之后基于最大曲率检测对 IHC 图像中的每个子图像 窗口产生关键点。 0044 类似于第一阶段， 可在另一。
30、图像中的对应子图像窗口中对关键点进行交叉匹配 （步骤 910） 。在一些实施例中， 可使用小的关键点窗口 （比如， 以关键点为中心的 6464 窗 口） 来扫描所述另一图像 （例如， H&E 图像） 中的对应子图像窗口。可通过例如规范化互关联 或其他类似的图像分析方法 （比如， 模板匹配） 来确定另一图像中的关键点的对应关系。具 有图像之间的对应关系的匹配关键点被选择、 过滤并整合为一组对应点以用于改善的三角 剖分。对划分图像 （来自步骤 906） 的每个子图像窗口和子图像窗口中的每个关键点重复该 交叉匹配。 0045 在一些实施例中， 可如以上对于第一阶段所述那样按优先级排列子图像窗口的处 。
31、理。 在一些实施例中， 可对选定的对应点进行过滤， 以消除错误肯定， 例如， 在对每个子图像 窗口进行处理之后， 或者在对所有子图像窗口进行处理之后 （步骤 912） 。 0046 如图9所示， 可基于改善的点对应关系 （即， 从上述关键点交叉匹配识别的对应点） 来创建改善的三角形网格。与从第一阶段获得的三角形网格相比， 从第二阶段获得的改善 的三角形网格可包含更多的顶点和更精细的三角形， 并且可覆盖更多的图像空间。 0047 如图 10 中的示例性流程图所示， 本发明的一些实施例包括对于图像的外围区域 进一步改善点对应关系和三角形网格的第三阶段。 可在从第二阶段获得的改善的三角形网 格外部识。
32、别附加的对应点， 并且可通过合并这些附加的对应点来更新改善的三角形网格。 0048 如图 10 所示， 在一些实施例中， 可对在第二阶段结束时识别的所有对应点计算凸 空间 （凸包 （convex hull） ） （步骤 1004） 。未被凸包覆盖的外围区域可包含空白背景图像， 但是这些区域中的一些可能显示感兴趣对象 （比如， 组织样本） 的部分， 因此可能包含可用 于图像对齐的点特征。 图像的可包含关于图像对齐的信息但未被凸包覆盖的那些区域在图 10 中和在下面被称为 “缺失区域” 。在一些实施例中， 可从图像减去凸包， 并且可分析其余 说 明 书 CN 103325085 A 8 6/9 页。
33、 9 图像的内容以识别缺失区域 （步骤 1006） 以用于进一步的图像对齐。在一些实施例中， 可用 图像处理工具 （比如， 图像分割， 例如， 基于图形的分割） 来分析其余图像的内容以识别缺失 区域。在一些实施例中， 对 H&E 图像计算凸包， 并通过图像分割来分析凸包外部的图像内容 以识别缺失区域。 0049 在一些实施例中， 可如上述第一阶段或第二阶段中那样将缺失区域划分为多个子 图像窗口以产生新的关键点， 并识别图像之间的附加对应点。例如， 可基于结构特征来对 H&E 图像中的缺失区域进行划分。可将每个子图像窗口映射到另一图像， 以识别对应的子 图像窗口。例如， H&E 图像中的子图像窗。
34、口可以基于几何位置或仿射映射来映射到 IHC 图 像。在一些实施例中， 如第一阶段和第二阶段中那样， 可在 IHC 图像中的子图像窗口中产生 关键点 （步骤 1008） ， 然后交叉匹配到 H&E 图像中的对应子图像窗口。选择匹配关键点作为 图像之间的对应点 （步骤 1010） ， 并对这些匹配关键点进行过滤。可对缺失区域中的每个子 图像窗口重复迭代以上处理。在所有的缺失区域都已被处理之后， 可对在缺失区域中识别 的新的对应点进行过滤以消除错误肯定， 如上面描述的那样 （步骤 1012） 。可更新从前一阶 段获得的改善的三角形网格来合并新的对应点 （步骤 1014） 。 0050 参照图 10。
35、， 在一些实施例中， 在所有的识别的缺失区域都已被处理并且改善的三 角形网格被更新之后， 可基于三角形网格来计算新的凸包 （步骤 1015） 。为了确定因丢失区 域而增大的对齐覆盖范围的广度， 可计算新凸包和之前的凸包的面积， 并可将区域覆盖范 围增加比 （r） 确定为附加面积覆盖范围与之前覆盖的图像面积的比率。如果 r 大于预定值 R（可以是例如 5%、 4%、 3%、 2%、 1%、 0.9%、 0.8%、 0.7%、 0.6%、 0.5%、 0.4%、 0.3%、 0.2%、 0.1% 或者 适合于所述目的的任何其他值）（步骤 1016） ， 则可再次如上所述那样对图像进行处理， 以识 。
36、别新凸包外部的新的缺失区域并且识别附加的对应点。在一些实施例中， 预定值 R 可以是 0.6%。再次更新改善的三角形网格， 以合并在新的缺失区域中识别的任何附加对应点。在 一些实施例中， 迭代上述处理， 并更新改善的三角形网格以合并新识别的对应点， 直到区域 覆盖范围增加比 （r） 不大于预定值 R 为止。 0051 在一些实施例中， 可选地， 可再次对图像进行处理， 以识别附加的缺失区域， 在所 述附加的缺失区域中， 覆盖的三角形网格的凸包外部的点特征可被确定， 并可通过不同的 图像匹配方法 （例如， 计算几何方法） 在图像之间被匹配。可进一步更新改善的三角形网格， 以合并如此识别的对应点。。
37、 0052 基于改善的三角形网格， 可将一个图像中的坐标映射在另一图像中 （步骤 1018） 。 例如， 对于改善的三角形网格中的每对对应三角形， 顶点处的坐标可通过仿射变换来对齐， 而每个三角形内的坐标则可通过顶点处的仿射变换的插值来对齐。在一些实施例中， 可使 用从第二阶段获得的改善的三角形网格来如上所述那样对齐坐标。 对齐的坐标可被存储在 数据结构和 / 或数据库中。可基于对齐的坐标来产生整个图像的对齐以用于输出 （例如， 呈 现在一个或多个监控器上、 打印等） 。 0053 组织样本图像 （包括 IHC 和 H&E 图像） 仅仅是将被对齐的示例性图像。与所公开的 实施例一致的任何类型的。
38、图像也可以是用于本文所公开的自动图像对齐的候选者。 多于两 个的图像可以使用在不脱离本发明的更宽泛的精神和范围的情况下进行修改和改变的本 文所公开的方法和系统来对齐。 0054 应理解的是， 图 5、 图 6、 图 9 和图 10 中的上述示例性处理流程仅仅是出于说明的 说 明 书 CN 103325085 A 9 7/9 页 10 目的。某些步骤可被删除、 组合或重新布置， 并且附加步骤可被添加。 0055 本文所公开的方法可被实现为计算机程序产品， 即， 有形地包含在非暂时性信息 载体中 （比如， 机器可读存储设备或有形的非暂时性计算机可读介质中） 供数据处理装置执 行或者控制数据处理装置。
39、的操作的计算机程序产品， 所述数据处理装置例如为一个可编程 处理器、 多个处理器、 一个计算机或多个计算机。 计算机程序可用任何合适形式的编程语言 （包括编译语言或解释语言） 来编写， 并且它可以以各种形式部署， 包括被部署为独立程序 或者被部署为模块、 组件、 子例程或者适用于在计算环境中使用的其他单元。 计算机程序可 被部署为在一个站点的一个计算机或多个计算机上执行、 或者跨多个站点分布并且通过通 信网络互连。 0056 本文所公开的部分方法或所有方法还可用以下硬件来实现 ： 专用集成电路 （ASIC） 、 现场可编程门阵列 （FPGA） 、 复杂可编程逻辑器件 （CPLD） 、 印刷电路。
40、板 （PCB） 、 数字 信号处理器 （DSP） 、 可编程逻辑组件和可编程互连的组合、 单个中央处理单元 （CPU） 芯片、 组合在母板上的 CPU 芯片、 通用计算机、 或者能够执行本文所公开的自动图像对齐的器件 或模块的任何其他组合。 0057 图 11 示出了与本发明一致的示例性图像对齐系统 1100 的框图。如图 11 所示， 示 例性系统 1100 可包括对应关系创建器 1106 ； 第一三角仪 1108 ； 对应关系改善器 1110 ； 第 二三角仪 1112 ； 以及坐标对齐产生器 1114。 0058 参照图 11， 当接收到将被对齐的图像时， 对应关系创建器 1106 可如。
41、上所述那样 （例如， 如图像对齐的第一阶段中所述那样） 创建图像之间的初始对应点特征。第一三角仪 1108 然后从每个图像内的初始对应点特征对所述图像创建三角形网格。 0059 基于对三角形网格的仿射变换估计， 对应关系改善器 1110 如上所述那样 （例如， 如图像对齐的第二阶段中所述那样） 改善图像之间的点对应关系。第二三角仪 1112 可从通 过对应关系改善器改善的点对应关系为每个图像创建改善的三角形网格。 0060 基于改善的三角形网格， 坐标对齐产生器 1114 通过仿射变换来确定每对对应三 角形的顶点处的坐标对齐。 坐标对齐产生器还可通过每对对应三角形上的仿射变换的插值 来确定该对。
42、三角形的区域内的坐标对齐。 0061 在一些实施例中， 示例性系统还可包括存储关于图像的坐标对齐信息的数据库 1118， 数据库 1118 可以是数据结构或数据管理系统。数据库还可存储在图像对齐处理期间 产生或使用的任何信息。 示例性系统还可包括提供用于在一个或多个监控器 （比如， 计算机 监控器、 TV 监控器） 或者打印机等上输出的对齐图像 1120 的图像对齐呈现引擎 1116。 0062 图 11 的系统 1110 可被实现为用于对齐图像的计算机系统， 该计算机系统包括 ： 一个或多个处理器， 其被配置为执行程序指令 ； 和计算机可读介质， 其包含在被所述一个或 多个处理器执行时使所述。
43、计算机系统执行用于对齐图像的方法的可执行指令， 所述方法包 括 ： (a) 确定第一图像与第二图像之间的初始对应点特征 ； (b) 从每个图像内的初始对应点 特征对所述图像创建三角形网格 ； (c) 基于使用所述三角形网格的仿射变换估计来改善第 一图像与第二图像之间的点对应关系 ； (d) 从在 (c) 中改善的点对应关系对每个图像创建 改善的三角形网格 ； 和 (e) 通过每对对应三角形上的仿射变换的插值来确定改善的三角形 网格中所述对对应三角形的区域内的坐标对齐。 0063 本技术可配置为如下。 说 明 书 CN 103325085 A 10 8/9 页 11 0064 （1） 一种计算机。
44、实施的用于对齐图像的方法， 所述方法包括由一个或多个计算机 执行的以下步骤 ： (a) 确定第一图像与第二图像之间的初始对应点特征 ； (b) 从所述图像内 的初始对应点特征对所述图像创建三角形网格 ； (c) 利用所述三角形网格基于仿射变换估 计来改善第一图像与第二图像之间的点对应关系 ； (d) 根据在 (c) 中改善的点对应关系为 所述图像创建改善的三角形网格 ； 以及 (e) 通过改善的三角形网格中的多对对应三角形上 的仿射变换的插值来确定所述多对对应三角形的区域内的坐标对齐。 0065 （2） 根据 （1） 的方法， 其中， (a) 确定初始对应点特征的步骤包括 ： 产生第一图像中 。
45、的关键点 ； 确定第二图像中针对所述关键点的对应关系 ； 以及将在第二图像中具有对应关 系的关键点选择为初始对应点特征。 0066 （3） 根据 （2） 的方法， 还包括 ： 将所述第二图像划分为多个子图像窗口 ； 以及识别 所述第一图像中对应的子图像窗口 ； 其中， 产生关键点的步骤包括为所述第一图像中的对 应子图像窗口产生关键点。 0067 （4） 根据 （1） 的方法， 还包括滤除错误的初始对应点特征。 0068 （5） 根据 （1） 的方法， 其中， (b) 的三角形网格是 Delaunay 三角剖分。 0069 （6） 根据 （1） 的方法， 其中， (c) 改善点对应关系的步骤包括。
46、 ： 将所述第二图像划分 为多个子图像窗口 ； 利用 (b) 的三角形网格基于仿射变换估计在所述第一图像中识别对应 子图像窗口 ； 以及针对所述第一图像和第二图像中的对应子图像窗口识别第一图像与第二 图像之间的对应点。 0070 （7） 根据 （6） 的方法， 其中， 识别对应点的步骤包括 ： 对所述第一图像中的对应子 图像窗口产生关键点 ； 确定所述第二图像中针对所述关键点的对应关系 ； 以及选择在所述 第二图像中具有对应关系的关键点作为对应点。 0071 （8） 根据 （7） 的方法， 还包括滤除错误的对应点。 0072 （9） 根据 （6） 的方法， 还包括 ： 对所述第一图像和第二图像。
47、中的一个图像计算包含 所述对应点的凸空间 ； 识别所述一个图像中位于所述凸空间外部的缺失区域 ； 以及识别所 述缺失区域中的所述第一图像与第二图像之间的对应点。 0073 （10） 根据 （1） 的方法， 还包括 ： 基于所述坐标对齐和改善的三角形网格来产生图 像对齐。 0074 （11） 根据 （1） 的方法， 其中， 所述第一图像是免疫组织化学 IHC 染色图像 ； 并且所 述第二图像是苏木精和伊红 H&E 染色图像。 0075 （12） 根据 （2） 的方法， 其中， 确定对应关系的步骤包括规范化互关联。 0076 （13） 根据 （3） 的方法， 其中， 产生关键点的步骤包括在第一图像。
48、上的图像分割之后 的最大曲率检测。 0077 （14） 根据 （7） 的方法， 其中， 确定对应关系的步骤包括规范化互关联。 0078 （15） 一种用于对齐图像的装置， 包括 ： 图像对应关系创建器， 其确定第一图像与第 二图像之间的初始对应点特征 ； 第一三角仪， 其从图像内的初始对应点特征为所述图像创 建三角形网格 ； 对应关系改善器， 其利用所述三角形网格基于仿射变换估计来改善第一图 像与第二图像之间的点对应关系 ； 第二三角仪， 其从改善的点对应关系为所述图像创建改 善的三角形网格 ； 以及坐标对齐产生器， 其通过改善的三角形网格中的多对对应三角形上 的仿射变换的插值来确定所述多对对。
49、应三角形的区域内的坐标对齐。 说 明 书 CN 103325085 A 11 9/9 页 12 0079 （16） 根据 （15） 的装置， 还包括 ： 图像对齐呈现引擎， 其基于所述坐标对齐和改善 的三角形网格来产生图像对齐。 0080 （17） 根据 （15） 的装置， 还包括 ： 数据库， 其存储坐标对齐信息。 0081 （18） 一种存储指令的计算机可读介质， 该指令在被执行时使计算机执行对齐图像 的方法， 所述方法包括 ： (a) 确定第一图像与第二图像之间的初始对应点特征 ； (b) 从图像 内的初始对应点特征为所述图像创建三角形网格 ； (c) 利用所述三角形网格基于仿射变换 估计来改善第一图像与第二图像之间的点对应关系 ； (d) 根据在 (c) 中改善的点对应关系 为所述图像创建改善的三角形网格 ； 以及 (e) 通过改善的三角形网格中的多对对应三角形 上的仿射变换的插值来确定所述多对对应三角形的区。