用于具有增强景深的成像的系统和方法 【技术领域】
本发明的实施例涉及成像， 并且更具体地涉及具有增强景深的图像的构建。背景技术 例如癌症、 传染病和其他病症等生理状况的预防、 监测和治疗要求这些生理状况 的及时诊断。一般， 来自患者的生物样本用于疾病的分析和识别。显微镜分析是在这些样 品的分析和评估中广泛使用的技术。更具体地， 样品可研究以检测可指示疾病状态的异常 数量或类型的细胞和 / 或组织的存在。自动化显微镜分析系统已经开发以便于这些样品的 快速分析并且具有超过人工分析 ( 其中技术人员可能随时间而感到疲劳从而导致样品的 误读 ) 的准确性的优势。典型地， 在载玻片上的样品装载到显微镜上。该显微镜的透镜或 物镜可聚焦到样品的特定区域上。然后样品的一个或多个感兴趣对象被扫描。可注意到适 当地聚焦样品 / 物镜以便于高质量图像的采集是最重要的。
数字光学显微镜用于观察很多种样品。 景深限定为沿视轴的对应于正由透镜系统 成像到图像平面的三维 (3D) 场景的焦点对准部分的深度范围的度量。通过使用数字显微 镜采集的图像典型地以高数值孔径采集。 以高数值孔径获得的图像一般对从样品到物镜的 距离高度敏感。甚至几微米的偏差可足够使样品立即处于离焦。另外， 甚至在显微镜的单 个视场内， 仅通过调节光学系统使整个样品一次聚焦可能是不可能的。
此外， 该问题在扫描显微镜的情况下进一步扩大， 其中要采集的图像从多个视场 合成。除样品的变化外， 显微镜载玻片具有它的表面形貌上的变化。当提升、 降低和倾转载 玻片时， 用于在垂直于显微镜的光轴的平面上平移载玻片的机构也可在图像质量中引入不 完美， 由此导致在采集的图像中的不完美聚焦。 另外， 不完美聚焦的问题在设置在载玻片上 的样品在显微镜的单个视场内不是充分平坦的情况下进一步恶化。具体地， 设置在载玻片 上的这些样品可具有可观数量的在非载玻片平面内的材料。
许多技术已经开发用于成像， 其解决与将具有可观数量的在非平面内的材料的样 品成像关联的问题。这些技术一般需要捕捉显微镜的整个视场并且将它们缝合在一起。然 而， 当样品的深度在单个视场内显著变化时这些技术的使用引起聚焦不足。共焦显微镜已 经被采用以获得三维 (3D) 显微镜场景的深度信息。然而， 这些系统趋向于是复杂并且昂贵 的。 同样， 因为共焦显微镜典型限制于显微镜样本的成像， 它们对于将宏观场景成像一般是 不实用的。
某些其他技术通过采集并且保留在多个焦平面的图像来解决当样品的深度在单 个视场内显著变化时的自动聚焦的问题。尽管这些技术提供显微镜的操作者熟悉的图像， 这些技术要求保留 3-4 倍的数据量， 并且对于高吞吐量仪器这很可能是成本不允许的。
另外， 某些其他当前可用的技术牵涉将图像分成固定区域并且基于在这些区域中 获得的对比度选择源图像。 不幸地， 这些技术的使用在产生的图像中引入不满意的伪像。 此 外， 这些技术趋向于产生具有有限聚焦质量的图像 ( 特别当面对在单个视场内不是充分平 坦的设置在载玻片上的样品时 )， 由此限制这些显微镜在病理实验室中用于诊断这样的样
品中的异常情况 ( 特别在该诊断要求高放大率情况下 )( 如关于骨髓抽出物 )。
开发配置成构建具有有利地增强图像质量的增强景深的图像的健全技术和系统 因此可是可取的。此外， 需要有配置成将具有可观的在非载玻片平面内的材料的样品准确 成像的系统。 发明内容 根据本技术的方面， 提供用于成像的方法。该方法包括使用具有物镜和用于固持 将成像的样品的平台的成像装置在多个样品距离处采集对应于重叠视场的多个图像。此 外， 该方法包括确定对应于该多个采集的图像的每个中的每个像素的品质因数。该方法还 包括基于确定品质因数合成复合图像。
根据本技术的另一个方面， 提供成像装置。该装置包括物镜。此外， 该装置包括配 置成产生样品的多个图像的初级图像传感器。另外， 该装置包括配置成沿光轴调节物镜和 样品之间的样品距离以将样品成像的控制器。 该装置还包括扫描台以支撑样品并且至少在 大致上正交于光轴的横向上移动样品。此外， 该装置包括处理子系统以在多个样品距离处 采集对应于重叠视场的多个图像， 确定对应于在多个采集的图像的每个中的每个像素的品 质因数， 以及基于该确定的品质因数合成复合图像。
附图说明 当下列详细说明参照附图 ( 其中相似的符号在整个附图中代表相似的部件 ) 阅读 时， 本发明的这些和其他的特征、 方面和优势将变得更好理解， 其中 ：
图 1 是例如数字光学显微镜等成像装置的框图， 其包含本技术的方面 ；
图 2 是具有可观的设置在非载玻片上平面内的材料的样品的图解图示 ；
图 3-4 是根据本技术的方面的多个图像的采集的图解图示 ；
图 5 是图示根据本技术的方面将例如在图 2 中图示的样品等样品成像的示范性过 程的流程图 ；
图 6 是根据本技术的方面用于在图 5 的成像的过程中使用的采集的图像的部分的 图解图示 ；
图 7-8 是根据本技术的方面的图 6 的采集的图像的部分的分段的图解图示 ； 以及
图 9A-9B 是图示根据本技术的方面合成复合图像的方法的流程图。
具体实施方式
如将在下文中详细描述的， 提供用于将例如具有可观的在非载玻片平面内的材料 的样品等样品成像、 同时增强图像质量并且优化扫描速度的方法和系统。通过采用在下文 中描述的方法和装置， 可获得增强的图像质量和相当大地增加的扫描速度， 同时简化样品 扫描的临床工作流程。
尽管， 在下文中图示的示范性实施例在数字显微镜的上下文中描述， 将意识到成 像装置在例如但不限于望远镜、 照相机或医疗扫描仪 ( 例如 X 射线计算机断层摄影术 (CT) 成像系统等 ) 等其他应用中的使用也与本技术结合考虑。
图 1 图示例如数字光学显微镜等成像装置 10 的一个实施例， 其包含本发明的方面。该成像装置 10 包括物镜 12、 初级图像传感器 16、 控制器 20 和扫描台 22。在该图示的 实施例中， 样品 24 设置在盖玻片 26 和载玻片 28 之间， 并且样品 24、 盖玻片 26 和载玻片 28 由扫描台 22 支撑。盖玻片 26 和载玻片 28 可由例如玻璃等透明材料制成， 同时样品 24 可 代表很多种对象或样品， 包括生物样品。例如， 样品 24 可代表例如集成电路芯片或微机电 系统 (MEMS) 等工业对象和例如包括肝或肾细胞的活体检视组织等生物样品。在非限制性 示例中， 这样的样品可具有平均从大约 5 微米到大约 7 微米并且变化若干微米的厚度， 并且 可具有大约 15×15 毫米的横向表面积。更特别地， 这些样品可具有大量在非载玻片 28 平 面内的材料。
物镜 12 从样品 24 分隔开一样品距离， 其沿 Z( 竖直 ) 方向上的光轴延伸， 并且物 镜 12 具有在大致上正交于 Z 或竖直方向的 X-Y 平面 ( 横向或水平方向 ) 中的焦平面。物 镜 12 采集从特定视场中的样品 24 发射的光 30， 将该光 30 放大并且将该光 30 引导到初级 图像传感器 16。 物镜 12 可根据例如应用和待成像的样品特征的尺寸而在放大倍率上变化。 通过非限制性示例， 在一个实施例中， 物镜 12 可以是提供 20X 或更大放大率并且具有 0.5 或大于 0.5( 小焦深 ) 的数值孔径的高倍率物镜。物镜 12 可根据物镜 12 的设计工作距离 从样品 24 分隔开一样品距离 ( 范围在从大约 200 微米到大约几毫米之间 )， 并且可从例如 在焦平面中的 750×750 微米的视场采集光 30。然而， 工作距离、 视场和焦平面还可根据显 微镜配置或待成像的样品 24 的特性而变化。此外， 在一个实施例中， 物镜 12 可耦合于例如 压力致动器等位置控制器以向物镜 12 提供精准电动机控制和快速微小视场调节。 在一个实施例中， 初级图像传感器 16 可使用例如初级光路 32 产生对应于至少一 个视场的样品 24 的一个或多个图像。初级图像传感器 16 可代表例如基于从市场获得的电 荷耦合器件 (CCD) 的图像传感器等任意数字成像装置。
此外， 成像装置 10 可使用包括明场、 相位衬度 (phase contrast)、 微分干涉衬度 和荧光的很多种成像模式照射样品 24。从而， 光 30 可使用明场、 相位衬度或微分干涉衬度 从样品 24 透射或反射， 或光 30 可使用荧光从样品 24( 荧光标记的或固有的 ) 发射。另外， 光 30 可使用透射型照射 ( 其中光源和物镜 12 在样品 24 的相反侧上 ) 或反射型照射 ( 其 中光源和物镜 12 在样品 24 的相同侧上 ) 产生。如此， 成像装置 10 可进一步包括光源 ( 例 如高强度 LED 或水银或氙弧或金属卤化物灯等 )， 其为了图示方便从图中省略。
此外， 在一个实施例中， 成像装置 10 可以是配置成快速捕捉样品 24 的大量原始数 字图像的高速成像装置， 其中每个初级图像代表在特定视场的样品 24 的快照。在某些实施 例中， 该特定视场可以是整个样品 24 的仅一小部分的代表。该原始数字图像中的每个然后 可数字结合或缝合在一起以形成整个样品 24 的数字表示。
如之前提到的， 初级图像传感器 16 可使用初级光路 32 产生对应于至少一个视场 的样品 24 的大量图像。 然而， 在某些其他实施例中， 初级图像传感器 16 可使用初级光路 32 产生对应于多个重叠视场的样品 24 的大量图像。在一个实施例中， 成像装置 10 捕捉并且 利用这些在变化的样品距离获得的样品 24 的图像以产生具有增强景深的样品 24 的复合图 像。此外， 在一个实施例中， 控制器 20 可调节物镜 12 和样品 24 之间的距离以便于与至少 一个视场关联的多个图像的采集。同样， 在一个实施例中， 成像装置 10 可存储该多个采集 的图像在数据存储库 34 和 / 或存储器 38 中。
根据本技术的方面， 成像装置 10 还可包括用于将例如具有在非载玻片 28 平面内
的材料的样品 24 等样品成像的示范性处理子系统 36。特别地， 该处理子系统 36 可配置成 确定对应于在多个采集的图像的每个中的每个像素的品质因数。该处理子系统 36 还可配 置成基于确定品质因数合成复合图像。该处理子系统 36 的工作将参照图 5-9 更详细地描 述。 在目前考虑的配置中， 尽管存储器 38 示为从该处理子系统 36 分开的， 在某些实施例中， 该处理子系统 36 可包括存储器 38。另外， 尽管目前考虑的配置描绘该处理子系统 36 为从 控制器 20 分开的， 在某些实施例中， 该处理子系统 36 可与控制器 20 结合。
精准聚焦一般通过用致动器在 Z 方向上调节物镜 12 的位置达到。具体地， 该致动 器配置成在大致上垂直于载玻片 28 的平面的方向上移动物镜 12。 在一个实施例中， 该致动 器可包括用于高速采集的压电换能器。在某些其他实施例中， 该致动器可包括齿条 - 齿轮 传动机构 (rack and pinion mechanism)， 其具有用于大范围运动的电动机和减速传动器 (motor and reduction drive)。
可注意到成像问题一般在设置在载玻片 28 上的样品 24 在显微镜的单个视场内不 是平的情况下出现。特别地， 样品 24 可具有在非载玻片 28 平面内的材料， 由此产生聚焦欠 佳的图像。现在参照图 2， 描绘载玻片 28 和设置在其上的样品 24 的图解图示 40。如在图 2 中描绘的， 在某些情况下， 设置在载玻片 28 上的样品 24 可不是平的。通过示例， 当样品 24 被去物质形态时， 样品 24 的材料膨胀由此致使样品在显微镜的单个视场内具有在非载 玻片 28 平面内的材料。因此， 样品的某些区域可能对于给定的样品距离是离焦的。因此， 如果物镜 12 聚焦在关于样品 24 的第一样品距离处， 例如在较低的成像平面 A42 处等， 那么 样品 24 的中心将是离焦的。相反， 如果物镜 12 聚焦在第二样品距离， 例如在较高成像平面 B44 处等， 那么样品 24 的边缘将是离焦的。更具体地， 可能不存在其中整个样品 24 处于可 接受的聚焦的折衷样品距离。术语 “样品距离” 在下文中用于指物镜 12 和待成像的样品 24 之间的分开距离。同样， 术语 “样品距离” 和 “焦距” 可交换地使用。
根据本技术的示范性方面， 成像装置 10 可配置成提高景深， 由此允许具有实质表 面形貌的样品被准确成像。为此， 成像装置 10 可配置成采集对应于至少一个视场的多个图 像同时物镜 12 放置在离样品 24 一系列样品距离处， 确定对应于在该多个图像中的每个像 素的品质因数并且基于确定的品质因数合成复合图像。
因此， 在一个实施例中， 多个图像可通过将物镜 12 放置在离样品 24 的多个对应样 品距离 (Z 高度 ) 处采集， 同时扫描台 22 和样品 24 留在固定 X-Y 位置。在某些其他实施例 中， 多个图像可通过在 Z 方向上移动物镜 12 和在 X-Y 方向上移动扫描台 22( 和样品 24) 采 集。
图 3 是通过将物镜 12 放置在离样品 24 的多个对应的样品距离 (Z 高度 ) 处同时 扫描台 22 和样品 24 留在固定 X-Y 位置来采集多个图像的方法的图解图示 50。具体地， 对 应于单个视场的多个图像可通过将物镜 12 放置在关于样品 24 的多个样品距离处采集。如 本文使用的， 术语 “视场” 用于指来自其中的光到达初级图像传感器 16 的工作表面上的载 玻片 28 的区域。标号 52、 54 和 56 分别是通过将物镜 12 分别放置在关于样品 24 的第一样 品距离、 第二样品距离和第三样品距离处获得的第一图像、 第二图像和第三图像的代表。 同 样， 标号 53 是对应于物镜 12 的单个视场的第一图像 52 的部分的代表。相似地， 标号 55 是 对应于物镜 12 的单个视场的第一图像 54 的部分的代表。此外， 标号 57 是对应于物镜 12 的单个视场的第三图像 52 的部分的代表。通过示例， 当物镜 12 分别放置在关于样品 24 的第一、 第二和第三样品距离处时成 像装置 10 可使用初级图像传感器 16 捕捉第一图像 52、 第二图像 54 和第三图像 56。控制 器 20 或致动器可在第一方向上移置物镜 12。在一个实施例中， 第一方向可包括 Z 方向。因 此， 控制器 20 可在 Z 方向上关于样品 24 移置或竖直移位物镜 12 以获得在多个样品距离处 的多个图像。在图 3 中图示的示例中， 控制器 20 可在 Z 方向上关于样品 24 竖直移位物镜 12 同时保持扫描台 22 在固定 X-Y 位置以获得在多个样品距离处的多个图像 52、 54、 56， 其 中多个图像 52、 54、 56 对应于单个视场。备选地， 控制器 20 可竖直移位扫描台 22 和样品 24 同时物镜 12 留在固定竖直位置， 或控制器 20 可竖直移位扫描台 22( 和样品 24) 和物镜 12 两者。这样采集的图像可存储在存储器 38( 参见图 1) 中。备选地， 图像可存储在数据存储 库 34( 参见图 1) 中。
根据本技术的另外方面， 可采集对应多个视场的多个图像。 具体地， 可采集对应于 重叠视场的多个图像。现在转向图 4， 描绘当物镜 12 在第一方向 (Z 方向 ) 上移动并且扫 描台 22( 和样品 24) 在第二方向上移动时多个图像的采集的图解图示 60。可注意到在某 些实施例中， 第二方向可大致上正交于第一方向。同样， 在一个实施例中， 第二方向可包括 X-Y 方向。更特别地， 描绘对应于多个重叠视场的多个图像的采集。标号 62、 64 和 66 分别 是通过将物镜 12 分别放置在关于样品 24 的第一样品距离、 第二样品距离和第三样品距离 处同时扫描台 22 在 X-Y 方向上移动时获得的第一图像、 第二图像和第三图像的代表。 可注意到物镜 12 的视场随扫描台 22 在 X-Y 方向上运动而移位。根据本技术的方 面， 可评价多个采集的图像之间的大致上相似的区域。因此， 与扫描台 22 的运动同步移位 的区域可选择使得相同的区域在每个样品距离处评价。标号 63、 65 和 67 可分别是在第一 图像 62、 第二图像 64 和第三图像 66 中与扫描台 22 的运动同步移位的区域的代表。
在图 4 中图示的示例中， 控制器 20 可竖直移位物镜 12 同时还在 X-Y 方向上移动 扫描台 22( 和样品 24) 以便于在不同样品距离处对应于重叠视场的图像的采集使得每个视 场的每个部分在不同的样品距离处采集。具体地， 可采集多个图像 62、 64 和 66 使得对于扫 描台 22 的任何给定 X-Y 位置， 存在多个图像 62、 64 和 66 之间的大量重叠。因此， 在一个实 施例中， 可对样品 24 扫描超出感兴趣区并且对应于不具有图像平面之间的重叠的区域的 图像数据可随后被丢弃。这些图像可存储在存储器 38 中。备选地， 这些采集的图像可存储 在数据存储库 34 中。
再次参照图 1， 根据本技术的示范性方面， 一旦对应于至少一个视场的多个图像被 采集， 成像装置 10 可确定在多个样品距离处捕捉的样品 24 的相应多个采集的图像的定量 特性。定量特性代表图像质量的定量测量并且还可称为品质因数。在一个实施例中， 品质 因数可包括梯度矢量的离散近似。 更特别地， 在一个实施例中， 品质因数可包括绿色通道的 强度关于绿色通道的空间位置的梯度矢量的离散近似。 因此， 在某些实施例中， 成像装置 10 并且更特别地处理子系统 36 可配置成确定多个采集图像的每个中的每个像素的采用以下 形式的品质因数 ： 对绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似。在 某些实施例中， 低通滤波器可应用于梯度以在梯度的计算期间消除任何噪音。可注意到尽 管品质因数描述为绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似， 使用 例如但不限于拉普拉斯算子滤波器、 Sobel 滤波器、 Canny 边缘检测器或局部图像对比度的 估计等其他品质因数也与本技术结合考虑。
每个采集的图像可由成像装置 10 处理以通过确定对应于图像中的每个像素的品 质因数提取关于聚焦质量的信息。更特别地， 处理子系统 36 可配置成确定对应于在多个采 集的图像的每个中的每个像素的品质因数。 如之前提到的， 在某些实施例中， 对应于每个像 素的品质因数可包括对梯度矢量的离散近似。 具体地， 在一个实施例中， 品质因数可包括对 绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似。备选地， 品质因数可包 括拉斯算子滤波器、 Sobel 滤波器、 Canny 边缘检测器或局部图像对比度的估计。
随后， 根据本技术的方面， 对于在每个采集的图像中的每个像素， 处理子系统 36 可配置成在多个图像中找出产生对应于横跨多个采集的图像的该像素的最好品质因数的 图像。如本文使用的， 术语 “最好品质因数” 可用于指在空间位置产生最好聚焦质量的品质 因数。此外， 对于在每个图像中的每个像素， 处理子系统 36 可配置成指派第一值给该像素 ( 如果对应图像产生最好品质因数 )。另外， 处理子系统 36 还可配置成指派第二值给像素 ( 如果在多个图像中的另一个图像产生最好品质因数 )。在某些实施例中， 第一值可以是 “1” ， 而第二值可以是 “0” 。这些指派值可存储在数据存储库 34 和 / 或存储器 38 中。
根据本技术的另外的方面， 处理子系统 36 还可配置成基于确定的品质因数合成 复合图像。更特别地， 该复合图像可基于指派给像素的值合成。在一个实施例中， 这些指派 值可采用阵列的形式存储。可注意到尽管本技术描述使用阵列以存储指派值， 还设想用于 存储指派值的其他技术。因此， 处理子系统 36 可配置成产生对应于多个采集的图像中的每 个的阵列。 同样， 在一个实施例中， 这些阵列可具有与对应采集的图像的尺寸大致上相似的 尺寸。
一旦这些阵列产生， 可填充在每个阵列中的每个元素。 根据本技术的方面， 在阵列 中的元素可基于对应于该像素的品质因数填充。更特别地， 如果在图像中的像素被指派第 一值， 那么在对应阵列中的对应元素可被指派第一值。 采用相似的方式， 在对应于像素的阵 列中的元素可被指派第二值 ( 如果在对应图像中的该像素被指派第二值 )。处理子系统 36 可配置成基于指派给在采集的图像中的像素的值填充所有阵列。在该处理之后， 可产生填 充阵列集。填充的阵列也可存储在例如数据存储库 34 和 / 或存储器 38 中。
在某些实施例中， 处理子系统 36 还可通过位屏蔽 (bit mask) 处理填充的阵列集 以产生位屏蔽滤波阵列。通过示例， 通过位屏蔽滤波器处理填充阵列可便于产生仅包括具 有第一值的元素的位屏蔽滤波阵列。
另外， 处理子系统 36 可基于位屏蔽滤波阵列从多个采集的图像中的每个选择像 素。 具体地， 在一个实施例中， 可选择对应于在关联的位屏蔽滤波阵列中具有第一值的元素 的在采集的图像中的像素。此外， 处理子系统 36 可使用选择的像素混合采集的图像以产生 复合图像。 然而， 这样的多个采集的图像的混合可在复合图像中产生不期望的混合伪像。 在 某些实施例中， 不期望的混合伪像可包括条带的形成， 例如在复合图像中的马赫带等。
根据本技术的方面， 采用条带形式的不期望的混合伪像可通过对位屏蔽滤波阵列 应用滤波器使得平滑从一个图像到下一个的转变而相当大地最小化。更特别地， 根据本技 术的方面， 条带可通过使用双三次低通滤波器平滑从一个图像到下一个的转变而相当大地 最小化。通过双三次滤波器处理位屏蔽滤波阵列引起滤波输出的产生。在某些实施例中， 滤波输出可包括对应于多个图像的双三次滤波阵列。处理子系统 36 然后可配置成使用该 滤波输出作为 α 通道以将图像混合在一起以产生复合图像。特别地， 在 α 混合中， 一般在从大约 0 到大约 1 的范围中的权重可指派给在多个图像的每个中的每个像素。该指派的权 重一般可命名为 α。具体地， 在最终复合图像中的每个像素可通过对在采集的图像中的像 素值和它们的对应 α 值的乘积求和并且将该总和除以 α 值的总和来计算。在一个实施例 中， 在复合图像中的每个像素 (RC， GC， BC) 可计算为 ：
其中 n 可以是在多个采集的图像中的像素的数量的代表， (α1， α 2， ...αn) 可对 应地是指派给在多个采集的图像中的每个像素的权重的代表， (R1， R2， ...Rn) 可以是在多个 采集的图像中的像素的红色值的代表， (G1， G2， ...Gn) 可是在多个采集的图像中的像素的绿 色值的代表并且 (B1， B2， ...Bn) 可是在多个采集的图像中的像素的蓝色值的代表。
因此， 每个选择的像素可按基于滤波输出的横跨多个图像的对应像素的加权平均 值来混合在一起以产生具有增强景深的复合图像。
根据本技术的另外的方面， 成像装置 10 可配置成采集多个图像。在一个实施例 中， 样品 24 的多个图像可通过将物镜 12 放置在多个样品距离 (Z 高度 ) 处同时扫描台 22 保 持固定在离散 X-Y 位置而采集。特别地， 采集对应于至少一个视场的多个图像可包括通过 沿 Z 方向移置物镜 12 将物镜 12 放置在多个样品距离处同时扫描台 22 沿 X-Y 方向保持在 固定的离散位置。因此， 样品 24 的对应多个图像可通过将物镜 12 放置在多个样品距离 (Z 高度 ) 处同时扫描台 22 保持固定在一系列离散 X-Y 位置而采集。具体地， 对应的图像集可 通过沿 Z 方向移置物镜 12 将物镜 12 放置在多个样品距离处同时扫描台 22 沿 X-Y 方向放 置在一系列离散位置处而采集。可注意到扫描台 22 可通过在 X-Y 方向上平移扫描台放置 在一系列离散 X-Y 位置处。
在另一个实施例中， 多个重叠图像可通过沿 Z 方向移动物镜 12 同时扫描台 22 在 X-Y 方向上同时平移而采集。这些重叠图像可采集使得重叠图像在每个可能的 Z 高度处覆 盖所有 X-Y 位置。
随后， 处理子系统 36 可配置成确定对应于在多个采集的图像的每个中的每个像 素的品质因数。此外， 根据本技术的方面， 品质因数可包括梯度矢量的离散近似。具体地， 在某些实施例中， 品质因数可包括梯度矢量的离散近似。更特别地， 在一个实施例中， 品质 因数可包括绿色通道的强度关于绿色通道的空间位置的梯度矢量的离散近似。 复合图像然 后可基于由处理子系统 36 确定的品质因数合成， 如之前关于图 1 描述的。
如之前提到的， 混合多个采集的图像可由于像素从不同图像选择并且由此引起从 一个图像到另一个的突然转变而引起条带在复合图像中形成。根据本技术的方面， 多个采 集的图像可通过使用双三次滤波器处理。 通过使用双三次滤波器处理多个采集的图像使从 一个图像到另一个的任何突然转变平滑， 由此最小化在复合图像中的任何条带。
现在转向图 5， 描绘图示用于将样品成像的示范性方法的流程图 80。更特别地， 提 供用于将具有在非载玻片平面内的材料的大部分的样品成像的方法。该方法 80 可在计算 机可执行指令的一般上下文中描述。一般， 计算机可执行指令可包括例程、 程序、 对象、 部
件、 数据结构、 规程、 模块、 函数等， 其执行特定功能或实现特定抽象数据类型。在某些实施 例中， 计算机可执行指令可位于例如存储器 38( 参见图 1) 等计算机存储介质中， 其对于成 像装置 10( 参见图 1) 是本地的， 并且与处理子系统 36 操作关联。在某些其他实施例中， 计 算机可执行指令可位于例如存储器存储装置等计算机存储介质中， 其从成像装置 10( 参见 图 1) 移走。此外， 该成像方法 80 包括可采用硬件、 软件或其的组合实现的一系列操作。
该方法在步骤 82 开始， 其中可采集与至少一个视场关联的多个图像。更特别地， 包含样品的载玻片装载到成像装置上。通过示例， 具有样品 24 的载玻片 28 可装载到成像 装置 10 的扫描台 22 上 ( 参见图 1)。随后， 可采集对应于至少一个视场的多个图像。在一 个实施例中， 对应于单个视场的多个图像可通过在 Z 方向上移动物镜 12 同时扫描台 22( 和 样品 24) 留在固定 X-Y 位置而采集。通过示例， 该对应于单个视场的多个图像可如参照图 3 描述的采集。因此， 在单个视场处， 样品 24 的第一图像可通过将物镜 12 放置在关于样品 24 的第一样品距离 (Z 高度 ) 处采集。第二图像可通过将物镜 12 放置在关于样品 24 的第 二样品距离处获得。采用相似的方式， 多个图像可通过将物镜 12 放置在关于样品 24 的对 应样品距离处获得。在一个实施例中， 步骤 82 的图像采集可需要样品 24 的 3-5 个图像的 采集。备选地， 扫描台 22( 和样品 24) 可竖直移位同时物镜 12 留在固定竖直位置， 或扫描 台 22( 和样品 24) 和物镜 12 两者可竖直移位以采集对应于单个视场的多个图像。 然而， 在某些其他实施例中， 多个图像可通过在 Z 方向上移动物镜 12 同时扫描台 22 和样品 24 在 X-Y 方向上移动而采集。通过示例， 对应于多个视场的多个图像可如参照 图 4 描述的采集。具体地， 对应于重叠视场的多个图像的采集可间隔为相当足够近使得对 于物镜 12 的每个位置 (Z 高度 ) 至少一个采集的图像覆盖图像平面中的任何位置。因此， 第一图像、 第二图像和第三图像可通过将物镜 12 分别放置在关于样品 24 的第一样品距离、 第二样品距离和第三样品距离处同时扫描台 22 在 X-Y 方向上移动而采集。
继续参照图 5， 一旦采集了多个图像， 可确定对应于在多个图像的每个中的每个像 素的例如品质因数等质量特性， 如由步骤 84 指示的。如之前提到的， 根据本技术的方面， 在 一个实施例中， 对应于每个像素的品质因数可是对梯度矢量的离散近似的代表。 更特别地， 在一个实施例中， 对应于每个像素的品质因数可以是对绿色通道的强度关于绿色通道的空 间位置的梯度矢量的离散近似的代表。在某些其他实施例中， 品质因数可包括拉斯算子滤 波器、 Sobel 滤波器、 Canny 边缘检测器或局部图像对比度的估计， 如之前提到的。对应于在 多个图像的每个中的每个像素的品质因数的确定参照图 6-8 可更好地理解。
典型地， 例如第一图像 52( 参见图 3) 等图像包括红色 “R” 、 蓝色 “B” 和绿色 “G” 像 素的设置。图 6 是在多个图像中的采集的图像的部分 100 的代表。例如， 该部分 100 可是 第一图像 52 的部分的代表。标号 102 是部分 100 的第一分段的代表， 而部分 100 的第二分 段一般可由标号 104 代表。
如之前提到的， 品质因数可以是对绿色通道的强度关于绿色通道的空间位置的梯 度矢量的离散近似的代表。图 7 图示图 6 的部分 100 的第一分段 102 的图解代表。因此， 如在图 7 中描绘的， 绿色 “G” 像素 106 的梯度矢量的离散近似可确定为 ：
其中 GLR、 GLL、 GUL 和 GUR 是绿色 “G” 像素 106 的相邻绿色 “G” 像素的代表。
图 8 是图 6 的部分 100 的第二分段 104 的代表。因此， 如果像素包括红色 “R” 像素 或蓝色 “B” 像素， 红色 “R” 像素 108( 或蓝色 “B” 像素 ) 的梯度矢量的离散近似可确定为 ：
其中 GR、 GL、 GU 和 GD 是红色 “R” 像素 106 或蓝色 “B” 像素的相邻绿色 “G” 像素的代表。 返回参照图 5， 在步骤 84， 对应于多个图像的每个中的每个像素的采用对绿色通 道的强度的梯度矢量的离散近似的形式的品质因数可如参照图 6-8 描述的确定。标号 86 一般可是确定的品质因数的代表。在一个实施例中， 在步骤 84 这样确定的品质因数可存储 在数据存储库 34( 参见图 1) 中。
可注意到在需要采集对应于重叠视场的多个图像的实施例中， 物镜 12 的视场随 扫描台 22 在 X-Y 方向上运动而移位。根据本技术的方面， 可评估横跨多个采集的图像的大 致上相似的区域。因此， 与扫描台 22 的运动同步移位的区域可选择使得相同区域在每个样 品距离处评估。在多个图像中的区域选择后， 对应于仅选择的区域的品质因数可确定使得 大致上相似的区域在每个样品距离处评估。
随后， 在步骤 88， 根据本技术的示范性方面， 具有增强景深的复合图像可基于在步 骤 84 确定的品质因数合成。步骤 88 可参照图 9 更好地理解。现在转向图 9A-9B， 图示描绘 基于确定的与多个图像中的像素关联的品质因数 86 合成复合图像的流程图 110。更特别 地， 图 5 的步骤 88 在图 9A-9B 中更详细地描绘。
如之前提到的， 在一个实施例中， 多个阵列可在复合图像的产生中使用。因此， 该 方法在步骤 112 开始， 其中可形成对应于多个图像中的每个的阵列。在某些实施例中， 阵 列可形成尺寸使得每个阵列具有大致上相似于在多个图像中的对应图像尺寸的尺寸。通 过示例， 如果在多个图像中的每个图像具有 (M×N) 的尺寸， 那么对应的阵列可形成以具有 (M×N) 的尺寸。
另外， 在步骤 114， 对于在多个采集的图像的每个中的每个像素， 可识别多个图像 中产生横跨多个图像中的对应像素的该像素的最好品质因数的图像。如之前提到的， 最好 品质因数是在空间位置产生最好聚焦质量的品质因数的代表。随后， 在每个图像中的每个 像素可被指派第一值 ( 如果对应图像产生该像素的最好品质因数 )。 另外， 第二值可指派给 像素 ( 如果在多个图像中的另一个图像产生最好品质因数 )。 在某些实施例中， 第一值可是 “1” ， 而第二值可是 “0” 。在一个实施例中这些指派值可存储在数据存储库 34 中。
此外， 根据本技术的示范性方面， 可填充在步骤 112 产生的阵列。具体地， 每个阵 列可通过基于识别的品质元素指派第一值或第二值给在该阵列中的每个元素来填充。 通过 示例， 可选择在多个采集的图像中的图像中的像素。具体地， 可选择代表在具有 (1， 1) 的 (x， y) 坐标的第一图像 52( 参见图 3) 中的第一像素的像素 p1， 1。
随后， 在步骤 116， 可执行校验以证实对应于第一图像 52 的像素 p1， 1 的品质因数 是否是对应于在多个图像 52、 54、 56( 参见图 3) 中的所有第一像素的 “最好” 品质因数。更 特别地， 在步骤 116， 可执行校验以证实像素是否具有与该像素关联的第一值或第二值。在
步骤 116， 如果确定对应于像素 p1， 1 的图像产生最好品质因数并且因此具有关联的第一值， 那么在与第一图像 52 关联的阵列中的对应表目可被指派第一值， 如由步骤 118 指示的。在 某些实施例中， 第一值可是 “1” 。然而， 在步骤 116， 证实对应于第一像素 p1， 1 的第一图像 52 不产生最好品质因数并且因此具有关联的第二值， 那么在与第一图像 52 关联的阵列中的 对应表目可被指派第二值， 如由步骤 120 指示的。在某些实施例中， 第二值可以是 “0” 。因 此， 在阵列中对应于像素的表目可被指派第一值 ( 如果在对应图像中的该像素产生横跨多 个图像的最好品质因数 )。然而， 如果在多个采集的图像中的另一个图像产生最好品质因 数， 那么在阵列中对应于该像素的表目可被指派第二值。
填充对应于在多个图像中的每个图像的阵列的该过程可重复直到在阵列中的所 有表目被填充。因此， 在步骤 122， 可执行校验以证实在图像的每个中的所有像素是否已经 处理。在步骤 122， 如果证实在多个图像的每个中的所有像素已经处理， 控制可转移到步骤 124。然而， 在步骤 122， 如果证实在多个图像的每个中的所有像素尚未处理， 控制可转移回 到步骤 114。 作为步骤 114-122 的处理的结果， 可产生其中每个表目具有第一值或第二值的 填充阵列 124 集。更特别地， 在填充阵列集中的每个阵列包括在其中图像产生最好品质因 数的空间位置处的第一值和在其中另一个图像产生最好品质因数的空间位置处的第二值。 可注意到在图像中具有关联的第一值的空间位置可以是在该图像中产生最好聚焦质量的 空间位置的代表。相似地， 在该图像中具有关联的第二值的空间位置可以是其中另一个图 像产生最好聚焦质量的空间位置的代表。
继续参照图 9， 复合图像可基于填充阵列 124 集来合成。在某些实施例中， 这些填 充阵列 124 中的每个可通过使用位屏蔽处理以产生位屏蔽滤波填充阵列， 如由步骤 126 指 示的。可注意到在某些实施例中步骤 126 可以是可选步骤。在一个实施例中， 这些位屏蔽 滤波阵列可仅包括例如具有关联的第一值的元素。随后， 该位屏蔽滤波阵列可用于合成复 合图像。
根据本技术的方面， 适当的像素可基于对应的位屏蔽滤波阵列从多个图像选择， 如由步骤 128 指示的。更特别地， 可选择在采集的图像的每个中的对应于在位屏蔽滤波阵 列中具有关联的第一值的表目的像素。多个采集的图像可基于选择的像素混合。可注意到 如在上文中描述的选择像素可引起相邻像素从在不同样品距离 (Z 高度 ) 采集的图像挑选。 因此， 该基于选择的像素的图像混合由于像素从在不同样品距离采集的图像挑选可在混合 图像中产生例如马赫带等不期望的混合伪像。
根据本技术的方面， 这些不期望的混合伪像可通过使用双三次滤波器而相当大地 最小化。更特别地， 位屏蔽滤波阵列可在基于选择的像素混合图像之前通过双三次滤波器 处理以便于在混合图像中的任何条带的最小化， 如由步骤 130 指示的。在一个实施例中， 该 双三次滤波器可包括具有对称特性的双三次滤波器使得
k(s)+k(r-s) ＝ 1 (4)
其中 s 是像素离滤波器的中心的位移的代表并且 r 是恒定半径。
可注意到该恒定半径 r 的值可选择使得滤波器向图像提供平滑外观， 而不引起模 糊或重影图像。在一个实施例中， 该恒定半径可具有从大约 4 到大约 32 的范围中的值。
此外， 在一个实施例中， 双三次滤波器可具有如下表示的特性 ：
其中如之前提到的， s 是离滤波器的中心的像素位移并且 r 是恒定半径。 可注意到滤波器特性可以是旋转对称的。备选地， 滤波器特性可独立应用在 X 和Y 轴上。 在步骤 130 通过使用双三次滤波器处理位屏蔽滤波阵列产生滤波输出 132。在一 个实施例中， 该滤波输出 132 可包括双三次滤波阵列。具体地， 通过使用双三次滤波器处理 位屏蔽滤波阵列产生滤波输出 132， 其中每个像素具有与该像素关联的对应权重。 根据本技 术的示范性方面， 该滤波输出 132 可用作 α 通道以帮助混合多个采集的图像以产生复合图 像 90。 更特别地， 在滤波输出 132 中， 在位屏蔽滤波阵列的每个中的每个像素将具有与该像 素关联的权重。通过示例， 如果像素横跨这些位屏蔽滤波阵列具有值 1、 0、 0， 那么通过使用 双三次滤波器处理位屏蔽滤波阵列可在滤波输出 132 中产生横跨这些双三次滤波阵列的 具有权重 0.8、 0.3、 0.1 的该像素。因此， 对于给定像素， 横跨双三次滤波阵列的转变比在对 应的位屏蔽滤波阵列中的 1 到 0 或 0 到 1 的突然转变更平滑。另外， 通过使用双三次滤波 器的滤波处理还使任何急剧的空间特征平滑并且掩饰空间不确定性， 由此便于去除从一个 图像到另一个的任何突然转变。
随后， 在步骤 136， 多个采集的图像可采用在步骤 128 选择的像素并且使用滤波输 出 132 作为 α 通道来混合以产生复合图像 90。更特别地， 在复合图像 90 中的每个 (x， y) 位置处的像素可确定为基于在滤波输出 132 中的双三次滤波阵列的该像素横跨多个图像 的加权平均值。具体地， 根据本技术的方面并且如之前参照图 1 提到的， 在成像装置 10 中 的处理子系统 36 可配置成通过对对应于选择像素的像素值和它们的对应 α 值的乘积求和 并且将该总和除以 α 值的总和来计算在复合图像中的每个像素从而产生复合图像。例如， 在一个实施例中， 在例如复合图像 90( 参见图 5) 等复合图像中每个像素 (RC， GC， BC) 可通过 使用方程 (1) 计算。
作为该处理的结果， 产生具有增强景深的复合图像 90( 参见图 5)。 具体地， 由于采 用具有横跨在不同样品距离处采集的多个图像的最好品质因数的像素以产生复合图像 90， 复合图像 90 具有大于采集的图像景深的景深。
此外， 前述示例、 呈现和处理步骤 ( 例如可由成像装置 10 和 / 或处理子系统 36 执 行的那些等 ) 可由适当代码在例如通用或专用计算机等基于处理器的系统上实现。还应该 注意到本技术的不同实现可采用不同顺序或大致上同时 ( 即， 并行 ) 执行本文描述的步骤 中的一些或所有。此外， 功能可采用包括但不限于 C++ 或 Java 的多种编程语言实现。这 样的代码可存储或适应于存储在一个或多个有形的机器可读介质上， 例如在数据存储库芯 片、 本地或远程硬盘、 光盘 ( 即， CD 或 DVD)、 例如存储器 38( 参见图 1) 等存储器或其他介质 上， 其可由基于处理器的系统访问以执行存储的代码。注意有形介质可包括指令印刷在其 上的纸或另一个适合的介质。 例如， 指令可通过纸或其他介质的光学扫描电子地捕捉， 然后 如果需要的话采用适合的方式编译、 解释或另外处理， 并且然后存储在数据存储库 34 或存 储器 38 中。
在上文中描述的用于将样品成像的方法和成像装置显著地增强图像质量 ( 特别 当将具有可观的在非载玻片平面内的材料的样品成像时 )。 更特别地， 在上文中描述的方法 和系统的使用便于具有增强景深的复合图像的产生。具体地， 该方法通过用物镜 12 在离样 品的一系列距离处采集图像来扩展 “景深” 以适应具有表面形貌的样品。另外， 图像还可通 过沿 Z 方向移动物镜 12 同时扫描台 22 和样品 24 沿 X-Y 方向移动采集。图像质量然后在 图像的每个中在图像的表面之上评定。 像素从在对应于提供最锐聚焦的样品距离的各种样 品距离上采集的图像选择。 另外， 混合功能的使用便于一个焦深和另一个之间的平滑转变， 由此最小化在复合图像中的条带的形成 / 出现。双三次滤波器的使用允许使用在对应的多 个样品距离处采集的多个图像产生具有增强景深的复合图像。沿深度 (Z) 轴的变化可与在 X 和 Y 方向上扫描载玻片结合， 由此产生跟踪样品的深度变化的单个大平面图像。
尽管本文仅图示和描述本发明的某些特征， 本领域内技术人员将想到许多修改和 改变。 因此， 要理解附上的权利要求意在覆盖所有这样的修改和改变， 其落入本发明的真正 精神内。
部件列表