光领域耳镜的光学设计技术领域
本发明广泛涉及光场耳镜。
背景技术
耳镜是用于观测和诊断中耳内疾病的光学成像装置。临床医生使用鼓膜(TM)的诸
如颜色、透明度、三维(3D)形状的成像特征来诊断。传统耳镜严重地限制视场(FOV)和TM的
放大率(magnification)。这为使用者创造了单眼通道视觉，所述单眼通道视觉减少了评估
形状和颜色微小差别的能力。新型数字耳镜可以提供高分辨率的大型FOV图像，但是它们当
前成像传感器不提供3D形状或颜色的定量测量。
与传统成像传感器相比，光场成像传感器使用显微透镜阵列来记录完整的四维
(4D)光线空间。光场数据可以被用来重建场景的多种视角，每个视角具有不同的透视。这些
视角可以随后进一步的对重建3D形状进行后置处理。然而，3D重建的准确性依靠光学系统
的多个参数，诸如数值孔径(NA)、放大率、像素间距、以及显微透镜间距。用于当前耳镜内的
光学器件(optic)和耳镜具有导致低准确性光场3D重建的参数。
光场成像传感器同样可以使能称为“多谱线成像”的模式。光谱图像能通过放置光
学过滤器到孔径平面内被编码到重建视角中。耳镜和耳镜内的当前光学器件包含非常小
和/或难以达到的孔径，这令光谱过滤器的插入变得不切实际。
因此，需要为3D设计新类型的光学系统以及耳镜检查中的光谱测量。
发明内容
本发明通过提供光场耳镜的多种光学设计克服了之前领域的限制。实例光场耳镜
包含物镜组、中继光学器件和全光传感器(例如，显微透镜阵列和传感器阵列)。物镜组成像
人耳内部且特征在于光瞳面和图像平面。中继光学器件位于物镜组和全光传感器之间。其
中继图像平面到显微透镜阵列和中继光瞳面到传感器阵列。
其它方面包含物镜组的多种设计。在一个设计中，耳镜对象由三个透镜元件组成，
光瞳面位于对象的物体侧上以及图像平面位于对象的图像侧上。在另一设计中，对象由第
二正透镜组跟随的负透镜组组成，光瞳面位于两个透镜组之间。
在另一方面，中继光学器件包含两个中继透镜组。第一中继透镜组中继光瞳面到
中间光瞳面,所述中间光瞳面然后被第二中继透镜组中继到传感器阵列。两个中继透镜组
一起同样中继图像平面到显微透镜阵列。可选择的，过滤器模块可被插入在中间光瞳面，举
例来说，用于执行光谱成像。
多种设计优选的具有更大的物体-空间数值孔径，更大且可达到的孔径平面，以及
可能的同样更大的放大率。
其它方面包含组成部件、装置、系统、改进、方法、过程、应用、计算机可读媒质以及
其它涉及以上任意的技术。
附图说明
本发明实施例具有其它优点和特征，当结合附图时，其将从以下详细的描述和所
附权利要求中更显而易见的得到，其中：
图1A-1B(之前领域)图示了全光成像系统实例。
图2根据实施例图示了全光数字耳镜系统。
图3根据实施例图示了使用光场耳镜成像患者耳膜。
图4A-4B是根据实施例图示了光场耳镜的光学设计的光线轨迹。
图4C-4D是图示图4A-4B设计的光力学设计的截面视图。
图5A是根据实施例图示全光耳镜的物镜的光学设计实例的光线轨迹。
图5B是基于图5A耳镜设计的光斑(spot)图。
图5C是示出图5A-5B的光场耳镜虚光(vignetting)的曲线图。
图形描绘了仅用于说明目的的多种实施例。本领域技术人员容易的从以下讨论联
想到构造的可替换实施例以及由此所说明的方法可被不偏离由此描述的原理所采用。
具体实施方式
附图和以下关于优选实施例的描述仅用于说明。如本领域技术人员将认识到的，
在此描述的结构和方法的可替换实施例可容易地被认识为可被采用的各种替换方式，而全
部不脱离本发明的精神或范围。
图1A-1B(现有技术)是图示光场实例或全光成像系统的图。全光成像系统110包含
初级成像子系统112(由图1A中单透镜表示)，次级成像阵列114(图像形成元件115的阵列)
以及传感器阵列180。次级成像阵列114可被认为是显微成像阵列。这些形成两个重叠成像
子系统，如图1A中成像子系统1和成像子系统2所示。
为了方便，图1A中的光学成像组112被描绘为单物镜，但应该被理解为它可以包含
多个元件。物体150位于物体平面O。物镜112在图像平面I形成物体150的光学图像155。显微
成像阵列114位于图像平面I。在其整体内的系统在传感器阵列180形成空间多路复用和交
叉存取的光学图像170，其位于光瞳面P的结合处P’。为了方便，图像170将被认为是全光图
像。显微成像阵列114的实例包含显微透镜阵列、针孔阵列、微镜阵列、棋盘图格以及波导/
通道阵列。显微成像阵列114可以是长方形阵列，六边形阵列或者其它类型阵列。传感器阵
列180同样在图1A中所示。为了方便，图像、孔径以及它们的光学结合的位置将会被认为是
平面的(例如，图像平面，光瞳面)，但应该被理解为表面不必是完美的平面。
可选择的，过滤器模块125位于光瞳面P(或者其结合之一)。实际物理位置可以在
光学成像组112前面、后面或者中间。过滤器模块包含一些空间多路复用过滤器单元127A-
D。在本实例中，过滤器模块125包含过滤器单元127的长方形阵列，如图1A中下方部分所示。
图1A的下方部分提供了更多细节。在这个图中，物体150被划分为3x3区域阵列,并
被标注为1-9。过滤器模块125是个体过滤器单元127A-D的2x2长方形阵列。举例来说，每个
过滤器单元127A-D可具有不同光谱响应。传感器阵列180如6x6长方形阵列所示。
图1B概念上图示空间多路复用光学图像170A-D如何在传感器阵列180制造以及交
叉存取。如果物体150由过滤器单元127A捕获和过滤，那么将制造光学图像155A。为了从物
体的未过滤图像中区分光学图像155A，3x3区域被标上后缀A：1A-9A。类似的，由过滤器单元
127B,C,D过滤的物体150，将产生对应光学图像155B，C，D于1B-9B，1C-9C和1D-9D标注的3x3
区域。这些四个光学图像155A-D的每一个由过滤器模块125内的不同过滤器单元127A-D过
滤但它们一起由全光成像系统110制造。
四个光学图像155A-D在处在传感器平面的交叉存取样式内形成，如图1B所示。使
用图像155A作为实例，光学图像155A中的3x3区域1A-9A在全光图像170内的3x3块中不相
邻。当然，四个不同光学图像中的区域1A、1B、1C以及1D被安排在光学图像170左上之中的
2x2样式内(为了清楚图像170的倒置被忽略)。区域2-9被相似的安排。因此，区域1A-9A使得
光学图像170A在全光图像170中分散，所述光学图像170A由其它光学图像170B-D的部分分
离。换句话说，如果传感器是个体传感器元件的长方形阵列，那么全部阵列可以被划分为传
感器元件的长方形子阵列171(1)-(9)(图1B中仅示出1个子阵列171(1))。对于每个区域1-
9，每个过滤的图像中的所有对应的区域被成像到子阵列之上。举个例子，区域1A、1B、1C以
及1D全部被成像到子阵列171(1)之上。注意到由于过滤器模块125和传感器集合180位于结
合平面之内，阵列114之中的每个成像元件115在传感器平面P’形成过滤器模块125的图像。
由于有多个成像元件115，形成了过滤器模块125的多个图像171。
全光图像170可以然后由处理模块190处理以重建物体的期望图像。处理可以去交
织和去复用。其可以同样包含更复杂的图像处理。
应当注意到图1已经被简化来图示基本概念。举个例子，物体150被人工的划分为
阵列为了更容易解释全部成像功能的阵列。本发明并不局限于阵列化的物体。作为另一实
例，大多数实际的系统将使用显著的更大的阵列，特别是在传感器集合和可能同样在过滤
器模块。除此之外，并不需要是处在传感器平面的6x6区域和传感器阵列之中的基本传感器
元件之间的1:1关系。举个例子，每个区域可以对应多个传感器元件。作为最后实例，物体之
中标注1的区域、过滤的图像155A之中标注1A的区域以及全光图像170之中标注1A的区域不
必是彼此的准确图像。在一些设计内，全光图像170内的区域1A可近似的从物体150之中的
区域1捕获过滤的能量，但其实际上可以不是区域1的图像。因此，由全光图像170的区域1A
之中的传感器元件收集的能量可集成和采样物体150之中区域1内的图像(或者一些图像的
转换)，而不是表示处在那个区域的物体的几何再现。除此之外，诸如视差、虚光、色散以及
光传播等作用可影响任意图像构成。
全光成像系统的特征可以被有利的用于耳镜以成像耳朵内部。图2是全光数字耳
镜系统的框图。系统包含耳镜对象210，成像光学器件(中继光学器件)220，全光传感器230
以及图像处理器280。耳镜对象210可以是用于传统耳镜的成像对象。成像光学器件220与耳
镜对象210共同工作以形成处在中间图像平面的耳镜仪器内的传统图像。全光传感器230捕
获图像，而不是传统传感器阵列捕获图像。全光传感器230是其前部安装了显微成像阵列
(例如，显微透镜阵列或者针孔阵列)的传感器阵列。显微成像阵列位于中间图像平面以及
传感器阵列位于光瞳面的结合处。除此之外，过滤器模块(图2中没有示出)可以被插入在光
学组件(或者在其结合物之一)的光瞳面以允许光谱或者其它光过滤。由全光传感器230提
取的数字信息被发送到计算模块280从而进行全光数据的图像处理。在这种方式下，三维
(3D)形状、透明度和/或颜色信息可以被捕获和提取。
举个例子，全光耳镜可在深度成像模式中操作。在深度成像模式中，由传感器阵列
捕获的全光图像被处理以提供耳朵内部的三维深度图像。可替代的或额外的，全光耳镜可
在光谱成像模式中操作。在光谱成像模式中，由传感器阵列捕获的全光数据被处理以提供
两个或更多耳朵内部的不同光谱图像。视差或深度图可以同样被确定。全光耳镜可在深度
成像模式和光谱成像模式之间转换或者两个模式一起运行。
另一方面涉及使用由全光耳镜捕获的数据以帮助进行医疗诊断。举个例子，全光
数据可以被处理以制造耳朵内部的增强图像。基于增强图像的数据可以然后被用于帮助人
进行医疗诊断。这个诊断的数据可以是增强图像本身或者其可包含进一步的增强图像的处
理。
鼓膜的增强图像是很好的实例。全光耳镜可以一起捕获关于鼓膜的深度和光谱信
息。鼓膜的深度图可以制造关于其形状的信息－不论其是膨胀或者收缩，以及估计的曲度
的信息。光谱信息可以包含琥珀色或黄色图像，其尤其对诊断鼓膜的状态有用。
举个例子，表格1列举了区分急性中耳炎(AOM)、渗出性中耳炎(OME)、以及无渗出
性中耳炎的状态的特征。从表1可以看到，耳朵的三个状态不同且它们可以基于以下一个或
多个特征区分彼此：颜色、位置(例如,3D形状)，以及透明度。为了对耳朵状态做出正确诊
断，耳镜检查的图像期望捕获耳朵内部关于颜色、3D形状以及透明度的准确信息(例如,耳
道内的鼓膜)。这些信息可以全部一起被全光耳镜捕获。
表1.关于TM图像临床诊断种类的耳镜检查结果
全光数据同样包含相同图像的多种视角。这允许使用者对图像中的不同深度重新
对焦且从不同角度观察相同图像。举个例子，封闭物体的作用可由多视图的利用而减弱。这
可以通过重新对焦而实现。可代替的，其可以通过将光场(多种视图)分割成深度层次而实
现。
图3图示使用全光耳镜300以成像患者的耳膜350。在本例中，耳镜300被手执且包
含主体和手柄。主体为光学器件312和全光传感器330提供位置。手柄包含耳镜300的照明器
360。参考图2，光学器件312包含耳镜对象210和中继光学器件220。一次性窥镜305依附在耳
镜末端。在本例中全光传感器330的输出端被传送到分开的计算机系统380，其处理捕获的
全光图像以及显示期望结果。
光场耳镜的光学设计的一般对象典型的包含最大化视场(FOV)、景深(DOF)、深度
准确度、图像分辨率以及光谱分辨率，相反最小化透镜直径、透镜数量、传感器尺寸以及偏
离度。这些对象的许多已经完成。举个例子，增加DOF将减少深度准确度；增加图像分辨率需
要更大的传感器或者减少深度准确度两者之一；减少透镜直径或者透镜数量将典型的增加
偏离度。鉴于这些权衡，以下描述了光场耳镜的一些设计选择。
解剖参数。光场耳镜成像鼓膜(TM)，其具有7-10mm的直径。实际中，临床医生应该
看见TM周围的一些区域以指导图像获取，产生10-20mm典型直径的更大FOV。从耳窥镜前端
到TM的特定医学工作距离是15-25mm。为了成像儿童耳窥镜末端直径典型的应该最多为3mm
以及为了成像成人直径典型的应该最多为5mm；在这两种情况下窥镜可以是在大约不大于8
度的角度具有相邻的可增加直径的锥形。这些解剖参数影响FOV、医学工作距离、第一透镜
直径以及随后透镜的间隔/直径。
物体-空间NA。深度精确度依靠物体-空间数值孔径(NA)、放大率、显微透镜尺寸、
像素尺寸以及后置处理算法的性能。在光场相机中，主透镜的物体-空间NA确定重建多元视
图图像之间的视差角度。更大的视差提供多元视图图像中的更大像素差异，其产生更精确
的深度图。给出薄透镜的物体-空间NA:
NA＝nsinθ≈nD/2f (1)
其中空气中折射率n＝1，D是透镜直径，且f是透镜焦距。对于成像中耳，第一透镜
表面的最大直径更可取的应该小于窥镜直径(例如，3mm)以允许照明光学器件的空间。通过
将光阑位于第一透镜表面可以最大化物体-空间NA。光阑直径可以与第一透镜直径相等，其
产生最大物体-空间NA，但制造了偏心轴虚光。增加的物体-空间NA同样造成DOF减少，其可
使获取TM在焦点的图像变得困难。实际中，物体-空间NA更可取的应该被选择来平衡深度精
确度和用户友好DOF。
放大率、显微透镜间距、像素间距。主透镜的放大率确定传感器尺寸，以及图像-空
间NA。大放大率需要求更大的传感器，更大的相邻透镜以及典型的更长的光学组件，导致更
庞大的装置。然而，大放大率同样产生更小的图像-空间NA。在光场照相机，主透镜的图像-
空间NA更可取的应该匹配显微透镜NA。同样，显微透镜NA确定衍射极限光斑尺寸，其更可取
的应该匹配传感器上的大约两个像素直径。最后，显微透镜的全部数量确定每个多元视图
中的空间采样数量，以及每个显微透镜后面的像素数量确定多元视图图像的数量。因此，放
大率，显微透镜间距以及像素间距应该优化空间分辨率、深度准确度以及整个系统尺寸。
偏离度：场曲度和失真。使用额外透镜元件、非球面表面和或特定的光学材料典型
的校正透镜系统中的偏离度。相反，光场相机使用可计算的成像以重建图像，所以一些诸如
侧向失真以及场曲度的偏离度可以被数字的校正。减少光学偏离度的限度可以简单化最终
透镜集合，得到更紧凑的整个设计。
合成孔径。在光场照相机中，可以从主透镜孔径的不同位置或直径重建图像。举个
例子，可以从全孔径重建图像，其导致最小的DOF；或者可以从对应于一个缩小像素的孔径
的一部分重建图像，其导致最大DOF。在光场耳镜中，每个多元视图图像对应于从一个缩小
像素的孔径穿过之中的图像。当设计主透镜时，偏离度可以分析每个(小孔径)多元视图图
像而不是全孔径。特别的，每个多元视图图像的虚光与全孔径的虚光相比具有不同的性能。
最优的设计更可取的考虑了不同孔径尺寸和位置的偏离度。
实例光学设计1
图4A-4D图示了光场耳镜的实例设计。图4A示出了整体光学组件。本设计包含三个
透镜组：物镜组410以及两个中继透镜组420A，420B。图4B是对象410的光线轨迹。物镜组410
包含朝向物镜组前端的光瞳面P1，从而在最大化物体-空间NA和FOV的一起减少虚光。本实
例中，光瞳面P1与物镜组410的前端透镜的前端邻近。图像形成在物镜后端的成像平面I1。
图像-空间中的主要光线邻近远心，创造了由随后中继透镜组420A重新成像的远端出口瞳
孔。工作距离15-25mm由耳道的解剖参数确定。FOV的10-20mm额定工作距离被选择以成像TM
以及周围的耳道。由耳道的直径限制透镜组的整个尺寸。在一个实施例中，物镜组具有三个
焦距为9、9和10mm的成对透镜元件412、415、416。三个透镜具有递增的直径2、3和4mm。物体-
空间NA为0.06且近轴放大率为-0.3。远端同样包含蓝宝石视窗411为了透镜元件的保护。整
体物镜组包含在耳窥镜远端的内部。
第一中继透镜组420A被用于重新成像以及放大瞳孔。孔径光阑425(具有可移动孔
径)位于重新成像光瞳面P2。第二中继透镜组420B在I2形成显微透镜组上面物体的图像，其
为图像平面I1的结合。中继透镜组420B位于距离孔径光阑位置P2一个焦距和距离成像平面
I2一个焦距之间的位置，这样光线为图像-空间远心。
中继透镜的焦距由系统内的期望放大率确定。在光场相机中，物体图像的期望尺
寸匹配图像传感器，然而瞳孔图像的期望尺寸匹配显微透镜。在一个方法中，主透镜的f-数
量(或者图像-空间NA)应匹配显微透镜的f-数量。
给出位于光瞳面结合处P2的孔径光阑425的DP2尺寸：
DP2≈DP1*FRelay_Lens1/Fobjective_Lens (2)
其中DP1为物镜组中的瞳孔直径以及FRelay_Lens1为第一中继透镜组420A的焦距。给
定耳道的解剖参数，DP1应<＝2mm直径。给出由在图像传感器480(在光瞳面结合处P3)上的显
微透镜414形成的瞳孔图像DP3尺寸:
DP3≈DP2*FMicrolens/FRelay_Lens2 (3)
其中FMicrolens为显微透镜414的焦距以及FRelay_lens2为第二中继透镜组420B的焦距。
给出中继到在图像平面结合处I2的显微透镜阵列414上的图像DI2尺寸：
DI2≈FOV*M*FRelay_Lens2/FRelay_Lens1 (4)
其中FOV为物镜组410的FOV以及M为物镜组的放大率。
在光场耳镜的一个实施例中，1-英寸制式图像传感器包含使用50微米间距显微透
镜阵列的3.69微米像素。因此，f＝12mm被选择于第一中继透镜420A，f＝35mm被选择于第二
中继透镜420B以及f＝0.37mm被选择于显微透镜阵列414(对应于f-数量＝7.25)。下方表2
给出了透镜规格，其中两个中继透镜组420A、420B作为近轴透镜模型。
表2:透镜规格
如下为本设计的第一顺序透镜参数：
图4C-4D为图示了本光场耳镜光机设计的截面视图。图4C从对象410到全光传感器
430示出了整体主体。图4D是主要示出了物镜组410的放大图。物镜组410包含在具有用来安
装每个透镜元件的腔的锥形内壳472的末端的内部。照明纤维474被放射状的滴塑在内壳
472表面的周围。用于保护的第二锥形外壳476位于照明纤维474上面。可移动窥镜405可以
位于外壳476的上面。
第一中继透镜组420A同样位于内壳472内部。内壳安装透镜管，其包含可移动孔径
425以及第二中继透镜组420B。过滤器模块可以位于可移动孔径425。透镜管被安装到具有
集成显微透镜阵列的相机机身。透镜管包含在保护壳内且同样连接到手柄。手柄包含耦合
到照明纤维、电池以及电子设备的照明源460。
实例光学设计2
图5A-5B图示光场耳镜的物镜组的另一设计。其余设计基于如图4A-4D中所示的相
同原则。图5A为穿过物镜组510的光线轨迹。本设计由两个透镜组组成，其被物理孔径分离。
第一负透镜组512为弯月形透镜，其校准入射光线进入瞳孔P1。物镜组510包含指向物镜组
前端的光瞳面P1，从而最大化物体-空间NA以及FOV的一起减少虚光。本实例中，光瞳面P1与
物镜组510的前透镜的后部邻近。第二正透镜组516由两个消色差双合透镜组成，其弯曲光
线且在中间平面I1形成图像。如图4的设计中所示，得到的中间图像然后由两个中继透镜组
被中继到全光传感器，所述中继透镜组没有在图5中示出。整体光组件的光学规格在表3中
示出。两个中继透镜组作为近轴光学器件模型。设计同样包含蓝宝石视窗511。
表3:透镜规格
如下为本设计的第一顺序透镜参数：
图5B示出设计的光斑图(不包括显微透镜阵列)
图5C示出不同物体距离的本设计的虚光图。每个曲线画出了非虚光光线在瞳孔边
缘(y＝2.4mm)穿过针孔孔径(0.1mm半径)的成分。每个曲线对应于不同物体位置。最左边曲
线593(最虚光)对应于比额定聚焦位置离全光耳镜更近6mm的物体。从左到右，曲线594对应
于比额定聚焦近3mm，曲线595对应于在额定聚焦，曲线596对应于比额定聚焦远3mm。对于比
额定聚焦远6mm的物体，没有示出虚光穿过场。本设计具有良好的虚光特征。
虽然详细的描述包含许多细节，但是这些不应该被理解为限制本发明的范围而仅
仅作为图示本发明的不同实例以及方面。应该被意识到本发明的保护范围包含其它没有在
上述详尽讨论的实施例。对本领域技术人员显而易见的各种其它修改、更改以及变化可在
本发明公开的方法和装置的安排、操作以及细节中作出且不背离如所附权利要求中定义的
本发明的精神和保护范围。举个例子，如表1所给出的特定透镜规格仅仅是一个实例。即使
在那个实例中，透镜表面参数和厚度可以被进一步的优化以减少诸如失真和虚光的偏离
度。因此，本发明的保护范围应该由所附权利要求以及它们的合法等同物来确定。