技术领域
本实施例涉及多模态（multi-modality）成像。特别地，磁共振成像（MRI）和超声成像被组合。
背景技术
MRI成像和超声成像都生成解剖图像。MRI具有生成清楚并且轮廓鲜明的图像（例如更高的信噪比）的好处，并且不易受梗塞（occlusion）影响。然而，用于甚至解剖学MRI的采集时间比超声成像慢。超声成像可以以更高的速率来提供（甚至容积（volume）的）实时成像。为了组合来自这两个模态的数据，超声采集的速率可以被减慢，从而导致时间分辨率（temporal resolution）的损失。由于斑点和其它差异，组合来自不同模态的图像（甚至在一般相同的时间的相同解剖图像）可能是困难的。
MRI成像和超声成像都能够生成除了解剖图像之外的图像，诸如参数化图像（parametric image）。与仅仅使用常规解剖学图像或血流图像（flow image）相比，诸如弹性（elasticity）图像、测温（thermometry）图像以及灌注（perfusion）图像之类的参数化图像提供了附加的诊断信息。
发明内容
借助于介绍，在下面所描述的优选实施例包括用于磁共振和超声参数化图像融合的方法、系统、指令和计算机可读介质。MRI和超声成像被用来采集相同类型的参数化图像。通过组合最近的超声和MRI数据，融合的数据被创建。融合的数据可以实况地或如所采集的那样被创建。超声数据被用来在不采集MRI数据的时间创建融合的数据，而不牺牲图像速率。拟合到最近的超声和MRI数据的曲线被用来以高数据速率计算融合的数据。
在第一方面中，一种用于磁共振和超声参数化图像融合的方法被提供。表示患者的区域的超声参数化数据以第一速率被采集。超声参数数据是参数的第一值。第一值由检测到的超声数据被导出。表示患者的区域的磁共振参数化数据以小于第一速率的第二速率被采集。磁共振参数数据是参数的第二值。第二值由磁共振数据被导出。融合的值根据第一值和第二值被计算。融合的值以大于或等于第一速率的第三速率表示患者的区域。融合的参数化图像根据融合的值被生成。
在第二方面中，非瞬态计算机可读存储介质具有被存储在其中的数据，所述数据表示由被编程的处理器可执行的用于磁共振和超声参数化图像融合的指令。该存储介质包括如下指令：所述指令用于根据超声数据以及磁共振数据来计算针对图像序列的参数化数据，其中所述参数化数据在等于或高于超声数据的速率的数据速率下，以及所述指令用于输出图像序列，其中所述图像是参数化数据的函数。
在第三方面中，一种用于磁共振和超声参数化图像融合的系统被提供。磁共振（MR）系统被配置为提供弹性特征、温度特征、灌注特征或其组合的MR数据的帧或容积的第一序列。超声系统被配置为提供弹性特征、温度特征、灌注特征或其组合的超声数据的帧或容积的第二序列。处理器被配置为把超声数据与MR数据组合起来。
本发明由下面的权利要求来限定，并且这部分中没有内容应该被当作对那些权利要求的限制。本发明的另外的方面和优点连同优选实施例在下面被讨论，并且可以稍后独立地或组合地被要求保护。
附图说明
组件和附图不一定成比例，而是强调图示本发明的原理。此外，在附图中，同样的参考数字遍及不同的视图指定相对应的部分。
图1是用于磁共振和超声参数化图像融合的方法的一个实施例的流程图；
图2A-C是针对磁共振、超声和融合数据的例子速率的图示；以及
图3是用于磁共振和超声参数化图像融合的系统的一个实施例的框图。
具体实施方式
高帧速率参数化图像由磁共振（MR）和超声数据被生成。通过组合低帧速率MR数据和高帧速率超声数据，从两种模式所组合的参数化图像以等于或大于超声采集的速率被呈现。来自MR和超声的参数化图像的组合可以提供具有高帧速率/容积速率的良好信噪比图像。
图1示出了一种用于磁共振和超声参数化图像融合的方法。该方法由图3的系统10或者另一系统来实施。这些动作以所示的次序或者其它次序被执行。例如，动作30和32以交错的（interleaved）方式顺序地或者同时被执行。针对顺序执行，使采集与循环（诸如心搏循环或呼吸循环）同步的附加动作可以被执行。动作40至46与动作30和32的采集一起实时地被执行，诸如在相同的检查时段（session）中被执行，而采集或扫描正发生，和/或在已经扫描的数秒之内被执行。
附加的、不同的或更少的动作可以被提供。例如，改变分辨率动作40和/或校正运动动作42不被提供。作为另一例子，动作46不被提供。在另一例子中，用于在时间上使在不同时间但是在心搏循环、呼吸循环或其它循环的相同或类似阶段所采集的MR数据和超声数据对准的动作被提供。
动作30和32的采集由超声系统和MRI系统来执行。该数据实时地被获得或者在扫描期间被获得。可替换地，该数据在之前曾被采集，并且通过数据传输或者访问存储器而被获得。
在动作30中，超声参数化数据被采集。通过在二维或三维中以声学方式扫描患者，超声数据被采集。任何类型的扫描、扫描格式或成像模式可以被使用。例如，谐波成像（harmonic imaging）在添加造影剂或者不添加造影剂的情况下被使用。作为另一例子，B模式（B-mode）、彩色血流模式（color flow mode）、频谱多普勒模式（spectral Doppler mode）、M模式（M-mode）、对比度（contrast）或其它成像模式被使用。
表示解剖学信息或血流信息的超声数据通过扫描从患者被采集。该数据表示了患者的点、线、面积（area）或容积。针对超声成像，超声频率下的波形被发射，并且回波（echo）被接收。声回波被转换为电信号，并且被波束形成（beamform）来表示在患者的区域之内的被采样的位置。被波束形成的数据可以被滤波或者用其它方法被处理，诸如隔离信息、即谐波频带或基频谱带。在所发射的波形的一个或多个谐波处的回波可以被处理。
被波束形成的数据可以被检测到，诸如确定强度（B模式）或速度（血流模式）。来自相同位置的回波信号序列可以被用来估计速度、方差和/或能量。序列也可以被用于检测造影剂。例如，对于具有不同相位和/或幅度的发射的响应被添加，以隔离来自如与组织或血流相反的造影剂的信息。造影剂检测可以被用于灌注。其它根据被波束形成的数据的检测技术可以被使用。检测到的超声信息是解剖学数据。例如，B模式数据表示组织结构。作为另一例子，血流数据指示了与脉管相关联的位置。在还有另一例子中，造影剂数据指示了患者内的造影剂。
检测到的值可以被滤波和/或被扫描转换为显示格式。表示患者的超声数据来自沿着超声处理路径的任何点，诸如在波束形成之前的通道数据、在检测之前的射频或同相和正交数据、检测到的数据或被扫描转换的数据。
参数可以由超声数据被导出。参数化超声数据表示了患者或扫描区域的特征，而不是仅仅被检测到的解剖响应。例子参数包括温度、弹性和灌注。其它参数可以被使用。例如，在不同位置处的组织类型根据斑点特征、回波强度、与组织结构匹配的模板或其它处理被确定。
温度参数由具有其它信息或不具有其它信息的超声数据被导出。通过执行测温，各种位置的温度可以被确定。任何与温度相关的或测温测量结果可以被使用。例如，当被加热时，组织膨胀。测量膨胀可以指示温度。与温度相关的测量结果可以直接地或间接地指示温度。例如，涉及传导率或水含量的参数的度量（例如该类组织的测量结果）可以间接地影响温度。在一个实施例中，组织位移、声速、反向散射强度以及接收到的信号的被归一化的相关系数中的两个或更多个（诸如所有四个）被执行。其它测量结果是可能的，诸如脉管壁的膨胀是可能的。
组织位移通过确定在一维、二维或三维中的偏移而被测量。与绝对差或者最高相关的最小和相关联的位移被确定。当前的扫描数据相对于参考数据集（诸如之前的或最初的扫描）被平移、被旋转和/或被缩放（scale）。与最大的或充足的相似性相关联的偏移被确定为位移。B模式或谐波模式数据被使用，但是其它数据也可以被使用。针对一个位置所计算的位移可以被用来精炼（refine）在另一位置中的搜索或搜索区域。其它位移度量可以被使用。
声速可以通过在加热之前与在加热期间的比较而被测量。脉冲被发射。回波从给定的位置返回的时间可以被用来确定从换能器到该位置和返后的声音的速度。任何孔径可以被使用，诸如针对相同位置在不同孔径的情况下分离地测量和取平均值（averaging）。在另一实施例中，信号被相关。例如，在波束形成之后的同相和正交信号与参考信号相关。在参考信号与当前信号之间的相位偏移被确定。所发射的波形的频率（即超声频率）被用来把相位差转换为时间或声速。声速的其它测量结果可以被使用。
反向散射强度是B模式或M模式。回波信号的包络的强度或能量被确定。
接收到的信号的被归一化的相关系数可以被测量。在检测之前的被波束形成的数据（诸如同相数据和正交数据）被互相关（cross-correlated）。在一个实施例中，一个或多个参考样本被采集。在传输该样本期间或在传输该样本之后，随后的样本被采集。针对每个位置，空间窗口（诸如在深度方面为三个波长）限定了用于相关的数据。窗口限定了长度、面积或容积。当前的数据在窗口空间之内与参考数据相关。被归一化的互相关针对在该窗口中的该数据被执行。当新的数据被采集时，另外的互相关被执行。
任何温度关联的声学和物理参数或所述参数的改变可以被测量。针对测温的其它测量结果可以包括组织弹性、应变（stain）、应变率（stain rate）、运动（例如位移或彩色血流测量结果）或所反射的功率（例如反向散射截面（backscatter cross-section））。
在一个实施例中，温度根据模型被估计，而不是直接被测量，诸如在美国专利申请No. 2011/0060221中所公开的那样，所述美国专利申请No. 2011/0060221的公开内容通过引用被结合于此。上面所讨论的所述类型的信息中的一个或多个可以被用作该模型的输入。实际的数据和/或所导出的信息是要与该模型组合使用的解剖学参数。除了超声扫描之外，临床的或其它信息可以被采集，用于确定温度。例如，遗传信息或其它组织相关的数据可以从病历中被挖掘（mine）。有助于确定温度相关的信息的任何特征可以被使用。
温度相关的测量结果被应用于该模型。可替换地，这些值（即测量结果和/或数据）被处理，并且经过处理的值被输入。例如，这些值在空间上和/或在时间上被滤波。作为另一例子，不同类型的值可以根据这些值被计算，诸如根据这些值来确定方差、导数、归一化的或其它函数。在另一例子中，在当前的值与参考或之前的值之间的改变被确定。这些值在时间窗口上的时间历程（time-history）可以被使用。这些值作为模型的特征被输入。
该模型根据输入信息来输出温度或温度分布（即在不同位置和/或时间的温度）。所导出的温度可以为任何单位、诸如华氏度或摄氏度。该温度的分辨率可以在任何水平上，诸如输出如在多个两个（multiple two）或其它度数范围中的一个中的温度。可替换地，其它温度相关的信息被输出，诸如温度的改变、剂量、或指标值（index value）被输出。
任何模型都可以被使用，诸如神经网络模型或分段线性模型。作为对机器学习的替换方案，手动编程的模型可以被使用。在一个实施例中，热分布模型被使用。该热分布模型解释了不同组织、流体或结构的热导率、密度或其它性能。该热分布模型确定了在其它位置处的温度。该热分布模型可以确定在其它时间的温度或者既在时间又在位置上的温度。
另一参数是弹性。任何弹性成像都可以被使用，诸如应变或应变率。应变或弹性的特征可以被用作参数。声能、“萨勃（thumper）”、心脏运动或者其它源可以被提供作为引起用于测量弹性的位移的应力。
针对应变或弹性，组织的位移根据时间被确定。位移可以根据诸如B模式超声数据之类的组织数据而被测量。相关、互相关、绝对差的最小和或者其它相似性度量被用来确定扫描之间的位移。沿着一维、二维或三维的位移被确定。在一个实施例中，在美国专利No. 5,107,837、No. 5,293,870、No. 5,178,147、No. 6,508,768或者No. 6,558,324（这些美国专利的公开内容通过引用被结合于此）中所公开的方法或系统中的任何一个或多个被用来生成数据或图像的弹性帧作为应变信息。测量应变或弹性的其它方法可以被使用。位移可以通过确定组织速度和/或加速度而被测量。
基于一个扫描（例如速度）、两个扫描（B模式相关）或更多个扫描（例如平均位移），应变场被确定。应变场表示在不同位置处的应变。位移场或应变率场可以在其它实施例中被使用。其它测量结果可以被用来表示应变或位移、诸如速度。
在一个实施例中，除了纵波之外或者作为纵波的替换方案，剪切波（shear wave）被检测。激发形成波束，所述波束在多个空间位置处生成剪切波。在波束是足够强的地方，剪切波被生成。该剪切波沿着声波发射方向比纵波慢得多地传播穿过组织。剪切波传播各种方向，这些方向包括垂直于所施加的应力的方向的方向。剪切波的位移在对应于激发波束的位置处是更大的。随着剪切波传播穿过扫描线，B模式强度可以变化。针对所监控的扫描线，表示由剪切波引起的组织运动的时间曲线（time profile）的数据序列被提供。例如，来自多个空间位置（例如沿着扫描线的）的数据根据时间被相关。针对每个深度或空间位置，在多个深度或空间位置上的相关（例如，64个深度的内核（kernel），其中中心深度是该曲线被计算的点）都被执行。二维或三维空间位移可以被使用。沿着不同于扫描线或波束的方向的一维位移可以被使用。在给定的时间的具有最高的或充分的相关的空间偏移指示了位移的量。位移在不同的时间针对给定的位置被确定。针对给定的位置的时间曲线指示了剪切波或纵波的检测。
速度和/或模量（modulus）或弹性的其它复杂表示可以被使用。剪切速度和/或模量可以至少部分地基于压力和吸收系数来被确定。吸收系数可以根据正在被处置（treat）的组织而被假设（例如0.5、0.6、0.8或其它值）。所施加的压力根据所发射的激发和衰减的考虑而是已知的。
另一参数是灌注。浓度、速率、流入量（in-flow）、流出量（out-flow）或者其它灌注特征由超声数据被导出。患者被扫描多次。在一个实施例中，用于检测造影剂的扫描与用于破坏造影剂的扫描交错。
灌注根据检测到的造影剂而被检测。任何造影剂检测扫描模式都可以被使用，诸如谐波B模式可以被使用。在一个实施例中，多脉冲技术被使用。沿着相同或邻近的发射扫描线的两个或更多个发射被激起。例如，诸如两个反相脉冲之类的两个脉冲被用来隔离偶次谐波处的响应。在偶次谐波处，造影剂可以具有比组织更强的响应。除了针对所发射的脉冲的不同相位和/或幅度之外，或者替换于针对所发射的脉冲的不同相位和/或幅度，接收信号的不同权重可以被使用。在另一例子中，表示相同位置的三个或更多个接收信号被组合，以确定在该位置处的非线性基频响应（fundamental response）。相对应的发射脉冲具有不同的相位和幅度。针对造影剂，非线性基频响应比组织大，因此提供了良好的特异性（specifity）。通过使用多脉冲的组合，再灌注被检测到。感兴趣的区域的组织中的在给定的扫描时间的造影剂被检测，从而指示了在经过破坏造影剂或造影剂到区域中的其它引入的那个时间的再灌注。
在造影剂被破坏的地方，灌注检测是再灌注。在发射破坏性声能之后，造影剂的再灌注被检测。再灌注通过使用任何技术来被成像，诸如使用造影剂模式来成像。基本上，造影剂浓度在具有高灌注速率的区域中更迅速地增加。灌注随着时间的过去被检测。
灌注由造影剂响应被导出。针对相对于该组织的给定位置的灌注量可以被确定。造影剂响应单独地可以指示灌注浓度。灌注的改变可以被使用。针对给定的位置或体素（voxel），两次之间的造影剂响应的差可以被确定。造影剂响应的量的差除以分离针对数据的扫描的时间指示了灌注速率。
参数化信息表示了在给定时间的患者区域。参数化数据可以是时间平均值。患者的区域是二维的或三维的。针对不同的位置，不同的值或相同的值被提供。
参数采集以不同次数被重复。区域的扫描、来自扫描的超声数据的检测和参数值的导出被重复。该重复提供了表示该区域的在不同时间的参数化数据。
任何重复速率可以被使用。例如，表示该区域的数据的一个帧或容积每秒都被采集。作为另一例子，速率是一秒十个或更多个帧或容积。
参数化超声数据的任何数目的帧或容积被采集。例如，三个或更多个参数化数据集被采集，诸如在第一时间、第二时间和第三时间被采集。图2示出了参数化超声数据（U）的在七个不同时间的采集。采集可以是进行中的。诸如测温、弹性或灌注之类的参数化数据的时间序列从超声扫描仪中被采集。例如，多个温度图（temperature map）被获得。
在动作32中，磁共振（MR）参数化数据被采集。该采集使用了MRI系统，因此可以在与超声数据的采集相同的时间被执行。可替换地，MR参数化数据在超声数据之前、之后或与超声数据交错地被采集。MRI系统与超声系统彼此独立。可替换地，组合的系统被提供，诸如换能器被安装到MRI系统的病床上。控制、电子电路或处理可以被共享或者是分离的。
MR参数化数据由MR数据被导出。针对磁共振，接收到的MR数据指示了投影强度。通过使用X线断层摄影术或其它处理，来自不同位置的响应强度被确定。不同的脉冲序列可以被用来检测在扫描区域处的不同的分子和/或特征。
MR解剖数据可以被获得。MR解剖数据表示患者的解剖模型。MR解剖数据表示患者的容积，诸如表示N×M×O布局中的体素。可替换地，MR解剖数据表示了多个分离的切片（例如三个平行的切片）。在其它实施例中，MR解剖数据表示单个平面。
一个或多个发射器产生RF激发场。想要数目的发射器被采用，并且通过相对应数目的发射/接收开关被连接到RF线圈阵列中的相对应数目的线圈。线圈单元的组合的RF场产生遍及受检者（subject）中的感兴趣的区域的被规定的B1场。由受检者响应于RF激发场所产生的信号由线圈阵列拾取并且被施加到接收通道集的输入。接收到的信号在拉莫尔频率（Larmor frequency）处或者在拉莫尔频率附近。当B1场没有正被产生时，发射/接收开关把接收通道中的每个都连接到相应的线圈单元。由受检者中的所激发的自旋产生的信号被拾取，并且分离地被处理为k空间和/或物空间数据。
用于采集表示诸如温度、弹性或灌注特征之类的参数的数据的任何MR过程可以被使用。例如，被T1加权的或被T2加权的数据被获得。作为另一例子，扩散数据被获得。针对MR弹性成像数据，任何MR弹性成像过程可以被使用。在一个实施例中，机械波的传播被测量。机械波由外部压力（诸如被施加到患者的皮肤的周期性压力）而在患者内被诱发。例如，垫（pad）（即“萨勃”）被放置在患者的腹部上，并且以特定的低频振动。该频率与由MR系统扫描感兴趣的区域的速率相比较是低的。在一个实施例中，声能被用来在患者之内的聚焦区处生成机械波。机械波以不同的速率移动穿过硬的组织和软的组织。
为了测量机械波的传播，MR扫描在不同的时间被执行。组织对于机械波的反应被测量。组织的由机械波所引起的随着时间的过去（行进时间）的位移和距离指示了机械波穿过该组织的速度。处理器基于位移的特征来确定组织的硬度。例如，机械波的速度针对多个采样位置中的每个都被计算。速度本身被用作弹性成像数据。可替换地，峰值归一化位移或者根据速度和/或峰值归一化位移计算得到的参数被用作MR弹性成像数据。例如，硬度或应变率信息被使用。
在一个实施例中，使用同步运动敏感梯度（motion-sensitizing gradients）的相位对比（phase-contrast）MR技术测量了波传播的模式（pattern）。最终得到的数据被分析，以生成组织的硬度或其它机械性质的定量的MR弹性成像数据。例如，谐波低频横向声波（10Hz到1.1kHz）被用作外部机械应力源。声波引起微小的周期性位移（在零点几微米的量级上）。在机械波（例如声剪切波）的情况下，区域的弹性模量的计算被简化，因为区域的弹性模量根据局部波长被直接计算，而不是要求估计区域的静态应力分布。敏感的基于MR的方法扫描，以采集关于组织中的机械波的信息。振荡的运动敏感场梯度与在被成像的对象内部所生成的声机械波同步地被施加。自旋的在这些运动敏感梯度存在的情况下的周期性运动引起接收到的MR信号中的可测量的相移。该相移与位移幅度和周期性运动敏感梯度的数目成比例。小幅度同步运动可以通过在机械激发和运动敏感梯度波形的多个循环上积聚相移而被测量。根据在每个体素中的测量到的相移，每个体素的位移幅度在重构数据中被估计。该位移图示出了在对象内传播的机械波。周期性运动敏感梯度可以沿着任何想要的轴被叠加，并且因此应变并向量（dyadic）的不同分量可以无创地（non-invasively）被估计。剪切模量图像可以通过使用空间滤波来生成，以计算局部波长。由其所导出的局部波长、位移、应变或信息被用作弹性成像数据。
另一MR参数化数据参数是温度。任何MR测温技术可以被使用。例如，在被T1加权的成像中，组织的T1纵向弛豫时间的改变可以被用来对温度改变进行成像。T1指示了组织跟随射频脉冲被（再）磁化所要求的时间。T1由共振质子和其它核之间的热相互作用而被确定。水分子的质子共振频率（PRF）随着频率移位，允许频率的改变被检测到。氢电子保护核不受磁场的影响，从而有效地降低由核所看见的场以及因此降低共振频率。在束缚电子中，这个效应被减少。随着温度的增加，更多的束缚被展开、被打破或被弯曲。这导致随着温度的增加而减少的频率。
还有另一参数是灌注。任何方法可以被用来确定使用MRI的扩散。例如，钆对T2*弛豫时间的影响被使用。造影剂局部地破坏磁场均匀性。结果，成像体素内的氢核将看见不同的局部磁场，并且以不同的频率共振。这又导致氢核的信号的相干性的损失。氢核的信号开始抵销。在图像中，来自体素的信号根据钆造影剂的量的减少（T2*缩短）呈现结果。
灌注参数根据检测到的造影剂被计算。造影剂的浓度可以被用来表示灌注。造影剂的改变、流入量、流出量或其它灌注特征可以被计算。
MR参数是针对患者的区域的不同位置的值。该区域具有与针对超声参数化数据的位置相同的二维或三维位置。可替换地，由MR参数化数据所表示的区域与由参数化超声数据所表示的区域重叠，但是不同于由参数化超声数据所表示的区域。超声参数化数据和/或MR参数化数据可以被转换到相同的坐标系，诸如使用数据配准、基于基准的（fiducial-based）变换或位置传感器被转换。
针对面积或容积的MR参数化数据针对给定的时间被采集。采集可以与周期（period）相关联。这个周期在某个时间被视为采集。针对给定时间的数据可以表示瞬时的测量结果或时间平均值。在一个时间表示该区域的参数化数据可以根据同样被用来计算针对（诸如在移动的数据窗口中的）另一时间的数据的数据而被计算。
MR参数化数据被采集多次。任何采集速率可以被使用。针对MR参数化数据的速率小于针对超声参数化数据的速率。超声图像序列与MRI图像序列相比在更高的帧或容积速率处。在图2的例子中，MR参数化数据（M）的一个帧或容积针对超声参数化数据（U）的每三个帧或容积被采集。MR参数化数据（M）每第三次被采集，并且不在其它时间被采集（例如不在时间二和三（t2和t3）被采集）。其它速率差可以被提供。
时间轴可以被一般化，诸如每个时间都表示周期。虽然MR参数化数据和超声参数化数据并不表示相同的时间，但是这两者都可以表示在时间范围中的患者区域。任何大小范围都可以被使用，诸如2秒、1秒、0.1秒、0.01秒或0.5秒。
针对数据的每个帧或容积的时间可以与触发事件（例如造影剂破坏）或循环有关。例如，一个帧或容积的超声参数化数据可以以心搏循环的R波来表示患者，并且可以在下午1点23分45秒被采集。一个帧的MR参数化数据可以同样以R波表示患者，但是在下午5点43分21秒被采集。这两者都都可以被分配时间t1，因为该数据表示相对于心搏循环的相同时间。可替换地，这两类数据都可以以相同的或类似的（例如具有相同周期的）绝对时间被采集。针对每个帧或容积的采集的时间戳（timestamp）被用来在时域中把MR参数化数据与超声参数化数据对准。
在动作40中，MR参数化数据和超声参数化数据被改变到公共分辨率。针对MR参数化数据和超声参数化数据的空间分辨率可以是不同的。例如，在患者区域之内的由不同类型的数据所表示的位置的空间分布是不同的。插值、外推、滤波、抽取（decimation）、下采样、上采样或其它转换被提供。MR参数化数据被转换为超声参数化数据的分辨率或采样网格（sample grid），或者反之亦然。这两种类型的数据都可以被转换为采样网格的第三分辨率。
在动作42中，MR数据和/或超声数据的序列针对运动被校正。校正对准通过随着时间的过去的数据表示的位置。在运动引起位置相对于扫描移位的地方，位置可以通过运动补偿被对准。
运动估计算法被用来生成经过运动补偿的超声参数化数据。相同的运动参数被应用于MR参数化数据。在相关时间内针对超声被发现的运动偏移（例如旋转、平移和/或缩放）被应用于MR参数化数据。可替换地，运动估计被应用于MR参数化数据，并且相同的运动参数（在时间插值之后）被应用于超声参数化数据。在还有其它实施例中，MR参数化数据和超声参数化数据分离地被运动补偿。
运动校正被应用于参数化数据。确定校正的运动估计使用解剖数据。被用来导出参数化数据的解剖数据或者在针对参数化数据的扫描期间所采集的解剖数据被用于运动补偿。运动估计在解剖特征的情况下可以更精确地工作。可替换地，运动估计利用参数化数据或者既利用参数化数据又利用解剖数据被执行。
任何配准可以被用于运动补偿。配准是刚性的或非刚性的。局部互相关（LCC）成本函数、绝对差的最小和或其它相似性度量被用于运动估计。该序列的帧或容积针对不同的可能运动被比较。不同的平移和/或旋转被测试。针对每个测试，相似性水平被计算。具有最大相似性水平的转换和旋转组合指示了数据的帧或容积之间的运动。任何搜索模式可以被使用，诸如数值优化、由粗到精的搜索（course-to-fine searching）、基于子集的搜索或者被十中抽一的数据的使用。除了平移和旋转之外，缩放可以被使用。
运动在所有帧和容积之间相对于一、即参考被估计。可替换地，配准沿着在时间上相邻的帧或容积之间的序列被执行。
配准是沿着二维或三维的。平移和旋转自由度的任何组合都可以被使用，诸如6个度（3个旋转轴和3个平移轴）。缩放或者非刚性的变换可以被使用。
相关可以基于集中的所有数据或二次采样的（subsampled）数据。相关可以用于数据或用于特征。例如，多个特征由用户标识或者由处理器自动标识。这些特征在帧或容积之间被相关。这些特征可以是组织边界、组织区域、骨骼区域、流体区域、空气区域、其组合或其它特征。具有周围的数据或者不具有周围的数据的表示特征的数据被用于相关。这些特征可以在一个集合（例如，超声）中被标识，用于与另一集合中的所有数据相匹配，或者一个集合的特征可以被匹配到另一集合的特征。
一旦针对该序列的平移和旋转被确定。帧或容积因此被移位，用于计算融合的参数化值。融合的参数化值可以根据被移位的帧或容积而被确定。可替换地，运动被用于从不同的帧或容积中选择数据，用于计算融合的参数化值。
在动作44中，融合的参数化值根据MR参数数据和超声参数数据被计算。来自超声和MR的参数化值被组合，以形成融合的值。针对该参数的值被组合，诸如组合来自MR和超声的温度。
任何类型的组合都可以被使用，诸如被加权的组合可以被使用。加权允许比另一种类型的数据更多地强调一种类型的数据，诸如对MR参数比对超声参数更重地进行加权，以增加信噪比。
组合是针对给定位置的参数值的组合。例如，MR和超声参数数据针对200×200像素域被提供。针对给定的经过运动补偿的位置（x,y（例如x=50，y=123）），来自该序列的针对那个位置的参数值被组合。针对MR以及超声的随着时间的过去的在位置x、y处的参数值被用来确定针对那个位置的融合的参数化值。空间取平均值或滤波可以在组合之前被使用。通过使用针对那个位置是适当的参数化数据，融合的值的计算针对不同的位置被重复。
组合是针对不同时间的参数化值的组合。融合的参数化数据表示以某速率的时间采样。该速率与MR或超声采集的速率相同，或者不同于MR或超声采集的速率。融合的图像数据速率甚至可以比超声采集速率更高。如果要被构造的融合的图像在超声数据是可用的（图2a）或MR数据是可用的（图2b）的时间，那么融合的图像生成可以被看作在沿着时间轴的移动窗口内部的使用当前的和之前的MR和超声数据的滤波过程。如果要被构造的融合的图像在MR数据和超声数据都不可用的（图2c）的时间，那么融合的图像生成可以被看作使用在移动窗口内部的之前的MR和超声数据的外推过程。
用于生成融合的参数化图像的滤波或外推过程通过在移动窗口中的分段加权的最小二乘方二次曲线拟合而被执行。移动窗口的大小（持续时间）被选择为长到足以覆盖至少两个最近的MR参数化数据点。图2a、2b和2c是在用于生成融合的数据的时间点的移动窗口的例子。在另一实施例中，具有大小的移动窗口更长，诸如长到足以覆盖最近的三个或更多个MR参数化数据点。
在一个实施例中，MR和超声参数化值的被加权的最小二乘方拟合被执行。其它拟合函数可以被使用。来自超声和MR的参数值都在相同的函数中被用来确定被拟合的曲线。任何曲线都可以被拟合，诸如分段二次函数或高阶多项式。
为了拟合分段二次函数，能量函数被最小化。该能量函数包括来自移动窗口的超声和MR参数化值。针对图2a中的例子，为了计算在时间t4的融合的图像值，移动窗口被形成，并且能量函数包括从时间τ1到t4的参数化值。在任何点(x，y)处的融合图像值f(t4)通过使用参数化值来由被加权的最小二乘方拟合曲线获得。考虑二次曲线f(t)=at2+bt+c。值a、b和c可以通过最小化下面的能量函数而被获得：
其中Uti是点(x，y)在时间ti的超声参数化值，Mτj是点(x，y)在时间τj的MR参数化值，并且wU和wM分别是针对超声和MR参数化值的加权系数。通过最小化，a、b和c可以被估计，并且在时间t4的融合的参数化值f可以被计算。
权重如想要的那样被分配。例如，权重是相等的。作为另一例子，针对MR参数值的权重是更大的。任何相对加权可以被使用。权重设置了对根据特定类型的数据的所拟合的曲线的相对贡献。
通过使用移动窗口中的拟合曲线，融合的参数化值可以被计算。移动窗口在不同位置处或者在不同时间被更新，并且拟合曲线也是如此。融合的参数化值通过想要的输出数据速率如所要求的那样针对所有的位置或时间被提供。
在动作46中，图像的序列被输出。每个图像都是融合的参数化数据的函数。针对该序列中的每个图像的每个位置的值都由相应的拟合曲线来提供。位置被分布在二维或三维中。这些图像表示了针对患者的区域的在不同时间的参数。用于参数化成像的任何色彩调制或灰度调制或显示技术可以被使用。例如，每个像素都表示位置。像素强度和/或色彩由针对那个时间和位置的融合的参数化值来调制。
图像被输出用于显示，诸如输出到显示器。可替换地，图像被输出到数据库，诸如为了稍后的检索（retrieval）进行输出。
被加权的最小二乘方曲线被用来生成高帧速率融合的参数化图像。融合的图像的序列可以以与超声采集相关联的速率或者以另一速率（诸如为一秒二十个或更多个帧或容积的实时速率）被显示。该速率可以大于MR采集速率。
针对分离的模态的分离的图像也可以被提供。融合的参数化图像可以被重叠为灰度解剖图像上的色彩。在融合的参数化图像上或在融合的参数化图像中的图形重叠或其它信息可以被呈现给用户。这些图像是根据容积数据的再现（rendering），或者是平面的平面表示。该平面可以是扫描平面或者可以是从被扫描的容积中提取出的平面。
图3示出了用于磁共振和超声参数化图像融合的系统10。该系统10包括存储器12、MR系统14、超声系统16、换能器18、处理器26和显示器28。附加的、不同的或更少的组件可以被提供。例如，网络或网络连接被提供，诸如用于与医学成像网络或数据档案系统联网。作为另一例子，分离的换能器18被用于采集MR弹性成像数据和超声数据。在另一例子中，用户接口被提供。MR系统14、换能器18和超声系统16在一些实施例中可以不被提供，诸如在超声和MR参数化数据通过传输被采集或者从存储装置中被采集的地方不被提供。
处理器26和显示器28是诸如诊断或治疗超声系统16、MR系统14或其它系统之类的医学成像系统的部分。可替换地，处理器26和显示器28是档案和/或图像处理系统的部分，诸如与医疗记录数据库工作站或服务器相关联。在其它实施例中，处理器26和显示器28是个人计算机，诸如台式机或膝上型电脑、工作站、服务器、网络或其组合。
显示器28是监控器、LCD、投影仪、等离子体显示器、CRT、打印机或者用于输出视觉信息的其它现在公知的或以后被开发的设备。显示器28从处理器26、存储器12、MR系统14或超声系统16中接收图像、图形或其它信息。
表示弹性、测温、灌注、其组合或者患者的其它参数的一个或多个图像被显示。针对图像的参数的值中的至少一些至少部分地根据MR参数值和超声参数值而被确定。例如，根据融合的参数化值的三维数据集被再现的图像与根据实时超声扫描的图像和/或根据MR解剖扫描的图像邻接地被提供。不具有融合的超声或MR参数化图像也可以被显示。呈现患者的平面区域的二维图像可以被显示。任何类型的数据可以被组合来形成图像，或者在基本上相同的时间被分离地显示。
磁共振（MR）系统14包括在诸如由法拉第笼所隔离的空间之类的RF柜（cabin）中的低温磁体、梯度线圈和体线圈。管状或侧向敞开的检查受检者腔（examination subject bore）包围视野。敞开更多的装置可以被提供。病床（例如患者轮床或工作台）支撑检查受检者、诸如具有一个或多个局部线圈（local coil）或者不具有一个或多个局部线圈的患者。病床可以被移动到检查受检者腔中，以便生成患者的图像。接收到的信号可以经由例如同轴电缆或无线电链路（例如经由天线）由局部线圈装置发射到MR接收器，用于定位（localization）。
MR系统的其它部分被提供在相同的外壳之内、在相同的空间之内（例如在射频柜之内）、在相同的设施之内，或者被远程连接。MR系统的其它部分可以包括局部线圈、冷却系统、脉冲发生系统、图像处理系统和用户接口系统。任何现在公知的或以后被开发的MR成像系统可以被使用。MR系统14的不同组件的位置在RF柜之内或在RF柜外部，诸如图像处理、X线断层摄影术、功率生成和用户接口组件在RF柜外部。功率电缆、冷却线路和通信电缆通过滤板把在RF柜之内的脉冲生成、磁体控制和检测系统与在RF柜外部的组件相连接。
MR系统14由软件、硬件或软件和硬件一起来配置，以采集表示患者中的平面或容积的数据。为了检查患者，不同的磁场彼此在时间上和在空间上协调地用于施加到患者。低温磁体生成在例如0.2特斯拉到3特斯拉或更大的范围中的强的静态主磁场B0。主磁场B0在视野中是近似均匀的。
患者的原子核的核自旋经由磁射频激发脉冲被激发，所述磁射频激发脉冲经由诸如整个体线圈和/或局部线圈之类的射频天线被发射。射频激发脉冲例如通过由脉冲序列控制单元控制的脉冲发生单元来生成。在通过使用射频放大器被放大之后，射频激发脉冲被路由到体线圈和/或局部线圈。体线圈是单个部分，或者包括多个线圈。这些信号在给定的频带处。例如，针对3特斯拉系统的MR频率为约123MHz+/-500KHz。不同的中心频率和/或带宽可以被使用。
梯度线圈在测量过程中辐射磁梯度场，以便产生选择性层激发并且用于测量信号的空间编码。梯度线圈由梯度线圈控制单元来控制，所述梯度线圈控制单元像脉冲发生单元一样被连接到脉冲序列控制单元。
由被激发的核自旋所发射的信号由局部线圈和/或体线圈来接收。在一些MR 断层摄影术过程中，具有高信噪比（SNR）的图像可以通过使用局部线圈装置（例如环、局部线圈）而被记录。局部线圈装置（例如天线系统）直接接近在患者上（前面的）、在患者下（后面的）或在患者中的检查受检者地被安排。接收到的信号由相关联的射频预放大器被放大，以模拟或数字化形式被发射，并且被由MR接收器进一步处理和数字化。
所记录的测量到的数据以数字化的形式被存储为k空间矩阵中的复数值。一维或多维傅里叶变换根据k空间矩阵数据重构对象或患者空间。
MR系统14可以被配置为采集不同类型的数据。例如，MR数据表示了患者的解剖模型。MR数据表示了对组织的磁场和射频脉冲的响应。任何组织可以被表示，诸如软组织、骨骼或血液。
MR系统14可以被配置用于采集专门的功能信息或解剖学信息。例如，被T1加权的、扩散或被T2加权的MR数据被采集。在一个实施例中，MR系统14被配置用于采集弹性成像、测温、灌注或其它参数化信息。针对MR弹性成像，换能器18可以施加被聚焦在患者中的一个或多个位置处的声辐射力。响应于来自换能器18的元件的声能的相控求和（phased summation），声能引起纵向波和/或剪切波从聚焦区进行传播。MR扫描被用来测量位移。位移幅度可以指示组织的弹性特征。其它MR弹性成像技术可以被使用。
MR系统14随时间的过去扫描患者。MR数据的帧或容积的序列被采集。MR数据被用来导出针对面积或容积中的不同位置的参数化值。这些MR参数化值可以与比通过使用超声系统16所采集的相同参数更好的信噪比、但是更慢的容积速率或帧速率相关联。
超声系统16是任何现在公知的或以后开发的超声成像系统。例如，超声系统16包括用于在声能与电能之间进行转换的换能器18。发射和接收波束形成器针对换能器18的不同元件相对地延迟信号并且使信号切趾（apodize）。B模式、多普勒或者其它检测在被波束形成的信号上被执行。扫描转换器、存储器、三维成像处理器和/或其它组件可以被提供。
换能器18是压电的或电容性的膜元件的一维、二维或三维阵列。在一个实施例中，换能器18是手持的或机器持有的换能器，用于倚着患者或在患者外部进行安置。在另一实施例中，换能器18是诸如经食道的探针之类的用于在患者之内使用的探针的部分。例如，换能器18是在导管（catheter）之内的或在导管上的元件的一维阵列，所述导管出于介入目的或不同的目的被使用。在还有另一实施例中，换能器被安置在MR系统的病床中，或者由机器人安置，用于在患者上的使用，同时被安置在MR腔中，用于进行扫描。
超声数据以极坐标或者被扫描转换的笛卡尔坐标格式被输出。声能被用来扫描平面和/或容积。例如，容积通过顺序地扫描多个相邻平面而被扫描。任何格式或扫描技术都可以被使用。所扫描的容积可以横切（intersect）或包括所有的患者容积。例如，胸部沿着一个或多个二维平面用超声来扫描。
超声系统16被配置为导出参数化值。例如，温度、灌注、弹性或其它参数特征被计算。参数值根据检测到的数据、诸如检测到的组织、血流和/或造影剂被确定。这些参数值针对帧或容积的序列中的每个被导出。这些帧或容积在序列中具有比MR参数化帧或容积的速率大的速率。
存储器12是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、随机存取存储器、高速缓冲存储器、硬盘驱动器、光介质、磁介质、闪存驱动器（flash drive）、缓冲器、数据库、其组合或其它现在公知的或者以后被开发的用于存储数据或视频信息的存储设备。存储器12是成像系统的部分、与处理器26相关联的计算机的部分、数据库的部分、另一系统的部分或者是独立的设备。
存储器12存储了数据集（例如帧或容积），每个所述数据集都表示三维患者容积或二维患者平面。患者容积或平面是患者的区域，诸如胸部、腹部、腿、头、臂之内的区域或者其组合。患者容积是由MR系统14和超声系统16所扫描的区域。
任何类型的数据都可以被存储，诸如医学图像数据（例如，超声和MR参数化数据以及超声解剖数据）可以被存储。该数据随着时间的过去表示患者，诸如在处置或其它过程之前或者在处置或其它过程期间来表示。
所存储的数据被插值或者被转换为均匀间隔的二维或三维网格，或者处于扫描格式。针对不同模态的数据可以被变换为在相同的网格或格式上。来自不同时间的数据可以被更改到运动的账户（account）。
存储器12或其它存储器是非瞬态计算机可读存储介质，所述非瞬态计算机可读存储介质存储了表示由被编程的处理器26可执行的用于磁共振和超声参数化图像融合的指令的数据。用于实施在这里所讨论的过程、方法和/或技术的指令被提供在计算机可读存储介质或存储器（诸如高速缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其它计算机可读存储介质）上。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。在附图中所图示的或者在这里所描述的功能、动作或任务响应于被存储在计算机可读存储介质中或上的一个或多个指令集而被执行。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独或组合地工作的软件、硬件、集成电路、固件、微代码等来执行。同样，处理策略可以包括多处理、多任务、并行处理等。
在一个实施例中，这些指令被存储在可移动介质设备上，用于由本地系统或远程系统进行读取。在其它实施例中，这些指令被存储在远程位置上，用于通过计算机网络或在电话线路上传输。在还有其它实施例中，这些指令被存储在给定的计算机、CPU、GPU或系统之内。
处理器26是通用处理器、中央处理单元、控制处理器、图形处理器、数字信号处理器、三维再现处理器（three-dimensional rendering processor）、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合或者其它现在公知的或以后被开发的用于根据多个模态融合参数化信息的设备。处理器26是串行、并行或分离地工作的单个设备或多个设备。处理器26可以是计算机的主处理器，诸如膝上型计算机或台式计算机，或者可以是用于在诸如MR或超声系统14、16之类的更大的系统中应对任务的处理器。处理器26由软件和/或硬件来配置。
处理器26被配置来组合超声和MR参数化信息。处理器26从MR和超声系统14、16中接收参数化信息。可替换地，处理器26接收MR和超声数据，并且生成超声参数化数据和MR参数化数据。处理器26可以在组合之前对参数化数据进行滤波或者用其他方法处理该参数化数据。例如，处理器26把该数据转换为相同的格式或分辨率。作为另一例子，处理器26通过该数据序列校正运动。处理器26可以汇编这些序列，诸如确定超声序列相对于MR序列的时间对准。
处理器26被配置来把超声参数化数据与MR参数化数据相组合。由于不同的扫描或采集速率，融合的参数化数据可以被生成为与超声数据相对应的速率。在一个实施例中，处理器使用来自不同时间的MR和超声数据的被加权的最小二乘方拟合，以进行滤波或进行外推。其它滤波和外推可以被使用。
处理器26输出组合的参数化数据。例如，表示平面或容积中的多个位置的温度、弹性或灌注数据被输出。针对数据的值基于这两个成像模态。超声数据贡献时间信息，从而考虑到在比单独MR更高的速率下的参数化图像。MR数据贡献信噪比，从而考虑到具有比单独超声更多的信号的参数化图像。
输出是在用于显示的转换之前的数据，或者是被转换用于显示的图像数据。例如，该数据是针对显示器上的像素的RGB数据。作为另一例子，该数据表示了在再现之前的容积，或者表示了该容积的二维再现。
虽然本发明通过参照各种实施例已经在上面被描述，但是应该理解的是，许多改变和修改可以被进行，而不离开本发明的范围。因此意图的是，前面的详细描述被看作说明性的而不是限制性的，并且应该理解的是，是下面的权利要求书（包括所有等同物）意图限定本发明的精神和范围。