医学图像的计算机辅助定性定量分析的方法和系统 【技术领域】
本发明一般涉及可疑异常的医学图像(医学影像)和检测的计算机辅助分析的领域。具体而言，本发明涉及一种方法和系统，用于处理由多模态(多个模态，multiple modalities)获得的医学图像，包括动力学和形态特征的分析以及异常的自动检测和来自多模态的医学图像的分析。
背景技术
磁共振成像(MRI)是作为用于乳房异常成像的强大工具而出现的。一般而言，由于丰富的软组织反差、薄截面和多平面能力，所以MRI提供比传统的成像模态更好的乳房病变(损伤)的表征。
传统上，分析并分类病变形态，以区分来自可能癌肿瘤的良性病变。例如，美国放射学学会(American College of Radiology，ACR)几年来已经开发出一套特征和词典(一种数据辞典系统)，与乳房成像报告和数据系统(BI-RADS)一起使用。BI-RADS MRI词典指出以下形态特征可能与良性病变相关：
形状 圆形、卵形或小叶形 边缘 平滑 团块增强(mass enhancement) 均匀，没有反差增强，非增强性内在隔膜
在另一方面，BI-RADS MRI词典指出，以下特征可能描述了恶性肿瘤的可能性：
形状 不规则 边缘 有毛刺 团块增强 不均匀，边缘增强，管状延伸
近来，越来越多的注意力关注到乳房病变的反差增强的MRI上。在检查之前或期间，将反差增强剂注射到患者胳膊的静脉中。典型地，使用钆基反差剂(例如，Gd-DTPA)。使用反差剂倾向于在正常组织和异常组织之间提供更大的反差。反差增强源于以下事实：肿瘤的生长和代谢潜力能够直接关系到周围血管增生的程度。对于直径上生长超过几个毫米的肿瘤，需要形成将提供存活所必需的氧和营养的血管。这些新血管以紊乱模式增生，并且质量差，因而使它们发生渗漏并导致血液汇集于肿瘤周围。对来自可扩散反差剂的信号的分析有助于乳房中的可疑异常的检测和表征。
信号强度随时间的定量研究(或动力学曲线)，增强和动力学水平随时间的变化(例如上行和下行行为)，暗示了恶性病变可能是迅速增强的区域，在注射后1分钟和3分钟之间达到它们的峰增强。良性病变增强更慢，其中在几分钟之后才出现峰增强。
动力学曲线的形状也能成为病变是否是恶性的良好指示。研究发现，描述良性病变的动力学曲线倾向于是直的或稍微弯曲的(类型I)。对于弯曲类型，时间-信号强度继续增加而生长一般会较慢，并且曲线在后期的后-反差期(由于饱和效应)而变平坦。另一方面，暗示或指示恶性肿瘤的动力学曲线显示出一个平台或一个下行段。平台型(类型II)显示一个初始上行，之后增强陡然截止，而信号强度在中间和后期的后-反差期内平稳。下行类型(类型III)显示一个初始上行，之后增强陡然截止，而信号强度在中间的后-反差期(反差剂注射后2～3min)内降低(下行)。
然而，尽管反差增强的MRI方法已经实现高水平的灵敏度(94％～100％)，但其提供的仅仅是有限的特异性水平(40％～95％)。此处，灵敏度是指真实阳性检测，而特异性是指假的阳性减少。低特异性水平不仅是恶性病变增强的结果，也是良性病变增强的结果，导致了许多不必要的活组织检查。因此，单是出现增强，并不能用于将良性病变和恶性病变区分开。
良性病变被认为是正常过程的畸变所致。例如，纤维囊性病变是最常见的良性紊乱(40％～50％)，纤维腺瘤在年轻和老龄妇女中是最常见的肿瘤，而翻性乳头状瘤(乳突瘤，pappiloma)是危险较低的病变。其他良性病变包括放射状疤痕(硬化症)，它是一种星形病变模仿癌、叶状柄肿瘤和导管增生(乳腺)。
乳房的反差MRI研究已经证实，不仅恶性病变增强，而且许多良性病变包括纤维腺瘤、纤维囊性变化和放射状疤痕也增强。而且，可能存在恶性病变，如浸润性管癌(IDC)、浸润性小叶癌(ILC)或原位管癌(DCIS)的某些病例将不会迅速增强，但其中病变形态表明恶性肿瘤存在。认为仅仅存在反差增强不能用于将良性病变与恶性病变区分开。
近来，人们的关注点转向了作为一种用于癌症诊断的新技术的磁共振波谱(“MRS”)。MRS是磁共振检测技术的特定类型。其通过测定在所怀疑肿瘤中的各种标记化学物质(marker chemicals)如胆碱的浓度或强度而提供化学信息。认为标记化学物质的量或浓度提供了关于所检测区域中疾病过程的信息。
一般而言，由MRS获得的信号并不产生扫描图像。相反，会产生各种化学物质的光谱信息。最近，已经可以从较好定位的区域获得光谱数据。这就允许由MRS获得的生化信息与所定位的区域相关地加以评价。然而，关联光谱数据和扫描图像通常在临床环境下是一个困难的任务。
前述内容产生了一个问题：即开发分析医学图像以区分恶性和良性病变并适合于临床所需的系统和方法。本发明的一个目的是减轻或排除上述缺点中的至少一个。
【发明内容】
本发明结合了定性和定量特征，以实现可疑异常如成像的乳房病变的最佳区分。对来自多模态的图像(成像)和数据进行处理和分析，以提取定量和定性信息。定量信息能够包括动力学信息和生化信息。动力学特征能够从图像数据如MRI图像数据的时间序列提取。生化信息能够从MRS数据的光谱分析提取。形态学特征能够由MRI图像、超声图像、x-射线图像或其他模态的图像提取。提供计算机应用程序用于从医学图像和数据提取定量和定性特征，以及用于从定量和定性分析组合结果以产生一个综合结果。时间历程动力学的分析可在后-反差图像中的病变形态的评价之前或之后进行。可选地，来自第一次进行的分析结果在进行下一步分析之前进行评价。在那些情况下，如果来自第一次进行的分析(例如，动力学分析)结果是清楚指示的，则下一步分析(例如形态学分析)就不进行。如果来自一种模式(例如动力学)的分析结果是不确定的或暗示良性病变的，则进行进一步的分析(例如形态学)。
在本发明的一方面，提供了一种分析解剖中一个区域的多个医学图像数据和检测该区域中的异常的方法。至少一组多个医学图像数据包含响应于给药反差增强剂的时间信息。该方法包括以下步骤：获得多个医学图像数据；从多个医学图像数据鉴定(识别)代表该区域中的可能病变的一组数据点；从多个医学图像数据提取与该组数据点相关的特征，这些特征包括一组形态学特征、一组时间信息的动力学特征和一组生化特征中的至少两组；从该至少两组特征计算可能病变的初始诊断评价；以及向用户提供初始评价以用于评估。该评价通过在评估过程中并入至少两组的特征而进行评估。
在本发明这方面的特征中，该方法包括另外的步骤：接收来自用户的至少两组特征的修正；计算修正的评价；以及向用户提供该修正的评价以进行进一步的评估。该修正的评价是通过在计算中结合该修正而计算的。
在本发明这方面的另一特征中，动力学特性是从对应于所述数据点的组的子组中的时间依赖性局部反差变化的反差变化曲线提取的。在另一特征中，动力学特性包括该反差变化曲线分类成连续增强、平稳和下行(washout)类型中之一。
在本发明这方面的另一特征中，生化特性是从数据点组的MRS子组的光谱分析提取的。在另一特征中，生化特性至少包括从光谱分析中获取的标记化学物质的浓度分布或两种或更多种标记化学物质的相对强度。
在另一方面，本发明提供了一种用于分析解剖中一个区域的多个医学图像数据的系统。至少多个医学图像数据的一个组包含响应于给予反差剂的时间信息。该系统包括：图像数据模块，用于检索多个医学图像数据；形态学模块，用于鉴定所述医学图像数据中的可能病变，并提取和分类与所述可能病变相关的形态学特征；动力学模块；光谱分析模块；综合决策引擎；以及图形用户界面，用于显示所述多个医学图像数据的至少一部分及用于用户评估和修正的一个初始诊断评价。动力学模块从多个医学图像数据提取与所述可能病变相关的时间信息的动力学特性，光谱分析模块从多个医学图像数据提取与一种或多种标记化学物质相关的的生化特性，而综合决策引擎接收来自形态学模块的形态学特征、来自动力学模块的时间信息的动力学特性以及来自光谱分析模块的生化特性，并计算来自形态学特征、动力学特性和生化特性的可能病变的初始诊断评价。
在本发明这方面的特征中，该系统进一步包括：形态学决策引擎，用于推导来自形态学特征的形态学评价；动力学决策引擎，用于推导来自动力学特性的动力学评价；以及光谱分析决策引擎，用于推导来自生化特性的光谱评价。综合决策引擎在其计算中关联和结合形态学评价、动力学评价和光谱评价。
在本发明这方面的另一特征中，该系统进一步包括注解模块，用于通过图形用户界面接收对形态学特征、动力学特性和生化特性中至少之一的修正。一旦接收到修正，该修正就提供给综合决策引擎而综合决策引擎再计算修正的诊断评价。
在本发明这方面的另一特征中，该系统进一步包括：患者患病危险(危险轮廓，risk profile)模块，用于从数据库中检索患者患病危险信息；和患者病史(既往病历)模块，用于检索患者病史信息。评价的评估结合患者患病危险信息和患者病史(历史)信息。
在本发明的另一方面，本发明提供了一种从患者解剖中的一个区域获取和分析MRS医学图像数据的方法。该方法包括以下步骤：获得该区域的多个医学图像数据；从该多个医学图像数据鉴定表示该区域中的可能病变的数据点的组；从多个医学图像数据提取与该可能病变相关的特征；从这些特征计算可能病变的初始诊断评价；以及一旦初始诊断评价满足预选标准，就完成以下步骤：从包括可能病变的候选区域获取MRS医学图像数据；从该MRS医学图像数据提取生化特性；在再计算中进一步结合生化特性并再计算可能病变的综合评价；以及向用户提供该综合评价以进行评估和修正。
在本发明的另一方面中，本发明提供了一种用于分析解剖中一个区域的医学图像数据的系统，该医学图像数据从多个模态获取。该系统包括：图像数据模块，用于接收医学图像数据；多个图像处理模块；多模态决策引擎；综合决策引擎；结合模态评价并从模态评价计算可能病变的初始诊断评价的综合决策引擎；以及图形用户界面，用于显示医学图像数据的至少一部分及用于用户评估和修正的初始诊断评价。多个图像处理模块的每一个鉴定医学图像数据中的可能病变并提取和分类与可能病变相关的模态特性的组。与模态相关的模态特性的组提交给对应的模态决策引擎，用于计算可能病变的模态评价。通过模态决策引擎计算的模态评价由综合决策引擎在其计算中结合。
在其他方面，本发明提供以上描述的各个方面的各种组合和子组。
【附图说明】
用于描述的目的，而非限制的目的，本发明的前述和其他方面将参照附图更加详细地进行解释，其中：
图1是示出了计算机辅助检测(CAD)系统的示意图；
图2是图1所示CAD系统的CAD应用程序的主要功能组件的方框图；
图3是示出了用于通过图2所示的CAD应用程序进行医学图像数据定性定量分析的过程步骤的流程图；
图3A示出了用于通过CAD应用程序进行MRS数据和超声波图像分析的另一过程；
图3B是图示说明通过图2所示的CAD应用程序进行的一个可替换过程的流程图，采用了来自一种模态的结果作为另一种模态的输入；
图4详细示出了图3所示的过程的一部分；
图5示意性地图示说明了医学图像的时间序列和对应的反差变化曲线；
图6示出了反差变化曲线的可预期的一般行为；
图7是示出了用于构建图5和6所示的反差变化曲线的图3所示过程的一部分的流程图；
图8是示出了结合形态学和动力学特征，用于产生综合结果的图3所示过程的一部分的流程图；
图9示意性地示出了一种示例性屏幕显示，向用户提供了两种模态和综合结果的所分析图像的并排对比；和
图10示出了用于处理在不同时间拍摄的相同模态的图像的从图3所示过程修正的一个过程。
【具体实施方式】
本发明一般涉及计算机辅助分析医学图像和可疑异常的检测的领域。具体而言，本发明涉及一种用于处理从多模态获得的医学图像的方法和系统，包括动力学和形态学特征的分析。
本发明结合了来自多模态的数据，包括动力学(定量)、形态学(定性)和生化(定量)信息，以实现成像的可疑异常(如成像的乳房病变)的最佳辨别。病变的形态学特征一般是与尺寸、形状、团块中的信号分布、或病变的边界特性相关的那些特征。它们包括这样的特征，如病变是否是具有圆形、椭圆形或小叶形形状的团块，具有平滑的、不规则的或有细刺边界的团块，或具有均匀的、周边(空白)的或管状增强的团块。形态学特征能够从MRI、超声波或X-射线图像或其他形态的图像数据提取。动力学特征与成像病变在图像或图像数据的时间序列中的信号时间行为有关。MRI数据的动力学特征一般是指，但不限于给予反差剂之后在所扫描的解剖体积内区域的时间依赖性的反差增强。动力学曲线可以是I型(连续增加)、II型(平稳)或III型(下行)。生化信息能够通过分析MRS数据即光谱信息获得，以测定单个体元或几个体元内标记化学物质(如胆碱、肌酸或31P，其他之中的那些)的存在和相对浓度。这些信息在癌症诊断中被认为是相关的。提供的计算机应用程序用于从医学图像数据中提取形态学的、动力学的和生化的信息，并结合来自多模态的医学图像数据的定性定量分析结果而获得综合结果。
尽管诊断评价可以从单个模态图像数据的动力学、形态学或生化(即光谱)分析任何的结果推导，但是结合来自多模态的结果倾向于提高所获得的评价的置信水平，同样，综合评价一般从更大的数据组推导，并因此倾向于是更大统计性可靠的。例如，在后-反差图像中，时间过程动力学的分析可在病变形态评价之前或之后进行。可选地，来自最先进行的分析的结果能够在进行下一步分析之前进行评估。如果来自最先进行的分析(例如，动力学分析)的结果是明确指示性的，则下一步的分析(例如形态学或光谱学分析)就可以是不必要的。另一方面，如果来自一种模式(例如动力学)是不确定的或暗示良性病变的，则进一步的分析(例如形态学)或许是值得的。而且，来自某一分析的结果可以用作另一模式分析的输入。例如，动力学分析的结果一般包括病变的识别(鉴定)，这可以用于推动形态学过程的分割(分段)部分。
图1示出了计算机辅助检测(CAD)系统100。该CAD系统100处理和分析从多模态获得的图像和数据，包括进行动力学、形态学和光谱分析，用于提供基于提取的动力学、形态学和光谱特征的诊断评价。CAD系统100具有医学成像装置102。医学成像装置102由用户使用以通过对患者扫描或成像而获取医学图像和数据。不同的成像模态可以配置用于CAD系统100。例如，医学图像可以是超声波图像、X-射线图像、MRI图像、计算断层照相法(CT)图像、正电子发射X射线层析照相术(PET)图像、PET/CT、核素、MRS或来自合适的图像或数据获取装置的任何图像或数据。
通过医学成像装置102获取的图像数据提供给计算机104以进行处理。尽管图1中仅示出了单机计算机，但计算机104可以是任何一般目的的计算机或专用计算机。其也可以是嵌入式系统，如在包括医学成像仪102的图像获取系统中的嵌入式系统。
计算机程序106，即用于实施CAD系统功能的应用软件，由计算机104存储的。CAD应用程序106具有多个组件。对应于每一模态，就有一个专用组件。例如，超声子系统108对应于超声模态。超声子系统专用于检索、处理和分析超声图像数据。类似地，CT子系统110专用于处理和分析CT图像数据。对应于MRI图像数据，有MRI子系统112。对应于MRS光谱数据，有MRS子系统113。
CAD应用程序106具有综合决策引擎114。综合决策引擎114作为其输入接收来自这些模态的结果，即来自超声子系统108、CT子系统110、MRI子系统112和MRS子系统113，并结合来自这些模态的每一个的结果而计算综合评价。CAD应用程序106可以使用构建到应用程序中或储存于数据库116中的法则(规则，rule)用于作出综合决策。这些法则可以从包含良性和恶性病变的样品图像推导，或由统计模型构建，或通过采用任何合适的方法学建立。
提供了工作站118。工作站118提供的用户界面120，准许系统100的用户浏览医学图像，操作这些图像并与系统互动而处理这些图像。用户界面120包括显示器122。该显示器可以是显示屏，或图像保护器，或可以是能够向用户可视呈现医学图像并向用户呈现图形和文本内容的任何其他合适的显示装置。
工作站118向用户显示图像数据和从CAD应用程序106产生的结果，以方便用户诊断分析图像。例如，来自每一模态的图像以及从这些图像提取的特征可以显示给用户。它们可以并排显示于相同的显示器上，以使用户更方便地作出诊断。在这些医学图像中鉴定的病变及提取的特征也可以被突出显示。另外，与医疗标准一致的格式可以结合由该系统自动检测的任何结果进行预置。由系统自动计算的初步评价也可以显示给用户，以便用户进行确认或修正。
用户界面120还包括输入设备124，以使用户与系统互动并鉴定在所显示医学图像中的感兴趣的系统特定区域。输入设备124可以包括键盘，例如，用于用户进行任何文本输入。语音识别模块可以提供用于语音-文本转录而使用户可以口头输入成像客体的文本描述，输入其它文本而无需必须敲入文本，或发布任何计算机程序命令。它还可以包括鼠标或一些其它定点设备，用于用户鉴定系统的医学图像特定像素或区域。显示器122和输入设备124可以物理地结合到单片硬件单元，如能够显示图形和文本输出并接收用户输入的触摸屏。用户界面120也可以包括远程用户界面，如远程终端或网络浏览器126，用于与其他放射学家或内科医师通过远程通讯网络128实现共享。远程通讯网络128可以用直接电缆连接、局域网(LAN)或英特网实现。远程用户界面使内科医师可以远程浏览操作员从患者获取的图像，并对系统100自动产生的结果实时地进行任何修正。内科医师，无论是在医学成像装置102的隔壁房间或是工作站118，或在几千公里之外的办公室，都能通过远程用户界面作出诊断。
系统100也包括多个输出外围设备130，以便于用户可以重现或记录分析时段的结果或系统的其他输出结果。例如，输出外围设备可以包括基于胶片或纸张的打印机132。基于胶片的打印机可以用于转换医学图像，无论是初始图像还是经过处理的图像，成为胶片，方便用户用于需要胶片化图像的更为传统的显示设备。基于纸张的打印机也可用于产生硬拷贝报告，用于与其他内科医师共享或者是用于归档目的。另外，输出外围设备130可以包括DICOM-兼容设备134，用于转换或存储经过处理的结果，即通过系统与相关报告一起产生的复合图像。
系统100具有访问图像归档服务器136的权限。图像归档服务器136可以是系统100的部分。其也可以由外来服务器供应者提供，如医院信息系统。图像归档服务器136具有服务器数据库138，用于储存归档的图像140。当CAD应用程序106请求图像归档服务器136的归档图像140时，图像归档服务器136从服务器数据库138检索所请求的图像，并传送所请求的图像到CAD应用程序106。应该理解，归档的图像是通过医学图像设备已获取的所有图像。归档的图像可以来自任何所支持的模态，如MRI、CT或PET的图像。归档的图像数据还能够是由不同模态组合的图像，如数字层析X射线照相组合图像数据。归档的图像140没有必要是与当前直接连接到计算机104的医学成像设备102相同的模态。例如，计算机可以连接到超声成像设备，同时图像归档服务器136可以包含先前从CT成像设备或MRI成像设备获取的图像。而且，尽管在图1中仅仅示出了一个图像归档服务器136，但应该理解，可以具有多个连接到计算机104的图像归档服务器。另外，每一图像归档服务器136可以不必需仅仅具有一个数据库，其可以有权限访问多个数据库，这些数据库可以是在不同的位置进行物理定位的。
系统相关或产生的数据一般与归档的图像140一起储存。例如，归档图像可以与在先前分析或诊断数据期间由内科医师在该图像上所作的注解一起储存。优选图像归档服务器136支持归档DICOM-兼容图像，以及其他图像之中的其他格式图像如JPEG、BITMAP。注解、评论、所有图像处理的结果都能作为DICOM-兼容文件的部分进行归档。审核信息，如用户ID，所处理图像的数据或时间标记，和所检测特征的用户添加或修正都能在所处理的图像的每一归档情况下也进行记录。
图2是一个具体实施方式的CAD应用程序106的主要功能组件的方框图。如图2中所示，CAD应用程序106具有图像数据模块202、处理模块204和模态决策引擎206，用于检索和分析图像数据。如将在以下进行详细描述的，图像数据模块202从医学成像装置102或图像归档服务器136检索图像数据，并预处理该图像数据以从图像数据提取图像或其他数据以便于进一步处理。检索出来由图像数据模块202检索并预处理的图像提交到处理模块204。提供的处理模块204用于从预处理的图像数据提取与所诊断疾病相关的信息。例如，该模块可以提供用于鉴定图像中所怀疑的病变并从图像中提取与被认为与诊断疾病相关的所怀疑病变关联的那些特征，即鉴别病变。模态决策引擎206基于提取的信息对病变进行分类，并从所提取的信息计算该病变的评价。这种评价能够例如基于预建立的法则组或使用预选的算法加以计算。
CAD应用程序106是模块化的，其中图像数据模块202、处理模块204和模态决策引擎206中的每一个都具有用于所支持模态的组件。例如，模态决策引擎206具有作为其超声组件的超声决策引擎208，作为其MRS组件的MRS决策引擎(未示出)，和作为其MRI组件的MRI形态学决策引擎210以及MRI动力学决策引擎212。在从特定模态获取的图像或扫描数据由CAD应用程序106处理的同时，图像或扫描数据通过图像数据模块202、处理模块204和模态决策引擎206的对应模态组件进行处理。特定模态的图像数据模块202、处理模块204和模态决策引擎206形成了该模态的子系统。例如，图像数据模块202、处理模块204和模态决策引擎206的超声组件形成了超声子系统108。为了处理另一模态的图像或数据，将对应的组添加到图像数据模块202、处理模块204和模态决策引擎206的每一个，而不需要必须变更CAD应用程序106的总体体系结构。每一模态需要其自己的组件，因为一般而言，从一个模态获得的图像数据通常具有在其他形态中没有发现的某些独特方面。例如，某些与超声图像相关的超声图像特征如回波图形，一般并不在x-射线图像中展示。类似地，光谱处理一般是MRS模态专有的。
图2示出了MRI模态在每一个处理模块204和模态决策引擎206中具有两个组件，一个用于处理和提取与在MRI扫描中成像的病变相关的形态学特征，而另一个组件用于处理和提取与MRI扫描的时间序列相关的动力学，即时间特征。
CAD应用程序106具有综合决策引擎114。综合决策引擎114组合了从每一模态获得的所有结果，与患者数据一起，计算用于通过单个模态鉴定的病变的综合评分。患者数据可以包括，例如，患者的患病危险或患者的病史或这二者。也提供了患病危险模块214。患病危险模块214从数据库116提取患病危险信息，处理患病危险信息并把结果提交给综合决策引擎114。患病危险信息可以包括特定基因的存在一例如，乳癌易患基因(也称为BRCA-1)。也提供患者病史模块216。患者病史模块216提取与患者病史有关的信息，处理病史信息并把所处理的病史信息提供给综合决策引擎114。患者病史可以包括乳癌的家族病史、在前癌症的诊断和治疗。患者病史信息也可以包括与在在前的临床会诊期间，例如几个月之前，拍摄的同一病变的图像相关的信息。病史模块216能够使用预先拍摄的图像有关的信息，并引导图像数据模块202检索这些先前拍摄的图像，用于与当前处理的图像进行比较。
综合决策模块114具有多个单独组件。这些单独的组件包括分类模块218、病变类型模块220、病变程度模块222以及分级评价模块(阶段评价模块，staging assessment module)224。相同的病变一般能够在多模态中看见。模块218、220、222、224中的每一个都可以包括用于处理来自每一模态的图像数据的组件。复合图像能够被产生并显示出来以显示来自多模态的结果。例如，MRS模态的结果能够覆盖到图像模态之一的图像上，并与该图像一起显示。综合决策模块114将在来自多模态的图像中所观察到的病变的分析结果，包括关于通过多个体元或单个体元MRS分析获得的肿瘤的化学组成的生化信息加以关联从而产生综合结果。
例如，在一个实施方案中，分类模块218组合来自所有模态的结果，以提供该病变的可能分类。例如，通过所有模态检测的局部形态特征如局部短针状、局部分枝外形、局部管延伸，都能够进行组合，并与预定义的特征列表比较而把该病变分类归属于ACRBI-RADS5种类或ACR BI-RADS4a种类。类似地，病变类型模块220组合来自所有模态的结果，以推导病变的可能类型，如DCIS或CA。病变程度模块222组合来自所有模态的结果，以达到所估计的尺寸，并勾勒出该病变的几何轮廓。分级评价模块224作为输入组合了来自所有模态的结果和综合分类、类型和程度，以及患者患病危险和患者病史信息，而计算或产生病变阶段的建议评价。综合结果，包括病变的分类、类型和程度以及病变阶段的建议诊断评价，通过用户界面120显示给用户。
应该理解，其它实施方案也是可能的。例如，一个系统可以具有一个超声子系统，用于处理超声图像。即，一个系统可以具有用于处理超声图像的分类模块、病变类型模块、病变程度模块和分级评价模块。一个系统可以具有另一个MRI子系统，该MRI子系统具有其自己的用于处理MRI图像的分类模块、病变类型模块、病变程度模块和分级评价模块，或用于其模形态的其它子系统。综合引擎则将结合每一形态子系统的结果，以生成综合结果。只要所有必要的处理，如分类、病变类型和病变程度等的确定，都提供用于所有模态，并且综合结果从来自所有模态的综合结果获得，则提供多模态处理但不同地组合模块的实施方案也是可能的。
该综合结果提交给用户用于确认或修正。例如，用户能够修正来自多模态之一的图像中自动检测的特征。应该理解，对在一种模态中检测到的特征的任何修正可以影响到有关在模态级别的病变的检测结果，并可以进一步改变该综合结果。用户也可以直接修正通过综合引擎自动生成的综合结果。无论用户作了什么修正，修正结果都会传回处理模块204、模态决策引擎206、或综合决策引擎114，这都视情况而定。修正的综合结果，包括病变阶段的修正的建议评价，被重新计算并再提呈用户进行修正或确认。一旦确认，就自动生成报告，总结出这些医学图像的分析和评价的结果。
在操作中，用户引导CAD应用程序106检索由成像获取装置生成的医学图像或数据，或者检索来自图像归档服务器136的以前扫描和归档的图像或数据，用于进行处理和分析。用户可以从例如由工作站118提供的用户界面120，或远程用户界面如网页浏览器126，发布指令。图3以流程图格式显示了CAD应用程序106所经历的过程300，以分析和处理在图像数据中所含的图像并生成综合评价。
图3示出了三个并行子过程，即患者简档数据(profile data)检索子过程302、超声子过程304和MRI子过程306。这些子过程示出为并行过程。这些子过程并没有必要按时并行执行，而是相互独立的。这些子过程能够以任何彼此相关的时间序列进行，条件是子过程的结果在最后步骤之前都是可以利用的，计算综合评价(步骤308)。例如，涉及患者患病危险或病史的患者数据可以在超声图像过程之前、之后或期间进行检索。然而，应该理解，在过程300的实施中，来自一个模态的结果经常能够作为另一模态的输入(或至少输入的部分)。例如，如果MRI子过程306首先应用于MRI数据组，则病变质心(形心，centroid)就能够在浓缩区域或体积内的信号增强的分析中被鉴定。如此鉴定的病变质心能够作为用于MRI形态学过程的分割过程的起始点。尽管示出了对应于两个模态的子过程，但可添加对应于其它模态如CT模态的子过程。由于这些其它模态遵循类似于超声模态或MRI模态的步骤，所以它们在图3中没有显示出。
参照图3，现在描述这三个子过程中的每一个。患者数据检索子过程302以患病危险模块214开始，从数据库116检索患者的患病危险数据(步骤310)。数据库可以直接访问如图1所示的CAD应用程序106，或请求来自外部维持的数据库的信息可能是必要的，例如通过医院的信息系统。其次，在步骤312，患者病历模块从其中保持患者患病危险数据的数据库116或者从其他外部维持的数据库中检索患者病史信息。患病危险信息和患者病史信息被提交给综合决策引擎114，供在步骤308中使用，以计算综合评价，如将在以下进行描述的。
超声子过程304以获得超声图像数据开始，即步骤314。超声图像数据可以从医学成像装置102获得。可替换地，CAD应用程序106，即其图像数据模块202，可以从图像归档服务器136请求超声图像数据。一般而言，所获得的超声图像数据包含除医学图像之外的信息。在该步骤，单个图像也从图像数据提取。提取的图像提交给图像处理的处理模块204。
在步骤316，处理模块204的超声组件处理图像。在该步骤，处理模块204计算，即提取和鉴定，与在独立的单个图像中感兴趣的对象相关的身体、组织、形态以及超声图像特征。感兴趣的对象可以通过异常区域如病变的边界进行定义。在步骤318，超声决策引擎208分析这些特征，以提供分类、病变类型鉴定和病变评价。可选地，在显示和确认步骤320，所提取和鉴定的特征显示给用户，以供确认或修正。
图4详细示出了通过CAD应用程序106在处理超声图像中的形态特征时的子步骤。超声图像能够是一个区域的2-维图像或一个体积的3-维图像。图像处理步骤316从选择感兴趣的区域(“ROI”)的步骤开始，步骤402。ROI是解剖中的一个区域，其可能包含异常对象如病变。在处理2-维图像时，ROI可以是2-维的，或在处理成像的体积时，可以是3-维的(也称为“VOT”，或“感兴趣的体积”)。ROI可以以任何合适方式加以鉴定。例如，用户能够在显示的图像上通过用户界面120手动鉴定ROI。CAD应用程序106能够提取从另一来源已经鉴定的ROI，例如在预先检查中鉴定的并储存在数据库中的ROI。或者，CAD应用程序106能够对图像实施形态分析，以鉴定ROI并推荐给用户。在一个实施方式中，通过首先选择一个分割“种子点”，即在感兴趣区域中的起始点，用户向系统选择和鉴定ROI。用户可以选择分割种子点，例如通过使用定点设备并在可疑病变的中心区域中选择该点。然后通过从种子点拖曳指针而限定ROI，以便在种子点周围形成一个圆圈。该圆圈限制其中运行分段算法的区域。当ROI足够大而包围(封闭)了整个可疑病变时，用户释放定点设备。
一旦ROI被鉴定，ROI就在分割步骤404被分割以勾画出可疑病变的边界。ROI分割后，模式识别操作(步骤406)应用于该分割的ROI，以从ROI鉴定和提取形态学特征。在模式识别步骤406期间，在ROI中的结构特征也被鉴定和分析。它们基于其形态和组织模式或特征被分类。局部形态特征如局部毛刺、局部分枝外形、局部管延伸和局部小叶状被鉴定和索引。另外，在ROI中的像素被扫描以鉴定超声图像特征如回波图形。局部形态学特征与通过标准如ACR-BIRADS库预定义的超声图像特征组进行组合，以生成如此鉴定的特征列表。在模式识别步骤，处理模块204也可以分析图像，以鉴定特征如群集并对照在分割的ROI中的像素或分析图像，以引入一些领域知识的概念如ROI周围的像素的信息，以更好鉴定特定的局部特征。
接着，在特征提取步骤(步骤408)，处理模块204从这些局部鉴定的图形提取某些特殊特征，这些特殊特征被认为是与癌症诊断，即辨别良性和恶性病变相关的。这些特征中的一些可以包括形状、取向、有角边缘、病变边界和钙化。这些特征也可以包括只有特定检测技术才有的那些特征。例如，对于超声图像，这些特征可以包括回波图形和后方声波衰减特征(posterior acoustic feature)。
接着，在分类步骤410，在图像处理步骤316(子步骤402～408)期间提取和鉴定的特性和特征进行组合和分析。很方便地，所提取和鉴定的特性或特征一般与预定义的特征组是一致的。预定义的特征和特性组一般通过如与疾病如癌症诊断相关的医学专业开发。这些特征的描述一般与这些特征的定义一起提供。一组这样的预定义特征和库是BI-RADS库。在该步骤，所提取和鉴定的特征与BI-RADS库的特征组进行比较，以指定该组织可能存在与要分析的病变中任何特征的统计概率。
接着在步骤412，计算病变的评价。为了计算评价可开发法则或算法。例如，可从根据BI-RADS库鉴定和分类的特征的分类和可能性计算出评价。在一个实施方式中，医学图像的较大集合首先被处理。模式识别和特征提取操作应用于在该集合中的每一图像。鉴定的特征根据BI-RADS定义的方案和库进行分类和索引。在该集合中的图像，例如，基于活组织检查结果进行诊断。从图像处理的结果和已知的诊断，能够开发关联所提取的特征组和诊断的统计可能性的统计模式。用于计算评价的法则组能够从该模式中提取，其然后可应用于所分析图像的结果中，以生成一个评价。应该理解，评价的计算并不限于使用统计模式。评价也可以利用超级向量机(SVM)方法计算或可以使用采用更复杂方法如神经网络方法的AI引擎生成。无论采用什么方法，从鉴定、提取和分类的特征在该步骤计算出一个评价。
在2005年6月2日提交的共同未决、共同拥有的序列号为60/686,397美国申请中也更加详细地描述了涉及从医学图像中提取形态学特征并基于所提取和分类的形态学特征提供可疑病变的建议评价的方法和系统，将其全文引入作为参考。
回到图3，MRI子过程306的步骤现在进行详细描述。如图3所示，MRI子过程306以获得MRI图像数据的步骤322开始。MRI图像数据可以通过MRI医学成像装置102提供，或可以从图像归档服务器136检索出。在一个实施方案中，MRI图像数据是在多个MRI扫描中获取的，形成了MRI图像数据的时间序列。从MRI扫描的这些系列，与可疑异常如可疑病变相关的时间信息能够在动力学分析中提取。
一般而言，医学图像通过医学成像装置在特定类型组织之间的差异化而形成。提高组织类型之间的反差(对比度)有助于提供更佳的图像质量。向患者给予反差增强剂可以有选择地影响某些组织类型的成像性能，并增强正常组织和肿瘤组织之间的反差，由此提高成像的病变的反差。钆基反差剂(例如Gd-DTPA)就是一种通常采用的MRI图像的反差增强剂。典型地，良性或恶性病变在给予反差剂后将会展现出不同的时间反差增强行为。以规律的时间间隔如每2min进行的系列MRI扫描，能够在注射反差增强剂之后在患者上进行，以捕获时间反差增强行为。因此MRI扫描系列包含MRI数据的时间序列。一种诊断技术是分析由MRI数据的时间序列构建的反差变化曲线。与模式或诊断方法学相关的各种动力学特征从反差变化曲线提取出来，以供进一步分析。
图5示意性地举例说明了一种这样的时间序列。尽管一般会使用更多的图像，但仅在图5中示意性地示出了该时间序列中的三个图像。第一窗口502图示了前-反差(反差前，pre-contrast)扫描图像504。其显示了在反差增强前成像的病变。该病变显示出可见的结构但没有任何细节也没有其真实程度。第二窗口显示了反差增强的图像508。由于反差增强，该图像更为详细地显示了成像的病变。其也显示出该病变的实际程度，这是由于该病变组织及其周围正常组织之间的反差增强。第三窗口510示意性地显示了时间延迟图像512。该病变由于残存反差增强作用，仍然比前-反差扫描图像504的图像更加可见；然而，其比起反差增强图像508来说却是可见性较差且显示的细节也较少。
在图5中也图示了显示反差变化曲线514的窗口。反差变化曲线514是显示给予反差剂之后的实时反差变化的曲线。该曲线总体显示了反差初始增强，之后反差增强下降，如在时间序列中的MRI图像504、508、512中所见。
认为，通常时间变化特征，即MRI图像数据的动力学，特别是反差变化曲线的特性，能够在癌症诊断中起到有用的辅助作用。相关动力学特征一般是那些整体或局部标准，它们能够从反差变化曲线推导出，并且认为对于或被统计模式是重要的描述符。一种这类动力学特征简单地就是反差变化曲线的形状。类似于图5中所示出的显示可以呈现给用户。CAD应用程序106可以分析反差变化曲线514，并提供所成像的客体即可疑病变的评价，以辅助用户进行诊断。
图6示出可以是反差变化曲线预期的一般行为。反差变化曲线一般由上行段602，转变点604和时间延迟部分606构成。有利的是，图6所示的反差变化曲线被标准化，即仅显示反差的相对增强。标准化的曲线显示了反差增强百分数的增加(或降低)速率。这倾向于降低病人之间的偏差。
由反差增强剂引起的反差初始增强显示为反差的初始迅速增加，或急剧上行段602。曲线越陡，增强就越迅速。该初始增加一般与病变相关的脉管系统中反差剂的增加水平相关。在反差的初始迅速增加之后，增加速率降低，并一般展示出三种不同类型的行为之一，这取决于病变的类型。反差变化曲线上的转变点604标示出这种下降。第一种类型是较慢的但反差增强继续增加。连续增强608一般认为是良性病变的指示。第二类型是持久增强，或平稳状态610。反差在初始迅速增加之后陡然停止增加并在中间和后期的后-反差期间维持反差的大致恒定上升。第三种类型是缓慢降低，示出了下行段612。转变点604对应于峰值增强。反差在初始迅速增加之后，陡然停止增加，并在中间和后期的后-反差期间开始下降，生成了下行段612。平稳状态610或下行段612的存在被认为是肿瘤血管生成和脉管渗透性的指示。一般认为肿瘤的生长和代谢潜能可直接关系到周围血管生成的程度。因此，分析反差变化曲线514可以提供另外的指示以区分良性和恶性病变。
在提取MRI扫描的单个图像数据的步骤322之后，MRI子过程306在步骤322之后分叉为两支。一个分支类似于处理连同图4描述的单个超声图像中的形态特征，其具有以下步骤：处理图像(步骤324)，分析和评价病变(步骤326)和可选地向用户显示结果以用于确认和修正(步骤328)。这些步骤一般与连同超声子过程304描述的相同，在这儿将不会作更详细地描述。
然而，应该注意，由于MRI数据可以包含多个扫描的时间序列，所以处理图像的步骤(步骤324)能够在形态学分析中引入时间信息。为了阐明这一点，要考虑前-反差扫描和后-反差(反差后，post-contrast)扫描。从后-反差扫描中对应的体元值减去前-反差扫描中的体元值，有利于强调在增强的所扫描体积内的区域，即可以对应于可疑病变中的结构的区域。应该理解，除了相减的数学操作也能实施。而且，系列数学或逻辑操作可以应用到(或之间，如果采用逻辑操作)适当的几个包括多个后-反差的扫描，以帮助形态学分析。
MRI子过程306的另一分支包括以下步骤：提取和处理动力学数据(步骤330)，基于所提取的动力学特征分类病变并计算评价(步骤332)，和可选地向用户显示结果以进行确认和修改(步骤334)。这些步骤以下将参照图5～8进行很详细地描述。
MRI图像数据一般对应于一个三维区域或体积，由排列在3-维坐标或网格中的数据点(或“体元”)表示。由MRI扫描表示的3-D体积能够作为3-D处理中的单一体积进行处理。可替换地，这种3-维扫描能够被组织到平面“切片”的堆叠中。用户能够选择而处理系列2-D过程中的切片的堆叠切片。
图7是详细示出用于构建反差变化曲线的MRI子过程306的动力学分支的流程图。这些步骤对应于图3中显示的步骤322和330。第一步骤，步骤702，是从医学成像装置102或从图像归档服务器136获取MRI数据。从在第一初始时间(给予反差增强剂之前)的扫描获取的图像数据，首先被提取(步骤704)。
有利的是，来自MRI子过程306的形态学分支或超声子过程304的形态学分析的结果能够在此重新使用。在形态学分析期间鉴定的相同病变能够被选择用于动力学分析(步骤706)。如果没有进行形态学分析并且没有ROI被鉴定用于MRI扫描，则ROI可通过用户手动或从时间序列进行鉴定。例如，MRI扫描的时间序列能够进行处理，以鉴定时间段中已经标记信号强度增加的体元。时间延迟行为(例如平稳状态或下行)也可进行分析。显示增强的反差和展示预期的时间延迟行为的体元可能在对应于病变的质心内。包围这些体元的ROI可以自动选择。这些体元的群集能够进行分析，以将不同病变相互分开，或对属于相同病变的不同结构组元归组到一起。ROI能够限定为包围可能属于一种病变的所有体元。
接着，在步骤708，形态学操作，包括分割和模式识别，应用于ROI，以描绘包含该病变的质心，并鉴定病变中的结构。同样，由MRI子过程的形态分支生成的结果能够在此重新使用。而且，正如以下所描述的，如果ROI从时间依赖性反差增强的分析被鉴定，则体元的群集已经可以提供良好的分割(segmentation)。接着，在步骤710，在所鉴定的形态特征之间的反差，即病变相对于周围结构的信号强度，被评价。在一个实施方案中，在鉴定的质心中的所有体元的信号强度进行了加和，以提供可疑病变反差值的估计。然而，表示反差增强的其他方式也能够使用。例如，在考虑到边缘增强的模式中，总信号强度可以是位于沿病变边界的体元的总和。当实施另一诊断方法学或模式时，对应于一些其它结构的体元可以求和。换句话说，反差值能够在病变的任何特定子组中对体元求和，这取决于CAD应用程序所执行或支持的诊断方法学或模式。
在评价第一前-反差图像的反差水平之后，该过程随提取时间序列中的下一扫描的MRI数据而继续进行。即，过程回到图像提取步骤，步骤704。在图像提取步骤之后，步骤706～710被重复用于第一后-反差扫描。首先，已经鉴定的相同病变在此重新使用，以提供在ROI鉴定中的起始点。包围这些体元的ROI也可以重新使用。在步骤706的ROI鉴定之后，实施形态学操作，以在步骤708鉴定和描绘包含病变的质心。接着，在步骤710计算在第一后-反差扫描中的病变和其周围组织之间的反差。重复这些步骤用于时间序列中的所有MRI扫描，直至时间序列中的所有MRI扫描都被处理(步骤712)。在最后的步骤714，从系列图像计算的病变反差值对初始反差值进行标准化，并构建出反差变化曲线514。
回到图3，一旦反差变化曲线被构建，就进行反差变化曲线514的定量分析，以从图像的时间序列提取时间，即动力学特征，从而提供该病变的分类(步骤332)。反差变化曲线514的定量分析一般包括动力学曲线的形状分析和分类，即时间延迟部分606是否是连续增强608、平稳状态610、或者下行段612，在转变点604处增强的水平，到达转变点604的时间，即上行段602增加的斜率或初始速率，以及在后-反差期间下降的速率，即存在或没有下行段612及其下降速率。潜在的病变能够基于这些动力学特征进行分类。在一个实施方案中，如果观察到连续增强，则病变就简单地赋值为0，如果观察到平稳状态就赋值为1，而观察到下行段就赋值为2，其中0表示良性病变，2表示恶性病变。更复杂的分类方案能够通过考虑其他特征进行，如上行的斜率、曲线的峰值、或下行的速率而执行。这样的复杂方案一般可以采用统计学模型构建，类似于早期连同超声图像所描述的。
参照图3，作为最后的步骤，来自这些并行子过程每一个的结果提交给综合决策引擎114，以作出综合评价(步骤308)。综合决策引擎114关联鉴定和提取用于来自所有模态的病变的特征。来自所有模态的结果也被组合，以提供病变程度的综合估计，从而分类病变并分级病变，即根据预定的分级方案提供病变的阶段评价。
正如先前描述的，CAD应用程序106是模块化的。尽管图3显示了执行两个模态，即超声形态和MRI形态的流程图，但是其它形态，即其它子过程，也能够很容易地添加到CAD应用程序106中。超声或MRI模态的任意之一也可用其它形态替换或替代。例如，在图3A中，示出了执行MRS模态的可替换实施方式。在图3A中，MRS子过程340代替MRI子过程306，而超声子过程304基本上与参照图3描述的相同，因此将不会在此进一步进行描述。
参照图3A，MRS子过程340以获得MRS数据开始，步骤342。应该理解，MRS数据可以直接从MRS装置102获取，例如，基于来自其它模态的结果执行的程序。可替换地，MRS数据可以从图像归档服务器136进行检索。
一般而言，MRS数据对应于许多MRS测定结果。每一MRS测定结果可以是单一谱图，对应于从单个体元中的化学物质获取的光谱数据。MRS测定结果也可以对应于从多个体元中的化学物质的光谱数据，如从2DCSI或3DCSI检查获得的数据。在2DCSI或3DCSI检查中，每一测定结果对应于来自多个体元的化学物质的光谱，其中的每一个体元可以为，例如1cm3～1.5cm3的体积。测定结果在步骤344从MRS数据提取用于进一步分析。
在下一步，标记化学物质的强度或浓度在光谱分析344中进行鉴定和计算。例如，胆碱的谱图可以从光谱数据中分离或鉴定。胆碱特征频率的峰值被鉴定和测定，然后转化成体元中胆碱浓度的绝对测量值或作为相对于体元中其它化学物质的相对强度或浓度。如果来自多个标记化学物质的生化信息是要求的，则光谱数据能够进一步进行处理，以分离或鉴定来自每一残余标记化学物质的贡献。它们的浓度或相对强度也能够从它们各自的光谱数据计算出来。
在下一步，显示光谱分析346的结果，即对应于每一体元或多个体元的标记化学物质的浓度或相对强度。对于每一测定值，这些结果能够以数字显示。结果也能作为等浓度等高线作图，以更可见地显示标记化学物质的浓度或强度的分布。有利的是，该浓度或强度的分布也能转化成假彩色图并置于MRI图像上。
应该理解，尽管MRS子过程340在此描述成独立于超声子过程304而执行，但有利的是，超声子过程304能够首先执行。来自形态学分析的结果，尤其是分割处理能够有助于鉴定可能表示病变的体元或质心的集合。包围该体积或质心的包膜就能够生成。之后，仅仅需要分析只有对应于含在包膜内的体元的MRS数据。作为另一实例，其可以经常是这样的情形，即来自一种模态，如超声或MRI的图像数据的分析，鉴定一个或多个怀疑癌症的区域，例如基于单独来自这些模态的数据的初始评价。然而，这些结果可能不是结论性的。对于全部解剖区域或与其它模态中相同的区域不执行MRS程序，而是可以对仅仅包围在其它模态中鉴定的可疑病变的较小的一个区域或多个区域执行MRS程序。这有助于改进效率。类似地，来自MRI或MRS分析的初步结果也可以提供用于其它模态中的数据获取和分析的起始点。
一般而言，多模态系统如系统100能够利用来自一个模态的结果，并利用这些结果作为输入以改进效率。由于相同的病变一般能够在多模态中观察到，所以在一种形态中进行的形态学分析的结果经常能够直接用于另一模态中。图3B以流程图的形式图示说明了采用形态学分析的结果作为输入用于MRI动力学分析的可替换过程350。
如将记住的，在形态学分析中，首先ROI被鉴定，然后实施分割过程，以鉴定可能把肿瘤与正常组织分开的边界。在3-维分割过程中，边界是包围可能对应于肿瘤的体积或质心的包膜。作为过程350的第一步，该分割结果首先从例如超声模块(步骤352)获得。接着，包围这些体元或质心的包膜就生成(步骤354)。所有含在包膜内的体元接着进行分析，以提取动力学特征。
获得MRI数据和将它们分成在时间序列内的不同时刻T0、T1、T2、......的单一扫描的步骤类似于参照附图3描述那样，因此此处不再进行描述。为了提取动力学特征，将在不同时刻如T0和T1，或T1和T2扫描的图像进行比较。这能够通过例如首先从在T1获取的图像减去在T0获取的图像而实现。具有正值的体元则表示反差增加的体元，而具有负值的体元表示反差降低的体元。由于已经从形态学分析确定了包膜，所以仅需要处理在包膜内的体元以提取动力学信息。在时间序列中随后的图像或扫描类似地加以处理，以提取动力学信息(步骤356)。将动力学处理限制在包含在该包膜内的那些体元有助于消除在单独运行中鉴定对应于肿瘤的体元的需要，例如通过鉴定展示初始上行然后平稳或下行行为的那些体元。这也可以避免处理包膜外的体元的需要。这样，由此就可以改进多模态系统100的效率和精确度。
图8是示出在综合评分处理过程中的综合决策引擎114之前的步骤的流程图。在步骤802，综合决策引擎114首先关联由所有模态决策引擎提供的所有特征。例如，由每一模态确定的病变形状就能在该步骤进行关联。综合决策引擎114的分类模块218、病变类型模块220和病变程度模块222中的每一个结合来自所有模态的结果，以在步骤804对该病变进行分类，从而在类型确定步骤806确定病变类型，并在程度确定步骤808估计病变的大小。
综合决策引擎114还通过结合来自所有模态的结果给病变打分(步骤810)，即计算诊断评价。由于综合诊断评价是基于不只一种模态的结果生成的，所以在该评价中的置信水平一般会增高。基于法则的过程可以遵循以计算综合评价。例如在每一种模态中一般表示恶性的特征可以赋值一个计分点。通过从所有模态获得的记分点求和，就能够获得总计分。基于最终的总计分就能够给病变分配分级评价。一般而言，基于在一种模态中所观察到的特征通过在另一模态中观察到的特征确认的分级评价，有助于提高该评价中的置信度。
例如，在一个实施方案中，在综合决策引擎114仅基于来自MRI图像数据分析的结果计算综合分级评价时采用以下计分方案：
类似地，对于从多模态获得的图像数据可以构建统计模式，类似于对于单一模态构建的。例如，对于从多模态获得的图像数据库已知的活体组织检查的结果，采用分配给该结果的统计学几率，能够构建法则以将在每一多模态中所见的特征的存在关联于肿瘤的可能分级(阶段)。这组法则能够应用于通过综合决策引擎生成的来自所有模态、病变类型、病变程度和分类的结果，以计算该病变的综合分级评价。同样地，组合计分或评价考虑了更大的输入组，该结果倾向于更可信。作为一般性原则，从更加独立地获得的数据计算的评价倾向于更加统计学可靠。而且，从分析单一模态的图像数据的结果计算的评价，可能受到缺失数据点的强烈影响，例如，当贡献于统计模型基本函数的重要描述符不能计算时。利用来自多模态的结果，来自另一模态的结果可以提供所需的(和缺失的)信息，因此提高了所计算评价中的置信度。
然而，应该理解，尽管多模态的结果有利于改进评价中的可靠性和置信度，但还是存在其中来自一种模态分析的结果可能是足够的情况。如果来自一种形态的结果是清楚指示的，为了改进性能，通过其它模态的分析可以可选地跳过。例如，如果MRI动力学分析发现病变明显是癌性的，则MRI形态学分析或通过其它模态进行的形态学分析可以可选地跳过或延缓，除非用户特别要求形态学分析。同样，如果形态学分析明显表明是癌症结论，则MRI动力学分析可以跳过或延缓。由综合决策引擎提供的结果就会与所讨论的具体模态决策引擎提供的结果相同。
综合引擎的结果提呈给用户用于确认或修正(步骤812)。从具有附加于图像上的所提取特征的每一模态的图像就可以显示给用户。通过CAD应用程序106鉴定的特征就可以进行评注。反差变化曲线514也可以同时显示给用户。鉴定的结果可以以标准报告格式进行预置，遵循由标准如BI-RADS MRI库或任何其他合适的标准构建的格式。图9示出了一种这样的可能显示，其示出了从第一模态获得的第一图像902，从第二模态获得的第二图像904，以及包含综合结果的报告906，其中提取的特征和综合评价预置。
用户例如内科医师或放射学家，可以确认由CAD应用程序106计算得到的结果，或者可以修正自动检测和评价的任何结果。注释模块(未示出)可以提供用于接收用户的输入。用户可以通过用户界面修正或注释所显示的结果。例如，用户可以重新分类病变，可以取代对CAD应用程序106生成的分类，或者用户可以修正由CAD应用程序计算的分级评价。用户也可以重新分类从CAD应用程序106提取的形态学或动力学特征。这样，CAD应用程序106就会按需重新计算，而生成修正的综合决策与评价。
一旦该结果经过用户确认，就能够生成报告(步骤814)。除了该结果是综合决策与评价之外，生成的报告类似于对每个单个模态生成的报告。一般而言，该报告内容缺省地基于所处理的图像中可以利用的数据。换句话说，在类似于图9所示结果中可以利用的数据在报告中也反映出来。报告包括检测和分类的MRI，超声图像或CT特征，视情况而定，还有所计算和确认的评价，以及任何注释、评论和用户的修正。原始医学图像和处理过的副本也被包括在内。最后，该报告包含图像的结论和放射学家的评价(优选以符合有关ACR-BIRADS分类形式的格式)。
报告可以包括用于追踪和审核目的的鉴定和审核信息。鉴定和审核信息可以包括独特的报告标识、序列号、日期或时间签印，即研究或报告的时间和日期，患者身份证号、研究鉴定号、用户ID、独特的报告标识，用户对所检测的特征进行的添加或修正等。方便地，可以提供密钥模块，以方便放射学家对报告进行数字签名。对于每一归档的案例都能够包括和记录数字签名，以提供报告改进的审核能力并防止对该报告的意外修正。
优选地，报告作为DICOM二次捕获(Secondary Capture)归档。注释、评论、图像处理结果如病变边界和诊断结果，都是作为DICOM-兼容文件的部分进行归档。用户也能例如在患者示例目录中就地存储该报告的PDF版。这有利于方便将来参考。如果对于那些组合描述的个案已经存在于患者档案中，则就生成新的案例。
CAD应用程序106并不限于分析在单个成像期间或临床检查中拍摄的图像数据。经常，有必要对患者几个月间隔地成像。在癌症的手术或治疗之后，这作为定期检查的部分，或作为追踪性的临床检查的部分，可能是必要的。在不同诊断检查期间拍摄的来自相同模态的图像可能需要进行分析和互相比较。例如，或许有必要确定所检测的良性病变是否变成恶性的。可替换地，或许有必要确定恶性病变在治疗之后是否已经变小或停止生长。
图10示出了对在不同时间获取的来自同一模态的图像进行处理的过程。这是从图3中所示过程修正的过程。图10也示出三个并行子过程，即，患者数据检索子过程302，第一形态学子过程1004，和第二形态学子过程1006。这些子过程也同样显示为并行过程。在该修正的过程中，除了具有一个例外之外，第一和第二形态学子过程1004、1006基本上是相同的。在子过程1004的开始，检索第一次访问(检查)的图像数据(步骤1014)。在子过程1006的开始，检索第二次访问的图像数据(步骤1020)。图像数据的处理(步骤1016)和病变分类与评价(步骤1018)对于两个子过程1004、1006是相同的，并且基本上与有关超声子过程304描述的也相同。因此子过程1004、1006在此也不进行详细描述。
在最后的步骤1008，综合决策引擎114结合从第一次访问的图像数据，计算第二次访问的图像数据中病变的综合评价。由于图像数据是在不同的时间获得的，所以相同的病变，即使在两个图像数据中都是可见的，也易于处于不同的分级阶段，并且将会需要匹配在两次访问期间获取的图像中所见的图像模式。综合决策引擎114，在关联该病变时，将需要考虑时间差。在第一次访问的图像数据中所见的病变形成的时间投影或许是必要的。一旦关联了两个图像数据组中病变的特征，综合评价就能按照以前进行评估。然而，应该理解，可能需要不同模式或不同标准组用于关联在不同时间的图像的病变中鉴定的特征。对于每个单一图像数据组的结果也能提交给用户，例如在并行比较中的放射学家。并行比较能够包括诸如病变类型和程度以及其分类的结果。这种比较可以帮助内科医师评价病变的形成或治疗的效果。
现在已经详细描述了本发明各种具体实施方式。本领域技术人员应该理解，在不背离本发明范围的情况下，可以对这些具体实施方式做出许多修改、调整和变化。由于可以对上述最佳模式做出变化和/或添加而不偏离本发明的本质、精神或范围，所以本发明并不限于这些细节，而仅仅由附加的权利要求所限定。