超声波诊断装置、图像处理装置及方法、图像显示方法 【相关申请的交叉引用】
本申请享有2009年1月20日提交的在先日本专利申请No.2009-10245的优先权，该日本专利申请的全部内容通过引用结合在本申请中。
【技术领域】
本发明涉及超声波诊断装置、超声波图像处理装置、图像处理方法以及图像显示方法。
背景技术
以往，根据体数据(volume data)并通过绘制(rendering)处理来生成反映三维信息的二维图像。例如，在通过使超声波三维扫描生成三维超声波图像的超声波诊断装置(例如，参照日本特开2000-132664号公报)中，医师进行图像诊断时，通过绘制处理根据三维超声波图像生成二维超声波图像，并将生成的二维超声波图像显示在监视器上。
在此，作为有代表性的绘制处理方法，举出光线跟踪(ray tracing)法和体绘制(volume rendering)法。
光线跟踪法，是在体数据的各体素(voxel)中确定与构造物的表面相对应的部分，算出被确定为构造物的表面的部分的角度。并且，通过合计从设定在视点上的虚拟光源发射出的光一边在各体素中所确定的构造物的表面上反射一边到达投影面的反射光的亮度值，生成反映三维信息的投影面的二维图像。在光线跟踪法中，由于执行由构造物的表面产生的光的反射的人工模拟(simulation)，因此能够自然地表现构造物的阴影。
另外，体绘制法在考虑到来自视点的光线通过各体素时的衰减以及阴影的状况而算出基于各体素值的不透明度与阴影值(shading
value)后，从视点在投影方向上连续进行不透明度与阴影值的乘法运算，从而生成反映三维信息的投影面的二维图像。在体绘制法中，对象物的立体构造通过亮度或颜色的变化直观地表现出来。
在此，若将为了跟踪来自光源的光而花费处理时间的光线跟踪法与体绘制法进行比较，则体绘制法的处理步骤简单。因此，一般而言，在生成三维超声波图像的超声波诊断装置中，为了确保显示二维超声波图像时的实时性，使用体绘制法作为绘制处理。
例如，通过超声波诊断装置观察心脏瓣膜时，在体绘制法中，通过使用暗色显示心脏瓣膜的轮廓，能够直观地识别心脏瓣膜的构造。另外，进行体绘制法时，通过限定关心区域或执行阈值处理，能够除去无用的信号，更加直观地识别心脏瓣膜的构造。
具体来说，在需要观察心脏瓣膜时，在心脏瓣膜与视点之间存在成为遮蔽物的构造物(例如，心壁等)时，如果调整进行体绘制法的关心区域来除去遮蔽物，则遮蔽物不遮挡视野，医师就可以观察心脏瓣膜。并且，在体绘制法中，成为噪音的低信号造成心脏瓣膜的识别度下降时，通过使用阈值处理除去噪音，能够提高医师对心脏瓣膜的识别度。
这样，在进行体绘制法时，通过使关心区域或阈值处理最优化，使遮蔽物或者噪音不遮挡视野，医师就能够观察心脏瓣膜。例如，在心脏瓣膜张开的状态下，能够看见闭合的心脏瓣膜所遮蔽的心脏瓣膜后方的构造物。但是，在使用体绘制法生成的二维超声波图像中，由于心脏瓣膜和心脏瓣膜后方的构造物使用相似的颜色来表现，因此在诊断被检体的心脏中是否发生心脏瓣膜闭锁不全时，还需要调整关心区域。具体来说，如果将关心区域的端部调整为使其成为位于心脏瓣膜前后的心腔部分的话，在心脏瓣膜的前后则不存在遮挡视野的构造物，因此在心脏瓣膜张开的状态下成为能够看见背景色的状态，通过判断背景色是否可见，能够识别心脏瓣膜地开闭。
这样，通过调整进行体绘制法的关心区域，医师能够使用根据三维超声波图像并通过体绘制法生成的二维超声波图像，来确认心脏瓣膜的开闭状况。
但是，上述以往技术存在有时很难确认心脏瓣膜的开闭状况的问题。即，即使将关心区域的端部调整为使其成为位于心脏瓣膜前后的心腔部分，在心脏瓣膜的闭锁不全小的情况下，心脏瓣膜的轮廓部分将与背景色同样地使用暗色予以显示。因此，在为了确保实时性而使用的体绘制法中，难以判别在心脏瓣膜的构造物之间识别出的背景色是来自心腔部分，还是来自心脏瓣膜的轮廓部分。
因此，本发明是为了解决上述以往技术的问题而完成的，其目的在于提供一种能够提高超声波图像中的心脏瓣膜的开闭状况的识别度的超声波诊断装置、超声波图像处理装置、图像处理方法以及图像显示方法。
【发明内容】
根据本发明的一个方面，提供一种超声波诊断装置，包括：图像处理部，在与投影方向一起从规定的输入部接收到第1关心区域和第2关心区域的情况下，通过将上述第1关心区域中的超声波图像向沿着上述投影方向的投影面进行体绘制处理，生成第1图像，并且根据上述第2关心区域中的超声波图像生成能够识别规定的对象物的活动的第2图像，其中，上述第1关心区域是在规定的显示部上显示根据从超声波探头对被检体发送的超声波的反射波而生成的超声波图像时的关心区域，上述第2关心区域是与上述第1关心区域重复并用于观察该超声波图像中所包含的上述规定的对象物的关心区域；以及显示控制部，进行控制以便在上述规定的显示部上重叠显示由上述图像处理部生成的上述第1图像以及上述第2图像。
根据本发明的另一个方面，提供一种超声波图像处理装置，包括：图像处理部，在与投影方向一起从规定的输入部接收到第1关心区域和第2关心区域的情况下，通过将上述第1关心区域中的超声波图像向沿着上述投影方向的投影面进行体绘制处理，生成第1图像，并且根据上述第2关心区域中的超声波图像生成能够识别规定的对象物的活动的第2图像，其中，上述第1关心区域是在规定的显示部上显示根据从超声波探头对被检体发送的超声波的反射波而生成的超声波图像时的关心区域，上述第2关心区域是与上述第1关心区域重复并用于观察该超声波图像中所包含的上述规定的对象物的关心区域；以及显示控制部，进行控制以便在上述规定的显示部上重叠显示由上述图像处理部生成的上述第1图像以及上述第2图像。
根据本发明的另一个方面，提供一种超声波图像处理装置，包括：图像处理部，通过将基于超声波图像的第1关心区域中的图像向沿着投影方向的投影面进行体绘制处理，来生成第1图像，并且根据作为用于观察上述超声波图像中所包含的规定的对象物的关心区域的第2关心区域中的图像，来生成能够识别上述规定的对象物的活动的第2图像。
根据本发明的另一个方面，提供一种图像处理方法，包括：图像生成步骤，在与投影方向一起从规定的输入部接收到第1关心区域和第2关心区域的情况下，通过将上述第1关心区域中的超声波图像向沿着上述投影方向的投影面进行体绘制处理，生成第1图像，并且根据上述第2关心区域中的超声波图像生成能够识别规定的对象物的活动的第2图像，其中，上述第1关心区域是在规定的显示部上显示根据从超声波探头发送的超声波的反射波而生成的被检体的超声波图像时的关心区域，上述第2关心区域是与上述第1关心区域重复并用于观察该超声波图像中所包含的上述规定的对象物的关心区域；以及显示控制步骤，进行控制以便在上述规定的显示部上重叠显示上述图像生成步骤生成的上述第1图像以及上述第2图像。
根据本发明的另一个方面，提供一种图像显示方法，重叠显示第1图像与第2图像，上述第1图像是通过将基于超声波图像的第1关心区域中的图像向沿着投影方向的投影面进行体绘制处理而生成的，上述第2图像是根据作为用于观察上述超声波图像所包含的规定的对象物的关心区域的第2关心区域中的图像而生成的，并且能够识别上述规定的对象物的活动。
根据本发明的另一个方面，提供一种图像显示方法，包括：显示控制步骤，在与投影方向一起从规定的输入部接收到第1关心区域和第2关心区域的情况下，进行控制以便在规定的显示部上重叠显示第1图像以及第2图像，其中，上述第1关心区域是在规定的显示部上显示根据从超声波探头发送的超声波的反射波而生成的被检体的超声波图像时的关心区域，上述第2关心区域是与上述第1关心区域重复并用于观察该超声波图像中所包含的上述规定的对象物的关心区域，并且，通过将上述第1关心区域中的超声波图像向沿着上述投影方向的投影面进行体绘制处理，来生成上述第1图像，并且根据上述第2关心区域中的超声波图像生成能够识别规定的对象物的活动的上述第2图像。
【附图说明】
图1为用于说明实施例1的超声波诊断装置的结构的图。
图2为用于说明实施例1的绘制处理部的结构的图。
图3A以及图3B为用于说明实施例1的显示用ROI以及瓣膜观察用ROI的图。
图4A以及图4B为用于说明实施例1的第2图像以及合成图像的图。
图5为用于说明实施例1的超声波诊断装置的处理的流程图。
图6为用于说明实施例2的绘制处理部的结构的图。
图7A以及图7B为用于说明实施例2的显示用ROI以及瓣膜观察用ROI的图。
图8为用于说明实施例2的合成图像的图。
图9为用于说明实施例3的超声波诊断装置的结构的图。
图10为用于说明实施例3的生成第2图像的时相的图。
图11为用于说明实施例3的超声波诊断装置的处理的流程图。
【具体实施方式】
以下，参照附图详细说明本发明的超声波诊断装置、超声波图像处理装置、图像处理方法以及图像显示方法的优选实施例。
首先，针对实施例1的超声波诊断装置的结构进行说明。图1为用于说明实施例1的超声波诊断装置的结构的图。如图1所示，实施例1的超声波诊断装置具备超声波探头1、输入装置2、监视器3、装置主体10。
超声波探头1内置有集成了多个振子元件的多个超声波振子。各超声波振子产生超声波，将产生的超声波作为超声波束发送到被检体内，并且接收来自被检体的内部组织的反射波信号。
另外，在本实施例中，说明通过将超声波振子被配置成矩阵(matrix)(方格)状的二维超声波探头作为超声波探头1使用，对被检体内进行三维扫描的情况。但是，本发明即使是在通过将超声波振子被配置成1列的一维超声波探头作为超声波探头1并使配置成1列的超声波振子摇动，对被检体内进行三维扫描的情况下也能够适用。
监视器3是具有用于显示在装置主体10中生成的超声波图像等、或显示用于从作为超声波诊断装置的操作者的医师或技师等处接受指令(command)的GUI(Graphical User Interface，图形用户界面)等的监视器的显示装置。
输入装置2是具备面板开关(panel switch)、触摸指令屏幕(touchcommand screen)、脚踏开关(foot switch)、轨迹球(trackball)等，接受来自超声波诊断装置的操作者的各种设定要求、对装置主体10输入所接受的各种设定要求的装置。
装置主体10是根据超声波探头1接收的反射波生成超声波图像的装置，如图1所示，具有发送接收部11、图像处理部12、图像合成部13、图像存储器14、系统控制部15。
发送接收部11与超声波探头1连接，在后述的系统控制部15的控制下，在每个规定的延迟时间产生高电压脉冲。发送接收部11产生的高电压脉冲依次向内置在超声波探头1内的超声波振子施加，从而在各超声波振子内产生超声波。
另外，发送接收部11对超声波探头1接收的反射波的信号进行增益校正处理、A/D(analog-digital，模拟-数字)变换处理以及整相相加(phase addition)处理，生成反射波数据。具体来说，发送接收部11生成三维扫描被检体后的三维反射波数据。
图像处理部12是在后述的系统控制部15的控制下，根据发送接收部11生成的三维反射波数据执行各种图像处理而生成各种图像数据的处理部，具有图像生成部121、剖面图像处理部122、绘制处理部123。
图像生成部121根据发送接收部11生成的三维反射波数据生成三维超声波图像。
剖面图像处理部122根据图像生成部121生成的三维超声波图像生成与规定的剖面方向对应的MPR(Multi Planer Reconstruction，多平面重建)图像。
绘制处理部123根据图像生成部121生成的三维超声波图像并通过绘制处理生成反映三维信息的规定的投影面上的二维图像(以下，称为绘制图像)。另外，后文将对绘制处理部123进行详述。
图像合成部13在后述的系统控制部15的控制下，生成合成了图像处理部12生成的各种图像数据的合成图像数据。
图像存储器14，存储由图像处理部12生成的图像数据和由图像合成部13生成的合成图像数据。
系统控制部15根据从输入装置2输入的各种设定要求控制上述发送接收部11、图像处理部12以及图像合成部13的处理。
另外，作为操作者经由输入装置2输入的各种设定要求，可以列举出例如在发送接收部11中产生的高电压脉冲的设定要求、在剖面图像处理部122中生成MPR图像时的剖面方向的设定要求、用于决定在绘制处理部123中生成绘制图像时的投影面的投影方向的设定要求、作为在图像合成部13中生成合成图像数据时的合成对象的图像数据的设定要求等。另外，系统控制部15根据操作者经由输入装置2输入的显示要求等将图像存储器14所存储的图像数据以及合成图像数据显示在监视器3上。
在此处，实施例1的超声波诊断装置的主要特征在于：在监视器3上显示根据三维扫描被检体的心脏所得到的三维反射波数据而生成的图像数据时，通过执行以下说明的绘制处理部123的处理，能够提高超声波图像中的心脏瓣膜的开闭状况的识别度。以下，针对该主要特征，使用图2至图4进行说明。另外，图2为用于说明实施例1的绘制处理部的结构的图，图3A以及图3B为用于说明实施例1的显示用ROI以及瓣膜观察用ROI的图，图4A以及图4B为用于说明实施例1的第2图像以及合成图像的图。
如图2所示，实施例1的绘制处理部123具有体绘制处理部123a以及光线跟踪处理部123b。
体绘制处理部123a根据图像生成部121生成的三维超声波图像通过体绘制处理生成绘制图像，光线跟踪处理部123b根据图像生成部121生成的三维超声波图像，通过光线跟踪处理生成绘制图像。
在此处，如果操作者经由输入装置2输入剖面方向的设定要求以及MPR图像显示要求，则通过系统控制部15的控制，剖面图像处理部122生成被设定的剖面方向上的MPR图像，监视器3显示由剖面图像处理部122生成的MPR图像。
然后，操作者参照监视器3上显示的MPR图像，将作为在监视器3上显示描画出被检体的心脏的三维超声波图像的绘制图像时的关心区域(ROI：Region of Interest)的显示用ROI(参照图3A的虚线框)，以及与显示用ROI重复而且作为用于观察被检体心脏的心脏瓣膜的ROI的观察用ROI(参照图3A的实线框)，与用于规定投影面的投影方向一起经由输入装置2输入。
在此，系统控制部15将由参照了MPR图像的操作者设定的“二维显示用ROI以及瓣膜观察用ROI”变换为三维超声波图像中的“三维显示用ROI以及瓣膜观察用ROI”。例如，如图3A所示，系统控制部15将由通过在设定二维显示用ROI时输入的虚线并且在投影方向上直行的两个平行剖面夹着的三维超声波图像的区域，变换为三维显示用ROI。
另外，如图3B所示，系统控制部15将通过把投影方向作为旋转轴而旋转在设定二维瓣膜观察用ROI时输入的长方形所得到的圆柱上的三维超声波图像的区域，变换为三维瓣膜观察用ROI。在此，如图3B所示，在三维瓣膜观察用ROI中，设定位于与投影方向相反侧的虚拟的面光源。另外，后文将详述虚拟的面光源。
另外，瓣膜观察用ROI被设定为使心脏瓣膜位于虚拟的面光源与投影面之间。另外，为了减轻光线跟踪处理的负担，优选将瓣膜观察用ROI设定为比显示用ROI窄的区域。
另外，从在MPR图像中输入设定的二维ROI变换的三维ROI区域可以由操作者任意设定为球面、平面、或者由球面和平面包围的区域等。
返回到图2，体绘制处理部123a在系统控制部15的控制下，通过将三维显示用ROI中的三维超声波图像向投影方向上的投影面进行体绘制处理而生成第1图像。具体来说，体绘制处理部123a为了描绘出从根据投影方向设定的视点朝向投影面的光线在通过三维超声波图像的各体素时的衰减以及阴影状况，而算出基于各体素值的不透明度与阴影值。并且，体绘制处理部123a通过从视点朝向投影面沿着投影方向连续进行算出的不透明度与阴影值的乘法运算，从而生成三维显示用ROI中的体绘制图像作为第1图像。
光线跟踪处理部123b在系统控制部15的控制下，根据三维瓣膜观察用ROI中的三维超声波图像生成能够识别心脏瓣膜的活动(开闭状况)的第2图像。即，光线跟踪处理部123b在系统控制部15的控制下，通过利用虚拟的面光源将三维瓣膜观察用ROI中的三维超声波图像向投影面进行光线跟踪处理从而生成第2图像。具体来说，光线跟踪处理部123b在三维超声波图像的各体素中确定与构造物(心壁、瓣膜等)的表面相对应的部分，算出被确定为构造物的表面的部分的角度。然后，光线跟踪处理部123b通过合计虚拟的面光源发射出的光一边在各体素中所确定的构造物的表面上反射一边到达投影面的反射光的亮度值，生成三维瓣膜观察用ROI中的光线跟踪图像作为第2图像。
即，在光线跟踪处理中，如图4A所示，由于来自面光源的光线被心脏瓣膜的表面反射，因此即使在例如因瓣膜闭锁不全而使心脏瓣膜微微张开的状态下，心脏瓣膜的张开也可以在视点上作为光的泄漏被检测出来。
图像合成部13生成合成图像，该合成图像合成了由体绘制处理部123a生成的第1图像与由光线跟踪处理部123b生成的第2图像。由此，在合成图像中，例如，如图4B所示，即使在第1图像中心脏瓣膜的开闭状况不明确的情况下，利用来源于第2图像的、从心脏瓣膜的缝隙中漏出的反射光也可以描绘出因瓣膜闭锁不全而微微张开的心脏瓣膜的状态。
系统控制部15进行控制而将图像合成部13生成的合成图像存储到图像存储器14中，并且进行控制而在监视器3上显示。
接下来，使用图5，针对实施例1的超声波诊断装置的处理进行说明。图5为用于说明实施例1的超声波诊断装置的处理的流程图。在图5中，说明对于通过对被检体进行超声波三维扫描而沿着时间序列生成的三维超声波图像(体数据)实时地执行上述的“第1图像、第2图像以及合成图像”的生成处理的情况。
如图5所示，实施例1的超声波诊断装置开始扫描，在三维超声波图像的MPR图像中将显示用ROI和瓣膜观察用ROI与投影方向一起由操作者经由输入装置2设定时(步骤S501的“是”)，系统控制部15将“二维显示用ROI以及瓣膜观察用ROI”变换为“三维显示用ROI以及瓣膜观察用ROI”，在此基础上判断是否生成了新的体数据(步骤S502)。
在此处，在没有生成新的体数据的情况下(步骤S502的“否”)，系统控制部15待机直到生成新的体数据为止。另一方面，在生成了新的体数据时(步骤S502的“是”)，系统控制部15使绘制处理部123以及图像合成部13的处理开始。
即，体绘制处理部123a在系统控制部15的控制下，在(三维)显示用ROI中，通过体绘制处理生成第1图像(步骤S503)。
然后，光线跟踪处理部123b在系统控制部15的控制下，在(三维)瓣膜观察用ROI中，通过光线跟踪处理生成第2图像(步骤S504)。
此后，图像合成部13合成第1图像以及第2图像从而生成合成图像(步骤S505)，系统控制部15进行控制以使监视器3显示图像合成部13生成的合成图像(步骤S506)。
然后，系统控制部15判断是否经由输入装置2从操作者接受了扫描结束要求(步骤S507)，没有接受到扫描结束要求的情况下(步骤S507的“否”)，返回到步骤S502，待机直到生成新的体数据为止。
另一方面，系统控制部15在接受了扫描结束要求的情况下(步骤S507的“是”)，结束处理。
如上所述，在实施例1中，在显示用ROI以及瓣膜观察用ROI与投影方向一起被输入的情况下，体绘制处理部123a在系统控制部15的控制下，在显示用ROI中，通过体绘制处理生成第1图像，光线跟踪处理部123b在系统控制部15的控制下，在瓣膜观察用ROI中，通过光线跟踪处理生成第2图像。然后，图像合成部13合成第1图像以及第2图像从而生成合成图像，系统控制部15进行控制而使监视器3显示图像合成部13生成的合成图像。
因此，在合成图像中，利用第1图像描绘出心脏瓣膜的构造，利用作为从视点方向来看在心脏瓣膜的后方设定了面光源的光线跟踪图像的第2图像，将心脏瓣膜没有关闭的状态清楚地描绘为反射光泄漏而可见的状态，因此，按照上述主要特征，能够提高超声波图像中的心脏瓣膜的开闭状况的识别度。另外，由于限定为瓣膜观察用ROI来执行光线跟踪处理，因此能够抑制由于光线跟踪处理引起的实时性的下降，迅速生成并显示图像诊断用的合成图像。
另外，作为并用本实施例的体绘制处理以及光线跟踪处理而生成并显示合成图像的对象物，除心脏瓣膜之外，还能够适用于各种各样的对象物。另外，本实施例在显示用ROI与瓣膜观察用ROI相同的情况下也可以适用。并且，本实施例在光线跟踪处理的光源为面光源以外的光源(例如，点光源、线光源、多面体光源等)时也可以适用。
在实施例2中，针对使用与实施例1不同的方法根据三维瓣膜观察用ROI中的三维超声波图像生成能够识别心脏瓣膜的活动(开闭状况)的第2图像的情况，使用图6至图8进行说明。在此，图6为用于说明实施例2的绘制处理部的结构的图，图7A以及图7B为用于说明实施例2的显示用ROI以及瓣膜观察用ROI的图，图8为用于说明实施例2的合成图像的图。
如图6所示，实施例2的绘制处理部123与实施例1不同，代替光线跟踪处理部123b而具有第2体绘制处理部123c。即，在实施例2中，通过第2体绘制处理部123c的处理，根据三维瓣膜观察用ROI中的三维超声波图像生成能够识别心脏瓣膜的活动(开闭状况)的第2图像。
首先，如图7A所示，在实施例2中，与实施例1同样地，在监视器3上显示根据三维超声波图像生成的MPR图像，由参照了MPR图像的操作者将“二维显示用ROI以及瓣膜观察用ROI”与投影方向一起设定。然后，系统控制部15将“二维显示用ROI以及瓣膜观察用ROI”变换为“三维显示用ROI以及瓣膜观察用ROI”。
瓣膜观察用ROI被设定为使心脏瓣膜位于投影面与投影面的相反侧的面之间。并且，在从投影面的视点观察心脏瓣膜在闭锁时重合的区域的情况下，优选将瓣膜观察用ROI设定为尽量不包含遮蔽物(例如，心壁等)。而且，本实施例即使在显示用ROI与瓣膜观察用ROI相同的情况下也可以适用。
体绘制处理部123a与实施例1同样，通过对三维显示用ROI中的三维超声波图像进行体绘制处理来生成第1图像。
第2体绘制处理部123c通过对三维瓣膜观察用ROI中的三维超声波图像进行体绘制处理来生成第2图像。在此，如图7B所示，第2体绘制处理部123c使描绘与投影面相反侧的面的色调成为与描绘第1图像时的色调(例如，灰度：grayscale)不同的色调(例如，红色)，在此基础上生成第2图像。由此，在第2图像中，作为红色的背景色可以描绘出心脏瓣膜没有关闭的部分。另外，背景色可以由操作者任意设定。
图像合成部13合成体绘制处理部123a生成的第1图像与第2体绘制处理部123c生成的第2图像，生成合成图像。由此，在合成图像中，例如，如图8所示，即使仅在第1图像中心脏瓣膜的开闭状况不明确的情况下，也可以利用来自第2图像的红色的背景色清晰地描绘出由于瓣膜闭锁不全的原因而微微张开的心脏瓣膜的状态。
系统控制部15进行控制以使图像合成部13生成的合成图像存储到图像存储器14中，并且进行控制使监视器3予以显示。
另外，对于实施例2的超声波诊断装置的处理步骤，由于在使用图5说明的实施例1的超声波诊断装置的处理步骤中，除了步骤S504中的第2图像的生成处理是通过改变三维瓣膜观察用ROI中的与投影面相反侧的面的色调而进行的体绘制处理之外，均与实施例1相同，因此省略说明。
如上所述，在实施例2中，在对位于瓣膜观察用ROI中的三维超声波图像执行体绘制处理时，由于使描绘瓣膜观察用ROI的与投影面相反侧的面的色调不同，因此在第2图像中，心脏瓣膜没有关闭的部分作为背景色被明确地描绘出，从而能够提高超声波图像中的心脏瓣膜的开闭状况的识别度。另外，由于没有进行光线跟踪处理，因此，实施例2与实施例1相比，可以避免实时性下降的问题，可以更加迅速地生成并显示图像诊断用的合成图像。
在实施例3中，针对只在特定时相生成第2图像的情况，使用图9以及图10进行说明。在此，图9为用于说明实施例3的超声波诊断装置的结构的图，图10为用于说明实施例3的生成第2图像的时相的图。
如图9所示，实施例3的超声波诊断装置具有与实施例1相同的结构，但是与实施例1的不同点是具备载置在被检体上、测定被检体的心电波形的心电图仪4。以下，以此为中心进行说明。
在此，心脏僧帽瓣闭锁的时相相当于心脏的收缩期。因此，在诊断心脏僧帽瓣中的闭锁不全的情况下，对医师而言，在沿着时间序列观察心脏的全部时相的同时只观察收缩期的状态是很重要的。
因此，实施例3的系统控制部15解析心电图仪4测定的心电波形，如图10所示，只在相当于收缩期的期间，控制光线跟踪处理部123b以便在瓣膜观察用ROI中根据三维超声波图像并通过光线跟踪处理生成第2图像。
接着，使用图11，针对实施例3的超声波诊断装置的处理进行说明。图11为用于说明实施例3的超声波诊断装置的处理的流程图。
如图11所示，实施例3的超声波诊断装置开始扫描，在三维超声波图像的MPR图像中将显示用ROI和瓣膜观察用ROI与投影方向一起由操作者经由输入装置2进行了设定时(步骤S1101的“是”)，系统控制部15将“二维显示用ROI以及瓣膜观察用ROI”变换为“三维显示用ROI以及瓣膜观察用ROI”，在此基础上判断是否生成了新的体数据(步骤S1102)。
在此，在没有生成新的体数据的情况下(步骤S1102的“否”)，系统控制部15待机直到生成新的体数据为止。而在生成了新的体数据的情况下(步骤S1102的“是”)，系统控制部15开始绘制处理部123以及图像合成部13的处理。
即，体绘制处理部123a在系统控制部15的控制下，在(三维)显示用ROI中，通过体绘制处理，生成第1图像(步骤S1103)。
在此，系统控制部15判断心电图仪4测定的当前的心电波形是否是收缩期的相位(步骤S1104)。
在当前的心电波形不是收缩期的相位时(步骤S1104的“否”)，系统控制部15进行控制使得只显示第1图像(步骤S1108)。
另一方面，在当前的心电波形是收缩期的相位时(步骤S1104的“是”)，光线跟踪处理部123b在系统控制部15的控制下，在(三维)瓣膜观察用ROI中，通过光线跟踪处理生成第2图像(步骤S1105)。
此后，图像合成部13合成第1图像以及第2图像从而生成合成图像(步骤S1106)，系统控制部15进行控制使得在监视器3上显示图像合成部13生成的合成图像(步骤S1107)。
然后，在执行了步骤S1107或者步骤S1108的处理后，系统控制部15判断是否经由输入装置2从操作者接受了扫描结束要求(步骤S1109)，没有接受扫描结束要求时(步骤S1109的“否”)，返回到步骤S1102，待机直到生成新的体数据为止。
另一方面，系统控制部15在接受了扫描结束要求时(步骤S1109的“是”)，结束处理。
另外，在本实施例中，针对只显示第1图像的情况与显示合成图像的情况相混合的情况进行了说明，但是本发明并不仅限于此，即便是只显示合成图像的情况也可以。即，在步骤S1102的判断为肯定时，立刻进行相位的判断处理，只在相位为收缩期时，生成第1图像、第2图像、合成图像，只显示合成图像的情况也可以。
另外，在本实施例中，针对通过光线跟踪处理生成第2图像的情况进行了说明，但是本发明并不仅限于此，如在实施例2中所说明的那样，也可以是在改变背景色的色调的基础上通过体绘制处理生成第2图像的情况。
另外，在本实施例中，针对仅在特定相位生成第2图像而显示合成图像的情况进行了说明，但也可以是无论是否是特定相位均生成第2图像、只在特定相位显示合成图像的情况。
另外，在本实施例中，针对诊断心脏僧帽瓣的开闭状况的情况进行了说明，但是，本发明并不仅限于此，也可以是诊断大动脉瓣膜的开闭状况的情况，此时，在心脏的扩张期生成第2图像。
如上所述，在实施例3中，在心脏瓣膜张开的时相只显示通常的体绘制图像(第1图像)，在心脏瓣膜关闭的时相显示合成图像，其结果，利用光线跟踪图像(第2图像)，只在因发生闭锁不全而使心脏瓣膜没有关闭时，描绘出反射光的泄漏，因此能进一步提高超声波图像中的心脏瓣膜的开闭状况的识别度。另外，由于光线跟踪处理只限定于特定的相位，因此与实施例1相比，可以更加抑制实时性的下降，更加迅速地生成并显示图像诊断用的合成图像。
另外，在使用实施例2中说明的方法生成特定相位的第2图像的情况下，在心脏瓣膜张开的时相也只显示通常的体绘制图像(第1图像)，因此如果心脏瓣膜正常张开的话则不改变背景色，并且，在心脏瓣膜关闭的相位显示合成图像，其结果，利用第2图像，只在因发生闭锁不全而使心脏瓣膜没有关闭时，可以看见不同的背景色，因此能够进一步提高超声波图像中的心脏瓣膜的开闭状况的识别度。
另外，在上述实施例1至3中，针对在超声波诊断装中生成第1图像、第2图像以及合成图像并显示所生成的合成图像的情况进行了说明。但是本发明并不仅限于此，也可以是使用超声波诊断装置生成的三维超声波图像，图像处理装置生成第1图像、第2图像以及合成图像并且显示合成图像的情况。