图像处理装置、 图像处理方法、存储介质及程序 【技术领域】
本发明涉及图像处理装置及方法，特别是涉及改变图像数据地动态范围的图像处理装置及方法，以及对包含边缘结构等的图像实施清晰化等频率增强或抑制处理的图像处理装置及方法。
背景技术
例如，因为X线胸部图像是由X线容易透过的肺部的图像区域及X线非常难于透过的纵隔部分的图像区域构成的，像素值的存在范围非常宽。因此，过去一直认为得到可以对肺部和纵隔部分两者同时观察的X线胸部图像是困难的。
于是，作为避免这一问题的方法，在SPIE Vol.626 MedicineXIV/PACS IV(1986)中提出了一种方法。该方法是，如设处理后的图像的像素值为SD、原始图像(输入图像)的像素值(输入像素值)为Sorg、原始图像的低频图像的像素值为SUS，利用常数A、B、C(例如A＝3、B＝0.7)，可表示为下式(1)：
SD＝A[Sorg-SUS]+B[SUS]+C……………(1)
此方法可以改变高频分量(第一项)、低频分量(第二项)的加权，例如A＝3、B＝0.7时是增强高频分量，并且可以得到压缩整个动态范围的效果。该方法，由5位放射线医生得到与未处理的图像比较对诊断有效的评价。
在(1)式中，如提高A的比率，则高频分量的比率上升，可得到清晰化的效果，而改变B的比率，则低频分量的比率改变，图像SD的动态范围改变。
另外，在日本专利第2509503号公报中叙述了如下的方法，即如设处理后的像素值为SD，原始图像(输入图像)的像素值(输入像素值)为Sorg、原始图像的多个Y方向曲线的平均曲线为Py，多个X方向曲线的平均曲线为Px，则有表达式(2)：
SD＝Sorg+F[G(Px、Py)]……………(2)
下面，对函数F(x)具有的特性予以说明。首先，在“x＞Dth”时，F(x)为“0”，在“0≤x≤Dth”时，F(x)的截距为“E”、斜率为“E/Dth”单调递减，如式(3)所示。
在0≤x≤Dth时F(x)＝E-(E/Dth)x，
在x＞Dth时F(x)＝0…………………(3)
Py＝(ΣPyi)/n………………(4)
Px＝(ΣPxi)/n………………(5)
其中，(i＝1～n)，Pyi、Pxi是曲线。于是，例如，G(Px、Py)则如下式所示：
G(Px、Py)＝max(Px、Py)…………(6)
在此方法中，在原始图像的像素值(浓度值)范围之中，其低频图像的像素值在Dth以下的像素值(浓度值)范围得到了压缩。
另外，作为与日本专利第2509503号公报中的方法同样的方法，有“日本放射线技术学会杂志第45卷第8号1989年8月1030页阿南等”及在日本专利第2663189号公报中叙述的方法。此方法是设处理后的像素值为SD，原始图像像素值为Sorg、在原始图像中以掩模尺寸M×M像素取移动平均时的平均像素值为SUS，利用单调递减函数f(x)，可得到(7)式及(8)式如下：
SD＝Sorg+f(SUS)…………………(7)
SUS＝ΣSorg/M2…………………(8)
此方法与(2)式的方法相比较，其低频图像的生成方法不同。与在(2)式的方法中以一维数据生成低频图像不同，在此方法中是以二维数据生成低频图像。此方法也对原图像的像素值(浓度值)范围中的低频图像像素值小于Dth的像素值(浓度值)范围进行压缩。
如(9)式所示，上述的动态范围压缩方法利用了变换低频图像的函数f1()。另外，在本说明书中，为简化起见，有时象以下这样将函数的变量省略进行标记。
SD＝f1(SUS)+(Sorg-SUS)…………(9)
在此(9)式中，利用函数f1()改变低频分量从而改变动态范围。下面说明(9)式所示的动态范围压缩方法。图1、图2是其原理的说明图，在图1中，最上方的图是原图像的边缘部分的曲线，中图是该原图像的平滑化图像的曲线，而下图是通过从原图像减去原图像的平滑化图像而生成的高频图像的曲线。在图2中，上图是将图1中的中图的平滑化图像的绝对值乘以1/2的图像的曲线，中图与图1的高频图像的曲线相同，而下图是在将平滑化图像的值变换之后的上图的图像上加上中图的高频图像的图像的曲线。如该下图所示的图像这样获得经过动态范围压缩的图像的处理就称为动态范围压缩处理。
从图1可知，在边缘部分中平滑化图像不能保持平滑化图像的边缘结构，边缘部分的高频分量的值较大。但是，如将平滑化图像和高频图像相加则可返回到原图像。
可是，如图2所示，如果在经过变换的低频图像的值上加上高频图像，则如图2中的箭头所示边缘结构破坏了。这称为过调、反调(下面称其为过调或过调等)。
另外，(10)式是以函数f1()对原图像进行改变，一般是灰度变换，但也可以对原图像整体的动态范围进行改变。
SD＝f1(Sorg)………………(10)
另外，近年来，正在开发利用了拉普拉斯金字塔变换及子波变换的多频处理(以下称其为多频变换处理)。在这些多频变换处理中，利用图3及图4所示的非线性函数对将图像分解为高频分量而得到的拉普拉斯系数及子波系数(以下称其为频率系数)的高频分量进行变换。图3、图4中横轴是输入系数，纵轴表示输出系数。这里表示的是系数为正的情况下的变换曲线，系数为负的情况也有同样的变换。就是说，是只展示了奇函数的第一象限的图。另外，在本说明书中，假设变换频率系数的函数全部是奇函数，且任何一个都只展示了第一象限。另外，“曲线”与“函数”同义。图3展示的是单调递增的凹函数(向上凸)，如以这种函数形式对系数进行变换，则在系数小的区域使系数增加，而在系数大的区域可使系数饱和。所以，在系数小的区域表示细微结构等有效图像分量的情况下，在进行增强细微结构的图像处理的同时，具有通过使系数大的区域饱和而抑制增强边缘结构等的效果。
另外，图4的曲线形状采用的是称为子波收缩的方法，即将图4所示的规定绝对值(阈值)3001以下的频率系数变换为0(零)，具有抑制噪声的效果。
此外，公知的方法还有在多频处理中，通过改变最低频带的系数来改变进行了复原处理的图像的动态范围的方法。
另外，由于近年来数字技术的进步，还可以将X线图像等射线图像变换为数字信号，对这样的数字图像实施图像处理并显示在显示装置(例如，CRT、液晶显示器等)上，或利用记录装置(打印机等)记录在胶片等记录介质上。此种图像处理可分类为根据摄像装置的特性对从摄像装置得到的图像等进行修正的前处理和将经过前处理的图像(原图像)变换为适于诊断的画质的图像的画质保证(QA)处理，其中QA处理包含增强原图像的高频分量的清晰化处理及抑制高频分量的降噪处理等频率处理。
清晰化处理是例如从图5A所示的(包含边缘部分)原图像中减去图5B所示的作为原图像的低频分量的模糊图像(平滑化图像)，从而生成图5C所示的作为原图像的高频分量的高频图像。于是，参照图6，基本上是通过将此高频图像加到原图像上得到清晰度增加的图像(清晰化处理)的处理。此处，图5A、B、C是用来说明清晰化处理的波形图，同图A是展示包含边缘部的原图像的曲线的波形图，同图B是展示将同图A所示的原图像进行平滑后的平滑化图像的曲线的波形图，而同图C是展示通过从同图A所示的原图像减去同图B所示的平滑化图像而生成的高频图像的曲线的波形图。图6是展示在图5A所示的原图像上加上图5C所示的高频图像的清晰化图像的曲线的波形图。
在(1)式所示的动态范围压缩处理中，由于高频分量及低频分量一律乘以各个不同的常数再进行变换，虽然可进行动态范围压缩，但还是存在产生过调的问题。
在(2)式所示的动态范围压缩处理中，由于未公开进行高频分量调整的思想而只是改变低频分量，虽然可进行动态范围压缩，也还是存在产生过调的问题。
另外，在(9)式所示的在经过变换的平滑化图像(低频分量)上加上高频分量的动态范围压缩方法中，只变换低频分量，而高频分量不变。所以还是存在产生过调的问题。
例如，在图2中将平滑化图像整体乘以1/2进行变换的情况下，如将与过调、反调相对应的部分的高频分量乘以1/2倍，则在动态范围压缩处理的图像中，是可以保存边缘结构的。然而，在将平滑化图像整体乘以1/3进行变换或利用复杂曲线形状进行变换的情况下，由于与过调、反调相对应的部分的高频分量乘以1/2倍，则会产生过调、反调。
作为这种抑制过调、反调的方法，由本申请的申请人提出了日本特开2000-316090号公报中的申请。这一方法是抑制与过调、反调部分相对应的高频分量的值的方法。不过，虽然在这种抑制高频分量中的大值部分的方法中，可以抑制过调、反调，但还残留不能完全保存边缘结构的问题。所以，在抑制了高频分量的部分中存在不自然的感觉。
另一方面，正如将图1的高频图像和平滑化图像相加而生成原来的原图像，如果以同一比率对高频分量和低频分量进行变更，边缘结构可完全保存，但这不外乎是如(10)式所示的灰度变换。在单纯的灰度变换中可进行动态范围的调整，但由于不能进行频率分量的调整，例如在压缩动态范围的情况下，细微结构等会破坏而不合适。并且，也得不到清晰化处理的效果。
另外，在利用图3的变换曲线对多频处理的频率系数进行变换的情况下，和日本特开2000-316090号公报同样的效果也可以抑制过调，但如上所述边缘结构仍然不能完全保存，还是存在在边缘部分产生不自然的问题。
另外，即使是在改变最低频带的系数的情况下，由于与上述同样的原理，也不能保存边缘结构而存在产生过调的问题。就是说，如果改变构成边缘部分的一部分频带的系数的绝对值，则边缘部分的结构会以某一种形式破坏，其结果会产生不自然(虚影)。
另外，如以同一比率对频率系数整体进行变更，边缘结构不会破坏，但只不过是如上所述的灰度变换。所以，不会获得任何频率处理的效果。
另外，在利用图4的变换曲线进行系数变换的情况下，在经过逆变换(例如，子波逆变换)的图像中，可保存边缘结构。可是，由于完全没有增强系数的思想，所以经过逆变换的图像完全得不到清晰化的效果。另外，在图4的曲线的斜率超过1的情况下，不能保存边缘结构，或是产生过调等。
另一方面，现有的清晰化处理不能对包含边缘部分的图像进行高品质的清晰化处理。例如，如图7很好地展示出了，由于边缘部的高频分量与其他部分的高频分量相比其值极大，所以在将其相加而得到的清晰化图像中有时在边缘部会出现极端突出的区域(图中以圆形表示区域a及b)。此处，图7是展示存在过调的清晰化图像的曲线的波形图。这些区域a及b是被称为过调(区域b有时也被称为反调)的虚影。这样，边缘部由于过调被过度增强的图像是不自然的，特别是在供诊断的射线图像等医疗图像的情况下，产生这种虚影是不理想的。其另一方面，为了抑制过调，也可以使高频图像以规定的比率减小并与原图像相加，但由于在边缘部以外的区域中会减小清晰化处理本来的效果而不理想。
此外，在以上的说明中，在按照原样保存图像的低频分量而增强高频分量的情况下，显展示了边缘结构的破坏(按照原样保存图像的高频分量而抑制低频分量也一样)，反之，在按照原样保存图像的低频分量而抑制高频分量的情况下，也显展示了边缘结构破坏(按照原样保存图像的高频分量而增强低频分量也一样)。但是，在此情况，不发生过调，而是失掉边缘部分的突出性，使边缘部分以模糊形式被破坏。
【发明内容】
本发明是为解决上述问题而提出的发明，其目的在于提供一种在抑制或避免图像的边缘结构的破坏或过调的发生的同时可以获得改变了动态范围或部分的像素值范围的良好图像的图像处理装置及方法，以及计算机可读介质及程序。
另外，本发明是为解决上述问题而提出的发明，其目的在于提供一种在抑制或避免对象图像所包含的边缘部分的边缘结构发生破坏的同时，可以获得增强或抑制了希望的空间频率分量的良好图像的图像处理装置及方法，以及计算机可读介质及程序。
根据本发明的第1侧面，可提供一种图像处理装置，其构成包括对图像进行灰度变换的灰度变换部件；根据该频率分量的值及上述灰度变换部件的灰度变换特性，对上述图像或利用上述灰度变换部件对上述图像进行了灰度变换后的图像的多个频带的频率分量进行变换的分量变换部件。
根据本发明的第2侧面，可提供一种图像处理装置，其构成包括对图像进行灰度变换的灰度变换部件；利用上述灰度变换部件将经过灰度变换的图像分解为多个频带的频率分量的频率变换部件；根据该频率分量的值及上述灰度变换部件的灰度变换特性，对由上述频率变换部件得到的多个频带的频率分量进行变换的分量变换部件。
根据本发明的第3侧面，可提供一种图像处理装置，其构成包括将图像分解为第1多个频带的频率分量的第1频率变换部件；对上述图像进行灰度变换的灰度变换部件；将利用上述频率变换部件进行了灰度变换的图像分解为第2多个频带的频率分量频率的第2频率变换部件；通过向上述第2多个频带的频率分量，叠加根据该第1多个频带的频率分量的值及上述灰度变换部件的灰度变换特性对上述第1多个频带的频率分量进行变换而得到的频率分量，来对上述第2多个频带的频率分量进行变换的分量变换部件。
根据本发明的第4侧面，可提供一种图像处理装置，其构成包括对图像进行灰度变换的灰度变换部件；将上述图像分解为多个频带的频率分量的频率变换部件；根据该频率分量的值及上述灰度变换部件的灰度变换特性，对由上述频率变换部件得到的多个频带的频率分量进行变换的分量变换部件；将由上述分量变换部件进行了变换的频率分量合成而生成图像的频率逆变换部件；以及对由上述频率逆变换部件生成的图像和由上述灰度变换部件进行了变换的图像进行相加的加法部件。
根据本发明的第5侧面，可提供一种图像处理装置，其构成包括将图像分解为多个频带的频率分量的频率变换部件；根据该频率分量的值及上述灰度变换部件的灰度变换特性，对由上述频率变换部件得到的多个频带的频率分量进行变换的分量变换部件；将利用上述分量变换部件进行了变换的频率分量合成而生成图像的频率逆变换部件；利用上述灰度变换特性对由上述频率逆变换部件生成的图像进行灰度变换的灰度变换部件。
根据本发明的第6侧面，可提供一种图像处理装置，其构成包括对图像进行灰度变换的灰度变换部件；根据该高频分量的值及上述灰度变换部件的灰度变换特性，对上述图像或利用上述灰度变换部件对上述图像进行了灰度变换后的图像的高频分量进行变换的分量变换部件。
根据本发明的第7侧面，可提供一种图像处理装置，其构成包括对图像进行灰度变换的灰度变换部件；计算上述图像的高频分量的高频分量计算部件；根据该高频分量的值及上述灰度变换部件的灰度变换特性，对由上述高频分量计算部件得到的高频分量，进行变换的分量变换部件；对由上述分量变换部件进行了变换的高频分量和由上述灰度变换部件进行了灰度变换的图像进行相加的加法部件。
根据本发明的第8侧面，可提供一种图像处理装置，其构成包括对图像进行灰度变换的灰度变换部件；对由上述灰度变换部件进行了灰度变换的图像的高频分量进行计算的高频分量计算部件；根据该高频分量的值及上述灰度变换部件的灰度变换特性，对由上述高频分量计算部件得到的高频分量进行变换的分量变换部件；以及对由上述分量变换部件进行了变换的高频分量和由上述灰度变换部件进行了灰度变换的图像进行相加的加法部件。
根据本发明的第9侧面，可提供一种图像处理方法，其构成包括对图像进行灰度变换的灰度变换步骤；根据该频率分量的值及上述灰度变换步骤的灰度变换特性，对上述图像或利用上述灰度变换步骤对上述图像进行了灰度变换后的图像的多个频带的频率分量进行变换的分量变换步骤。
根据本发明的第10侧面，可提供一种图像处理方法，其构成包括对图像进行灰度变换的灰度变换步骤；将由上述灰度变换步骤进行了灰度变换的图像分解为多个频带的频率分量的频率变换步骤；根据该频率分量的值及上述灰度变换步骤的灰度变换特性，对由上述频率变换步骤得到的多个频带的频率分量进行变换的分量变换步骤。
根据本发明的第11侧面，可提供一种图像处理方法，其构成包括将图像分解为第1多个频带的频率分量的第1频率变换步骤；对上述图像进行灰度变换的灰度变换步骤；将由上述频率变换步骤进行了灰度变换的图像分解为第2多个频带的频率分量频率的第2频率变换步骤；通过向上述第2多个频带的频率分量，叠加根据第1多个频带的频率分量的值及上述灰度变换步骤的灰度变换特性对上述第1多个频带的频率分量进行变换而得到的频率分量，来对上述第2多个频带的频率分量进行变换的分量变换步骤。
根据本发明的第12侧面，可提供一种图像处理方法，其构成包括对图像进行灰度变换的灰度变换步骤；将上述图像分解为多个频带的频率分量的频率变换步骤；根据该频率分量的值及上述灰度变换步骤的灰度变换特性，对由上述频率变换步骤得到的多个频带的频率分量进行变换的分量变换步骤；将由上述分量变换步骤进行了变换的频率分量合成而生成图像的频率逆变换步骤；对由上述频率逆变换步骤生成的图像和由上述灰度变换步骤进行了变换的图像进行相加的加法步骤。
根据本发明的第13侧面，可提供一种图像处理方法，其构成包括将图像分解为多个频带的频率分量的频率变换步骤；根据该频率分量的值及上述灰度变换步骤的灰度变换特性，对由上述频率变换步骤得到的多个频带的频率分量进行变换的分量变换步骤；将由上述分量变换步骤进行了变换的频率分量合成而生成图像的频率逆变换步骤；利用上述灰度变换特性对由上述频率逆变换步骤生成的图像进行灰度变换的灰度变换步骤。
根据本发明的第14侧面，可提供一种图像处理方法，其构成包括对图像进行灰度变换的灰度变换步骤；根据该高频分量的值及上述灰度变换步骤的灰度变换特性，对上述图像或利用上述灰度变换步骤对上述图像进行了灰度变换后的图像的高频分量进行变换的分量变换步骤。
根据本发明的第15侧面，可提供一种图像处理方法，其构成包括对图像进行灰度变换的灰度变换步骤；计算上述图像的高频分量的高频分量计算步骤；根据该高频分量的值及上述灰度变换步骤的灰度变换特性，对利用上述高频分量计算步骤得到的高频分量进行变换的分量变换步骤；对由上述分量变换步骤进行了变换的高频分量和由上述灰度变换步骤进行了灰度变换的图像进行相加的加法步骤。
根据本发明的第16侧面，可提供一种图像处理方法，其构成包括对图像进行灰度变换的灰度变换步骤；对由上述灰度变换步骤进行了灰度变换的图像的高频分量进行计算的高频分量计算步骤；根据该高频分量的值及上述灰度变换步骤的灰度变换特性，对利用上述高频分量计算步骤得到的高频分量进行变换的分量变换步骤；对由上述分量变换步骤进行变换的高频分量和由上述灰度变换步骤进行了灰度变换的图像进行相加的加法步骤。
根据本发明的第17侧面，可提供一种图像处理装置，其构成包括由对象图像生成低频分量和至少一个频带的高频分量的分解部件；在利用上述分解部件得到的上述低频分量以及上述至少一个频带的高频分量之中，至少对上述至少一个频带的高频分量进行变换的分量变换部件；利用由上述分量变换部件进行了变换后的上述至少一个频带的高频分量和上述对象图像或上述低频分量，生成处理后图像的图像生成部件；上述分量变换部件，为使由上述分解部件得到的上述至少一个频带的高频分量中的具有规定阈值以上的绝对值的第1要素与上述低频分量在从上述对象图像变化为上述处理后图像的过程中实质上以相同的比率变化，进行对上述至少一个频带的高频分量和上述低频分量进行变换的第1变换和对上述至少一个频带的高频分量中的具有上述规定阈值以下的绝对值的第2要素进行与上述第1变换不同的第2变换。
根据本发明的第18侧面，可提供一种图像处理方法，其构成包括由对象图像生成低频分量和至少一个频带的高频分量的步骤；在由上述生成步骤得到的上述低频分量以及上述至少一个频带的高频分量之中，至少对上述至少一个频带的高频分量进行变换的步骤；利用由上述变换步骤进行了变换后的上述至少一个频带的高频分量和上述对象图像或上述低频分量，生成处理后图像的步骤；上述变换步骤，为使由上述生成步骤得到的上述至少一个频带的高频分量中的具有规定阈值以上的绝对值的第1要素与上述低频分量在从上述对象图像变化为上述处理后图像的过程中实质上以相同的比率变化，进行对上述至少一个频带的高频分量和上述低频分量进行变换的第1变换和对上述至少一个频带的高频分量中的具有上述规定阈值以下的绝对值的第2要素进行与上述第1变换不同的第2变换。
根据本发明的第19侧面，可提供一种图像处理装置，其构成包括由对象图像生成低频分量和至少一个频带的高频分量的分解部件；对由上述分解部件得到的上述低频分量以及上述至少一个频带的高频分量进行变换的分量变换部件；利用由上述分量变换部件进行了变换后的上述至少一个频带的高频分量和上述对象图像或上述低频分量，生成处理后图像的图像生成部件；上述分量变换部件，为使由上述分解部件得到的上述至少一个频带的高频分量中的具有规定阈值以上的绝对值的第1要素和上述低频分量在从上述对象图像变化为上述处理后图像的过程中实质上以相同的比率变化，对上述至少一个频带的高频分量和上述低频分量进行变换。
根据本发明的第20侧面，可提供一种图像处理方法，其构成包括由对象图像生成低频分量和至少一个频带的高频分量的步骤；对由上述生成步骤得到的上述低频分量以及上述至少一个频带的高频分量进行变换的步骤；以及利用由上述变换步骤进行了变换后的上述至少一个频带的高频分量和上述对象图像或上述低频分量，生成处理后图像的步骤；上述变换步骤，为使由上述生成步骤得到的上述至少一个频带的高频分量中的具有规定阈值以上的绝对值的第1要素和上述低频分量在从上述对象图像变化为上述处理后图像的过程中实质上以相同的比率变化，对上述至少一个频带的高频分量和上述低频分量进行变换。
本发明的进一步的目的、特征以及效果可通过参照以下附图说明的实施发明的最优实施例得到了解。
【附图说明】
图1是用来说明过调的发生的图。
图2是用来说明反调的发生的图。
图3是现有例的频率系数变换曲线。
图4是现有例的频率系数变换曲线。
图5A～5C是用来说明现有的清晰化处理的图。
图6是展示经过清晰化处理的图像的曲线的图。
图7是展示存在过调的清晰化图像的曲线的图。
图8是展示实施例1的图像处理装置的框图。
图9是展示实施例1的图像处理装置的处理步骤的流程图。
图10是改变动态范围的曲线的一例。
图11A～11C是离散子波变换及其逆变换的说明图。
图12是展示系数变换曲线的图。
图13是展示系数变换曲线的图。
图14是展示实施例2的图像处理装置的处理步骤的流程图。
图15是展示实施例3的图像处理装置的处理步骤的流程图。
图16是展示实施例4、5的图像处理装置的框图。
图17是展示实施例4的图像处理装置的处理步骤的流程图。
图18是改变高频分量的曲线的一例。
图19是展示实施例5的图像处理装置的处理步骤的流程图。
图20是展示实施例6的图像处理装置的框图
图21是用来改变动态范围的灰度变换曲线。
图22是展示实施例6的图像处理装置的处理步骤的流程图。
图23是频率系数变换曲线。
图24A～24C是拉普拉斯金字塔变换及其逆变换的说明图。
图25是展示实施例7的图像处理装置的框图。
图26是展示实施例7的图像处理装置的处理步骤的流程图。
图27是频率系数变换曲线。
图28是展示实施例8的图像处理装置的框图。
图29是展示实施例8的图像处理装置的处理步骤的流程图。
图30是频率系数变换曲线。
图31是展示实施例9的图像处理装置的框图。
图32是展示实施例9的图像处理方法的流程图。
图33是为了通过高频分量加法部件对高频分量进行变换而使用的变换曲线。
图34是展示实施例9的另一图像处理方法的流程图。
图35是为了通过高频分量加法部件对高频分量进行变换而使用的变换曲线。
图36是展示实施例10的图像处理装置的框图。
图37A是展示离散子波变换处理的实施例的电路构成图，而图37B是展示拉普拉斯金字塔变换处理的实施例的电路构成图。
图38A是展示离散子波变换处理的实施例的电路构成图，而图38B是展示拉普拉斯金字塔变换处理的实施例的电路构成图。
图39是展示实施例10的图像处理部件的处理的流程图。
图40是展示利用二维变换处理得到的2级变换系数群的构成例的图。
图41是展示系数变换函数f3()的曲线图。
图42A、42B和42C分别是展示原图像的曲线、不保存边缘结构的清晰化处理后的图像的曲线和保存边缘结构的清晰化处理后的图像的曲线。
图43展示变换频率系数的曲线(函数)的示例的曲线。
图44展示变换频率系数的曲线(函数)的示例的曲线。
图45展示变换频率系数的曲线(函数)的示例的曲线。
图46展示变换频率系数的曲线(函数)的示例的曲线。
图47展示变换频率系数的曲线(函数)的示例的曲线。
图48展示变换频率系数的曲线(函数)的示例的曲线。
图49展示变换频率系数的曲线(函数)的示例的曲线。
图50展示变换频率系数的曲线(函数)的示例的曲线。
图51是展示图37B及图38B所展示的过调的一例的图。
【具体实施方式】
(实施例1)
图8展示了实施例1的X线摄影装置100。X线摄影装置100是具有对拍摄的图像的每个频带进行处理的功能的X线摄影装置，其构成包括前处理电路106、CPU 108、主存储器109、操作屏110、图像显示器111以及图像处理电路112，它们经CPU总线107互相交换数据。
另外，X线摄影装置100还具有与前处理电路106相连接的数据采集电路105、与数据采集电路105相连接的二维X线传感器104以及X线生成电路101，这些电路各个也与CPU总线107相连接。
在如上所述的X线摄影装置100中，首先，主存储器109在存储CPU 108进行处理时所必需的各种数据等的同时，还用作CPU 108工作用的工作存储器。
CPU 108利用主存储器109，按照来自操作屏110的操作对装置整体进行动作控制。由此，X线摄影装置100进行以下的动作。
首先，X线生成电路101向被检体103发射X线束102。从X线生成电路101发射的X线束102，在被检体103中衰减并透过被检体103而到达二维X线传感器104。二维X线传感器104，检出X线图像。此处假设X线图像是例如人体图像。
数据采集电路105将二维X线传感器104输出的X线图像信息(电信号)变换为规定的电信号供给前处理电路106。前处理电路106对来自数据采集电路105的信号(X线图像信号)进行偏移校正处理及增益校正处理等前处理。在此前处理电路106中进行了前处理的X线图像信号被作为原图像，由CPU 108控制，经CPU总线107，转送到主存储器109和图像处理电路112。
112是展示图像处理电路的构成的框图。在112中，113是对原图像进行灰度变换的灰度变换电路，114是对经过灰度变换电路113进行了灰度变换的原图像实施离散子波变换(以下称其为DWT变换)而得出各频带的图像分量(子波变换系数)的DWT变换电路，115是对利用DWT变换电路114得到的各频带的图像分量进行变换的分量变换电路，而116是根据经过分量变换电路115进行了变换的图像分量进行离散子波逆变换(以下称其为DWT逆变换)的DWT逆变换电路。
图9为展示在图像处理电路112中的处理步骤的流程图，图10为展示利用灰度变换电路113改变图像数据的动态范围所使用的灰度变换曲线的一例的示图，图11A为展示DWT变换电路114的构成的示图，图11B为展示利用二维变换处理得到的2级变换系数群的构成例，而图11C为展示DWT逆116的构成的示图。图12、13为改变图像分量(利用DWT变换电路114得到的变换系数)的函数形的一例。
下面按照图9的处理流程对实施例1的处理予以说明。
经过前处理电路106进行了前处理的原图像经CPU总线107转送到图像处理电路112。
在图像处理电路112中，一开始灰度变换电路利用灰度变换曲线f()将原图像Org(x，y)变换为f(Org(x，y))(S201)。其中x，y是原图像上的坐标。作为灰度变换曲线f()，例如，可以使用图10这样的曲线形。例如，实线1是斜率1的函数。就是说，在输入值和输出值不改变(输入值和输出值相等)的情况下，没有动态范围压缩效果。其次，虚线2的情况是压缩低像素值侧的动态范围的函数形，而虚线3是扩大低像素值侧的动态范围的函数形。同样，虚线4是扩大高像素值侧的动态范围的函数形，而虚线5是压缩高像素值侧的动态范围的函数形。
另外，在实施的情况下，这些曲线形最好是微分连续(可微且连续函数)的结构。这是因为微分不连续点(与曲线为不可微或不连续的点相对应的灰度变换后的图像上的点)会产生虚影。
其次，DWT变换电路(离散子波变换电路)114是对灰度变换后的图像f(Org(x，y))进行二维离散子波变换处理，对图像分量(变换系数)进行计算并输出的装置。存储于主存储器109中的图像数据，由DWT变换电路114顺序读出进行变换处理，再写入主存储器109。在本实施例的主存储器109中，输入的图像信号，通过延迟元件及下采样器的组合，将偶数地址及奇数地址的信号分离，利用2个滤波器p及u实施滤波处理。图11a的s及d，分别表示对各个一维图像信号进行1级分解时的低通系数及高通系数，由以下式计算。
d(n)＝x(2×n+1)-floor((x(2×n)+x(2×n+2))/2)…(11)
s(n)＝x(2×n)+floor((d(n-1)+d(n))/4)…(12)
其中，x(n)是作为变换对象的图像信号。
通过以上的处理，对图像信号进行一维离散子波变换处理。二维离散子波变换处理，是在图像的水平和垂直方向上顺序进行一维变换，因为其详细情况是公知的，所以此处省略其说明。图11B是通过二维变换处理得到的2级的变换系数群的构成例，图像信号被分解为不同频带的图像分量HH1、HL1、LH1、……、LL(S202)。在图11B中，HH1、HL1、LH1、……、LL的每个(以下称其为子频带)表示每个频带的图像分量。
于是，在分量变换电路中，按照式(13)对每个子频带的图像分量hn(x，y)进行变换。此处，假设变换后的图像分量为h2n(x，y)，n表示子频带的类型编号。
h2n(x、y)＝(1/f’(Org(x，y))×hn(x、y)…(13)
通过利用这一处理，对原图像Org(x，y)的图像分量进行灰度变换处理，可以将变为f′()倍(f′()为与hn(x，y)相对应的Org(x，y)的灰度变换曲线f()的斜率)的灰度变换处理后的图像的图像分量变换为与原图像Org(x，y)的图像分量大致同一的值。其中，对作为最下层的低频分量的LL子频带的图像分量不进行改变。由此，整个图像的动态范围不改变，但与高频分量相对应的图像分量可以保持与原图像的图像分量大致同一的值。另外，也可以将(13)式的右边乘以规定的常数，在此情况下，可以在改变动态范围的同时进行图像的高频分量的调节(增强或抑制)。
如根据(13)式，则会对压缩原图像的像素值范围的区域增强高频分量，对扩大原图像的像素值范围的区域抑制高频分量。不过，最好是具备例如用来对(13)式的右边乘以任意常数的调整部件。
不过，在通过灰度变换处理改变动态范围的图像中不产生过调等的虚影。不过，在(13)式的处理中，通过改变高频分量可以放大高频分量，同时有产生过调等的虚影的情况。
为了防止这一点，代替(13)式，如(14)式那样改变高频分量是有效的。
h2n(x、y)＝hn(x、y)+(1/f’(x、y)-1)×fn(hn(x、y))…(14)
其中，函数fn()具有图12或图13那样的曲线形。并且，这些曲线变为微分连续(可微且连续函数)的，不会产生虚影。并且，在边缘部分产生的图像分量，与通常的分量(边缘部以外的分量)相比，值变大，这些曲线形变为抑制与边缘分量相对应的图像分量、或是等于0(零)的曲线形。由此，在(14)中，在图像分量比阈值大的情况下，fn(hn(x，y))变为受抑制的值或0，h2n(x，y)变为受抑制的值或大致为hn(x，y)。另一方面，在图像分量为通常的大小的情况下，h2n(x，y)变为与(13)式同样的值。
由此，动态范围改变，高频分量之中的有效图像分量(规定值以下的图像分量)变为与灰度变换前的图像的图像分量的大小相同。另外，因为高频分量之中作为产生过调等原因的图像分量(超过规定值的图像分量)不改变，或是受到抑制而改变，可以抑制过调等。另外，通过使函数形fn()的斜率在输入值在规定值以下的范围成为大于1(比1大)，可以在抑制过调的同时增强高频分量。所以，动态范围的改变和高频分量的改变可以在抑制过调等的同时进行。
于是，DWT逆变换电路116，对利用分量变换电路115进行变换的图像分量(变换系数)进行以下方式的离散子波逆变换(S204)。存储于主存储器109中的经过变换的图像分量，利用DWT逆变换电路116顺序读出进行变换处理，再写入到主存储器109。假设本实施例的DWT逆变换电路116进行的离散子波逆变换处理的构成如图11C所示。输入的图像分量利用2个滤波器u及p实施滤波处理，在进行了上取样之后叠加并输出图像信号x′。这些处理根据以下式进行。
x′(2×n)＝s′(n)-floor((d′(n-1)+d′(n))/4)…(15)
x′(2×n+1)＝d′(n)+floor((x′(2×n)+x′(2×n+1))/2)…(16)
通过以上的处理，进行对图像信号的一维离散子波逆变换处理。二维离散子波逆变换处理是在图像的水平和垂直方向上顺序进行一维逆变换，因为其详细情况是公知的，此处省略其说明。
如上所述，在实施例1中，可以在改变图像的动态范围并且抑制过调等的虚影的同时，得到调节了高频分量的良好的输出图像。此外，此构成可以使动态范围改变处理和通过改变每个频带的图像分量对每个频带的增强或抑制处理有机地进行。
(实施例2)
按照图14的处理流程对实施例2予以说明。对于与实施例1同样的处理，省略其说明。
首先，在DWT变换电路114中进行原图像Org(x，y)的DWT变换处理。假设此处得到的图像分量为h organ(x，y)(S701)。之后，在灰度变换电路113中，利用灰度变换曲线f()对原图像Org(x，y)进行灰度变换处理(S702)。于是，利用DWT变换电路114对经过灰度变换处理的图像f(Org(x，y))进行DWT变换处理，设得到的图像分量为hn(x，y)(S703)。其中，与实施例1一样，n表示子频带的类型编号，x、y表示坐标。
其次，如(17)式所示，分量变换电路115对图像分量h orgn(x，y)进行变换并与图像分量hn(x，y)相加而得到新的图像分量h2n(x，y)(S704)。
h2n(x、y)＝hn(x、y)+(1-f＇(Org(x、y)))×h orgn(x、y)…(17)
其中，对作为最下层的低频分量的LL子频带的图像分量不进行改变。由此，动态范围改变之后的图像的高频分量的大小与原图像的高频分量的大小大致保持同一值。在此情况下，由于利用原图像的高频分量对高频分量进行补充，可以使处理后的高频分量的大小精度更高地接近原图像的高频分量的大小。另外，也可以将(17)式的右边第2项乘以规定的常数，在此情况下，可以在改变动态范围的同时进行图像的高频分量的调节(增强或抑制)。
另外，代替(17)式，如(18)式那样也可得到同样的效果。
h2n(x，y)＝horgn(x，y)…………(18)
但是，在通过灰度变换处理改变动态范围的图像中不产生过调等的虚影。不过，在(17)式的处理中，通过对原图的高频分量进行变换相加可以对高频分量放大，同时由于还加上成为使过调等的虚影产生的原因的原图像的分量，有可能会产生过调。
为了防止这一点，代替(17)式，如(19)式那样改变高频分量是有效的。
h2n(x、y)＝hn(x、y)+(1-f＇(Org(x、y)))×fn(h orgn(x、y))…(19)
其中，函数fn()具有图12或图13那样的曲线形。在边缘部分产生的图像分量，与通常的分量相比，值变大，这些曲线形变为抑制与边缘分量相对应的图像分量的值，或是等于0的曲线形。由此，在(19)中，在图像分量大的情况下，fn(h organ(x，y))变为受抑制的值或0，h2n(x，y)变为受抑制的值或大致为hn(x，y)。另一方面，在图像分量为通常的大小的情况下，h2n(x，y)变为与(17)式同样的值。
由此，动态范围被改变，高频分量中的有效图像分量(规定值以下的图像分量)变为与灰度变换前的图像的图像分量的大小大致相同。另外，因为高频分量中作为产生过调等的原因的图像分量(超过规定值的图像分量)不改变，或是受到抑制而改变，可以抑制过调等。另外，通过使函数形fn()的斜率在输入值在规定值以下的范围成为大于1(比1大)，可以在抑制过调的同时增强高频分量。所以，动态范围的改变和高频分量的改变可以在抑制过调等的同时进行。
于是，根据由分量变换电路115进行了改变的图像分量，通过DWT逆变换电路116进行DWT逆变换处理(S705)。
在实施例2中，可以在改变图像的动态范围并且抑制过调等的虚影同时，得到调节了高频分量的良好的输出图像。此外，此构成可以使动态范围改变处理和通过改变每个频带的图像分量对每个频带的增强或抑制处理有机地进行。另外，由于使用原图像的高频分量作为相加的高频分量，可以使处理后图像的高频分量精度更高地接近原图像的高频分量。
(实施例3)
按照图15的处理流程对实施例3予以说明。对于与实施例1同样的处理，省略其说明。
首先，在灰度变换电路113中利用灰度变换曲线f()对原图像Org(x，y)进行灰度变换处理，得到处理后的图像f(Org(x，y))(S801)。之后，利用DWT变换电路114对原图像进行DWT变换处理，设得到的图像分量为hn(x，y)(S802)。其中，与实施例1一样，n表示子频带的类型编号，x、y表示坐标。
其次，如(20)式所示，分量变换电路115对图像分量hn(x，y)进行变换，得到新的图像分量h2n(x，y)(S803)。
h2n(x、y)＝(1-f′(Org(x、y))×hn(x、y)…(20)
另外，此处最下限的低频分量LL的值全部成为0(零)。
由此，如对h2n(x，y)进行DWT逆变换，则可以得到只依存于灰度变换曲线的斜率的高频分量的图像Hr(x，y)。另外，也可以将(20)式的右边乘以任意的常数，在此情况下，可以调节图像的高频分量(增强或抑制)。
于是，DWT逆变换电路116根据由分量变换电路115进行了改变的图像分量，进行DWT逆变换而得到复原图像(S804)。于是，如(21)式所示，将由灰度变换电路113得到的图像f(Org(x，y))和由DWT逆变换电路116得到的图像hr(x，y)相加而得到处理图像Prc(x，y)(S805)。另外，这一加法，是由图8的图像合成电路117进行的。
Prc(x、y)＝f(Org(x，y))+Hr(x，y)…(21)
但是，在通过灰度变换处理改变动态范围的图像中不产生过调等的虚影。不过，利用(20)式得到的高频分量，可能包含有成为使过调等的虚影产生的原因的原图像的分量。所以，如果在将这一图像分量按照原样进行了逆变换的图像中包含了成为过调原因的分量，将其相加，则有可能会产生过调。
为了防止这一点，代替(20)式，如(22)式那样改变高频分量是有效的。
h2n(x、y)＝(1-f′(Org(x、y)))×fn(hn(x、y))…(22)
其中，函数fn()具有图12或图13那样的曲线形。在边缘部分产生的图像分量，与通常的分量相比，值变大，这些曲线形变为抑制与边缘分量相对应的图像分量的值、或是等于0的曲线形。由此，在(22)中，在图像分量大的情况下，fn(hn(x，y))变为受抑制的值或0的结果，h2n(x，y)也变为受抑制的值或大致为hn(x，y)。另一方面，在图像分量为通常的大小的情况下，(22)式的h2n(x，y)变为与(20)式同样的值。
通过将(20)式的图像分量进行了DWT逆变换的图像与灰度变换后的图像相加，则动态范围被改变，并且可以得到高频分量与原图像的大小大致相同的同一图像。
此外，如(22)式所示，通过对应于图像的大小改变图像分量，可以使高频分量中的有效图像分量(规定值以下的图像分量)成为与灰度变换前的图像的图像大小大致相同。另外，因为高频分量中作为产生过调等的原因的图像分量(超过规定值的图像分量)不被改变，或是受到抑制而改变，可以抑制过调等。另外，通过使函数形fn()的斜率在输入值在规定值以下的范围成为大于1(比1大)，可以在抑制过调的同时增强高频分量。所以，动态范围的改变和高频分量的改变可以在抑制过调等的同时进行。
在实施例3中，可以在改变图像的动态范围并且抑制过调等的虚影的同时，得到了调节高频分量的良好的输出图像。此外，此构成可以使动态范围改变处理和通过改变每个频带的图像分量对每个频带的增强或抑制处理有机地进行。另外，由于使用原图像的高频分量作为相加的高频分量，可以使处理后图像的高频分量精度更高地接近原图像的高频分量。另外，由于DWT变换处理只进行一次，计算时间可以缩短。
(实施例4)
实施例4涉及在保存边缘结构的状态下改变动态范围的第4种形式的图像处理。对于与实施例1同样的处理省略其说明。图16为展示实施例4的图像处理电路112的构成的框图，901是通过从原图像减去平滑化图像而生成高频分量的高频分量生成电路，902是通过对原图像进行灰度变换而改变动态范围的灰度变换电路，而903是对利用高频分量生成电路901生成的高频分量进行变换，并相应于在灰度变换电路902使用的灰度变换曲线的斜率对灰度变换后图像进行相加处理的高频分量加法电路。
图17为展示实施例4的处理流程的说明图。下面按照图17的处理流程对图像处理电路112的处理予以说明。
通过CPU 108的控制，经CPU总线107接收由前处理电路106处理过的原图像f(x、y)的图像处理电路112的高频分量生成电路601，由(23)式按照(27)式生成平滑化图像(S1001)。其中，fus(x、y)表示平滑化图像，f(x，y)表示原图像，而d1、d2、d3、d4为掩模尺寸。fux(x,y)=∫d2d1∫d4d3f(x,y)dxdy∫d2d1∫d4d3dxdy·········(23)]]>
d1＝y+d………(24)
d2＝y-d………(25)
d3＝x+d………(26)
d4＝x-d………(27)
如采用这种利用了移动平均的平滑化图像生成方法，则具有计算时间短的效果。
另外，也可以利用(28)～(32)式所示的形态学运算计算平滑化图像fus(x，y)。
f2(x、y)＝min{f(x+x1、y+y1)-D(x1、y1)|x1×x1+y1×y1≤r1×r1}………(28)
f3(x、y)＝max{f2(x+x1、y+y1)+D(x1、y1)|x1×x1+y1×y1≤r1×r1}………(29)
f4(x、y)＝max{f3(x+x1、y+y1)+D(x1、y1)|x1×x1+y1×y1≤r1×r1}………(30)
fus(x、y)＝min{f4(x+x1、y+y1)-D(x1、y1)|x1×x1+y1×y1≤r1×r1}……(31)
其中，D(x，y)是下式所示的圆盘状滤波器，r1是相应于输入图像选择的任意常数。
x×x+y×y≤r1×r1时的D(x、y)＝0
其它＝-∞…………(32)
其中得到的fus(x、y)，其曲线保存了边缘结构，不易引起作为现有的清晰化处理的缺点的过调、反调。
另外，同样地，也可以利用介质滤波器生成fus(x、y)。这种情况的平滑化图像，由于比较地保存了边缘结构，所以与采用形态运算时一样，也不易引起作为现有的清晰化处理的缺点的过调、反调。
之后，高频分量生成电路901按照(33)式生成高频分量fh(x，y)(S1002)。
fh(x、y)＝f(x、y)-fus(x、y)………(33)
于是，灰度变换电路602利用灰度变换曲线f1()，如(34)式所示，通过对原图像进行灰度变换，改变原图像的动态范围而得到灰度变换后的输出图像f0(x，y)(S1003)。
f0(x、y)＝F1(f(x、y))………(34)
由(34)式的灰度变换可得到符合规定目的的动态范围，并且，不会产生任何过调等的虚影。不过，由于只是单纯的灰度变换，在动态范围(像素值范围)受到压缩的区域构成微细结构的高频分量也受到压缩，所以难以观察到微细结构。
之后，利用高频分量加法电路903按照(35)式生成经过变换后的高频分量fh2(x，y)。
fh2(x、y)＝F(fh(x、y))………(35)
其中，变换曲线f()是例如图18所示的函数。根据此函数的曲线形状，将图18所示的规定绝对值(阈值)301以上的高频分量置为0(零)，则可以使未达到规定绝对值301的高频分量的大小不变(曲线的斜率为1)。另外，也可以采用使规定绝对值以上的高频分量缓慢减少到0的曲线形状，或使曲线形状及未达到规定绝对值的高频分量的大小以线性或非线性方式增大或减少的曲线形状。
下面，如(36)(37)式所示，高频分量加法电路903按照灰度变换曲线的微系数(斜率)，变换高频分量fh2(x，y)，并加到灰度变换后的图像f0(x，y)上，由此可以得到处理后图像fdr(x，y)(S1004)。
fdr(x、y)＝f0(x、y)+F3(f(x、y))×c(f(x、y))×fh2(x、y)…(36)c(χ)=1-∂F1(χ)∂χ,χ=f(x,y)············(37)]]>
另外，F1(χ)/χ表示灰度变换曲线f1()的斜率。并且，f3(x，y)是取决于原图像f(x，y)或平滑化图像fus(x、y)的函数，通过调整f3()的函数形，可调整高频分量的补充量，例如，通过使f3()＞1还可同时得到清晰化效果。另外，如假设f3()是随着函数值的增加而单调增加的函数等，则可以通过在噪声比较容易显得突出的低频值区域中减少高频分量的补充量来抑制噪声。
根据上述，在此处理中，在对与微细结构等有效信息相对应的高频分量进行复原的同时，由于边缘部分的高频分量被置为0不加到灰度变换后的图像，所以可以保存边缘形状，不会产生过调等。
一般，存在表示过调的高频分量的绝对值比规定值(阈值)大，与微细结构相对应的高频分量的绝对值比规定值小的性质。并且，该绝对值大的高频分量在图像的边缘部分产生。此外，在复原了高频分量的处理后的图像中，作为感觉到过调的情况是超过此规定值的高频分量的值特别突出的情况。
因此，通过使加上的高频分量的绝对值在比规定值的大的情况下为0，可抑制过调，保存边缘结构。
由于按照(36)式，是相应于动态范围(像素值范围)的改变程度而复原高频分量的，所以即使是在动态范围改变之后也可以得到能很好地看到微细结构的效果。此外，由于与实施例1有同样的效果，成为过调的原因的高频分量被置为0，所以可保持处理后的图像的边缘结构。
如上所述，根据实施例4，由于在利用灰度变换改变动态范围的同时，删除成为过调的基础的高频分量而复原高频分量，所以可以得到微细结构被复原到了灰度变换前的结构的处理后图像。另外，通过以规定的函数对与微细结构相对应的高频分量进行变换，可以对灰度变换前的微细结构进行规定的增强或抑制。因此，可以得到动态范围或规定像素值范围被改变了的良好的处理后的图像。
此外，如利用形态要运算生成平滑化图像，则本来过调就难以发生，通过利用上述变换曲线可以更进一步抑制与过调相对应的高频分量，可以更有效地抑制过调。
同样，在利用介质滤波器生成平滑化图像的情况下，本来过调就难以发生，通过利用上述变换曲线可以更进一步抑制与过调相对应的高频分量，可以更有效地抑制过调。
(实施例5)
实施例4涉及在保存边缘结构的状态下改变动态范围的第5种形式的图像处理，对于与实施例1同样的处理省略其说明。下面利用图16对实施例4的图像处理电路112的结构予以说明。902是通过对原图像进行灰度变换而改变动态范围的灰度变换电路，901是通过从原图像减去平滑化图像而生成高频分量的高频分量生成电路，902是通过对原图像进行灰度变换而改变动态范围的灰度变换电路902，而903是对由高频分量生成电路901生成的高频分量相应于在灰度变换电路902中使用的灰度变换曲线的斜率进行变换，并与灰度变换后的图像相加的高频分量加法电路。
图19为展示实施例5的处理流程的说明图，下面按照图19的处理流程对图像处理电路112的处理予以说明。
通过CPU 108的控制，经CPU总线107接收由前处理电路106进行了处理的原图像f(x、y)的图像处理电路112的灰度变换电路902，利用灰度变换曲线f1()，如(38)式所示，通过对原图像进行灰度变换，改变原图像的动态范围，得到灰度变换后的输出图像f0(x，y)(S1201)。
f0(x、y)＝F1(f(x、y))…(38)
之后，高频分量生成电路901生成灰度变换后图像的平滑化图像(S1202)。其中，设fus(x、y)为平滑化图像。如实施例4所示，为了生成平滑化图像，也可以采用形态等运算、介质滤波器等任何一种方法。
之后，利用高频分量生成电路901按照(39)式生成高频分量fh(x，y)(S1203)。
fh(x、y)＝f0(x、y)-fus(x、y)………(39)
之后，利用高频分量加法电路903生成按照(40)式对高频分量fh(x，y)进行变换后的高频分量fh2(x，y)。
fh2(x、y)＝F(fh(x、y))………(40)
其中，变换曲线f()是例如图18所示的函数形。
下面，如(41)(42)式所示，高频分量加法电路903按照灰度变换曲线的微系数(斜率)变换高频分量fh2(x，y)，并加到灰度变换后的图像f0(x，y)上，得到处理后图像fdr(x，y)(S1204)。
fdr(x、y)＝f0(x、y)+F3(f(x、y))×c(f(x、y))×fh2(x、y)…(41)c(χ)=1/∂F1(χ)∂χ-1,χ=f(x,y)···(42)]]>
其中，F3()是依存于原图像或平滑化图像的函数，通过调整F3()的函数形，可调整高频分量的补充量，通过使F3()＞1也可同时得到清晰化效果。
由于按照(41)、(42)式相应于动态范围改变后的量复原高频分量，所以在动态范围改变后实质上可以保存微细结构。此外，由于与实施例1有同样的效果，使成为过调的原因的高频分量为0，所以可保持处理后的图像的边缘结构。
根据以上的实施例5，由于利用灰度变换改变动态范围，删除了成为过调的原因的高频分量而复原高频分量，所以可以在处理后的图像中原样保持边缘结构，实质上保持了微细结构，或对微细结构进行增强或抑制。
此外，在通过形态学运算生成平滑化图像的情况下，本来过调就难以发生，通过利用上述变换曲线可以更进一步抑制与过调相对应的高频分量，可以更有效地抑制过调。
同样，在利用介质滤波器生成平滑化图像的情况下，本来过调就难以发生，通过利用上述变换曲线可以更进一步抑制与过调相对应的高频分量，可以更有效地抑制过调。
(实施例6)
在实施例6中，将灰度变换后的图像分解为多个频带的频率系数，通过变换该频率系数原样保存边缘结构，得到改变动态范围及频率处理的效果。图20为展示实施例6的构成的示图，对于与实施例1同样的处理省略其说明。在图20中，112表示图像处理电路，1301表示进行用来改变动态范围的灰度变换的灰度变换电路，1302是将利用灰度变换电路1301进行了灰度变换的图像，利用例如子波变换、拉普拉斯金字塔变换等分解为多个频带得到频率系数的频带分解电路，1303是根据灰度变换电路1301的灰度变换曲线的斜率以及原图像或其平滑化图像的像素值对频率系数的值进行变换的系数变换电路，1304是根据利用系数变换电路1303进行了变换的系数，通过子波逆变换、拉普拉斯金字塔逆变换等对频率系数进行逆变换而重构图像的逆变换电路。
图21为展示利用灰度变换电路1301改变动态范围所使用的灰度变换曲线的一例的示图。其中横轴表示输入图像的像素值，纵轴表示输出图像的像素值。图22为展示本发明的实施例6的图像处理电路112的处理流程的流程图。图23为展示频率系数变换曲线形的一例。横轴是输入系数，纵轴表示输出系数。
下面按照图22的处理流程对实施例6予以说明。灰度变换电路1301按照图21所示的灰度变换曲线f()对原图像f(x，y)进行灰度变换(S1501)。在此情况下，例如，在曲线2中压缩低像素值区域的范围，反之，在曲线3中扩大同一范围。同样，在曲线4中扩大高像素值区域的范围，而在曲线5中压缩同一范围。曲线fn()最好是可以防止发生虚影的微分连续(可微且连续函数)的。并且，由于S1501的处理仅仅是灰度变换，在灰度变换后的图像中，不会产生过调等。
频率系数分解电路1302对通过灰度变换电路1301进行了灰度变换而改变了动态范围的图像F(f(x，y))进行二维离散子波变换处理，输出频率系数(S1502)。此频率分解方法可以采用例如在实施例1中说明的子波变换，在该情况下，分解为每个频带的频率系数HH1、HL1、LH1、……、LL。另外，频率分解也可以采用下面所示的拉普拉斯金字塔变换的方法。
图24A的g及b分别表示在进行各个1级分解时的图像的低分辨率近似图像及高频分量系数，低分辨率近似图像g，是在利用低通滤波器对图像信号x进行滤波处理及下采样而得到的。另外，高频分量系数b是对图像信号x和对低分辨率近似图像g进行上采样并利用低通滤波器进行滤波处理的图像取差分而得到的。拉普拉斯金字塔变换的方法是通过对低分辨率近似图像g反复进行此处理而得到各频带的频率系数，因为其详细情况是公知的，此处省略其说明。
另外，图24C为拉普拉斯金字塔变换的逆变换。将输入的高频分量系数b与对低分辨率近似图像g进行上采样并利用低通滤波器进行滤波处理的图像进行叠加而输出图像信号x′。低通滤波器可以使用例如图24B所示的滤波器。拉普拉斯金字塔变换的方法是通过对各级反复进行此处理而得到合成图像，因为其详细情况是公知的，此处省略其说明。
其次，系数变换电路1303按照例如图23所示的变换曲线f2(x，y)对频率系数进行变换(S1503)。在此情况下，只对规定绝对值(阈值)以下的区域1601的系数进行变换，超过规定绝对值的系数保持不变。其中，hn(x，y)是在n级的频率系数中的在规定绝对值以下的区域1601的系数，h2n(x，y)是按照(43)式进行了系数变换之后的系数的值。
h2n(x、y)＝f4(f(x、y))×(1/F’(x、y))×hn(x、y)…(43)
其中，f4()作为依存于原图像f(x，y)或该平滑化图像的曲线形，例如，是在规定像素值以下时使值小，在超过规定像素值时使值大的曲线形。超过规定绝对值(阈值)的频率系数保持不变。此规定绝对值是由系数的大小通过对图像的边缘进行实验而决定的值，通过使超过规定绝对值的系数保持不变来保存边缘结构，在重构图像中可抑制过调等虚影。另外，图23的变换曲线F2()，示意地表现出了以上内容，区域1601内的系数不一定是经过线性变换的，可以是根据(43)式进行变换的。
另外，因为是根据灰度变换曲线对规定绝对值(阈值)以下的频率系数(与微细结构等的有效分量相对应)的大小进行变换，所以在处理后的图像中也可以维持与原图像同样的微细结构的对比度。此外，通过根据原图像f(x，y)等的值对规定绝对值以下的频率系数进行增减，在重构图像上可以清晰化在原图像的像素值大的地方的有效信息(微细结构)等。并且，可以不增加低像素值区域的系数而抑制噪声的增强。
另外，从上述可知，(43)式可表示如下式(43)’式。
(当hn(x，y)在规定绝对值(阈值)以下时)
h2n(x、y)＝f4(f(x、y))×(1/F’(x、y))×hn(x、y)
(当hn(x，y)超过规定绝对值(阈值)时)
＝hn(x，y)…………(43’)
之后，在逆变换电路1304中，通过对进行了系数变换的图像分量进行逆变换生成重构图像(S1504)。
根据实施例6，可以在改变动态范围的同时，一边抑制过调等，一边实质上保持动态范围改变前的微细结构的信息。此外，通过根据原图像及其平滑化图像的像素值对频率系数进行增减，也可以获得在重构图像中抑制噪声及清晰化的效果。
(实施例7)
实施例7具有按照原样保存边缘结构而得到动态范围的改变及频率处理的效果。图25为展示实施例7的图像处理装置的框图，对于与实施例1同样的处理省略其说明。在图25中，112表示图像处理电路，1801是将原图像利用子波变换、拉普拉斯金字塔变换等方法分解为多个频带得到第1频率系数的第1频带分解电路，1802表示进行用来改变动态范围的灰度变换的灰度变换电路，1803是将利用灰度变换电路1802进行了灰度变换的图像，利用例如子波变换、拉普拉斯金字塔变换等方法分解为多个频带得到第2频率系数的第2频带分解电路，1804是根据灰度变换电路1802的灰度变换曲线的斜率以及原图像或其平滑化图像的像素值对第1频率系数的值进行变换的系数变换电路，1805是将利用系数变换电路1804进行了变换的系数与第2频率系数相加的系数加法电路，1806是对利用系数加法电路1805得到的频率系数，通过子波逆变换、拉普拉斯金字塔逆变换等方法进行逆变换而重构图像的逆变换电路。
图26为展示本发明的实施例7的图像处理装置112的处理流程的流程图。图27是展示在系数变换电路1804中使用的系数变换曲线的一例，横轴表示输入系数，纵轴表示输出系数。
下面按照图26的处理流程对实施例7予以说明。首先，利用第1频带分解电路1801对原图像进行频带分解处理，假设此处得到的图像分量为h orgn(x，y)(S1901)。作为频率系数分解方法可以使用子波变换、拉普拉斯金字塔变换方法等任何一种方法，下面对使用二维离散子波变换(DWT)的方法予以说明。
之后，在灰度变换电路1802中，利用灰度变换曲线f()对原图像Org(x，y)进行灰度变换处理(S1902)。于是，利用第2频带分解电路1803对进行了灰度变换处理的图像f(Org(x，y))进行DWT变换处理，设得到的图像分量为hn(x，y)(S1903)。其中，与其他实施例一样，n表示子频带的类型编号，x、y表示坐标。
其次，如(44)式所示，利用系数变换电路1804及系数加法电路1805，对频率分量horgn(x，y)进行变换并与图像分量hn(x，y)相加而得到新的频率系数h2n(x，y)(S1904)。
h2n(x、y)＝hn(x、y)+(1-f’(Org(x、y)))×h orgn(x、y)…(44)
其中，h orgn(x，y)是利用图27所示的变换曲线予先进行变换得到的，超过规定绝对值(阈值)(与边缘部相对应)的系数予先被设定为0。所以，在(44)式中，由于只对与微细结构相对应的有效分量相应于变换曲线的斜率进行变换并与灰度变换后图像的频率系数相加，实质上可以在复原后的图像中保存原图像的有效的高频分量的大小。在此情况下，由于高频分量的相加是利用原图像的高频分量进行的，所以可以使处理后图像的高频分量的大小精度更高地接近原图像的高频分量。
另外，代替(44)式，如(45)式那样也可得到同样的效果。就是说，为了不致发生不保存边缘结构产生过调等，在此情况也是予先利用图27的变换曲线对horgn(x，y)进行变换，只有在该进行了变换的h orgn(x，y)不为0时，才将h2n(x，y)作为(该进行了变换的)h orgn(x，y)，而在该进行了变换的h orgn(x，y)为0时，将h2n(x，y)作为hn(x，y)。
(经过变换的h orgn(x，y)不为0时)
h2n(x，y)＝h orgn(x，y)
(经过变换的h orgn(x，y)为0时)
＝h n(x，y)………………(45)
根据由系数加法电路1805得到的频率系数，利用逆变换电路1806进行逆变换处理(S1905)。
根据以上的实施例7，通过只对与原图像的微细结构相对应的有效的系数相应于灰度变换曲线的斜率进行变换并与灰度变换后的图像频率系数相加，实质上可以在复原后的图像中保存原图像的有效的高频分量的大小。在此情况下，由于高频分量的相加是利用原图像的高频分量进行的，可以使处理后图像的高频分量的大小精度更高地接近原图像的高频分量。另外，由于在改变动态范围的同时，在进行频率处理的图像中保存边缘结构，所以也可以抑制过调等。
(实施例8)
实施例8具有按照原样保存边缘结构而得到动态范围的改变及频率处理的效果。图28为展示实施例8的构成图，对于与实施例1同样的处理省略其说明。在图中，112表示图像处理电路，2101是将原图像利用子波变换、拉普拉斯金字塔变换等方法分解为多个频带得到频率系数的频带分解电路，2102是根据其它用来改变动态范围的灰度变换曲线的斜率对系数进行变换的系数变换电路，2103是对利用系数变换电路2102进行了变换而得到的系数进行逆变换的逆变换电路，而2104是用来对经过逆变换电路2103进行了逆变换而得到的图像的动态范围进行改变的灰度变换电路。
图29为展示本发明的实施例8的图像处理装置112的处理流程的流程图。图30是展示在系数变换电路2102中使用的系数变换曲线的一例，横轴表示输入系数，纵轴表示输出系数。
下面按照图29的处理流程对实施例8予以说明。频带分解电路2101对原图像f(x，y)进行二维离散子波变换处理，输出频率系数(S2201)。此频率分解方法可以采用例如子波变换或拉普拉斯金字塔变换方法等任意的方法，此处假设采用二维离散拉普拉斯变换将每个频带分解为频率系数HH1、HL1、LH1、……、LL。
其次，系数变换电路2102按照在灰度变换电路2104中使用的灰度变换曲线(例如图21所示的变换曲线)F()对频率系数进行变换(S2202)。在此情况下，如图30所示，只对规定绝对值(阈值)以下的区域2301的系数进行变换，超过规定绝对值的系数保持不变。此规定绝对值是由系数的大小通过对图像的边缘进行实验决定的值，通过使超过规定绝对值的系数保持不变来保存边缘结构，在重构图像中可以抑制过调等虚影。另外，图23的变换曲线f2()，示意地表现出了以上内容，区域1601内的系数不一定是经过线性变换的，可以是根据(43)式进行变换的。
其中，hn(x，y)是在n级的频率系数，h2n(x，y)是按照(46)式，根据hn(x，y)是否属于规定绝对值(阈值)以下的区域2301对hn(x，y)进行了系数变换之后的系数的值。
(在hn(x，y)在规定阈值以下时)
h2n(x，y)＝f5(f(x，y))×(1/F’(x，y))×h
n(x、y)
(在hn(x，y)超过规定阈值时)
＝hn(x，y)………………(46)
其中f5()例如具有依存于原图像f(x，y)或该平滑化图像的像素值的曲线形，例如，是在规定像素值以下时其值变小，在超过规定像素值时其值变大的曲线形。
其次，利用逆变换电路2103对h2n(x，y)进行逆变换(DWT逆变换)(S2203)。于是，得到复原图像f2(x，y)。于是，利用灰度变换电路2104对复原图像f2(x，y)进行如(47)式所示的灰度变换而得到改变了动态范围的图像f3(x，y)(S2204)。
f3(x，y)＝F(f2(x，y))…(47)
根据以上的实施例8，由于是根据用来予先改变动态范围的灰度变换的曲线形来改变频率系数，所以动态范围改变后的图像的高频分量的大小与原图像的高频分量的大小可以大致保持一样。另外，由于不改变规定绝对值范围的系数的值，所以可以保存边缘结构，在实施了频率处理及动态范围改变处理的图像中，抑制过调等的产生。
另外，由于将原图像分解为多频系数，所以也可容易地进行噪声抑制、清晰化处理、及与其他处理的复合处理。其原因是因为，例如在噪声抑制等之中进行基于原图像的系数的解析处理等。
根据以上说明的各实施例，可以在抑制或避免图像的边缘结构的破坏或发生过调的同时，得到改变了图像的动态范围或部分的像素值范围的良好的图像。
(实施例9)
下面参照附图对作为本发明的一个侧面的图像处理装置4100予以说明。另外，在各图中同一符号表示同一构件，省略了重复说明。本发明的图像处理装置4100是例如作为进行X线摄影时使用的X线摄影装置或该X线摄影装置的一部分(例如，X线摄影装置的图像处理部件)而实现。
参照图31，图像处理装置4100的构成包括CPU 4110、存储器4120、操作屏4130、显示部件4140、前处理部件4150、数据采集部件4160以及图像处理部件4170。图像处理装置4100具有CPU总线4105，各要素经CPU总线4105互相交换数据或信息。此处，图31为展示本实施例的图像处理装置4100的框图。另外，如本实施例所示，图像处理装置4100具有与数据采集电路4160相连接的摄像部件4190，利用该摄像部件4190拍摄的X线图像的图像处理可在一个装置中被构成。可是，本实施例的图像处理装置4100也可与其他摄像装置任意连接，并且，也可以是单纯达到后述的图像处理(清晰化等频率处理)的构成。
在这种构成中，图像处理装置4100对来自摄像部件4190的图像(生图像)通过前处理部件4150实施前处理(偏移校正、增益校正、Log校正)而生成原图像。所谓原图像，是指对生图像实施了前处理后的图像，例如，根据摄像部件4190的特性进行了校正和整理了体裁的图像。不过，由于原图像对于医生进行诊断不充分，还可以通过利用图像处理部件4170实施清晰化处理等而得到最适合诊断的或所要求的图像。另外，有时也将这种最优图像或所要求的图像称为QA图像(画质保证图像)。
CPU 4110，不管还是MPU等名称，只要是处理器就可以，与CPU总线4105相连接。CPU 4110经CPU总线4105控制各部的动作。另外，CPU 4110利用存放于存储器4120中的程序，对执行遵循操作员的操作屏4130的操作的图像处理装置4100的整体动作进行控制。
存储器4120是例如包含存放图像处理装置4100的动作程序及处理所必需的各种数据等的ROM等非易失性存储器和临时存放图像及必需的控制程序的RAM等易失性存储器。
操作屏4130由键盘、开关及触摸屏等构成，使操作员可以对图像处理装置4100进行操作。另外，显示部件4140是例如包含CRT、液晶显示器等的显示装置和/或印刷装置，可以输出QA图像。
前处理部件4150的构成是可以对原始图像执行前处理的电路，与CPU总线4105及数据采集部件4160相连接。另外，本实施例的前处理包含根据摄像部件4190的下述二维X线传感器4194的各像素(未图示)的特性(暗电流、检测灵敏度等)的差异对产生的图像进行误差校正的处理。更特定地说，所谓前处理，指的是偏移校正、增益校正、对数变换(Log变换)等，这些技术也适用于业界公知的任何技术。前处理部件4150根据存放于存储器4120中的数据，对由数据采集部件4160接收的原始图像(或经存储器4120从数据采集部件4160接收的原始图像)进行基于CPU 4110控制的校正。另外，前处理部件4150是执行图像处理的电路的一部分，也可以作为后述的图像处理部件4170的一部分。前处理部件4150将实施过这样的处理的图像(原图像)输出到图像处理部件4170和/或存储器4120。
数据采集部件4160与摄像部件4190、前处理部件4150以及CPU总线4105相连接，将从摄像部件4190输出的原始图像变换为电信号提供给前处理部件4150和/或存储器4120。
数据采集部件4160例如具有14比特的A/D变换器，将与摄像部件4190的输出成比例的数字信号提供给前处理部件4150和/或存储器4120。由此，前处理部件4150，可以进行上述前处理，例如，对数字信号进行对数变换，变换为与X线的射线量的对数成比例的数字信号。
图像处理部件4170包含低频分量生成部件4171、高频分量生成部件4172、分量变换部件4174以及高频分量加法部件4176，可经CPU总线4105收发各个数据。低频分量生成部件4171从原图像生成平滑化图像(即低频分量或低频图像，在本说明书中两者原则上作为同义词使用)。高频分量生成部件从原图像中减去平滑化图像，生成高频分量(高频图像)。分量变换部件4174对由高频分量生成部件4172生成的高频分量按照规定的函数进行变换。另外，关于此种规定函数，将在后述的动作中详细说明，此处省略说明。高频分量加法部件4176将利用分量变换部件4174进行了变换的高频分量与原图像或平滑化图像相加。本实施例的图像处理部件4170将具有规定阈值以上的绝对值高频分量补充原图像。或者，图像处理部件4170，对于以规定的倍率进行了变换的平滑化图像，对于具有规定阈值以上的绝对值的高频分量以同一倍率(该规定倍率)变换，对于具有规定阈值以下的绝对值的高频分量任意变换而得到的高频分量进行补充。由此，可以在保存边缘结构抑制过调等的同时，进行清晰化等的所要求的频率处理。
另外，如图36所示，图像处理部件4170也可以用图像处理部件4170a置换。此处，图36为展示本发明的另一实施例的图像处理装置4100a的框图。图像处理部件4170a具有频率系数分解部件4178、系数变换部件4180以及逆变换部件4182，可以经CPU总线4105交换各个数据。
频率系数分解部件4178具有利用离散子波变换(有时也称其为DWT变换)或拉普拉斯金字塔变换的方法对原图像的频率实施分解处理的电路。这些电路可以是例如图37A、B所示的电路，但使用业界公知的任何技术并没有限制。此处，图37A为展示实施离散子波变换处理的实施例的电路构成图，而图37B为展示实施拉普拉斯金字塔变换处理的方法的实施例的电路构成图。在这种构成中，频率系数分解部件4178得到每个频带的频率系数(子波变换系数或拉普拉斯金字塔变换系数)。
系数变换部件4180是对由频率系数分解部件4178得到的每个频带的频率系数进行变换的系数变换电路，根据规定的函数对频率系数进行变换。另外，对于这种规定函数，将在后述的动作中予以详细说明，此处省略说明。
逆变换部件4182具有根据由系数变换部件4180进行了变换的频率系数进行离散子波逆变换(有时也称其为DWT逆变换)或拉普拉斯金字塔方法的逆变换(拉普拉斯金字塔逆变换)的电路。这种电路是例如图38A、B所示的电路，但使用业界公知的任何技术并没有限制。此处，图38A为展示离散子波逆变换处理的实施例的电路构成图，而图38B为展示拉普拉斯金字塔方法的逆变换处理的实施例的电路构成图。在这种构成中，逆变换部件4182通过对进行了变换的频率系数进行逆变换可得到QA图像。
另外，图像处理部件4170和图像处理部件4170a在图像处理方法上有所不同，各处理方法，在后述的动作说明中将很容易理解。
摄像部件4190具有X线生成部件4192和二维X线传感器4194，与数据采集部件4160相连接。如图31所示，在摄像部件4190中，X线生成部件4192和二维X线传感器4194中间经过被检体P被相对配置。在这种构成中，摄像部件4190通过吸收及散射等与被检体P的相互作用，拍摄X线，并将该X线图像(原始图像)供给数据采集部件4160。X线生成部件4192可由操作员操作(也包含操作员对操作屏4130进行操作，利用存放于存储器4120中的动作程序控制CPU 4110的动作)由例如包括X线管球的电路构成。另一方面，二维X线传感器4194是例如由具有从X线的入射侧顺序配置的荧光体和非晶硅光传感器构成的积层结构，与数据采集部件4160相连接。另外，摄像部件4190不限于上述构成，当然还可以应用业界公知的技术。并且，摄像部件4190也可以是与图像处理装置4100独立的构成要素，本发明的图像处理装置4100也不一定是摄像部件4190。例如，摄像部件4190也可以作为独立的装置与图像处理装置4100相连接。
下面对上述图像处理装置4100的动作予以说明。另外，在以下的说明中，图像处理装置4100可以具体化为例如医疗用X线摄影装置。
首先，如果操作员通过对操作屏4130进行操作，发出拍摄指示，则X线生成部件4192就对被检体P发射X线束。从X线生成部件4192发射的X线束，在被检体P中衰减并透过，到达二维X线传感器4194。这种X线束由二维X线传感器4194检出，作为X线图像输出。此处，假设从二维X线传感器4194输出的X线图像是例如人体部图像等。
数据采集部件4160将从二维X线传感器4194输出的X线图像变换为数字信号供给前处理部件4150。前处理部件4150对从数据采集部件4160输出的数字信号进行偏移校正处理及增益校正处理等前处理。在此前处理电路4150中进行了前处理的X线图像信号被作为原图像，由CPU 4110控制，经CPU总线4105，转送到主存储器4120和/或图像处理电路4170。
下面参照图32及图33对图像处理部件4170的动作，即本发明的优选实施例的图像处理方法予以说明。此处，图32为展示作为本发明的一实施例的图像处理方法的流程图。图33为用来通过分量变换部件4174对高频分量进行变换而使用的变换曲线。横轴表示输入系数，纵轴表示输出系数。此处，图33表示输入分量是正的情况下的变换曲线，系数是负的情况也可是同样的变换。就是说，可理解为这仅仅是展示奇函数的第一象限的示图。
图像处理部件4170的低频分量生成部件4171，经CPU总线4105交换从前处理部件4150输出的图像(原图像)。首先，低频分量生成部件4171按照下述的(48)式从原图像生成平滑化图像(步骤5000)。其中，f(x，y)表示原图像，fus(x、y)表示平滑化图像，而d1、d2、d3、d4为掩模尺寸。fus(x,y)=∫d2d1∫d4d3f(x,d3y)dxdy∫d2d1∫d4d3dxdy···(48)]]>
另外，d1＝y+d、d2＝y-d、d3＝x+d、d4＝x-d。如采用这种利用移动平均的平滑化图像生成方法，则具有计算时间短的效果。
另外，由步骤5000生成的平滑化图像fus(x、y)不只限定于利用(48)式所示的函数所得到的结果。例如，也可以利用以下的(49)～(52)式所表示的形态学滤波运算生成。
f1(x，y)＝min{f(x+1，y+1)-D(x1，y1)|x1×x1+y1×y1≤r1×r1}…(49)
f2(x，y)＝max{f1(x+1，y+1)+D(x1，y1)|x1×x1+y1×y1≤r1×r1}…(50)
f3(x，y)＝max{f2(x+1，y+1)-D(x1，y1)|x1×x1+y1×y1≤r1×r1}…(51)
fus(x，y)＝min{f3(x+1，y+1)-D(x1，y1)|x1×x1+y1×y1≤r1×r1}…(52)
其中，D(x，y)是圆盘状滤波器，r1是对应于输入图像选择的任意常数。另外，在D(x，y)中有(53)式和(54)式所示的关系。
D(x，y)＝0，x×x+y×y≤r1×r1…(53)
D(x，y)＝-∞，x×x+y×y＞r1×r1…(54)
其中得到的fus(x、y)的曲线大致保存了边缘结构，不易引起作为现有的清晰化处理的缺点的过调。
另外，同样地，也可以利用介质滤波器运算来生成fus(x、y)。这种情况下的平滑化图像，由于比较地保存了边缘结构，所以与采用形态学滤波运算时一样，也不易引起作为现有的清晰化处理的缺点的过调。
之后，利用高频分量生成部件4172按照(55)式生成高频分量fh(x，y)。
fh(x，y)＝f(x，y)-fus(x，y)…(55)
就是说，计算在步骤5000中得到的平滑化图像fus(x、y)和原图像f(x，y)的差分，提取由高频分量组成的差分图像(5005)。
之后，分量变换部件4174利用变换曲线(函数F1())按照(56)式对高频分量fh(x，y)进行变换，生成fh1(x，y)(步骤5010)。
fh1(x，y)＝F1(fh(x，y))…(56)
其中，变换函数f1()是例如图33所示的曲线形状所表示的函数。根据此函数的曲线形状，使具有一定值(阈值)以上的绝对值的高频分量减少，使具有未达到一定值(图中，范围a1)的绝对值的高频分量的大小任意变化。在图33中，将一定值以上的高频分量置为0，未达到一定值的高频分量的大小不变(曲线的斜率为1)，来进行变换。另外，阈值被预先存放于存储器4120中，由操作员经操作屏4130任意输入，或通过原图像的解析根据原图像自动决定。
一般存在表示过调的高频分量的绝对值大于一定值，而与微细结构相对应的高频分量的绝对值小的性质。另外，此绝对值大的高频分量在图像的边缘部产生。此外，在QA图像中，作为感觉到过调的情况是在边缘部分中一部分像素的像素值相对其近旁的像素的像素值特别突出的情况。因此，在高频分量的绝对值大于一定值(阈值)的情况，通过使该高频分量的值为0(其结果是对该高频分量不补充原图像)，可以抑制过调而保存边缘结构。
之后，高频分量加法部件4176将经过此变换的高频分量f1(x，y)与(57)式所示的原图像相加(步骤5015)。其中fprc(x，y)是处理后的图像。
fprc(x，y)＝f(x，y)+fh1(x，y)…(57)
另外，补充高频分量的比例也可如(58)式所示依存于原图像或平滑化图像的像素值。
fprc(x，y)＝f(x，y)+F0(f(x，y))×fh1(x，y)…(58)
其中，f0()是依存于像素值的函数，例如是随像素值的增加而单调增加的函数等。由此，可以通过在噪声比较容易突出的低频值区域中减少高频分量的补充量来防止增强噪声。
另外，通过以各种线性或非线性的变换函数对未达到规定阈值的高频分量进行变换，可以进行符合各种目的的频率处理。例如，相应于想要增强的微细结构的高频分量的绝对值的分布，可以进行特别增强规定绝对值范围的高频分量的处理，相应于比较不需要的高频分量的绝对值的分布，可以进行弱化增强、不增强或抑制的处理，或进行这些的复合增强·抑制处理等。
执行如此处理后的图像fprc(x，y)被从图像处理部件4170供给存储器4120及显示部件4140。操作员，例如，摄影技师及医师可利用输出到显示部件4140的图像对拍摄的图像进行确认及诊断。
如上所述，这种图像处理方法，因为是通过使具有规定阈值以上的绝对值的高频分量变成0来与原图像相加，所以可以保存边缘形状或不产生过调。另外，可以通过只对未达到规定阈值的高频分量保持原样或利用规定的函数进行变换之后再与原图像相加，来增强与微细结构等的有效信息相对应的高频分量的清晰化，并只增强具有规定范围的绝对值的有效的或所要求的高频分量的清晰化等，进行符合各种目的的频率处理。例如，可以得到在人体中埋入的金属片及骨骼部分等的边缘部分不受不自然影响的自然的增强图像。
另外，在利用上述的形态学运算生成平滑化图像的情况下，本来过调就难以发生，通过进行利用了上述变换曲线的处理，可以更进一步抑制与过调相对应的高频分量，可以更有效地抑制过调。
同样，在利用介质滤波器生成平滑化图像的情况下，本来过调就难以发生，通过进行利用了上述变换曲线的处理，可以更进一步抑制与过调相对应的高频分量，可以更有效地抑制过调。
下面参照图34及图35对作为上述图像处理方法的变形例的图像处理方法，即利用图像处理部件4170进行动作的变形例予以说明。此处，图34为展示作为本发明的一实施例的图像处理方法的流程图。图35为用来通过分量变换部件4174对高频分量进行变换而使用的变换曲线。横轴表示输入高频分量，纵轴表示变换后的高频分量。此处，图35表示输入分量是正的情况下的变换曲线，系数是负的情况也可以是同样的变换。就是说，这仅仅是展示了奇函数的第一象限的示图。另外，图像处理装置4100的全体的动作与上述相同，此处省略其重复说明。
与上述方法一样，图像处理部件4170的低频分量生成部件4171，经CPU总线4105交换从前处理部件4150输出的图像(原图像)。低频分量生成部件4171按照上述的(48)式从原图像生成平滑化图像(步骤5100)。其中，f(x，y)表示原图像，fus(x、y)表示平滑化图像。另外，为生成平滑化图像fus(x、y)，与上述方法一样，也可以采用形态学滤波等手法。
之后，利用高频分量生成部件4172按照(55)式生成高频分量fh(x，y)。就是说，计算在步骤5100中得到的平滑化图像fus(x、y)和原图像f(x，y)的差分，提取由高频分量组成的差分图像(5105)。
之后，分量变换部件4174利用变换曲线(函数F2())按照(59)式对高频分量fh(x，y)进行变换，生成fh2(x，y)(步骤5110)。
fh2(x，y)＝F2(fh(x，y))…(59)
其中，变换函数F2()是例如图35所示的曲线形状表示的函数。根据图35所示的曲线形状，使具有一定值(阈值)以上的绝对值的高频分量维持原样(斜率1)，即值不改变。并且，使具有未达到一定值(图中，范围a2)的绝对值的高频分量的大小增加(减少也可以)。该阈值被预先存放于存储器4120，可以由操作员经操作屏4130任意输入或通过对原图像的解析根据原图像自动决定。另外，图35所示的函数形是示例，在本实施例中，规定阈值以上的高频分量与该未达到阈值的高频分量以不同的倍率进行变换就足够了。但是，对于函数中的在规定阈值以上的输入值的斜率(微分值)必须取决于后述的平滑化图像的规定的倍率。例如，假如低频分量被加上2倍或3倍，则这一斜率(微分值)也必须与此相应地为2或3。
之后，将经过此变换的高频分量fh2(x，y)与平滑化图像fus(x、y)相加(步骤5115)。其中fprc(x，y)是处理后的图像。
fprc(x，y)＝fus(x，y)+fh2(x，y)…(60)
另外，对于向平滑化图像fus(x、y)补充的上述未达到规定阈值的高频分量的比例，可以如(58)式所示取决于原图像或平滑化图像的像素值。另外，平滑化图像fus(x、y)也可以在以规定的倍率经过变换(增强或抑制)之后，与高频分量fh2(x，y)相加。不过，如果平滑化图像fus(x、y)以规定的倍率如此变换，则QA图像的边缘结构一般不能保存。所以，为保存QA图像的边缘结构，低频分量和阈值以上的高频分量必须以实质上同一比率变换。在更特定的情况下，如上所述，必须注意一定要使对阈值以上的高频分量进行变换的函数的斜率(微分值)与该规定的倍率相同。这一点可以从下述理解：构成边缘部分的高频分量的绝对值大，如果构成边缘部分的低频分量和高频分量一律以同一比率变换的话，则边缘结构不破坏，反之，在构成边缘部分的低频分量和高频分量以不同的比率变换的情况下，则边缘结构破坏。
因此，例如在将构成边缘结构(即具有规定阈值以上的绝对值)的高频分量及低频分量以一定比率改变的同时，如其它的高频分量不变，则可以得到在一边保存边缘结构一边改变动态范围的同时维持了有效的微细结构不变的处理后图像。
另外，通过以各种线性或非线性的变换函数对未达到规定阈值的高频分量进行变换，可以进行符合各种目的的频率处理。例如，相应于想要增强的微细结构的高频分量的绝对值的分布，可以进行特别增强规定绝对值范围的高频分量的处理，相应于比较不需要的高频分量的绝对值的分布，可以进行弱化增强、不增强或抑制的处理，或进行这些的复合增强·抑制处理等。
执行如此处理后的图像fprc(x，y)被从图像处理部件4170供给存储器4120及显示部件4140。操作员，例如，摄影技师及医师可利用输出到显示部件4140的图像对拍摄的图像进行确认及诊断。
上述的图像处理方法是将以函数f1()进行了变换的高频分量与原图像相加，而在该变形例中是将以函数F2()进行了变换的高频分量与平滑化图像相加。即使是该变形例，也可以获得与上述图像处理方法同样的效果。其结果是在增强与微细结构等有效信息相对应的高频分量的清晰化，或抑制与噪声等不需要信息相对应的高频分量的噪声削减等的同时，通过使边缘部分的高频分量的大小相对于低频分量的大小相对不变，而保存边缘形状和不产生过调。
(实施例10)
下面参照图36至图42C，对将图像处理装置4100的图像处理部件4170置换为图像处理部件4170a的情况下的图像处理方法，即利用图像处理部件4170a的变形例，予以说明。此处，图39为展示图像处理部件4170a的处理的流程图。图40为展示利用二维变换处理得到的2级变换系数群的构成例的示图。图41为展示系数变换函数f3()的曲线图，图中点线的右侧是斜率为1的直线。图42A、42B和42C分别为原图像的曲线、不保存边缘结构的清晰化处理后的图像的曲线和保存边缘结构的清晰化处理后的图像的曲线。
首先，图像处理部件4170a的频率系数分解部件4178对原图像f((x，y)) 进行二维离散子波变换处理(DWT变换处理)，并对频率系数进行计算并输出。更详细地说，频率系数分解部件4178顺序读出存储于主存储器4120中的原图像数据(例如，如图42A所示)，并进行变换处理。经过DWT变换的频率系数被再写入主存储器4120。更详细地说，输入的图像信号，被通过延迟元件及下采样器的组合将偶数地址及奇数地址的信号分离，利用2个滤波器p及u实施滤波处理。如图37A所示，s及d分别表示对各个一维图像信号进行1级分解时的低通系数及高通系数，由(61)式及(62)式计算。
d(n)＝x(2×n+1)-floor((x(2×n)+x(2×n+2))/2)…(61)
s(n)＝x(2×n)+floor((d(n-1)+d(n))/4)…(62)
其中，x(n)是作为变换对象的图像信号。
通过以上的处理，对图像信号进行一维DWT变换处理。二维DWT变换处理是在图像的水平和垂直方向上顺序进行一维变换，因为其详细情况是公知的，此处省略其说明。如图40所示，图像信号被分解为不同频带的图像分量HH1、HL1、LH1、……、LL(S1200)。在图40中，HH1、HL1、LH1、……、LL等(以下称其为子频带)表示每个频带的子波变换系数(频率系数)。
其次，系数变换部件4180按照例如如图41所示的变换曲线F3()对频率系数进行变换(步骤S5205)。在图41中，横轴表示输入系数，纵轴表示输出系数。另外，图41表示输入系数是正的情况下的变换曲线，输入系数是负的情况也可以是同样的变换。就是说，可以理解为这仅仅是展示奇函数的第一象限的示图。
根据此曲线形(函数f3())，使具有一定绝对值(阈值)以上的高频分量绝对值的高频系数不改变(例如，斜率1)，并使具有未达到一定阈值(a3所示的范围)的频率系数(高频系数)的大小增加。另外，此种函数形，如后所述，对规定阈值以上的频率系数和未达到规定阈值的频率系数以不同的倍率进行变换就足够了。本发明并不限于图41所示的函数形。利用这种曲线可对LL子频带系数以外的全部频率系数进行变换。然后，将变换后的频率系数保存于存储器4120。此处规定阈值是预先以实验方式求出的值。或者是，例如，此规定阈值也可以是生成子频带系数的绝对值的累积直方图，以累积频率为80％的系数的绝对值作为规定阈值的值。另外，最好是规定阈值随着频率分解进展的系数(与较低频率相对应的系数)变大。这是因为在与较低频率相对应的系数中，与边缘分量相对应的频率系数变大。另外，空间频率的高的上位(例如级1)的子频带的规定阈值为0的情况也有。
另外，在对未达到一定阈值的系数进行变换的情况下，也可以根据原图像的像素值或LL分量的值来改变变更系数的比率。例如，减小与原图像的低像素值区域相对应的系数的增加率等。由此，可以避免增强在低像素值区域容易突出的噪声。
在这种系数空间中，具有与微细结构等有效信息相对应的频率系数其绝对值小，而与边缘部相对应的频率系数其绝对值大的特性。所以，如利用图41这样的曲线形(函数F3())对系数进行变换，则与边缘结构相对应的频率系数保持不变。
图43至图50，同样展示了对规定阈值以上的频率系数和未达到规定阈值的频率系数以不同倍率进行的变换。在此，图43至图50变换频率系数的曲线(函数)的示例曲线，图中的虚线是通过阈值与纵轴平行的线段，表示以该虚线为界变换特性(斜率等)不同。图43是使未达到规定绝对值(阈值)(图中的a3a)的系数增加的示例，不会产生系数0。在此情况下，与图41所示的情况比较，其特征为在增强绝对值小的系数的同时系数的动态范围被压缩。图44是在使未达到规定绝对值(阈值)(a3b)的系数减少的同时，使系数从0开始单调增加。在此情况下，没有清晰化效果，有抑制噪声的效果。
图45是不仅未达到规定绝对值(阈值)(a3c)的系数增加，且规定绝对值以上的系数也增加，但a3c以外的范围的系数的增加比率比范围a3c的小的示例。就是说，是范围a3c以外的变换曲线的斜率比1大的情况。在此情况下，虽然不能完全保存边缘结构，但可以抑制边缘部分的过调，同时增强了微细结构等的有效分量。并且，在不发生边缘结构破坏问题的范围内，范围a3c以外的斜率大于1或小于1与范围a3c以外的斜率保持为1实质上是等同的。
图46是未达到规定绝对值(阈值)(a3d)以外，就是说使规定绝对值以上的范围的斜率为1，使整体曲线形为微分连续(可微且连续的函数，或至少斜率连续)。由此，系数的变化率连续，由于在处理后的图像中不产生虚影等，所以可以得到令人满意的效果。另外，在利用DWT变换处理得到的高频子频带的情况，由于与上述高频图像不同，是在系数空间中表现，可以说因为变换函数是微分不连续(不可微且不连续)，所以在直接处理后的图像中不会发生虚影等。
图47及图48是只增减在未达到规定绝对值(阈值)的规定范围(图47中的a3e及a3f)中的系数的情况。另外，图47及图48的第2个未达到阈值的曲线的斜率不为1也可以。在这种曲线形中，可以在范围a3e及a3f和系数比其小的范围内进行不同的系数增减，同时也可以保存边缘结构。由此，可以在抑制噪声等不需要的分量的同时只增强需要的有效分量。
图49及图50是与边缘结构相对应的系数(图中a3g及a3h)增减(斜率不为1)的曲线形。在此情况，对与边缘结构对应的全部子频带的系数(对于作为空间频率最低分量的LL子频带为全部系数)也可以以相同的比率变更。如此，则边缘部分其像素值只是单纯增减，不会发生过调及边缘模糊而保存了边缘结构。例如，在全子频带的系数加倍的情况下的复原图像变为原图像的动态范围单纯加倍的图像，不会发生过调及边缘模糊。由于同样的理由，如果在构成边缘结构的全子频带的系数(对于LL是全系数)以一定的比率改变的同时，其他的系数任意改变的话，则可以一边保存边缘结构，一边改变动态范围，同时可以得到微细结构被改变(增强或抑制)了的图像。另外，如果在构成边缘结构(即具有规定阈值以上的绝对值)的全子频带的系数(对于LL是全系数)以一定的比率改变的同时，其他的系数不改变的话，则可以一边保存边缘结构，一边改变动态范围，同时可以得到维持有效的微细结构不变的图像。上述的图43至图50所示的函数形，也可应用于上述实施例(将高频分量图像与平滑化图像相加的实施例)。但是，如上所述，在使用高频图像的情况下，如果在变换函数中存在不连续点及微分不连续点，由于会出现虚影等，最好使用微分连续的(可微且连续)变换函数。在此情况下，不连续点和断点最好变更为平滑曲线。
然后，逆变换部件4182对经过系数变换部件4180变换了的频率系数进行离散子波逆变换(DWT逆变换)(步骤5210)。更详细地说，利用函数F3()进行了变换的存储于存储器4120中的频率系数被由逆变换部件4182顺序读出进行逆变换处理。由逆变换部件4182进行了DWT逆变换的图像信号被再写入到存储器4120。如图38A所示，对输入的图像分量(s′及d′)实施u及p的2个滤波处理。于是，经过滤波处理的输出，在上采样之后被叠加而输出图像信号x’。这些处理如(63)式及(64)式所示。
x’(2×n)＝s’(n)-floor((d’(n-1)+d’(n))/4)…(63)
x’(2×n+1)＝d’(n)+floor((x’(2×n)+x’(2×n+2))/2)…(64)
通过以上处理，对经过变换的系数进行一维离散子波逆变换处理。二维离散子波逆变换是在图像的水平和垂直方向上顺序进行一维逆变换，其详情是众所周知的，省略其说明。
实行此种处理之后的图像，被从图像处理部件4170供给存储器4120及显示部件4140。操作员，例如，摄影技师及医师可利用输出到显示部件4140的图像对拍摄的图像进行确认及诊断。
图42B是在系数变换部件4180中，对除LL子频带之外的所有的子频带的系数全体进行加倍的变换。另一方面，图42C，是在图41中，将范围a3的系数加倍，其他的系数保持不变(即函数F3()的斜率为1)的情况下的结果图像。在对全体系数进行变换的情况下，例如，如图42B的箭头(图中无箭头——译者注)所示，则过调强烈。不过，在使规定绝对值以上的系数保持不变的图42C中可以看到，虽然增强了微细结构，但保存了边缘结构，未产生过调。
在图41中，变换函数F3()具有不可微且不连续点，但在逆变换后的图像中，不产生虚影等虚影。这是由于具有规定绝对值的系数(与变换曲线的不可微且不连续的点相对应的系数)在系数空间上随机散乱分布的，在逆变换图像上，没有作为线等连续分界线出现，而成为视觉可识别的结构。这是因为子波系数至少是频率系数，通过子波逆变换处理，相应于频率系数的大小，复原了规定的图像空间。另外，在系数空间上，有时与图像的边缘部相对应地规定绝对值的频率系数连续排列，在此情况下，在利用变换函数F3()这样的不连续函数进行系数变换之后，会出现在系数空间上的连续结构，而它在复原图像上沿着边缘部分是作为连续结构出现的，所以认识不到这是虚影。
上述说明利用的是离散子波变换，但也可以使用将图像分解为多频分量的方法，例如，也可以使用拉普拉斯金字塔变换的方法。在图37B展示的频率系数分解部件4178中，g及b分别表示在进行各个1级分解时的图像的低分辨率近似图像及高频分量系数。低分辨率近似图像g，是利用低通滤波器对图像信号x进行滤波处理及下采样而得到的。另外，高频分量系数b是对图像信号x和对低分辨率近似图像g进行上采样并利用低通滤波器进行滤波处理的图像取差分而得到的。低通滤波器可使用例如图51所示的滤波器。图51为展示可以应用于图37B所示的频率系数分解部件4178的滤波器的一例的示图。拉普拉斯金字塔变换的方法是通过对低分辨率近似图像g反复进行此处理而得到各频带的频率系数，其详细情况是公知的，此处省略其说明。
另外，如图38B所示，通过将输入的高频分量系数b与对低分辨率近似图像g进行上采样，并利用低通滤波器进行滤波处理的结果相叠加，来作为图像信号x’输出的。拉普拉斯金字塔方法(拉普拉斯金字塔逆变换)是通过对各级反复进行此处理而得到合成图像，其详细情况是公知的，此处省略其说明。
如以上这样，该实施例的图像处理方法是将图像分解为多个频带的频率系数，通过对该频率系数进行变换，来得到原样保存边缘结构、清晰化等频率处理的效果。该方法具有可以保持边缘结构原样，并对每个频带的增强或抑制的程度能够进行细致调整的效果。另外，即使是进行原样保持边缘结构的频率处理，在处理后图像上也不会产生虚影等的效果。另外，通过随着分解级数成为低频而使规定绝对值(阈值)变大，可以更有效地进行保存边缘结构的频率处理。
如上所述，根据实施例9以下的各实施例，可以提供在抑制或避免在图象图像中包含的边缘部分的边缘结构的破坏的同时，能够得到增强或抑制所希望的空间频率分量的良好的图像的图像处理装置及方法，以及计算机可读介质及程序。
根据实施例9的图像处理装置及方法，可以对具有规定阈值以上的绝对值的高频分量和具有未达到规定阈值的绝对值的高频分量以不同的倍率进行变换。因此，可以不对具有规定阈值以上的绝对值的高频分量进行增强。另外，可以对具有规定阈值以上的绝对值的高频分量以与平滑化图像的变换倍率相同的比率进行变换。其结果是，过调受到抑制或边缘结构得到保存。因此，利用这种图像处理装置及方法得到的处理后的图像，能够使例如边缘部分不存在不自然。另外，因为具有未达到规定阈值的绝对值的高频分量可以任意变换而得到，所以可以适当增强(清晰化)或抑制高频分量。
另外，根据实施例10的图像处理装置及方法，可以对具有规定阈值以上的绝对值的高频系数(高频带的系数)和具有未达到规定阈值的绝对值的高频系数以不同的倍率进行变换。其结果是，可以对具有规定阈值以上的绝对值的高频分量进行增强。另外，例如可以保持具有规定阈值以上的绝对值的高频系数不变，或以与低频系数(低频带的系数)的变换倍率相同的比率进行变换。由此，过调受到抑制或边缘结构得到保存。此外，此种图像处理装置及方法，可以对每个频带进行细致调整。另外，通过对每个高频带采用基于系数值进行变换的方法，具有即使是执行抑制过调或保存边缘结构的频率处理，在处理后的图像上也不会产生其他虚影(例如，沿着边缘部的可见带状模糊)等的优异效果。另外，通过使具有未达到规定阈值的绝对值的高频系数增加或减小，可以做到增强(清晰化)微细结构或降低噪声。另外，该图像处理装置及方法，也可以对具有未达到上述规定阈值的具有未达到更小的第2阈值的绝对值的高频系数进行大幅度减小或使其变为0的变换。这种构成可以在抑制图像中的噪声分量的同时对图像中的有效分量进行适当的变换(增强或抑制)。另外，也可以通过使每个高频带的带域不同(例如，高频带的带域随着变为低频而阈值变大)，来更有效地抑制过调或保存边缘结构。
(其他实施例)
在本发明的范畴内还包含为实现上述实施例的功能或为了使执行处理步骤的各种器件动作而向连接到该各种器件的装置或系统内的计算机提供实现上述实施例的功能或用来执行处理步骤的软件的程序代码，在该装置或系统内的计算机(CPU或MPU等)按照保存的程序使上述各种器件动作，而实现上述实施例的功能或执行其处理步骤。
另外，在此情况下，本发明的构成还包括通过上述软件的程序代码本身实现上述实施例的功能或执行其处理步骤的该程序代码本身以及向计算机提供该程序代码的装置，例如存储此种程序代码的存储介质。
作为存储程序代码的存储介质，可以使用例如软盘、硬盘、光盘、磁光盘、CD-ROM、磁带、非易失性存储卡以及ROM等。
另外，本发明的构成不仅包括通过计算机执行所供给的程序代码实现上述实施例的功能或执行其处理步骤，当然还包括该程序代码与在计算机中运行的OS(操作系统)或其他应用软件等协作实现上述实施例的功能或执行其处理步骤的情况下的程序代码。
另外，本发明的构成当然也包括将提供的程序代码存放于计算机的功能扩展板及与计算机相连接的功能扩展单元所具备的存储器中，在该功能扩展板及功能扩展单元中设置的CPU等根据该程序代码的指示执行实际处理的一部分或全部，通过该处理实现上述实施例的功能或执行其处理步骤的情况的程序代码。
另外，上述程序代码不仅可以通过存储在上述计算机可读存储介质中的被存取，而且可以利用因特网等其他通信网络在线发送来进行独立的存取。
以上对本发明实施例进行了详细说明，本发明在该要旨的范围内当然可以有各种变形及改变。