音调转换装置 本发明涉及诸如卡拉OK(随曲调唱歌)唱机的音调转换装置和用于改变音调或声音的原始频率的声音和图像编辑器，尤其涉及在不引起声音失真的情况下能够易于改变保持原始声音特性的音调的装置。
诸如传统的卡拉OK唱机这样的传统音调转换装置具有称为键控的用于改变伴音的音调将其调整到演唱者的音域的功能。这种键控功能通过改变模拟信号伴音的重放速度改变乐曲音调。
最近，已经开发一种通信卡拉OK系统，其中乐曲提供装置存储多种歌曲并根据终端用户的要求将它们送到多个用户终端。
这样传送的歌曲的数字数据包括用于显示字符数据及改变与伴奏音乐同步的字符的彩色，用于驱动终端合成器来重放伴奏音乐的MIDI(乐器数字接口)信号和用于重放男或女声伴唱的自然声音的压缩声音信号。
这种卡拉OK系统的MIDI信号，通过控制合成器地设置使其音调在频率高于或低于原始音调，而不改变原始节拍。
然而，在不改变其节拍和原始声音的特性，以及不引起音质失真的情况下，不容易改变男或女声伴唱的自然声音的音调，因为它不是MIDI信号而是不具有音调控制信息的摸拟信号。
最后，开发一种编辑数字声音信号的音频/视频编辑位置，然而，它不能在不失去高品质的原始声音的情况下改变音调。
在保持原始节拍的情况下，主要存在两种改变音调的传统方法。
其中之一是在时间范畴内采样和处理声音信号的方法。例如当打算将音调较原始音调提高两倍时，声音信号被分成预定的段，并在原始读取速度两倍的速度读取这些分离的声音信号的数据以获得两倍音调信号，或者检测每个分离的声音信号段的音调频率(当对分离的信号段进行频谱分析时呈现的最低频率，“音调频率”也称为“基本频率”)并将其加倍以获得两倍音调信号。在这两种情况下，通过重复使用加倍的音调信号填充对应于预定段的分离时间间隔。这样，加倍音调频率而不改变声音的原始节拍。这样方法的问题在于加倍音调信号段的平滑连接。事实上，由于不完善的连接使重放声音恶化，并且原始声音的特性变得失真。
另一种方法是在频率范畴使用处理声音信号的傅里叶变换。声音信号被分成多个预定段。通过傅里叶变换提取频率范畴内的分离信号段的振幅和相位分量，并分别按要求的量移位。然后，通过逆-傅里叶变换将移动(改变)的振幅和相位分量还原到时间范畴。在此之后，音调改变的声音信号段互相连接。然而，本发明人认为这种方法会使重放声音不自然和不满意。
由本申请的日本专利特开申请No59-204096/1984公开了使用傅里叶变换的另一种方法。声音信号被分成多个预定段，然后对其进行傅里叶变换。检测变换的声音信号的音调频率。仅在该检测音调频率附近的分量移动(改变)预定值。
日本专利特开申请No.59-204096/1984公开的方法是在保留谐音时提醒收听者他们的原始音调。因此，收听者不但听到原始音调而且还听到移位的音调。
除卡拉OK唱机之外，在其它系统存在类似的音调改变要求，例如磁带记录器或VCR，当这些装置以高于标准速度的速度演奏时，在磁带记录器或VCR中希望保持原始的音调。
因此，本发明总的目的是消除上述的问题。
本发明的另一个目的是提供一种具有简单电路结构、短处理时间、将音调转换为高于或低于原始音调、没有声音恶化以及保持原始声音的自然声音特性的改进性能的音调转换装置。
本发明的特定目的是提供将声音信号的音调改变预定比率的改进的音调转换装置，包括用于将数字格式的输入声音信号分成一组多帧并形成分离的多个帧每帧的包络的第一窗口设备，用于检测每帧内的音调频率的音调频率检测设备，用于将每帧声音信号变换为频率范畴信号的傅里叶变换设备，用于将傅里叶变换设备输出中的所有频率分量改变(移位)要求次数(级次)的频率改变设备，用于根据由音调频率检测设备检测的音调频率控制包含在频率改变(移位)设备输出中的谐音电平的谐音电平控制设备，用于将谐音电平控制设备的输出变换为时间范畴信号的逆傅里叶变换设备，和用于形成从逆傅里叶变换设备输出的声音信号的各个帧的包络，以及将各个帧组合成改变音调的声音信号的第二窗口设备。
图1是本发明的音调转换装置实施例的方块图。
图2是由本发明的音调转换装置实施例完成的信号处理的流程图；
图3(A)到3(C)表示通过利用窗口功能在本发明的实施例完成的两个相邻信号段的耦合处理。
参考附图现在详细描述本发明。
图1是本发明的音调转换装置实施例的方块图。
图2是由本发明的音调转换装置的实施例完成的信号处理的流程图。
图3(A)到3(C)表示通过利用窗口功能在本发明的实施例完成的两个相信信号段的耦合处理。
现给出将具有44.1KHz的采样频率fs的声音信号的音调改变3个半音(半音音阶)的典型装置的描述。
首先，将帧号码“i”，即信号处理单元，设定为初始值(步骤11)。改变音调的数字声音信号输入第一窗口设备1。如果数字声音信号(除其它说明外下文称为“声音信号”)的长度较该帧长(步骤12→是)，该声音信号通过第一窗口设备1分成每个具有预定数目采样的多个帧，例如4096采样(采样“0”到采样“4095”)，并且以通过第一窗口设备1的窗口功能将为该帧头部的采样0到第999采样振幅控制(其模拟包络的)为正弦波的形式读取4096个采样(步骤13)并输出。为该帧尾部的第3096到4095采样被振幅控制为余弦波，并输出。读出在头尾之间的其他采样(1000-3095)使其具有电平“1”，如图3(A)所示，并将其输出在步骤14完成这三个过程。分别用于每帧的头和尾部使其成为正弦和余弦波的上面的振幅控制，通过向各个帧的结尾提供淡入和淡出作用使相邻帧能够平滑耦合。(图3中所示)。
通过改变200和2000采样之间的数目的实验确定头和尾部中的最佳采样数，即帧的正弦和余弦周期。因此500到1500采样审定为大部分声音源的最佳采样数，它对应于声音源的大约10到35毫秒的时间间隔。因此，本实施例中用于头或尾部的时间窗口的宽度确定为1000个采样，并且对应于大约23毫秒的时间间隔。在小于半帧长度的范围内能够改变头或尾部的时间窗口的宽度。
由第一窗口设备1到多个帧的声音信号的一组帧输入音调频率检测器2，在这里通过利用自相关函数或逆谱技术提取每帧中的声音信号的频谱中的最低频率(步骤15)。声音信号的一组帧也输入傅里叶变换(FFT)设备3，并从时间范畴信号变换为频率范畴信号(步骤16)，然后，开始时为时间范畴的每个采样变换为频率范畴，这样，时间范畴中的“采样数”成为“频率”。当具有采样频率fs的声音信号分为每个具有N(正整数)个采样的多个帧时，由频率PHZ表示的从FFT设备3输出的信号的采样数为第(pxN/fs)采样。在本实施例中，fs为44.1KHZ，并且N为4096。这样，频率PHZ的采样为第(px4096/44100)采样，这里把小数四舍五入。
频率改变(移隹)设备4将傅里叶变换的声音信号频率的实部和虚部改变3个半音，本实施例中的音调改变量。通过八音度改变音调，即，高于12半音意味着原始声音频率被加倍。因此，将声音信号改变“h”(正整数)半音是使声音信号频率提高2h/12倍。在本实施中，“h”为3。因此，改变为23/12，大约为1.19。因此，第n个采样变为第(1.19×n)采样。当音调频率为P1HZ时，改变频率的采样数为p1×2h/12×N/fs。
检测歌手的声音显示出当他的音调变高时所包含的高谐音为低电平，而当他的音调变低时所包含的谐音为高电平，这些谐音的电平取决于重放声音的质量。这样，在将全部声音信号频率变为较高或较低之后，通过操纵谐间的电平能改进音质。
当音调频率检测器2的输出音调频率为零(无输出)(步骤18→不)时，谐音电平控制器5将音调频率输出到逆傅里叶变换设备6，而没有任何操作(步骤22)。
当音调频率检测器2输出的音调频率为正数(步骤18→不)时，谐音电平控制器5控制音调频率谐音电平。当帧中的全部频率分量变为较高时，即，改变值2h/12的次数等于或大于1，(步骤19→是)，改变的声音信号的谐音电平减少(步骤20)。在另一方面，当全部的频率分量变为较低(步骤19→不)时，改变的声音信号的谐间电平增大(步骤21)。步骤19对应于改变值的次数小于1的情况。通过实验，显示出检测的音调步骤的谐音减小或增大10分贝的电平对于保持在改变的声音信号中的原始音质是最佳的。这样，在本实施例中，该电平选择为10分贝。
尤其是，当检测的音调频率为200HZ，并且改变3个半音时，改变的音调频率为200×1.19HZ。这样，在改变之后谐音变为200×1.19xm。这里，“m”是大于1的整数。这些频率的傅里叶变换数据的各个实部和虚部乘以10-0.5，这意味着这些数据将增加-10分贝。由此推广，音调频率P1的改变“h”半音的第m谐音的采样数为第(m×P1×2h/12×N/fs)采样，然后该采样数的傅里叶变换数据的实部和虚部乘以10-0.5或100.5，这意味着该数据改变-10分贝或10分贝。
在此之后，转换的各个数据输入逆傅里叶变换(IFFT)设备6，并从频率范畴信号变换为时间范畴信号(步骤22)。
由IFFT设备6转换回时间范畴信号的声音信号的第一帧输入第二窗口设备7。第一帧头部的第一帧中的零到999采样通过第工窗口设备7形成为正弦波，并由此输出。第一帧尾部的第3096到第4095采样通过第二窗口设备7形成为全弦波，并由此输出。在头和尾部之间的剩余采样恢复为具有恒定电平“1”并输出。在步骤23执行这二个窗口处理。
第3096到第4095采样通过后面将描述的加法器8存储在存储器9。零到第3095采样输出到D/A(数字到模拟)转换器10。
以第一窗口设备1从图3(B)所示的采样3096到采样7191读取输入的声音信号产生声音信号的连续的第二帧，因此第3096到第4095采样被冗余读取。否则，第二帧的采样3096到采样7191要进行与该帧相同的信号处理，直到存储器9中的存储过程为止。
通过加法器8存储在存储器9的第一帧的尾部的采样3096到4095增加到新近读出的采样3096到4095并处理为第二帧的头部(步骤24)。因为在该加法过程中余弦尾部和正弦头部相加，结果为具有电平“1”的第2帧的平滑耦合，如图3(c)所示。第二帧的尾部，采样6192到7191存储在存储器9(步骤25)。
形成为具有电平“1”的相加的采样3096到4095及采样4096到6191从第二窗口设备7输出到D/A转换器10(步骤26)。通过控制器(MPU)32重复这些过程直到一组声音信号的结束为止，因为每个周期增加一次帧号码“i”(步骤27)。从数字信号转换为模拟信号的声音信号从D/A转换器10输出。
应该注意到通过DSP31实现第一和第二窗口设备1和7，音调频率检测器2，FFT3，频率改变设备4，谐音电平控制器5，IFFT6和加法器8。这样，通过控制器(MPU)32控制DSP31，存储器9和D/A转换器10来执行图2所示的过程。
在本实施例中，每帧的全部采样数为4096，但是采样数量可以不同，作为实验结果，发现为产生好音质每帧的最佳采样为每采样10-25HZ。考虑到包括FFT的数字信号处理一帧中的采样数最好是2n(n为正整数)。因此，在本实施例中，在采样频率为44.1千HZ的情况下，一帧中的采样数应该为2048或4096。每帧2048采样和每帧4096采样分别等于21.5KHz采样和10.8HZ/采样。当采样频率为22.05KHZ时，例如MPEG2音频的声音数据，一帧中的采样数应该为1024或2048。每帧1024采样和每帧2048采样等于21.5HZ/采样和10.8HZ/采样。
对于具有采样频率44.1KHZ的声音数据，对于每帧的采样数为512,1024,2048,4096和8192的情况已进行实验。在512采样的情况下，音调改变是不精确的。在1024采样的情况下，音质是令人不能接收的，在8192采样的情况下，获得要求的音调改变，并且检测到一种混响效果。在2048和4096采样的情况下，获得最好的音质。
如上所述，本发明的优点是提供一种高性能的音调转换装置，利用分离和形成声音信号的第一窗口设备，用于检测声音信号的音调频率的音调频率检测设备，用于将声音信号变换为时间范畴信号的傅里叶变换设备，用于将傅里叶交换的数字声音信号改变预定值的频率改变设备，用于操纵波峰值频率的谐音电平的谐音电平控制器，用于将音调改变及谐音电平控制声音信号回到时间范畴信号的逆傅里叶变换设备，用于重新形成逆傅里叶变换的声音信号的第二窗口设备，和用于耦合分离的声音信号帧的加法器使该装置具有简单的电路结构，短的处理时间，将音调转换为较原始音调高或低，而没有声音失真，并保持原始声音的特点。