用于按照索引信息搜索音频指纹的系统和方法 【技术领域】
本发明涉及一种音频指纹(fingerprint)搜索技术，且更具体地，涉及如下的系统和方法，该系统和方法用于通过对音频指纹进行编索引(indexing)、基于编索引搜索预定的音频指纹、并验证所搜索的音频指纹，来按照索引信息搜索音频指纹，以改善识别性能并增加搜索速度。
这项工作受MIC(韩国信息通信部)/IITA(韩国信息技术促进协会)的信息技术(IT)研究开发计划[2007-S-017-01，“Development of user-centriccontents protection and distribution technology(用户中心内容保护和分布技术的开发)”]支持。
背景技术
音频指纹系统的目标是通过接收音频信号并利用预先构建的音频指纹数据库搜索对应的音频来识别预定的音频。根据应用领域，音频指纹系统已经用于广播监视器、CF识别、和文件过滤。为了在所述应用领域中有效地使用音频指纹系统，甚至在各种失真情况下，也需要高识别率和快的搜索速度。具体地，为了在P2P或UCC领域中过滤文件，需要迅速且准确地搜索由其每一个具有自己的版权的几十万个音频文件形成的音频指纹数据。对于在基于大容量音频指纹数据库进行操作的广播监视和文件过滤领域中的实时处理，识别速度是最重要因素之一。
此外，根据音频指纹系统的应用领域，还要求音频指纹系统具有高识别性能(尽管音频数据通过重新采样、过滤、均衡、和压缩而被变形)、以及快的识别速度。
在名称为“Method for search in audio database(用于音频数据库中的搜索的方法)”的韩国专利公开第2003-7001489号中介绍了根据现有技术的搜索方法。在用于音频数据库中的搜索的方法中，提取界标(landmark)和指纹，并使用界标和指纹的对应关系来搜索预定的音频数据。在所述方法中，除了指纹之外还计算界标，将所计算的界标存储为索引、和在界标与使用界标位置中的指纹的音乐ID之间的候选列表。然后，基于其线性关系来识别音频。然而，尽管在所述方法中基于指纹来搜索音频信号，但是没有考虑指纹的特性。此外，作为补充特征，所述方法需要界标来识别预定音频。
在名称为“Fingerprint producing method and audio fingerprinting systembased on normalized spectral subband centroids(基于规格化的谱子带矩心的指纹产生方法和音频指纹识别系统)”的韩国专利公开第2007-0031765号中介绍了根据现有技术的音频搜索系统。所述指纹产生方法和音频指纹识别系统基于规格化的谱子带矩心来生成指纹，并通过比较指纹的距离来搜索预定的音频。所述指纹产生方法和音频指纹识别系统没有考虑用于音频搜索的指纹的特性，尽管所述指纹产生方法和音频指纹识别系统具有比MP3的典型指纹的MFCC和音调、均衡、以及随机开始更好的识别性能。
【发明内容】
技术问题
相应地，本发明旨在一种用于根据索引信息来搜索音频指纹的系统和方法，其实质上排除了由于现有技术的限制和缺点所导致的一个或多个问题。
本发明的目标是提供一种使用索引信息搜索音频指纹的系统和方法，以通过使用音频指纹特征信息的统计特性来生成索引并使用生成的索引来搜索预定音频，来改善音频识别性能并增加搜索速度。
技术解决方案
为了实现这些目标和其它优点并且根据本发明的目的，如在这里所实施和广泛描述的，提供了一种用于搜索音频指纹的系统，该系统包括：DB组，用于基于音频文件的音频指纹的统计特性来生成索引，并连续地匹配索引、音频指纹、和音乐信息；和音频指纹搜索设备，用于基于新输入音频文件的音频指纹的统计特性来生成新索引，并通过从DB组中搜索新索引来搜索用于新输入音频文件的对应音乐信息。
根据本发明的另一目的，提供了一种用于使用索引信息来搜索音频指纹的方法，包括如下步骤：a)基于音频文件地音频指纹的统计特性来生成索引，并准备用于存储位置信息的DB组，该DB组连续地匹配所生成的索引、音频指纹、和音乐信息；b)基于新输入音频文件的音频指纹的统计特性来生成索引；以及c)通过从DB组中搜索在步骤b)中生成的已生成索引来搜索用于新输入音频文件的对应音乐信息。
有益效果
根据本发明的用于按照索引信息来搜索音频指纹的系统和方法使用音频指纹的统计特性来生成索引，并基于所生成的索引来搜索音频指纹。因此，根据本发明的用于按照索引信息来搜索音频指纹的系统和方法可以支持快的搜索时间，并可以应用于过滤和监视大容量数据库中的文件。此外，用于按照索引信息来搜索音频指纹的系统和方法创建了包括可变位置的索引比特的候选索引以便补偿失真，这是因为如果将索引直接用于搜索而没有补偿，则由于失真而急剧地降低识别率。因此，用于按照索引信息来搜索音频指纹的系统和方法可以通过校正由于比特索引而可生成的误差来改善识别率。
【附图说明】
在这个申请的部分中合并了附图，并且所述附图构成这个申请的部分，包括所述附图以提供本发明的进一步理解，所述附图图示了本发明的实施例，并且与描述一起用于说明本发明的原理。在附图中：
图1是图示了根据本发明的实施例的、用于搜索音频指纹的系统的框图；
图2是图示了根据本发明的实施例的索引处理器的框图；
图3是图示了在根据本发明实施例的用于搜索音频指纹的系统中使用的DB文件中的关系的图；
图4是图示了用于生成指纹索引所使用的概率分布的图；
图5是图示了使用从音频搜索处理提取的指纹来生成指纹索引并基于所生成的指纹索引来搜索预定音频的过程的图；
图6是图示了在音频搜索处理中生成候选索引的过程的图；以及
图7是图示了使用在音频搜索处理中生成的候选索引来搜索最终结果的过程的图。
【具体实施方式】
现在，将详细参考在附图中图示了其示例的本发明的优选实施例。
图1是图示了根据本发明的实施例的、用于搜索音频指纹的系统的框图。
参考图1，根据本实施例的用于搜索音频指纹的系统包括音频指纹搜索设备1。所述音频指纹搜索设备1包括：指纹提取单元11，用于提取用于音频文件的音频指纹；候选索引搜索单元12，用于通过按照所提取的音频指纹值与在生成索引时使用的平均值(mean value)之间的差的绝对值的升序来排序所提取的指纹的值，而考虑可变位置地生成候选索引；指纹匹配单元13，用于与候选索引对应地匹配音频指纹和已提取音频指纹；以及结果验证单元14，用于如果音频指纹之间的距离处于预定值范围中，则验证搜索结果是对应的音乐信息。
由于索引被用于搜索，所以用于搜索指纹的系统还包括：DB组2，用于存储音频指纹，所述音频指纹具有与所述音频指纹匹配的对应索引。为了操作根据本发明的音频指纹搜索设备1，首先需要建立相关的数据库。因此，优选地，将DB组2形成为具有指纹DB 21、音乐信息DB 22、和指纹索引DB 23。此外，为了匹配并存储音频指纹与对应的索引，需要对音频文件执行预处理。优选地，还包括：索引处理器3，用于在预处理中接收音频文件和音乐ID信息，并将音频指纹与对应的索引匹配。
如上所述，根据本实施例的用于搜索音频指纹的系统被划分为：DB生成区域，用于生成指纹索引并建立其数据库，以及DB搜索区域，用于通过编索引进行搜索。也就是说，在DB生成步骤中，相关的信息被存储在指纹DB 21、音乐信息DB 22、和指纹索引DB 23中。在基于索引进行搜索的步骤中，执行指纹提取、通过编索引进行的候选搜索和匹配、以及结果验证。尽管根据本实施例的用于搜索音频指纹的系统被划分为两个区域，但是对于本领域技术人员而言明显的是，所述两个区域可以在一个区域中执行。
图2是图示了根据本发明的实施例的索引处理器的框图。
参考图2，索引处理器3包括：指纹提取器31、指纹统计分析器32、指纹二进制化器33、和指纹编索引器(indexer)34。
指纹提取器31使用指纹提取算法从输入的音频文件中提取音频指纹，并且指纹统计分析器32分析音频指纹的统计特性并计算概率分布。也就是说，指纹统计分析器32通过计算音频指纹的平均数(mean)以及指纹分布来将所提取的音频指纹近似为概率模型。然后，指纹二进制化器33通过分析音频指纹的统计特性来将指纹二进制化为具有概率性上同一的分布，并且指纹编索引器34生成索引。
这里，指纹提取算法可以是过零率(ZCR：zero crossing rate)、能量差、谱平坦度、美尔频率倒谱系数(MFCC：mel frequency cepstral coefficients)和频率矩心(frequency centroide)中的一个。
图3是图示了与在根据本发明实施例的用于搜索音频指纹的系统中使用的DB文件的结构的关系的图。
参考图3，根据本实施例的DB组2包括：指纹DB 21、音乐信息DB 22、和指纹索引DB 23。
指纹DB 21存储音乐中的指纹音频值和位置信息。音乐信息DB 22存储关于音乐ID的信息和指纹的数目。指纹索引DB 23根据二进制化的指纹值来存储指纹DB 21中的关于位置的信息。
当根据本实施例的用于搜索音频指纹的系统在每个DB存储对应信息之后、接收搜索预定音频文件的请求时，所述系统通过图2中所示的编索引步骤来生成候选索引，从指纹索引DB 23中搜索所生成的候选索引，并检测候选索引的指纹位置信息。然后，所述系统检测在指纹DB 21中存储的、与指纹位置信息对应的指纹信息，并输出在音乐信息DB 22中存储的、与音乐的位置信息对应的音乐信息。
图4是图示了用于生成指纹索引所使用的概率分布的曲线图。
参考图4，所述曲线图示出了规格化的频率矩心值的直方图分布。所述曲线图清楚地示出了平均值接近于0。
图5是图示了使用从音频搜索处理提取的指纹来生成指纹索引并基于所生成的指纹索引来搜索预定音频的过程的图。
像图3中一样，从音频文件中准备三个DB文件。所述音频指纹搜索设备1使用三个DB文件来执行搜索服务。
参考图5，当预定音频文件输入时，与用于从音频文件生成DB的方法一样地依次执行提取音频指纹的步骤、基于从所提取的指纹获得的索引来计算候选指纹的步骤、匹配所提取的音频指纹和与所计算的候选指纹索引对应的音频指纹的步骤、以及使用匹配结果来验证搜索结果的步骤。这些步骤将如下描述。
如果输入音频文件，则通过使用上述方法提取音频指纹来生成索引。也就是说，指纹提取器11使用指纹提取算法从输入的音频文件中提取音频指纹，并且指纹统计分析器32分析音频指纹的统计特性，并计算具有概率性上同一的分布的概率分布。也就是说，指纹统计分析器32通过计算音频指纹的平均数和分布来将指纹近似为概率模型。然后，指纹二进制化器33分析音频指纹的统计特性，并将音频指纹二进制化为具有概率性上同一的分布。然后，指纹编索引器34生成索引。
为了获得候选指纹值以用于音频搜索，获得指纹DB 21中的关于位置的信息，所述位置信息具有指纹索引DB 23的对应索引值。其间，如果音频失真，则从其提取的指纹也可能失真。相应地，指纹的索引值可能改变。所述索引值可能由于噪声、均衡、压缩、模数转换、和数模转换而变化。为索引值变化生成候选索引。
在生成候选索引之后，指纹索引DB 23获得关于具有指纹DB 21中的对应候选索引值的位置的信息。然后，通过匹配和验证指纹的步骤来输出搜索对应音乐信息的结果。
图6是图示了在音频搜索处理中生成候选索引的过程的图。
如图6中所示，如果存在N维指纹值，则基于与用于生成索引的平均值的差的绝对值、按照升序来排列N维指纹值。根据概率分布形状来决定阈值，决定可变位置，并且考虑可变位置来生成候选索引。
图7是图示了使用音频搜索步骤中的所生成的候选索引来搜索最终结果的步骤的图。
如图7中所示，调用与所生成的候选索引值匹配的指纹值，并计算在要搜索的目标音频指纹与具有所调用的指纹值的位置之间的距离。然后，将所计算的距离与预定阈值比较。如果最小值小于阈值，则存储一个结果。为了提供高度可靠的结果，在不同位置中的指纹处重复地执行上述步骤。然后，通过对结果进行验证来输出所述最终结果。
在本实施例中，假设所提取的音频指纹具有浮点实数值，并且指纹的所估计的概率模型具有如图4所示的钟形分布，该钟形分布具有平均值“0”。这里，如等式1中所示，可使用平均值“0”来将N维指纹表达为N个二进制数。
[等式1]
通过等式2来将用二进制数表示的指纹转换为十进制数。所述十进制指纹数目被用作数据库的索引。
[等式2]
Index[i]=Σm=0NAFBi[m]·2N-m]]>
例如，在N为16的情况下，16维音频指纹被表示为0到65535之间的一个值，并且这个值被用作数据库中的索引。
根据本实施例的音频指纹系统生成用于音频搜索的三个数据库文件。如图3中所示，三个数据库文件被形成为指纹DB 21、音乐信息DB 22、和指纹索引DB 23。
指纹DB 21存储所提取的指纹值。也就是说，指纹DB 21按照原样存储所提取的指纹值。音乐信息DB 22存储关于如下音乐的信息，即基于在生成指纹时提供的信息而从其提取指纹的音乐。例如，音乐信息DB 22可存储各种信息，诸如音乐ID、版权信息、指纹的长度。指纹索引DB 23通过等式1和等式2将指纹变换为索引，并根据指纹DB 21中的位置信息来存储作为索引的指纹值。
例如，在16维指纹的情况下，如图3中所示，与位置信息一起依次存储指纹。还与它们一起存储音乐信息和指纹信息。通过与具有图3所示的对应索引值的指纹的位置信息一起存储指纹索引，而将所述指纹索引用于音频搜索。
在从音频文件准备三个DB文件之后，音频指纹系统使用所准备的DB文件执行搜索服务。也就是说，如果输入了预定的音频文件，则依次执行使用用于从音频文件生成DB的上述方法来提取音频指纹的步骤、通过从所提取的指纹计算索引来计算候选指纹的步骤、匹配候选指纹的步骤、以及使用匹配结果来进行验证的步骤。这些步骤将如下更详细地描述。
当输入音频文件时，使用音频指纹提取方法来提取音频指纹，并基于所提取的音频指纹来生成索引。
为了获得候选指纹值以用于音频搜索，获得关于指纹DB 21中的位置的信息，其具有指纹索引DB 23的对应索引值。其间，如果音频失真，则从其提取的指纹也可能失真。相应地，指纹的索引值可能改变。所述索引值可能由于噪声、均衡、压缩、模数转换、和数模转换而变化。为索引值变化生成候选索引。
在生成候选索引之后，与候选索引对应地获得指纹DB 21中的的位置信息，该位置信息具有指纹索引DB 23中的对应候选索引值。然后，在指纹匹配和验证步骤之后输出对应音乐信息的搜索结果。
下文中，将更详细地描述生成候选索引的步骤。在N维指纹的情况下，按照与用于生成索引的概率分布的平均值(例如，本实施例中的平均值“0”)最近距离的顺序来排列N维值。这里，可以依次计算根据概率分布而具有改变的大概率的位置。可以选择在通过概率分布的预定距离范围中的位置。此外，可以在没有任何条件的情况下选择预定数目的位置。
等式[3]
sortascend{|Fi-meani|}]]>
如果在先前使用的音频指纹中具有钟形概率分布的阈值被决定为常数，则可以获得关于能根据指纹而改变的位置的信息。在决定位置之后，使用在提取指纹的步骤中使用的索引生成方法来生成索引。此外，与可变位置对应地生成所有可能的索引。
例如，如果4维音频指纹值是(-0.2，0.1，0.4，0.2)，如果决定索引的值是0，并且如果第二个位置具有要改变的大概率，则其索引是0111，并且候选索引是0011，这是因为第二个位置可能改变。
在如上所述地计算候选索引之后，参考在指纹DB 21中的位置信息从对应的索引中获得候选指纹，并且通过根据位置信息而比较距要搜索的目标音频指纹的距离来排列所获得候选指纹。
这里，基于与作为参考的参考位置对应的值来去除冗余，并计算从具有预定长度的K个预定音频指纹到指纹DB 21的指纹值的距离。例如，计算欧几里得距离，并且将所计算的欧几里得距离与阈值比较。如果所计算的距离小于阈值，则在音乐信息DB 22中搜索音乐信息，并输出搜索结果。如果不小于，则作为结果而输出指明没有搜索到音乐的基本信息值。参考图7来很好地描述了上述的步骤。如等式4所示，作为可靠性的结果值由指示数据库中的音乐信息的Music ID(音乐ID)、指示时间位置的Position(位置)、和指示距离差的Distance(距离)形成。
[等式4]
R[n]＝{MusicID[n]，Position[n]，Distance[n]}
当音乐ID的值小于阈值时，使用指纹索引DB 23中的位置信息来计算音乐ID的值。由于音乐信息DB 22存储了每个音乐的指纹数目，所以如果第m个音乐ID是结果、则位置的值大于上至第(m-1)个音乐的指纹数目之和。此外，位置的值小于上至第(m+1)个音乐的音乐的指纹数目之和。利用这个事实，计算音乐ID的值。
[等式5]
Σk=1m-1feat_num[k]<position[n]<Σk=1m+1feat_num[k]]]>
一般系统可多次执行搜索步骤，以便改善搜索的可靠性。在计算预定位置处的候选索引之后，可再次搜索另一位置处的候选索引，并重复地执行用以搜索候选指纹的步骤，以获得结果。
基于由系统选择的参数值来决定这样的结果，并且与执行搜索步骤的次数一样多地存储搜索结果。在验证步骤之后，输出所存储的结果作为最终搜索结果。
在验证步骤中，从要搜索的预定音频信号中提取的指纹是时域上的连续值。也就是说，在时间上依次提取指纹。类似地，在时间上依次提取指纹并将其存储在所生成的指纹DB 21中。
也就是说，使用预定位置处的指纹进行搜索的结果和使用下一位置处的指纹进行搜索的结果具有时间上同一的距离差。基于这个事实，使用等式6验证搜索结果。
[等式6]
如果MusicID[n+p]＝MusicID[n]，
则p-1≤Position[n+p]-Position[n]≤p+1
也就是说，如果p位置的搜索结果相同，则位置信息的差必须大于p-1并小于p+1。基于这个事实，验证了重复获得的结果。如果满足所述条件，则将该结果输出为最终结果。
对于其每一个具有40秒长度的27,000个音频文件生成测试数据库，以用于验证。然后，从测试数据库中搜索被压缩为其每一个具有20秒长度的32kbps的MP3音频文件的100个音频文件。提取在本实施例中描述的用于16维的指纹，并使用所提取的指纹。为了比较距离，使用52个指纹。此外，将搜索步骤执行5次以用于验证。为了比较性能，在相同条件下执行依次搜索。在依次搜索中，在DB中搜索所有指纹，并且将通过比较距离具有最小值的结果确定为最终结果。
表格1
[表格1]
[表格]
识别率(％) 用于搜索100个音频文件的 总时间(秒)(包括提取时间 和搜索时间) 依次搜索 99％ 368秒 基于索引的搜索(候选索 引阈值＝1) 87％ 31秒 基于索引的搜索(候选索 引阈值＝5) 96％ 41秒
如表格1中所示，根据本实施例的基于索引的搜索的搜索速度比依次搜索的搜索速度快很多。此外，用于比特索引值的识别率的恶化可通过调整决定候选索引的参数值来克服，尽管总搜索时间扩展少许。
也就是说，尽管总搜索时间扩展大约10秒长，但是识别率可以从87％改善到96％。可减少搜索时间达到依次搜索的总搜索时间的1/9。
基于快的搜索时间和高识别率，根据本实施例的用于按照索引信息搜索音频指纹的系统和方法可应用于在大容量数据库中的文件的过滤和监视。具体地，根据本实施例的用于按照索引信息搜索音频指纹的系统和方法可应用于文件过滤，以解决用户创建的内容(UCC)领域或P2P领域中的版权问题。
对于本领域技术人员而言显然的是，可以在本发明中进行各种修改和变化。这样，只要本发明的修改和变化落入所附权利要求和它们的等效物的范围内，本发明就意欲覆盖这些修改和变化。