音频、视频内容的搜索方法.pdf

一种音频、视频内容的搜索装置，包括：判断模块，用于判断当前流媒体文件是否包括音频文件和视频文件；音频指纹提取模块，与所述判断模块相连接，音频指纹分词模块，与所述音频指纹提取模块相连接；音频索引生成模块，与所述音频指纹分词模块相连接；视频指纹提取模块，与所述判断模块相连接；视频指纹分词模块，与所述视频指纹提取模块相连接；视频索引生成模块，与所述视频指纹分词模块相连接；搜索模块。本发明通过采用文本搜索引擎中的分词技术，在音视频指纹文件上进行分词处理，然后采用文本搜索领域中的索引技术对音视频指纹进行

1、  一种音频、视频内容的搜索装置，其特征在于包括：
判断模块，用于判断当前流媒体文件是否包括音频文件和视频文件；
音频指纹提取模块，与所述判断模块相连接，用于提取多个音频文件的音频指纹；
音频指纹分词模块，与所述音频指纹提取模块相连接，用于对提取的音频指纹进行分词；
音频索引生成模块，与所述音频指纹分词模块相连接，用于根据分词结果生成音频指纹索引；
视频指纹提取模块，与所述判断模块相连接，用于提取多个视频文件的视频指纹；
视频指纹分词模块，与所述视频指纹提取模块相连接，用于对提取的视频指纹进行分词；
视频索引生成模块，与所述视频指纹分词模块相连接，用于根据据分词结果生成视频指纹索引；
搜索模块，与所述音频索引生成模块和视频索引生成模块相连接，利用所述音频指纹索引搜索匹配的音频文件，利用所述视频指纹索引搜索匹配的视频文件。

2、  根据权利要求1所述的音频、视频内容的搜索装置，其特征在于：所述搜索模块包括：
输入判断模块，用于判断输入的需要检索的流媒体文件或流媒体文件片段，是否包括音频文件和视频文件：
如果包括音频文件或音频片段，则通过所述音频指纹提取模块提取其音频指纹，并通过音频指纹分词模块对该音频指纹进行分词，根据分词结果在该音频指纹索引中搜索匹配的音频文件；
如果包括视频文件或视频片段，则通过所述视频指纹提取模块提取其视频指纹，并通过视频指纹分词模块对该视频指纹进行分词，根据分词结果在该视频指纹索引中搜索匹配的视频文件。

3、  根据权利要求1或2所述的音频、视频内容的搜索装置，其特征在于还包括：
存储模块，所述搜索模块通过所述存储模块与所述音频索引生成模块和视频索引生成模块相连接，所述音频索引生成模块和视频索引生成模块相连接，用于存储音频指纹、所述音频指纹索引及其对应的音频文件，并存储视频指纹、所述视频指纹索引及其对应的视频文件。

音频、视频内容的搜索方法
技术领域
本发明涉及音频、视频内容的搜索方法。
背景技术
随着互联网的发展，搜索引擎成为人们上网必不可少的工具之一。传统的搜索引擎都是基于文本搜索(Text Search)，称为是文本搜索引擎。其原理是：搜索引擎服务器收集大量的网页；并根据已有的规则提取网页中的文本并做分词(Word Segmentation)处理，常见的分词方法，例如：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法；文本搜索引擎利用文本词库做索引表用于快速搜索。用户在进行搜索的时候，将文本输入到服务器，服务器对该文本进行分词处理后，根据索引表进行快速的搜索，然后返回结果。
目前，搜索引擎都是基于文本的，即使是一些搜索图片或视频的搜索引擎也是通过图片或视频节目的名称、说明、介绍、标签等文本信息进行搜索的。搜索引擎还没有直接通过音视频的信号内容进行搜索的。这里，我们所说的音视频是指音频文件或者视频文件。通常视频文件包含音频信号流和视频信号流。
音频指纹(audio fingerprinting)在很早以前就被提出来，例如，Jaap Haitsma和TonKalke在2002年音乐搜索进展国际会议(Proceedings of International Conference on MusicInformation Retrieval)上发表了“一种高可靠性的音频指纹系统”(A Highly Robust AudioFingerprinting System)。这种系统通过信号处理的方法，将音频文件中每隔一段时间(例如11.6ms)的音频信号，转化为一个32比特(bit)大小的指纹(fingerprint)，通过这种方法一个音频文件就可以被转换成一个指纹文件。系统在对所有的音频指纹文件做索引表后，就可以进行快速的音频指纹检索了。
和音频指纹系统原理相似地，视频指纹(video fingerprinting)系统将每一帧(frame)或者几帧转化为很小的指纹(例如32比特大小)，然后进行检索。例如国际专利号为WO2007/127590A2的“基于多分辨率，多帧率和时域信号的数字视频指纹处理方法和系统”(Method and system for fingerprinting digital video object based on multiresolution，multirate and temporal signatures)公开了一种将视频信号的每帧转化为84比特或132比特的视频指纹处理方法。通过这种方法一个视频文件就可以被转换成一个很小的指纹文件。
在音频指纹或视频文件数目较少(例如1万个)的情况下，可以将所有的指纹文件存入到计算机内存中，进行索引后，可方便地进行快速的检索。上述“一种高可靠性的音频指纹系统”即给出了这种方法的详细步骤。然而，在实际情况下，视频文件的数目要远远超过一万的数目。例如，目前在互联网上出现的视频文件数目超过一千万数目，而且数量在不断增长。因此采用这种方法很难做出实用的搜索引擎。
发明内容
为了解决上述技术问题，本发明提供一种音频、视频内容的搜索方法。
本发明采用如下技术方案：
一种音频、视频内容的搜索装置，包括：
判断模块，用于判断当前流媒体文件是否包括音频文件和视频文件；
音频指纹提取模块，与所述判断模块相连接，用于提取多个音频文件的音频指纹；
音频指纹分词模块，与所述音频指纹提取模块相连接，用于对提取的音频指纹进行分词；
音频索引生成模块，与所述音频指纹分词模块相连接，用于根据分词结果生成音频指纹索引；
视频指纹提取模块，与所述判断模块相连接，用于提取多个视频文件的视频指纹；
视频指纹分词模块，与所述视频指纹提取模块相连接，用于对提取的视频指纹进行分词；
视频索引生成模块，与所述视频指纹分词模块相连接，用于根据据分词结果生成视频指纹索引；
搜索模块，与所述音频索引生成模块和视频索引生成模块相连接，利用所述音频指纹索引搜索匹配的音频文件，利用所述视频指纹索引搜索匹配的视频文件。
进一步地，所述搜索模块包括：
输入判断模块，用于判断输入的需要检索的流媒体文件或流媒体文件片段，是否包括音频文件和视频文件：
如果包括音频文件或音频片段，则通过所述音频指纹提取模块提取其音频指纹，并通过音频指纹分词模块对该音频指纹进行分词，根据分词结果在该音频指纹索引中搜索匹配的音频文件；
如果包括视频文件或视频片段，则通过所述视频指纹提取模块提取其视频指纹，并通过视频指纹分词模块对该视频指纹进行分词，根据分词结果在该视频指纹索引中搜索匹配的视频文件。
进一步地，还包括存储模块，所述搜索模块通过所述存储模块与所述音频索引生成模块和视频索引生成模块相连接，所述音频索引生成模块和视频索引生成模块相连接，用于存储音频指纹、所述音频指纹索引及其对应的音频文件，并存储视频指纹、所述视频指纹索引及其对应的视频文件。
本发明通过采用文本搜索引擎中的分词技术，在音视频指纹文件上进行分词处理，然后采用文本搜索领域中的索引技术对音视频指纹进行索引处理，索引处理完成后，搜索引擎可以对用户输入的音视频片段进行搜索。不但方便了用户的搜索，而且提高了搜索的效率。
附图说明
图1为本发明音频、视频指纹搜索装置实施例结构示意图。
具体实施方式
如图1所示，一种音频、视频内容的搜索装置，包括：
判断模块，用于判断当前流媒体文件是否包括音频文件和视频文件；
音频指纹提取模块，与所述判断模块相连接，用于提取多个音频文件的音频指纹；
音频指纹分词模块，与所述音频指纹提取模块相连接，用于对提取的音频指纹进行分词；
音频索引生成模块，与所述音频指纹分词模块相连接，用于根据分词结果生成音频指纹索引；
视频指纹提取模块，与所述判断模块相连接，用于提取多个视频文件的视频指纹；
视频指纹分词模块，与所述视频指纹提取模块相连接，用于对提取的视频指纹进行分词；
视频索引生成模块，与所述视频指纹分词模块相连接，用于根据据分词结果生成视频指纹索引；
搜索模块，与所述音频索引生成模块和视频索引生成模块相连接，利用所述音频指纹索引搜索匹配的音频文件，利用所述视频指纹索引搜索匹配的视频文件。
进一步地，所述搜索模块包括：
输入判断模块，用于判断输入的需要检索的流媒体文件或流媒体文件片段，是否包括音频文件和视频文件：
如果包括音频文件或音频片段，则通过所述音频指纹提取模块提取其音频指纹，并通过音频指纹分词模块对该音频指纹进行分词，根据分词结果在该音频指纹索引中搜索匹配的音频文件；
如果包括视频文件或视频片段，则通过所述视频指纹提取模块提取其视频指纹，并通过视频指纹分词模块对该视频指纹进行分词，根据分词结果在该视频指纹索引中搜索匹配的视频文件。
进一步地，还包括：
存储模块，所述搜索模块通过所述存储模块与所述音频索引生成模块和视频索引生成模块相连接，用于存储音频指纹、所述音频指纹索引及其对应的音频文件，并存储视频指纹、所述视频指纹索引及其对应的视频文件。
上述实施例中的分词方式可采用多种方式实现，以下列举几种方式分别说明。
方式一
采用基于统计的中文分词方法对音频指纹进行分词处理。首先将15000个音频文件按上述Jaap Haitsma和Ton Kalke的方法生成宽度固定的指纹文件，其宽度可以是32比特或16比特，得到的每个指纹文件平均由约10000个宽度固定的指纹组成。每个32比特或16比特的数据被看作是中文中的一个字。所有15000个包含“字”的指纹文件被当作是15000篇“文章”，而这些“文章”则作为中文分词的语料进行分词。在统计过程中，对音频语料中相邻共现的每个“字”的组合的频度进行统计。共现频度高的组合被认为是一个词，称为“指纹词”。例如，频度较高的7个连续的二进制“00000000000000000000000000000000”的指纹的组合，和5个连续的二进制“11111111111111111111111111111111”的指纹的组合被统计是频度较高的指纹组合，他们被作为“指纹词”。
方式二
采用指纹宽度为16比特的音频指纹提取方法。具体是将方式一中宽度为32比特的指纹进行间隔采样得到16比特的指纹。然后采用与方式一相同的基于统计的中文分词方法进行音频指纹的分词处理。
方式三
采用Job Oostven等人在2002年发表在第五次视频信息系统进展国际会议(Proceeding of the5th International Conference on Recent Advances in Visual Information Systems.)上发表的视频指纹的特征提取和一种数据库策略(Feature Extraction and a Databasestrategy for video fingerprinting.)的方法进行视频指纹提取。然后将32比特的指纹经过间隔采样后，得到16比特的视频指纹文件。最后采用与方式一相同的基于统计的中文分词方法进行视频指纹的分词处理。