一种异构数据搜索方法及装置.pdf

本发明提供一种异构数据搜索方法及装置，方法包括：将不同数据结构的数据存储至不同的数据库中，接收针对搜索目标的搜索请求，其中，搜索请求携带搜索目标的属性值；根据搜索请求，在索引库中查找搜索目标的属性值对应的索引信息；根据查找到的索引信息，确定搜索目标的存储地址和搜索目标的数据结构；根据搜索目标的存储地址，向搜索目标的数据结构所对应的数据库中搜索出搜索目标。根据本方案，在数据库中进行搜索目标的搜索时，只需在该搜索目标所在的数据库中进行搜索即可，无需对包括有所有数据结构的数据的数据库进行搜索，从而减小了搜索范围，进而提高了搜索效率。

1.  一种异构数据搜索方法，其特征在于，将不同数据结构的数据存储至不同的数据库中，包括：
接收针对搜索目标的搜索请求，其中，所述搜索请求携带所述搜索目标的属性值；
根据所述搜索请求，在索引库中查找所述搜索目标的属性值对应的索引信息；
根据查找到的索引信息，确定所述搜索目标的存储地址和所述搜索目标的数据结构；
根据所述搜索目标的存储地址，向所述搜索目标的数据结构所对应的数据库中搜索所述搜索目标。

2.  根据权利要求1所述的方法，其特征在于，
进一步包括：设置不同数据结构的元数据标准；
进一步包括：确定待索引数据的数据结构；根据所述待索引数据的数据结构所对应的元数据标准，建立所述待索引数据的索引，并将索引信息存储至索引库中；其中，索引信息包括元数据信息和存储地址的对应关系。

3.  根据权利要求2所述的方法，其特征在于，所述根据所述待索引数据的数据结构所对应的元数据标准，建立所述待索引数据的索引，包括：
在所述待索引数据的数据结构包括结构化数据时，根据结构化数据所对应的元数据标准，创建所述待索引数据的元数据，并将创建的所述待索引数据的元数据存储至结构化数据对应的数据库中；根据所述待索引数据的元数据的存储地址，对该元数据建立索引；
在所述待索引数据的数据结构包括非结构化数据或半结构化数据时，抓取所述待索引数据的文本内容，并根据非结构化数据或半结构化数据所对应的元数据标准，创建所述待索引数据的索引。

4.  根据权利要求2所述的方法，其特征在于，进一步包括：
设置数据结构包括非结构化数据或半结构化数据时的元数据标准包括：文件名称、文件类型、文件创建时间、文件内容摘要、文件存储路径、文件内容、数据类型和文件内容描述中的一种或多种属性值。

5.  根据权利要求1-4中任一所述的方法，其特征在于，进一步包括：
根据所述搜索目标的数据结构创建相应的搜索器，并利用创建的搜索器向所述搜索目标的数据结构所对应的数据库中搜索所述搜索目标。

6.  一种异构数据搜索装置，其特征在于，包括：
处理单元，用于将不同数据结构的数据存储至不同的数据库中；
接收单元，用于接收针对搜索目标的搜索请求，其中，所述搜索请求携带所述搜索目标的属性值；
查找单元，用于根据所述搜索请求，在索引库中查找所述搜索目标的属性值对应的索引信息；
确定单元，用于根据查找到的索引信息，确定所述搜索目标的存储地址和所述搜索目标的数据结构；
搜索单元，用于根据所述搜索目标的存储地址，向所述搜索目标的数据结构所对应的数据库中搜索所述搜索目标。

7.  根据权利要求6所述的装置，其特征在于，
进一步包括：存储单元，用于存储不同数据结构的元数据标准；
进一步包括：索引建立单元，用于确定待索引数据的数据结构；根据所述待索引数据的数据结构所对应的元数据标准，建立所述待索引数据的索引，并将索引信息存储至索引库中；其中，索引信息包括元数据信息和存储地址的对应关系。

8.  根据权利要求7所述的装置，其特征在于，所述索引建立单元，用于在所述待索引数据的数据结构包括结构化数据时，根据结构化数据所对应的元数据标准，创建所述待索引数据的元数据，并将创建的所述待索引数据的元数据存储至结构化数据对应的数据库中；根据所述待索引数据的元数据的存储地址，对该元数据建立索引；在所述待索引数据的数据结构包括非结构 化数据或半结构化数据时，抓取所述待索引数据的文本内容，并根据非结构化数据或半结构化数据所对应的元数据标准，创建所述待索引数据的索引。

9.  根据权利要求7所述的装置，其特征在于，所述存储单元，用于存储数据结构包括非结构化数据或半结构化数据时的元数据标准包括：文件名称、文件类型、文件创建时间、文件内容摘要、文件存储路径、文件内容、数据类型和文件内容描述中的一种或多种属性值。

10.  根据权利要求6-9中任一所述的装置，其特征在于，所述搜索单元，用于根据所述搜索目标的数据结构创建相应的搜索器，并利用创建的搜索器向所述搜索目标的数据结构所对应的数据库中搜索所述搜索目标。

一种异构数据搜索方法及装置
技术领域
本发明涉及数据搜索技术领域，特别涉及一种异构数据搜索方法及装置。
背景技术
异构数据是指采用多种数据格式、有着不同数据模型和语义环境的数据，其中，异构数据可以包括：结构化数据、半结构化数据和非结构化数据。由于异构数据库中所包括的数据量较大，对于异构数据的搜索较难实现。
现有的搜索技术可以采用百度等搜索引擎实现，其具体的搜索方式可以包括：获取针对搜索目标的搜索请求，根据搜索请求在异构数据的数据库中搜索该搜索目标。
然而，异构数据的数据库中包括有大量的结构化数据、半结构化数据和非结构化数据，在针对某一个结构的数据，例如，结构化数据，在异构数据的数据库中进行搜索时，需要在该存储量较大的数据库中依次遍历每一个数据直到搜索到搜索目标，导致搜索效率较低。
发明内容
有鉴于此，本发明提供一种异构数据搜索方法及装置，以提高搜索效率。
本发明提供了一种异构数据搜索方法，将不同数据结构的数据存储至不同的数据库中，包括：
接收针对搜索目标的搜索请求，其中，所述搜索请求携带所述搜索目标的属性值；
根据所述搜索请求，在索引库中查找所述搜索目标的属性值对应的索引 信息；
根据查找到的索引信息，确定所述搜索目标的存储地址和所述搜索目标的数据结构；
根据所述搜索目标的存储地址，向所述搜索目标的数据结构所对应的数据库中搜索所述搜索目标。
优选地，
进一步包括：设置不同数据结构的元数据标准；
进一步包括：确定待索引数据的数据结构；根据所述待索引数据的数据结构所对应的元数据标准，建立所述待索引数据的索引，并将索引信息存储至索引库中；其中，索引信息包括元数据信息和存储地址的对应关系。
优选地，所述根据所述待索引数据的数据结构所对应的元数据标准，建立所述待索引数据的索引，包括：
在所述待索引数据的数据结构包括结构化数据时，根据结构化数据所对应的元数据标准，创建所述待索引数据的元数据，并将创建的所述待索引数据的元数据存储至结构化数据对应的数据库中；根据所述待索引数据的元数据的存储地址，对该元数据建立索引；
在所述待索引数据的数据结构包括非结构化数据或半结构化数据时，抓取所述待索引数据的文本内容，并根据非结构化数据或半结构化数据所对应的元数据标准，创建所述待索引数据的索引。
优选地，进一步包括：
设置数据结构包括非结构化数据或半结构化数据时的元数据标准包括：文件名称、文件类型、文件创建时间、文件内容摘要、文件存储路径、文件内容、数据类型和文件内容描述中的一种或多种属性值。
优选地，进一步包括：
根据所述搜索目标的数据结构创建相应的搜索器，并利用创建的搜索器向所述搜索目标的数据结构所对应的数据库中搜索所述搜索目标。
本发明还提供了一种异构数据搜索装置，包括：
处理单元，用于将不同数据结构的数据存储至不同的数据库中；
接收单元，用于接收针对搜索目标的搜索请求，其中，所述搜索请求携带所述搜索目标的属性值；
查找单元，用于根据所述搜索请求，在索引库中查找所述搜索目标的属性值对应的索引信息；
确定单元，用于根据查找到的索引信息，确定所述搜索目标的存储地址和所述搜索目标的数据结构；
搜索单元，用于根据所述搜索目标的存储地址，向所述搜索目标的数据结构所对应的数据库中搜索所述搜索目标。
优选地，
进一步包括：存储单元，用于存储不同数据结构的元数据标准；
进一步包括：索引建立单元，用于确定待索引数据的数据结构；根据所述待索引数据的数据结构所对应的元数据标准，建立所述待索引数据的索引，并将索引信息存储至索引库中；其中，索引信息包括元数据信息和存储地址的对应关系。
优选地，所述索引建立单元，用于在所述待索引数据的数据结构包括结构化数据时，根据结构化数据所对应的元数据标准，创建所述待索引数据的元数据，并将创建的所述待索引数据的元数据存储至结构化数据对应的数据库中；根据所述待索引数据的元数据的存储地址，对该元数据建立索引；在所述待索引数据的数据结构包括非结构化数据或半结构化数据时，抓取所述待索引数据的文本内容，并根据非结构化数据或半结构化数据所对应的元数据标准，创建所述待索引数据的索引。
优选地，所述存储单元，用于存储数据结构包括非结构化数据或半结构化数据时的元数据标准包括：文件名称、文件类型、文件创建时间、文件内容摘要、文件存储路径、文件内容、数据类型和文件内容描述中的一种或多种属性值。
优选地，所述搜索单元，用于根据所述搜索目标的数据结构创建相应的 搜索器，并利用创建的搜索器向所述搜索目标的数据结构所对应的数据库中搜索所述搜索目标。
本发明实施例提供了一种异构数据搜索方法及装置，通过将不同数据结构的数据存储至不同的数据库中，并在接收到搜索请求，根据搜索请求确定搜索目标的数据结构，在数据库中进行搜索目标的搜索时，只需在该搜索目标所在的数据库中进行搜索即可，无需对包括有所有数据结构的数据的数据库进行搜索，从而减小了搜索范围，进而提高了搜索效率。
附图说明
图1是本发明实施例提供的方法流程图；
图2是本发明另一实施例提供的方法流程图；
图3是本发明实施例提供的装置所在设备的硬件架构图；
图4是本发明实施例提供的装置结构示意图；
图5是本发明另一实施例提供的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种异构数据搜索方法，将不同数据结构的数据存储至不同的数据库中，该方法可以包括以下步骤：
步骤101：接收针对搜索目标的搜索请求，其中，搜索请求携带所述搜索目标的属性值。
步骤102：根据搜索请求，在索引库中查找搜索目标的属性值对应的索引信息。
步骤103：根据查找到的索引信息，确定搜索目标的存储地址和所述搜 索目标的数据结构。
步骤104：根据搜索目标的存储地址，向搜索目标的数据结构所对应的数据库中搜索出搜索目标。
根据上述方案，通过将不同数据结构的数据存储至不同的数据库中，并在接收到搜索请求，根据搜索请求确定搜索目标的数据结构，在数据库中进行搜索目标的搜索时，只需在该搜索目标所在的数据库中进行搜索即可，无需对包括有所有数据结构的数据的数据库进行搜索，从而减小了搜索范围，进而提高了搜索效率。
为了实现不同数据结构的数据在搜索时的效率较高，还需要预先为各个数据结构的数据建立索引，在待索引数据的数据结构包括结构化数据时，根据结构化数据所对应的元数据标准，创建所述待索引数据的元数据，并将创建的待索引数据的元数据存储至结构化数据对应的数据库中；根据待索引数据的元数据的存储地址，对该元数据建立索引；在待索引数据的数据结构包括非结构化数据或半结构化数据时，抓取待索引数据的文本内容，并根据非结构化数据或半结构化数据所对应的元数据标准，创建待索引的数据的索引信息。
为使本发明的目的、技术方案和优点更加清楚，下面结合附图及具体实施例对本发明作进一步地详细描述。
如图2所示，本发明实施例提供了一种异构数据搜索方法，该方法可以包括以下步骤：
步骤201：设置不同数据结构的元数据标准。
在本实施例中，数据的数据结构可以包括：结构化数据、半结构化数据和非结构化数据。其中，结构化数据简单是指数据库，例如，企业ERP、财务系统、医疗HIS数据库、教育一卡通、政府行政审批、其他核心数据库等。半结构化数据可以包括邮件、HTML、报表、资源库等。非结构化数据可以包括视频、音频、图片、图像、文档、文本等形式的数据。
由于不同的数据其数据结构不同，因此为了能够对不同数据结构的数据 建立索引，需要针对不同数据结构，设置不同的元数据标准，以根据设置的元数据标准对不同数据结构的数据建立索引。其中，元数据标准所定义的细腻程度将直接关系到索引的创建，从而影响搜索结果。
首先，针对结构化数据可以根据结构化数据所存在的数据种类进行设置，比如，可以对不同的根元素、soft来设置其元数据标准。例如，根元素包括频点，一个频点可以对应多个频道，那么在设置的元数据标准中就可以包括频点，在对各个频道进行索引时，可以根据每个频道所在的频点进行索引。
其次，针对半结构化数据和非结构化数据可以设置一个统一的元数据标准。例如，该统一的元数据标准可以包括：文件名称、文件类型、文件创建时间、文件内容摘要、文件存储路径、文件内容、数据类型和文件内容描述中的一种或多种属性值。例如，在对一个视频建立索引时，可以根据设置的元数据标准对该视频建立索引。因此，需要获知该视频相对于的元数据标准中的各个属性值。
需要说明的是，本实施例中元数据标准可以定义多种格式，例如，XML格式、Excel格式等。
步骤202：确定待索引数据的数据结构，若确定待索引数据的数据结构包括结构化数据，则执行步骤203；若确定待索引数据的数据结构包括半结构化数据或非结构化数据，则执行步骤204。
由于本实施例需要对不同数据结构的数据进行分开存储，因此，本实施例中，在每获取到一个待索引数据，均需要对该待索引数据的数据结构进行确定。
步骤203：根据结构化数据所对应的元数据标准，创建待索引数据的元数据，并将创建的待索引数据的元数据存储至结构化数据对应的数据库中，根据待索引数据的元数据的存储地址，对该元数据建立索引，继续执行步骤205。
在本实施例中，需要根据结构化数据所对应的元数据标准，创建待索引数据的元数据。例如，待索引数据为中央一套的网址，针对该分类的元数据 标准可以包括：文件名称、文件类型、频点、文件存储路径、数据类型和文件内容描述，因此，需要根据该设定的元数据标准，可以创建该中央一套的网址所对应的元数据包括：文件名称：中央一套；文件类型：网址；频点：126；文件存储路径：E盘\zhongyangyitao\http://tv.cntv.cn/live/cctv1；数据类型：Java；文件内容描述：是中国中央电视台拥有的一条以普通话为主的综合节目频道。
为了提高搜索的效率，可以将不同数据结构的数据存储于不同的数据库中，在本实施例中，可以将结构化数据存储于关系数据库中，即，将创建的元数据存储于关系数据库中。在存储结束后，可以获取元数据在关系数据库中的存储地址，其中，存储到关系数据库中的存储地址可以是十六进制的地址，关系数据库中的存储地址可以在0000-FFFF之间。
在本实施例中，在获取到元数据在关系数据库中的存储地址之后，还需要对该元数据建立索引。为了能够更便捷的实现数据搜索，本实施例可以建立倒排索引。其中，每一项倒排索引包括元数据标准和存储地址的对应关系。这样在后续过程中，只需输入搜索目标的一个或多个属性值，即可确定该搜索目标的存储地址。
在本实施例中，可以通过下述策略对元数据库中的各个元数据建立索引：一条元数据库记录对应一条索引，元数据中的每一个属性均对应一个索引中的索引域。其中，索引域的属性设置策略与非结构化数据遵循相同的策略。例如，该索引域是文件名称、文件类型等属性。
进一步地，可以使用开源Lucene技术建立索引。
步骤204：抓取待索引数据的文本内容，并根据非结构化数据或半结构化数据所对应的元数据标准，创建待索引数据的索引，继续执行步骤205。
由于非结构化数据和半结构化数据不能够直观的获取到其属性，因此，本实施例中，可以利用开源Tika技术抓取非结构化数据和/或半结构数据的文本内容，并根据非结构化数据或半结构化数据所对应的元数据标准，创建待索引数据的索引。其中，开源Tika技术利用现有的解析类库，从半结构化 数据或非结构化数据中侦测和提取出元数据和结构化内容。
在本实施例中，对待索引数据创建的索引同样是倒排索引，在对半结构化数据或非结构化数据搜索时，能够利用设置的半结构化数据和非结构化数据所对应的元数据标准中的一个或多个属性值，即可利用倒排索引确定搜索目标的存储地址，从而提高了数据搜索的便利性。
例如，对文件名称为“大闹天宫”的视频建立倒排索引，首先利用开源Tika技术抓取该视频的文本内容，该文本内容可以是根据元数据标准所抓取的，该文本内容包括：文件名称：大闹天宫；文件类型：非结构化数据；文件创建时间：2014年1月1日；文件内容摘要：《大闹天宫》是上海美术电影制片厂于1961年—1964年制作的一部彩色动画长片，由法国Les Films de ma Vie(VHS)公司发行，万籁鸣、唐澄联合执导；文件内容：该片以神话形式，通过孙悟空闹龙宫、反天庭的故事，比较集中而突出地表现了主角孙悟空的传奇经历；数据类型：MP4；文件内容描述：时长01:50:00。根据抓取的该视频的文本内容，可以建立该视频的倒排索引，该倒排索引中包括抓取的该视频的文本内容与该视频存储地址的对应关系。
在本发明一个优选实施例中，为了区分半结构化数据和非结构化数据所存储的数据库，与结构化数据所存储的数据库区分，以及为了提高数据搜索的效率，可以将半结构化数据和非结构数据存储到不同于关系数据库的数据库中。
步骤205：将创建的索引信息存储至索引库中。
在本实施例中，可以通过统一的索引库来整合异构数据的搜索。因此，可以将步骤203和步骤204中对结构化数据、半结构化数据和非结构化数据所建立的索引信息均存储至索引库中。
步骤206：接收针对搜索目标的搜索请求。
在本实施例中，用户向搜索界面提交的搜索请求可以携带搜索目标的一个或多个属性值；其中，携带的该一个或多个属性值，需能够根据该一个或多个属性值判断出唯一的一个搜索目标。例如，搜索目标为大闹天宫的视频， 用户在提交搜索请求时输入的属性值包括：文件名称：大闹天宫；文件类型：非结构化数据；数据类型：MP4。
步骤207：根据搜索请求，在索引库中查找搜索目标的属性值对应的索引信息，并根据查找到的索引信息，确定搜索目标的存储地址和搜索目标的数据结构。
利用步骤搜索请求所携带的属性值，即可查找到搜索目标对应的索引信息，在索引信息中包括有搜索目标的存储地址，例如，存储地址是在非结构化数据所对应数据库的0001地址中。
步骤208：根据搜索目标的数据结构创建对应的Lucene搜索器，并利用创建的Lucene搜索器，根据搜索目标的存储地址，向搜索目标的数据结构所对应的数据库中搜索出搜索目标。
在本实施例中Lucene搜索器可以通过Lucene的核心搜索类IndexSearch来完成搜索功能，搜索结果在经过处理之后，可以展现给用户。另外，还可以通过Lucene相关API来完成结果集的排序(如果没有特殊需求，使用Lucene的默认设置即可)，以及对数据展现方式的处理。
如图3、图4所示，本发明实施例提供了一种异构数据搜索装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例异构数据搜索装置所在设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的异构数据搜索装置40包括：
处理单元401，用于将不同数据结构的数据存储至不同的数据库中；
接收单元402，用于接收针对搜索目标的搜索请求，其中，所述搜索请求携带所述搜索目标的属性值；
查找单元403，用于根据所述搜索请求，在索引库中查找所述搜索目标 的属性值对应的索引信息；
确定单元404，用于根据查找到的索引信息，确定所述搜索目标的存储地址和所述搜索目标的数据结构；
搜索单元405，用于根据所述搜索目标的存储地址，向所述搜索目标的数据结构所对应的数据库中搜索所述搜索目标。
在本发明一个实施例中，如图5所示，异构数据搜索装置可以包括：
存储单元501，用于存储不同数据结构的元数据标准；
索引建立单元502，用于确定待索引数据的数据结构；根据所述待索引数据的数据结构所对应的元数据标准，建立所述待索引数据的索引，并将索引信息存储至索引库中；其中，索引信息包括元数据信息和存储地址的对应关系。
进一步地，所述索引建立单元502，用于在所述待索引数据的数据结构包括结构化数据时，根据结构化数据所对应的元数据标准，创建所述待索引数据的元数据，并将创建的所述待索引数据的元数据存储至结构化数据对应的数据库中；根据所述待索引数据的元数据的存储地址，对该元数据建立索引；在所述待索引数据的数据结构包括非结构化数据或半结构化数据时，抓取所述待索引数据的文本内容，并根据非结构化数据或半结构化数据所对应的元数据标准，创建所述待索引数据的索引。
进一步地，所述存储单元501，用于存储数据结构包括非结构化数据或半结构化数据时的元数据标准包括：文件名称、文件类型、文件创建时间、文件内容摘要、文件存储路径、文件内容、数据类型和文件内容描述中的一种或多种属性值。
进一步地，所述搜索单元405，用于根据所述搜索目标的数据结构创建相应的搜索器，并利用创建的搜索器向所述搜索目标的数据结构所对应的数据库中搜索所述搜索目标。
综上所述，本发明实施例至少可以包括如下有益效果：
1、通过将不同数据结构的数据存储至不同的数据库中，并在接收到搜索 请求，根据搜索请求确定搜索目标的数据结构，在数据库中进行搜索目标的搜索时，只需在该搜索目标所在的数据库中进行搜索即可，无需对包括有所有数据结构的数据的数据库进行搜索，从而减小了搜索范围，进而提高了搜索效率。
2、通过将结构化数据的索引信息、和非结构化数据和半结构化数据的索引信息存储在统一的索引库中，只需使用一种管理方式对该索引库进行管理即可，减少了资源。
上述设备内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。