《一种通用的全文搜索方法.pdf》由会员分享，可在线阅读，更多相关《一种通用的全文搜索方法.pdf（13页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102968501 A(43)申请公布日 2013.03.13CN102968501A*CN102968501A*(21)申请号 201210525753.5(22)申请日 2012.12.07G06F 17/30(2006.01)(71)申请人福建亿榕信息技术有限公司地址 350000 福建省福州市鼓楼区软件大道89号B区13号楼申请人国家电网公司(72)发明人倪时龙 余深田 宋立华 郑映谭翔(74)专利代理机构福州市鼓楼区京华专利事务所(普通合伙) 35212代理人宋连梅(54) 发明名称一种通用的全文搜索方法(57) 摘要本发明提供一种通用的全文搜索方法，包括数。
2、据准备阶段：以业务系统作为分类条件建立多个分类信息数据表，各分类信息数据表之间两两设置关联描述字段；索引创建阶段：业务系统提交电子文件到电子文件管理平台时，将触发该电子文件管理平台的索引创建装置，开始抽取电子文件内容，并分别建立该电子文件的元数据索引库和内容索引库，并建立元数据索引库和内容索引库的关联关系，通过元数据索引库进行访问授权控制；数据搜索阶段：通过所述分类信息数据表及其关联描述字段对分类检索进行授权控制和用户认证。从而实现了在同一个系统中可以灵活设置搜索访问权限，满足了多种方式的授权访问控制要求，可以实现用户对不需要授权的文件的访问。(51)Int.Cl.权利要求书2页 说明书8页 。
3、附图2页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 2 页 说明书 8 页 附图 2 页1/2页21.一种通用的全文搜索方法，其特征在于：包括步骤10、数据准备阶段：以业务系统作为分类条件建立多个分类信息数据表，各分类信息数据表之间两两设置关联描述字段；该分类信息数据表包括：业务系统注册表AppTable，包括AppID、业务系统编号AppCode、业务系统名称AppName以及业务系统IP地址的描述字段；分类用户信息表AppUserTable，包括UserID、用户编号UserCode、用户名称UserName以及业务系统编号AppCode的描述字段；用户角色信息表U。
4、serRole，包括角色RoleID、角色名称RoleName、用户编号UserCode以及UserID的描述字段；角色授权文档表RoleFile，包括RoleID、角色名称RoleName以及文件名称File的描述字段；步骤20、索引创建阶段：业务系统提交电子文件到电子文件管理平台时，将触发该电子文件管理平台的索引创建装置，开始抽取电子文件内容，并分别建立该电子文件的元数据索引库和内容索引库，以及建立元数据索引库和内容索引库的关联关系，通过元数据索引库进行访问授权控制；所述电子文件元数据包含用户编号UserCode、角色RoleID、文件名称File、业务系统编码AppCode；步骤30、数。
5、据搜索阶段：具体包括：步骤31、搜索请求，并提交IP地址、用户编号及搜索条件；步骤32、依据用户编号从分类用户信息表AppUserTable获取AppCode；步骤33、判断用户是否为直接用户，若是，则添加搜索条件项Permission=N，将搜索条件提交到搜索引擎，进行检索，并返回搜索结果后结束；若否，则依据AppCode查询业务系统注册表AppTable的IP地址，搜索系统检测搜索请求的IP地址，进入下一步骤；步骤34、判断搜索请求的IP地址是否与业务系统注册表AppTable的IP地址一致，若否，则结束；若是，则限制搜索范围为指定的AppCode；步骤35、依据用户编号查询用户角色信息表。
6、UserRole的RoleName；步骤36、判断是否进查询到RoleName，若否，则指定分类AppCode、搜索条件，提交搜索引擎，进行检索查询，并直接返回搜索结果后结束；若是，则指定分类AppCode、RoleName、搜索条件提交搜索引擎，进行检索查询，并返回搜索结果，然后进入下一步骤；步骤37、检测对应的角色授权是否发生变化，并在索引重建中，若否，直接返回搜索结果后结束；若是，则进入下一步骤；步骤38、查询角色授权文档表RoleFile对应的File，过滤搜索结果，如果搜索结果列表中的文件在RoleFile定义的集合中，则为授权访问的文件，然后授权搜索结果数据后结束。2.根据权利要求。
7、1所述的一种通用的全文搜索方法，其特征在于：所述AppID为空表示用户为直接用户而非业务用户系统用户；所述步骤33中的判断用户是否为直接用户即判断AppID是否为空。3.根据权利要求1所述的一种通用的全文搜索方法，其特征在于：如果电子文件管理平台的直接用户搜索数据，则搜索条件构造装置将会自动新增构造搜索条件Permission=N，如果为授权用户搜索数据，则搜索条件构造装置不会增加搜索条件权 利 要 求 书CN 102968501 A2/2页3Permission字段的任何信息，代表该用户有权访问所有数据，授权数据的过滤由其他条件加以过滤。权 利 要 求 书CN 102968501 A1/8页。
8、4一种通用的全文搜索方法【 技术领域 】0001 本发明涉及一种全文搜索方法。【 背景技术 】0002 随着企业信息化建设的逐步深入和发展，企业中存在大量的结构化数据（指存储在关系型数据库中，可以用二维表结构来表达的数据类型）和非结构化数据（或叫电子文件，与结构化数据相比，不便于采用二维表结构来表达的数据类型即称为非结构化数据，可包括各种主流格式的办公文档、图片、XML、HTML、各类报表、图像和音频）。其中70%的数据都是非结构化数据，现在越来越多的企业中的非结构化数据都是采用集中存储的方式，也就是将各业务系统的电子文件数据集中存在的一个平台上，如：将ERP（Enterprise Resou。
9、rce Planning企业资源计划系统）系统的合同、人资、协同办公系统的公文集中存储在同一个非结构化管理平台，这些资源中包含有大量有益于企业提升综合效益的信息，都是企业的重要资产。这些电子文件通常都有密级要求，也就是说并非企业中的所有用户都有权访问这些电子文件，只有部分用户才能接触到该电子文件。0003 鉴于以上问题，搜索引擎搜索存储在同一平台的电子文件，通过有效的资源控制手段，保证授权资源电子文件的访问控制和检索需求，这样才能保证密级电子文件的存储安全，同时又不影响授权用户的访问要求。目前业内主要通过如下几种方法来实现这种权限访问控制：0004 1、由业务系统本身依据登录的权限进行判断：也。
10、就是只要有权限登录系统，就有权限访问搜索到的任何信息，因此所有的用户都有可能看到授权范围以外的信息，故本方法存在较大的缺陷和不足。0005 2.通过分类条件过滤方法来实现对搜索数据的访问控制：建立统一的信息分类体系，并对所有数据进行分类标注，数据的检索及授权都基于这一分类体系，可以提前为用户指定其可以访问的数据分类范围，在获得用户提交的检索请求后，根据用户的授权范围，对检索条件中指定的分类条件进行过滤，确保检索操作被限定在用户授权的范围内。但本方法对访问控制的最小单位是数据分类，无法实现基于单条数据记录级别的访问控制。如公开日为2008.07.16，公开号为CN101221584，申请号为20。
11、0810057417.6的中国发明揭示了一种“搜索引擎、搜索方法和系统”，一方面提供一种搜索引擎，包括：访问控制单元，用于根据用户信息确定搜索范围；搜索单元，用于根据所述搜索范围进行搜索。相应地提供一种搜索方法，包括如下步骤：根据用户信息确定搜索范围；根据所述搜索范围进行搜索。并且还提供一种搜索系统，包括资源库系统，还包括访问控制单元，用于根据用户信息确定搜索范围；搜索引擎，用于根据所述搜索范围对所述资源库系统进行搜索。其是使用分类方法对授权对象进行分类，然后给用户定义授权分类，用户只能检索分类中的授权对象，但无法解决细粒度、记录集的授权。0006 3.采用对搜索结果集进行过滤的控制方法：即在。
12、检索操作完成后对搜索结果进行过滤的一种控制方法。具体为在获取检索结果集后，对其中的数据逐条进行授权判断，只说 明 书CN 102968501 A2/8页5返回用户授权范围内的结果数据。采用本方法是，只有对结果集内所有的数据都完成授权判断后，才能计算出本次检索有效的命中结果数。当结果集较大时，完成对所有结果的授权判断将成为制约检索性能的瓶颈。如公开日为2011.11.30，公开号为CN102262633A，申请号为201010189001.7的中国发明一种面向全文检索的结构化数据安全检索方法，包括a)根据检索用户提供的关键词在索引中提取检索记录；b)从所述检索记录中取出一条业务数据的内容和GUI。
13、D，并获取当前检索用户的GUID，c)将取出的业务数据的GUID与数据访问控制表中业务数据的GUID进行匹配；d)将当前检索用户的GUID与数据访问控制表中匹配成功的业务数据对应的用户GUID进行匹配，若匹配成功则将该业务数据放在检索结果中，若匹配不成功则删除检索记录中的该条业务数据；e)判断检索记录中是否还有业务数据，如果判断结果为是则返回步骤b)。该发明提供的检索方法使得业务数据权限发生变化不必变更索引也可实现安全检索，可大大提高检索的方便性。但其采用对结果集的过滤控制方法，将所有授权数据创建唯一的GUID,再将GUID授权给用户，建立授权列表；然后与通过搜索引擎检索出的结果进行比较，如果。
14、搜索出的记录GUID存在在授权列表中，就判定为有权访问的记录，否则则删除该搜索记录。该方法的一个较大的缺陷就是当检索数据较大时，会严重影响搜索性能。0007 4.通过扩充检索条件的方法：即在检索条件中增加用户相关的属性，再通过这些属性过滤掉授权范围外的数据，用户的属性可以是用户名、所属用户组、被授予的角色等。对数据的存储结构进行修改，增加字段来存储被授权访问此数据的用户范围。在创建索引的过程，将授权信息和数据一起创建索引，然后在检索过程中，将用户属性设置为扩展的检索条件，并于授权字段的内容进行比较，从而实现对内容的授权访问。由于检索条件扩充方法将授权信息与数据信息存储在一起，如果进行频繁的授权。
15、更新，可能引起较大量的数据更新操作。同时在索引更新过程中，也会导致授权被访问的现象。无法保证全文检索电子文件授权信息的实时性的要求。如申请号为：200710052025.6的中国发明一种基于访问控制的安全搜索引擎系统，包括数据库服务器、单点登录模块、用户信息描述模块、爬行器模块、查询检索模块和索引库。系统根据资源安全级别对用户信息进行描述；爬行器获取爬行受控资源的权限并采集受安全控制的资源内容；按照用户的查询关键字以及用户的安全等级返回对应的可访问的资源列表；由于不同用户在不同网站上具有不同的权限，搜索引擎根据单点登录信息获取用户的身份信息，并使其能够在访问检索结果资源时不再需要登录操作。本发。
16、明通过用户信息描述建立受控资源内容索引，根据用户身份实现个性化的网络搜索引擎，并简化用户访问搜索结果的过程，使搜索引擎返回的结果不仅具有极强的针对性，而且安全控制严格，用户操作简便。0008 又如申请号为200910087250.2的中国发明提供了搜索引擎系统，包括：索引数据库，用于储存数据索引信息，供搜索引擎使用；权限映射信息装置，通过权限有关非交互接口连接至业务系统，储存权限映射信息；搜索规则配置装置，用于配置搜索规则；搜索引擎，通过权限无关非交互接口与业务系统连接，有选择地监听业务系统的业务数据变更事件，权限无关非交互接口用于处理业务数据变更事件，搜索引擎工作时读取权限映射信息和所述搜索。
17、规则，在所述业务系统发生业务数据变更事件时，所述搜索引擎判断是否引起数据索引变化，如果结果为是，则获取与所述数据索引变化相关的数据变更列表，并产生新的虚拟变更列表。根据本发明的搜索引擎系统改善了传统查询在用户输入上的交互说 明 书CN 102968501 A3/8页6特性。0009 再如申请号为201110178557.0的中国发明公开了一种基于实时权限控制的企业管理软件搜索引擎集成方法，属于管理软件业务数据搜索领域。该方法分为关键字索引和关键字搜索两个阶段：在关键字索引时搜索引擎将通用维度信息爬取到索引条目的属性中；在关键字搜索时管理软件系统中操作用户与搜索引擎中的用户会话绑定，对关键字的搜。
18、索请求连同所属通用维度信息一并传入搜索引擎，搜索引擎通过关键字及通用维度信息先对搜索结果进行第一次过滤，对于返回的结果调用管理软件权限过滤服务进行实时过滤。与现有技术相比，本发明的基于实时权限控制的企业管理软件搜索引擎集成方法具有安全、实时、高效的特点。0010 上述三个发明均是通过在检索条件中扩展字段属性，扩展字段被索引构造器构建到索引中，当用户通过关键字进行检索时，将用户的授权扩展字段做为检索条件，通过这些属性过滤掉授权范围外的数据。该方法在用户授权字段的条件发生变化时，需要重新构建索引，而在重新构建索引时，如果这是用户检索该数据时，无法保证被授权的数据不会被访问，且频繁的构建索引在大数据。
19、量的情况下，将严重影响性能。0011 综上所述，不管是独立采用哪种方法都存在不同的缺陷，分类条件过滤方法综合性能表现较好，但其无法实现基于记录级别的访问控制，这影响了其在授权访问控制较严格的场景下应用。结果集过滤和检索条件扩充方法都可以实现基于记录级的访问控制。结果集过滤法在关键词检索时性能较好，但较易受到授权比例等因素的影响。检索条件扩充方法在全文检索中具有较好的性能表现，但在重建索引过程中将出现访问控制的真空期。【 发明内容 】0012 本发明要解决的技术问题，在于提供一种通用的全文搜索方法，通过改进各种检索方法，实现基于记录级的访问控制的全文检索技术。0013 本发明是这样实现的：一种通。
20、用的全文搜索方法，包括0014 步骤10、数据准备阶段：以业务系统作为分类条件建立多个分类信息数据表，各分类信息数据表之间两两设置关联描述字段；该分类信息数据表包括：0015 业务系统注册表AppTable，包括AppID、业务系统编号AppCode、业务系统名称AppName以及业务系统IP地址的描述字段；0016 分类用户信息表AppUserTable，包括UserID、用户编号UserCode、用户名称UserName以及业务系统编号AppCode的描述字段；0017 用户角色信息表UserRole，包括角色RoleID、角色名称RoleName、用户编号UserCode以及UserID。
21、的描述字段；0018 角色授权文档表RoleFile，包括RoleID、角色名称RoleName以及文件名称File的描述字段；0019 步骤20、索引创建阶段：业务系统提交电子文件到电子文件管理平台时，将触发该电子文件管理平台的索引创建装置，开始抽取电子文件内容，并分别建立该电子文件的元数据索引库和内容索引库，以及建立元数据索引库和内容索引库的关联关系，通过元数据索引库进行访问授权控制；所述电子文件元数据包含用户编号UserCode、角色RoleID、文件名称File、业务系统编码AppCode；说 明 书CN 102968501 A4/8页70020 步骤30、数据搜索阶段：具体包括：00。
22、21 步骤31、搜索请求，并提交IP地址、用户编号及搜索条件；0022 步骤32、依据用户编号从分类用户信息表AppUserTable获取AppCode；0023 步骤33、判断用户是否为直接用户，若是，则添加搜索条件项Permission=N，将搜索条件提交到搜索引擎，进行检索，并返回搜索结果后结束；若否，则依据AppCode查询业务系统注册表AppTable的IP地址，搜索系统检测搜索请求的IP地址，进入下一步骤；0024 步骤34、判断搜索请求的IP地址是否与业务系统注册表AppTable的IP地址一致，若否，则结束；若是，则限制搜索范围为指定的AppCode；0025 步骤35、依据用。
23、户编号查询用户角色信息表UserRole的RoleName；0026 步骤36、判断是否进查询到RoleName，若否，则指定分类AppCode、搜索条件，提交搜索引擎，进行检索查询，并直接返回搜索结果后结束；若是，则指定分类AppCode、RoleName、搜索条件提交搜索引擎，进行检索查询，并返回搜索结果，然后进入下一步骤；0027 步骤37、检测对应的角色授权是否发生变化，并在索引重建中，若否，直接返回搜索结果后结束；若是，则进入下一步骤；0028 步骤38、查询角色授权文档表RoleFile对应的File，过滤搜索结果，如果搜索结果列表中的文件在RoleFile定义的集合中，则为授权访。
24、问的文件，然后授权搜索结果数据后结束。0029 进一步的，所述AppID为空表示用户为直接用户而非业务用户系统用户；所述步骤33中的判断用户是否为直接用户即判断AppID是否为空。0030 进一步的，如果电子文件管理平台的直接用户搜索数据，则搜索条件构造装置将会自动新增构造搜索条件Permission=N，如果为授权用户搜索数据，则搜索条件构造装置不会增加搜索条件Permission字段的任何信息，代表该用户有权访问所有数据，授权数据的过滤由其他条件加以过滤。0031 本发明具有如下优点：本发明实现了一种通用的搜索授权方式，在同一个系统中可以灵活设置搜索访问权限，满足了多种方式的授权访问控制要。
25、求，可以实现用户对不需要授权的文件的访问，同时也可以通过分类授权的方式满足多业务系统同时存储在同一个平台下的搜索请求。通过角色授权的字段扩展的方式满足了记录集授权搜索的访问控制，也解决了在重新授权的情况下，出现非授权用户访问授权数据的缺陷。本发明可以部署在一个业务系统下的搜索，也可以满足多业务系统同时使用的要求。【 附图说明 】0032 下面参照附图结合实施例对本发明作进一步的说明。0033 图1为本发明方法系统架构图。0034 图2为本发明方法整体流程图。0035 图3为本发明方法索引创建阶段流程图。0036 图4为本发明方法数据搜索阶段一实施例的具体流程图。【 具体实施方式 】0037 如。
26、图1所示，本发明的系统中，包括一电文件管理平台、内容抽取器、内容库、索引说 明 书CN 102968501 A5/8页8创建装置、索引库、搜索引擎、搜索条件构造装置、认证模块、结果集过滤装置以及授权安全装置，所有的业务系统都将其电子文件集成存储在电子文件管理平台中，业务系统（如：协同办公、ERP等）不再继续存储电子文件；电子文件管理平台对外提供搜索服务，该服务不仅仅提供给业务系统、协同办公的用户使用，同时电子文件管理平台也开发搜索服务给直接用户（即可以通过电子文件管理平台提供的搜索界面直接搜索数据）。由于电子文件进行集中的管理，所以需要对数据进行分类管理，如协同办公的用户，无法检索到ERP或其。
27、他业务系统的电子文件；协同办公系统内部的电子文件也需要进行隔离访问授权控制（如：研发部门不能访问财务部门的公文）。电子文件管理平台的直接用户又可以访问协同办公的开放部分的数据，如公司的通知、发文等。内容抽取器把存储在电子文件管理平台的电子文件的内容抽取为可识别的文本内容，然后按业务系统为分类条件建立内容库，然后通过索引创建装置创建索引库，搜索引擎通过索引库建设用户提交的搜索请求并返回搜索结果。0038 如图2至图4所示，本发明的通用的全文搜索方法，包括0039 步骤10、数据准备阶段：以业务系统作为分类条件建立多个分类信息数据表，各分类信息数据表之间两两设置关联描述字段；该分类信息数据表包括：。
28、0040 业务系统注册表AppTable，包括AppID、业务系统编号AppCode、业务系统名称AppName以及业务系统IP地址的描述字段；其构成可表示为下表：0041 0042 分类用户信息表AppUserTable，包括UserID、用户编号UserCode、用户名称UserName以及业务系统编号AppCode的描述字段；其构成可表示为下表：0043 0044 用户角色信息表UserRole，包括RoleID、角色名称RoleName、用户编号UserCode以及UserID的描述字段；其构成可表示为下表：说 明 书CN 102968501 A6/8页90045 0046 角色授权文。
29、档表RoleFile，包括RoleID、角色名称RoleName以及File的描述字段；针对每一个存储在电子文件平台的文件建立，其构成可表示为下表：0047 RoleID RoleName File(角色名称)(文件)1 Role1 File12 Role2 File2。0048 0049 步骤20、索引创建阶段：如图3所示，业务系统提交电子文件到电子文件管理平台时，将触发索引创建装置，开始抽取电子文件内容，并分别建立该电子文件的元数据索引库和内容索引库，并建立元数据索引库和内容索引库的关联关系，通过元数据索引库进行访问授权控制；所述电子文件元数据包含用户编号UserCode、角色RoleID。
30、、文件名称File、业务系统编码AppCode；业务系统提交电子文件元数据，授权安全装置将电子文件元数据中的角色RoleID、文件名称等，自动维护进数据准备阶段的角色授权文档表。通过元数据索引库进行访问授权控制是因为电子文件和元数据是对应关联的，也就是说每个电子文件都有其对应的元数据，所以可以在业务系统在提交电子文件给电子文件管理平台时，将自身要控制的权限信息（如用户名、部门名称等）提交到电子文件管理平台，电子文件管理平台对元数据创建索引，在业务系统提交搜索请求时，通过搜索引擎先搜索元数据索引库，是否有权限访问，然后再检索内容库。0050 步骤30、数据搜索阶段：通过所述分类信息数据表及其关联。
31、描述字段对分类检索进行授权控制和用户认证。该数据搜索阶段通过对前期的数据的准备和维护，以及对存储在电子文件管理平台中的电子文件进行内容抽取、创建索引，电子文件管理平台已经具备搜索基础。业务应用系统提交搜索请求，平台先使用应用编号，校验访问用户类型，然后构造搜索条件。平台提取业务的标识信息（如在具体实施例中可采用名称为角色名），提交搜索引擎搜索检索内容，平台检测标识信息是否变动，如果有变动，则启动结果集过滤装置开始过滤搜索内容，访问搜索结果。说 明 书CN 102968501 A7/8页100051 如图4所示，该阶段的一实施例具体包括：0052 步骤31、搜索请求，并提交IP地址、用户编号及搜。
32、索条件；0053 步骤32、依据用户编号从分类用户信息表AppUserTable获取AppCode；0054 步骤33、判断用户是否为直接用户，若是，则添加搜索条件项Permission=N，将搜索条件提交到搜索引擎，进行检索，并返回搜索结果后结束；若否，则依据AppCode查询业务系统注册表AppTable的IP地址，搜索系统检测搜索请求的IP地址，进入下一步骤；0055 步骤34、判断搜索请求的IP地址是否与业务系统注册表AppTable的IP地址一致，若否，则结束；若是，则限制搜索范围为指定的AppCode；0056 步骤35、依据用户编号查询用户角色信息表UserRole的RoleNa。
33、me；0057 步骤36、判断是否进查询到RoleName，若否，则指定分类AppCode、搜索条件，提交搜索引擎，进行检索查询，并直接返回搜索结果后结束；若是，则指定分类AppCode、RoleName、搜索条件提交搜索引擎，进行检索查询，并返回搜索结果，然后进入下一步骤；0058 步骤37、检测对应的角色授权是否发生变化，并在索引重建中，若否，直接返回搜索结果后结束；若是，则进入下一步骤；0059 步骤38、查询角色授权文档表RoleFile对应的File，过滤搜索结果，如果搜索结果列表中的文件在RoleFile定义的集合中，则为授权访问的文件，然后授权搜索结果数据后结束。0060 其中，。
34、本实施例是采用所述AppID为空来表示用户为直接用户而非业务用户系统用户；由此，所述步骤33中的判断用户是否为直接用户即可通过判断AppID是否为空来实现。0061 本实施例通过AppCode实现对搜索分类数据的控制，通过RoleName实现对记录集数据的搜索访问控制，通过RoleFile的匹配实现在RoleName授权发生变化的情况下，可以对因授权的真空期无法完成授权的时所产生的非授权用户可以访问授权数据的缺陷进行了有效的规避。本实施例中如果用户无AppCode关联则代表该用户为直接用户，其只能访问无授权的数据。本发明中授权数据和非授权数据，是通过搜索扩展字段进行控制，如有授权的数据则扩展字段标识为“Y”,不需要授权的数据则在扩展字段中标识为“N”，如下表为元数据索引表：0062 0063 本实施例中如果电子文件管理平台的直接用户搜索数据，则搜索条件构造装置将会自动新增构造搜索条件Permission=N，如果为授权用户搜索数据，则搜索条件构造装置不会增加搜索条件Permission字段的任何信息，代表该用户有权访问所有数据，授权数据的过滤由其他条件加以过滤。0064 记录级的授权访问控制是通过RoleName进行控制的，如果在UserRole中用户没说 明 书CN 102968501 A10。