一种小文件的存储、查询及删除方法和系统.pdf

本发明公开了一种小文件的存储、查询及删除方法和系统，首先创建一个大文件，然后将小文件合并入大文件的小文件存储区域。在进行小文件的查询时，首先根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；之后再根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。通过本发明所述的方法和系统，可以根据小文件的元数据信息快速定位小文件，有效提高了大文件中小文件的检索和处理效率。

权利要求书
1.  一种小文件的存储方法，包括以下步骤：
（1）创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息存储区域的起始位置在整个大文件中的相对偏移量；
（2）将小文件合并入大文件的小文件存储区域。

2.  如权利要求1所述的一种小文件的存储方法，其特征在于，步骤（1）中，小文件索引信息包括小文件的文件名称、文件大小、文件元数据信息和小文件在整个大文件中的相对偏移量。

3.  如权利要求2所述的一种小文件的存储方法，其特征在于，所述的文件元数据信息是指小文件中所存储的业务类型的信息。

4.  如权利要求1至3之一所述的一种小文件的存储方法，其特征在于，步骤（2）中，将小文件合并入大文件的小文件存储区域的具体方式包括：
a.获取小文件的大小；
b.将小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；
c.将小文件存储在小文件存储区域；
d.在小文件索引信息存储区域中添加小文件的索引信息。

5.  基于权利要求3中所述小文件的存储方法的一种小文件的查询方法，包括以下步骤：
（1）根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；
（2）根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。

6.  如权利要求5所述的一种小文件的查询方法，其特征在于，步骤（1）中，通过正则表达式的方式查询小文件的索引信息。

7.  基于权利要求3中所述小文件的存储方法的一种小文件的删除方法， 包括以下步骤：
（1）根据小文件的文件元数据信息查询小文件的索引信息；
（2）根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小查询存储在大文件中的小文件；
（3）删除小文件和小文件的索引信息。

8.  基于权利要求1所述小文件的存储方法的一种小文件的存储系统，包括：
大文件创建模块，用于创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息的起始位置在整个大文件中的相对偏移量；
小文件存储模块，用于将小文件合并入大文件的小文件存储区域。

9.  如权利要求8所述的一种小文件存储系统，其特征在于，所述的小文件存储模块包括：
文件大小获取单元，用于获取小文件的大小；
索引区域移动单元，用于小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；
小文件存储单元，用于将小文件存储在小文件存储区域；
索引信息添加单元，用于在小文件索引信息存储区域中添加小文件的索引信息。

10.  基于权利要求5所述小文件的查询方法的一种小文件的查询系统，包括：
索引信息获取模块，用于根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；
小文件获取模块，用于根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。

11.  如权利要求7所述一种小文件的删除方法的一种小文件的删除系统，包括：
索引信息获取模块，用于根据小文件的文件元数据信息查询小文件的索引信息；
小文件获取模块，用于根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件；
小文件删除模块，用于删除小文件和小文件的索引信息。

说明书一种小文件的存储、查询及删除方法和系统
技术领域
本发明涉及文件处理领域，具体涉及一种小文件的存储、查询及删除方法和系统。
背景技术
随着信息化的发展，文件越来越多，尤其是对于金融等行业，小文件（小文件一般指文件大小较小的文件，如几百KB，几十KB）数量增长很快，由于金融需要这些小文件不能删除，但小文件管理和备份的难度越来越大。
目前对于小文件管理与备份一般的解决方案是合并为一个大文件（大文件一般指文件大小较大的文件，如几GB，几十GB），将多个小文件合并为一个大文件存放，可以有效缓解这个压力，但这种简单的合并对于文件的查询检索很不方便。在将多个小文件合并为一个大文件时，建立一个文件索引表，在这个表中包含对于每个小文件多个维度的描述信息，在查找小文件时，先查询文件索引表再定位文件，这样既可以解决小文件的管理和备份问题，也可以解决合并为一个大文件之后的检索问题。但是在将多个小文件合并为一个大文件之后，对于小文件的检索效率很低，如果想查看小文件的一些属性和内容需要将小文件从大文件中取出来，甚至有的方式会将大文件再分离为多个小文件。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种小文件的存储、查询及删除方法和系统，提高小文件的检索效率。
为实现上述目的，本发明采用的技术方案如下：
一种小文件的存储方法，包括以下步骤：
（1）创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文 件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息存储区域的起始位置在整个大文件中的相对偏移量；
（2）将小文件合并入大文件的小文件存储区域。
进一步，如上所述的一种小文件的存储方法，步骤（1）中，小文件索引信息包括小文件的文件名称、文件大小、文件元数据信息和小文件在整个大文件中的相对偏移量。
进一步，如上所述的一种小文件的存储方法，所述的文件元数据信息是指小文件中所存储的业务类型的信息。
进一步，如上所述的一种小文件的存储方法，步骤（2）中，将小文件合并入大文件的小文件存储区域的具体方式包括：
a.获取小文件的大小；
b.将小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；
c.将小文件存储在小文件存储区域；
d.在小文件索引信息存储区域中添加小文件的索引信息。
一种小文件的查询方法，包括以下步骤：
（1）根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；
（2）根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。
进一步，如上所述的一种小文件的查询方法，步骤（1）中，通过正则表达式的方式查询小文件的索引信息。
一种小文件的删除方法，包括以下步骤：
（1）根据小文件的文件元数据信息查询小文件的索引信息；
（2）根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小查询存储在大文件中的小文件；
（3）删除小文件和小文件的索引信息。
一种小文件的存储系统，包括：
大文件创建模块，用于创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息的起始位置在整个大文件中的相对偏移量；
小文件存储模块，用于将小文件合并入大文件的小文件存储区域。
进一步，如上所述的一种小文件存储系统，所述的小文件存储模块包括：
文件大小获取单元，用于获取小文件的大小；
索引区域移动单元，用于小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；
小文件存储单元，用于将小文件存储在小文件存储区域；
索引信息添加单元，用于在小文件索引信息存储区域中添加小文件的索引信息。
一种小文件的查询系统，包括：
索引信息获取模块，用于根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；
小文件获取模块，用于根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。
一种小文件的删除系统，包括：
索引信息获取模块，用于根据小文件的文件元数据信息查询小文件的索引信息；
小文件获取模块，用于根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件；
小文件删除模块，用于删除小文件和小文件的索引信息。
本发明的有益效果在于：本发明所述的方法及系统，可以依据元数据信息快速定位大文件中的小文件，有效提高了小文件的检索效率。
附图说明
图1为具体实施方式中一种小文件的存储系统的结构框图；
图2为具体实施方式中一种小文件的查询系统的结构框图；
图3为具体实施方式中一种小文件的存储方法的流程图；
图4为具体实施方式中一种小文件的查询方法的流程图；
图5为具体实施方式中的大文件的文件格式示意图；
图6为在图3中所示大文件中添加小文件后的示意图。
具体实施方式
下面结合说明书附图与具体实施方式对本发明做进一步的详细说明。
图1示出了本发明具体实施方式中一种小文件的存储系统的结构框图，该存储系统主要包括大文件创建模块11和小文件存储模块12，其中：
大文件创建模块11用于创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息的起始位置在整个大文件中的相对偏移量；小文件索引信息包括小文件的文件名称、文件大小、文件元数据信息和小文件在大文件中的相对偏移量等信息。
小文件存储模块12用于将小文件合并入大文件的小文件存储区域；该模块包括以下单元：
文件大小获取单元，用于获取小文件的大小；
索引区域移动单元，用于小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；
小文件存储单元，用于将小文件存储在小文件存储区域；
索引信息添加单元，用于在小文件索引信息存储区域中添加小文件的索引信息。
本具体实施方式中所述的大文件指的是文件大小较大的文件，如几GB或者几十GB，具体的大文件的大小可以根据需要进行自行设定。小文件指的是文件大小较小的文件，小文件大小的具体设置范围也可以由用户自行设定。通过上述小文件存储系统完成多个大文件向小文件存储时，当大文件存储了合适数量的小文件后，如存储的小文件的大小大于大文件的存储阈值，可再建立新的大文件存储其它的小文件。
图2示出了本发明具体实施方式中基于图1中小文件的存储系统的一种小文件的查询系统的结构框图，该系统出来应当包括图1中的大文件创建模块11和小文件存储模块12外，还包括索引信息获取模块13和小文件获取模块14，其中：
索引信息获取模块13用于根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；
小文件获取模块14用于根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。
本具体实施方式中的文件元数据信息是指小文件中所存储的业务类型的信息，即小文件所附带的业务类型的信息，如国家、地区、类型等，都是为了方便索引所添加的。
索引信息检索模块14在查询小文件的索引信息时，可以利用正则表达式等多种快速方式进行查询。
在图2中所示的小文件的查询系统的基础上，还可以通过添加以小文件删除模块来完成存储在大文件中的小文件的删除，即一种小文件的删除系统处理包括上述大文件创建模块11、小文件存储模块12、索引信息获取模块13和小文件获取模块14外，还包括用于删除小文件和小文件的索引信息的小文件删除模块。
图3示出了基于图1中所示的小文件的存储系统的一种小文件的存储方 法的流程图，该方法包括以下步骤：
步骤S21：创建一个大文件；
创建一个用于存储多个小文件的大文件，所述的大文件包括三个存储部分，如图5所示，第一部分为索引区偏移量存储区域，第二部分为小文件存储区域，第三部分为小文件索引信息存储区域。
其中，索引区偏移量是指小文件索引信息存储区域的起始位置在整个大文件中的相对偏移量，如图5中所示的偏移量为665536，即表示该大文件中小文件索引信息存储区域的起始位置在整个大文件中的相对偏移量为665536。小文件索引信息包括小文件的文件名称、文件大小、文件元数据信息和小文件在大文件中的相对偏移量等信息。所述的文件元数据信息是指小文件中所存储的业务类型的信息，即小文件所附带的业务类型的信息，如国家、地区、类型等，都是为了方便索引所添加的。小文件索引信息存储区域的索引格式可选用XML格式构建。
步骤S22：将小文件合并入大文件的小文件存储区域。
本实施方式中将小文件合并入大文件的小文件存储区域的具体方式包括以下步骤：
a.获取小文件的大小；
b.将小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；
c.将小文件存储在小文件存储区域；
d.在小文件索引信息存储区域中添加小文件的索引信息。
在向大文件中添加小文件时，首先向操作系统申请一块物理空间，追加在大文件之后组成一个新的大文件，相当于大文件自身做了一次容量扩充，然后在大文件中将索引区向后移动待追加的小文件大小的距离，将小文件追加至大文件的第二部分中。当然也可以在创建大文件时一次申请较多的空间，放置在大文件的第二部分备用，如果待追加的文件小于备用空间，则不需要向操作系统申请新的物理空间，负责需要再次申请。
如图6中，将一名称为1.jpg的小文件添加到图5中所示的大文件时，添加前大文件的大小为665536，小文件的大小为65536，将大文件的小文件 索引信息存储区域向后偏移小文件大小，并更新索引区偏移量为665536+65536=731072，之后将小文件1.jpg存储到第二部分中，之后在小文件索引信息存储区域中添加1.jpg的索引信息。本实施方式中以XML格式构建的1.jpg的索引信息记录如下：

图4中示出了本具体实施方式中基于图3中所示的小文件的存储方法的一种小文件的查询方法的流程图，该查询方法除了包括上述步骤S21和步骤S22外，还包括以下步骤：
步骤S23：查询小文件的索引信息；
步骤S24：根据小文件索引信息获取存储在大文件中的小文件。
在大文件中检索需要的小文件时，首先根据大文件的索引区偏移量存储区域即第一区域中的索引区偏移量确定小文件索引信息存储区域（第三区域）的位置，再根据小文件的文件元数据信息查询小文件在第三区域的索引信息；最后根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。其中，可以采用正则表达式等多种快捷方式获取所要查询的小文件的索引信息。
在完成小文件的查询后，可以根据对需要进行相关操作，例如删除，本实施方式中基于图4中所示小文件查询方法的一种小文件的删除方法除了包括上述步骤S21～S24外，还包括以下步骤：
步骤S25：删除小文件和小文件的索引信息。
在进行小文件的删除时，如果不需要实时释放存储空间，只将第三部分小文件索引信息中的待删除文件的对应索引信息删除即可，在大文件的第二部分中未真正删除的小文件作为垃圾空间存在。待大文件中的垃圾空间与整个大文件的占比达到一定阀值（如10%）之后，可以进行一次文件整理工作，具体方式如下：
1.依据第三部分小文件索引信息中记录的小文件的顺序，按照每个小文件的起始偏移量和大小，从第二部分起始地址开始顺序填充移动，同时更新小文件索引信息中的文件起始偏移量。
2.待所有文件都整理完毕之后，第二部分后部空出的空间就是整理完毕的一块完整的备用空间，依据设定的策略，可以做备用空间或释放，如果释放，则将第三部分向前移动至第二部分最后一个小文件的文件尾，同时更新第一部分中关于第三部分起始位置的偏移量，如果用做备用空间，则无需移动第三部分。
当然文件的整理工作也可以删除一个文件进行一次，但是效率较低。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。