数据存储系统应用方法 技术领域 本发明涉及一种数据存储系统应用方法， 尤其是涉及一种数据存储、 检索的 CPD(Common Performance Database) 数据存储系统应用方法。
背景技术 现有的主流的数据库管理系统， 出于市场的定位需求， 除了关注数据的存储这一 基本需求之外， 同时也在数据的保密性， 操作的安全性， 数据的可恢复性等方面投入了大量 的努力。 这些努力， 造成了计算机资源不能更多的用于数据的存储上， 致使计算机有限的资 源被挤占， 不能更多的用于数据存储。 通常计算机资源的瓶颈可通过提高硬件设备， 数据库 服务器集群等方式解决， 但这都要求用户的投入成倍的加大， 很难被所有用户所接受。
另外， 现有的不同的数据库厂商， 在自己的数据库产品中， 都会体现一些本公司产 品的特性， 使程序员在应用这些产品时， 要针对不同厂商的产品， 提供不同的解决方案， 大 大的增加了开发的投入。
发明内容 针 对 现 有 技 术 的 不 足，本 发 明 解 决 的 技 术 问 题 是 提 供 一 种 CPD(CommonPerformance Database) 数据存储系统应用方法， 该 CPD 数据存储系统以 “表” 的方式 ( 一个 “表” 对应一个文件 ) 组织数据， 允许对不同 “表” 之间可以并发的读写操作。 它在执行读 “表文件” 时不需锁定文件 ； 在写 “表文件” 时， 只锁定部分区域， 使用户可以并 发的读取该文件中其他的数据。
本发明的目的通过提供以下技术方案实现 ：
一种数据存储系统应用方法， 该数据存储系统以 “表” 的方式组织存储数据， 其中， 应用所述数据存储系统存储数据时， 包括以下步骤 ：
第一步、 创建数据表 ；
第二步、 存储数据到创建的数据表中。
进一步地， 所述创建数据表又包括以下步骤 ：
第一步、 创建数据存储主表 ；
第二步、 在字典表记录该数据存储主表的基本信息 ；
第三步、 同步更新内存中缓存的字典表信息 ；
第四步、 创建附属表。
在创建数据表前需要先检测字典信息， 如果该表存在， 则退出建表过程并返回给 用户提示信息。
所述基本信息包括各列名称， 类型， 数据块时间跨度， 该表存储数据的总时间范 围。
再进一步地， 所述存储数据到创建的数据表中又包括以下步骤 ：
第一步、 检查表 ： 检测要写的表是否已经建立， 如果未建立， 则不允许写数据， CPD
系统报错 ；
第二步、 修改相关信息 ： 修改表文件中的一些信息， 按表规则组织数据， 写数据到 数据存储主表、 附属表中 ；
第三步、 同步字典信息及字典缓存 ： 修改字典表中关于该数据存储主表的相关信 息， 同步更新缓存的字典信息。
在同步字典信息及字典缓存后， 还可进行缓存写数据。
本发明的目的还可以通过提供以下技术方案实现 ：
一种数据存储系统应用方法， 该数据存储系统以 “表” 的方式组织存储数据， 其中， 应用所述数据存储系统查询数据时， 包括以下步骤 ：
第一步、 检测字典表信息， 找到对应的表 ；
第二步、 根据查询时间范围确定要读取的 “块” ；
第三步、 检测缓存中是否有对应的 “块” 存在 ；
第四步、 若存在对应的 “块” ， 则对数据块中数据， 根据检索需求进行过滤 ；
第五步、 返回获取的数据。
进一步地， 若无对应的 “块” 存在， 则从表文件中读取。
再进一步地， 对检索获取的数据提供可配置的缓存功能。
本发明的目的还可以通过提供以下技术方案实现 ：
一种数据存储系统应用方法， 该数据存储系统以 “表” 的方式组织存储数据， 其特 征在于， 应用所述数据存储系统删除数据时， 包括以下步骤 ：
第一步、 删除该表的附属表 ；
第二步、 删除数据存储主表 ；
第三步、 删除对应的字典表中的信息 ；
第四步、 同步缓存的字典信息。
与现有技术相比， 本发明的有益效果是 ： 数据存储量大、 功能简单、 工作流程简洁， 且具有更高的读写速率。 附图说明
下面结合附图对本发明作进一步说明 ：
图 1 为本发明数据存储系统创建一个数据存储表的流程示意图。
图 2 为本发明数据存储系统写入一个数据存储表的流程示意图。
图 3 为本发明数据存储系统查询一个数据存储表的流程示意图。
图 4 为本发明数据存储系统删除一个数据存储表的流程示意图。 具体实施方式
以下参照附图说明本发明的最佳实施方式。
本发明的 CPD 数据存储系统以 “表” 的方式 ( 一个 “表” 对应一个文件 ) 组织数据， 这样就允许对不同 “表” 之间可以并发的读写操作。它在执行读 “表文件” 时不锁定文件 ； 在写 “表文件” 时， 只锁定部分区域， 使用户可以并发的读取该文件中其他的数据。
在本发明的 CPD 数据存储系统中， 数据在 “表文件”中的读、 写操作都以 “数据块” ( 一个块是在一个时间跨度范围内的所有的具有相同格式的数据记录的集合 ) 为基本 单位。这样在读取记录时使该记录的周边记录同时被读取到内存中， 减少了频繁读取磁盘 文件的开销， 加快了后续读取操作的速度 ； 在写存储记录时， 将一个时间范围 ( 由用户指定 时间值 ) 内的数据缓存在一起， 一次批量的写入， 减少了频繁写磁盘文件的开销， 也避免了 “表文件” 经常性的被锁定， 加快了并发的写磁盘的速读。
另外， 在本发明的 CPD 数据存储系统中， 任何数据都是直接以 “字节流” 的方式写 “表文件” 的， 没有任何的加密措施， 使之数据可以轻易的解析出来。甚至在不用 CPD 程序的 情况下， 也可以轻松的获取数据的原始信息。
值得一提的是 ： 本发明的 CPD 数据存储系统无需支持标准的 SQL 语言的解析、 执行 操作。
在本发明的 CPD 数据存储系统， 包括数据存储主表、 附属表、 字典表。其中， 每个数 据存储主表有且只有一个附属表 ( 不是必须存在的表文件 )， 主表中的数据只可以为数值 类型， 对于非数值类型的数据， 在附属表中记录存储。每个表文件有一个唯一的表名称， 建 表时可相对指定表的存放路径。优选地， 该存放位置的根路径一致， 可由用户配置提供。系 统根据部署位置有相对应的一个默认路径。 每个数据存储主表中的数据只提供了写入、 查询的功能， 并可修改检索信息、 索引 信息、 状态信息等。数据存储主表之间是彼此独立的， 不支持关联关系。
字典表记录本发明的 CPD 数据存储系统中每个数据存储主表的建表的基本信息 及最新状态信息， 附属表在此不必有记录。字典表中的信息可以添加、 可以查询， 也可以修 改、 删除。几个字典表之间有外关联关系， 有主键唯一性约束等特性。
每个字典表、 数据存储主表、 附属表有一个唯一的物理文件与之对应。
如图 1 所示， 在利用本发明的 CPD 数据存储系统存储数据时， 首先需要创建数据 表， 创建数据表包括了创建数据存储主表、 创建附属表、 并将表信息写入字典， 以及同步字 典缓存。
其主要步骤为 ：
首先， 创建数据存储主表 ；
其次， 在数据存储主表创建后， 需要在字典表 (CPD 系统用来记录系统中各表的基 本信息及状态信息的表， 这些表有 CPD 系统自行创建 ) 记录该数据存储主表的基本信息， 再 次， 同步更新内存中缓存的字典表信息。 该基本信息包括各列名称， 类型， 数据块时间跨度， 该表存储数据的总时间范围等。最后， 创建附属表。优选地， 在创建数据表前需要先检测字 典信息， 如果该表存在， 则退出建表过程并返回给用户提示信息。
值得一提的是 ： CPD 中每个表文件有一定的格式规则需要遵守， 建表的时候依据 一定的次序、 按建表规则创建一个数据存储主表。
如图 2 所示， 在完成创建数据表后， 即可存储数据到创建的数据表， 其包括以下步 骤：
1、 检查表 ： 检测要写的表是否已经建立， 如果未建立， 则不允许写数据， CPD 系统 报错 ；
2、 修改相关信息 ： 修改表文件中的一些信息 ( 如索引信息 )， 按表规则组织数据， 写数据到数据存储主表、 附属表中 ；
3、 同步字典信息及字典缓存 ： 修改字典表中关于该数据存储主表的相关信息 ( 如 索引信息 )， 同步更新缓存的字典信息 ；
4、 缓存写数据 ： 缓存写表的数据到内存中， 一般根据公司业务的需求， 新写入表中 的数据被检索的几率更大， 为提供检索速度， 予以缓存， 该缓存机制可配置关闭。
如图 3 所示， 在存储数据到创建的表后， 可对该表进行查询数据 ：
在 CPD 系统中， 数据存储主表中的数据是以每个时间跨度范围内的数据作为一个 操作单位 (“块” ) 进行读、 写的， 所以每一个查询操作， 都必须提供一个要查询数据的时间 范围。
查询时首先检测字典表信息， 找到对应的表 ； 再根据查询时间范围确定要读取的 “块” ； 检测缓存中是否有对应的 “块” 存在， 没有则从表文件中读取 ； 若有， 则对数据块中数 据， 根据用户提供的检索需求， 进行过滤， 最后返回用户获取的数据。
值得一提的是 ： 对检索获取的数据， 也提供了缓存功能， 同写数据的缓存一致， 这 类缓存机制可配置关闭、 开启。
如图 4 所示， 本发明的 CPD 数据存储系统也可删除数据 ：
要删除一个数据存储主表， 首先必须删除该表的附属表 ( 存储主表表的一些特殊 信息， 不是必须存在的表文件 )， 其次删除数据存储主表， 再次删除对应的字典表中的信息， 最后同步缓存的字典信息。 以下是 CPD 数据存储系统和现有数据库管理系统保存记录在同样的测试环境下 进行的压力测试数据对比， 其中， CPD 数据存储系统为 ：
测试次数 1 2 3 4 5 6 7 8
速率 ( 条记录 / 毫秒 ) 134 184 186 195 147 188 178 186现有数据库管理系统为 ：7101853278 A CN 101853279说测试次数 1 2 3 4 5 6 7 8明书5/5 页速率 ( 条记录 / 毫秒 ) 52 60 61 60 59 34 55 60从以上两组的插入记录的测试效率看， CPD 数据存储系统平均比现有数据库管理 系统速度要快 3 倍左右， 能够满足用户需求。
尽管为示例目的， 已经公开了本发明的优选实施方式， 但是本领域的普通技术人 员将意识到， 在不脱离由所附的权利要求书公开的本发明的范围和精神的情况下， 各种改 进、 增加以及取代是可能的。