一种基于时间片轮转机制的树状存储结构写放大优化方法技术领域
本发明属于计算机软件技术领域，涉及到一种基于时间片轮转机制的树状存储结构写放
大优化方法。
背景技术
LSMTree是一种多组件的树状存储结构。总体来说，LSMTree由内存空间和磁盘空间两
部分构成。数据首先会被缓存在内存空间中，当内存空间达到一定阈值时，内存的数据会被
批量地刷写到磁盘空间上。磁盘空间由多层组件构成，各层组件都有一个存储数据大小的阈
值，阈值自上而下呈指数增长。刚从内存刷写到磁盘的数据会先存储在上层组件中，当组件
中的数据达到阈值时，会通过合并操作将本层数据合并到下层组件中。当LSM-Tree中有多
个组件的数据量达到阈值时，会根据合并选择优先级机制，选择优先级最高的组件进行合并
操作。
写放大是目前影响LSM-Tree性能的主要原因。写放大表示一次合并操作的有效率，其计
算公式为：写放大＝写操作总IO量/有效移动数据总量，可以看出，写放大越大，表明此次
操作的无效IO比例越大，效率就越低，性能也就越差。LSM-Tree写放大较大的原因主要是：
在合并操作时，需要从待合并的上下两个组件中各读取一部分数据到内存中进行合并，合并
后将结果写回下层组件，而只有上层组件的数据是有效移动数据，下层组件的数据并没有移
动，所以下层组件的数据量越大，写放大就越大。现有的LSM-Tree合并选择优先级机制存在
缺陷，不能保证各个组件的数据顺利向下层组件移动，一旦数据量增加，数据就会滞留在某
一组件中，导致组件在合并时写放大较大，影响整体性能。
发明内容
本发明的主要目的在于提出一种基于时间片轮转的合并机制，通过设定的合并选择机制，
选择待合并的组件，赋予其占用时间片(一种合并所需的系统资源)的权限，并根据组件当
前数据量的大小，动态调整时间片的阈值大小，从而有效控制其占用时间片的时间长短，保
证其在占用时间片的过程中连续进行若干次合并操作，从而有效控制组件的文件个数，降低
写放大，提升系统整体吞吐量。
本发明的技术方案为：
一种基于时间片轮转机制的树状存储结构写放大优化方法，其步骤为：
1)选取磁盘空间中一待合并的组件，赋予其占用时间片的权限；其中，磁盘空间为多组
件的树状存储结构；
2)根据所选组件当前数据量的大小，动态调整时间片的阈值大小；
3)所选组件在占用时间片的过程中连续进行若干次合并操作。
进一步的，选择待合并的组件需满足的条件为：组件的数据量大于该组件的数据量阈值。
进一步的，优先选择上次分配时间片的组件的相邻下个组件作为待合并的组件。
进一步的，如果相邻组件不满足组件的数据量大于该组件的数据量阈值条件时，则计算
其他组件的当前数据量与对应组件的数据量阈值的比值，选取满足组件的数据量大于该组件
的数据量阈值条件且比值最大的组件。
进一步的，动态调整时间片的阈值大小的方法为：T为当前分配时间片占用权限的组件
Ci的时间片阈值，T＝(超出组件Ci的数据量阈值的数据总量/每次合并平均移动数据量)*
每次合并的平均时间；其中每次合并平均移动数据量表示为：当组件Ci参与合并且合并后的
数据写回下层组件时，从该组件Ci读取的数据总量。
进一步的，将所选组件每次合并所消耗的时间进行累加，当消耗的总合并时间超过了对
应时间片的阈值，则将取消所选组件的占用时间片的权限。
进一步的，当所选组件当前数据量已小于该组件的数据量阈值，则将取消所选组件的占
用时间片的权限。
本发明主要包括以下三个阶段：
1)分配时间片占用权限
为LSM-Tree的某个组件分配时间片占用权限。被分配的组件需要满足以下条件：
①被分配的组件必须满足本组件的数据量大于本组件的数据量阈值。
②优先选择上次分配时间片的组件的相邻下个组件进行分配。如组件C2刚刚占用完时间
片，则优先选择C3进行分配。
③如果根据条件②选择的组件不满足条件①，或当前时间片的占用权限为空，则计算其
他所有组件的当前数据量与对应组件阈值的比值，将满足条件①且比值最大的组件将被分配
时间片的占用权限。
④如果所有组件均不满足条件①，则时间片占用权限暂时置空，即没有组件拥有时间片
占用权限，等待当有组件满足条件①时再进行分配。
2)使用时间片
当时间片被新的组件占用时，将根据该组件的相关信息，通过如下公式，重新计算时间
片的阈值：T＝(超出组件Ci的数据量阈值的数据总量/每次合并平均移动数据量)*每次合并
的平均时间；T为当前分配时间片占用权限的组件Ci的时间片阈值，其中每次合并移动数据量
表示为：当本组件参与合并，且合并后的数据写回下层组件时，从本组件读取的数据总量。
经过统计可以计算出每次合并的平均移动数据量。
随后，在每次合并时，会将每次合并所消耗的时间进行累加，一旦总的合并时间超过了
时间片的阈值，则将取消其占用时间片的权限。
需要指出的是，当第一次为某一组件分配时间片权限时，由于该组件从未进行过合并操
作，因此设置的时间片阈值为固定值。
3)取消时间片占用权限
取消组件的时间片占用权限主要有以下两种情况：
①组件在使用时间片过程中，进行合并操作的总时间大于时间片阈值。
②组件当前数据量已小于该组件的数据量阈值。
取消组件的时间片权限后，会重新进入分配时间片占用权限的阶段，进行下一次时间片
的权限分配。
与现有技术相比，本发明的积极效果为：
本发明对拥有时间片的组件具有最高的合并选择优先级，不能进行合并操作的组件将自
动放弃时间片，避免不必要的长期占用，导致系统资源空闲。
通过使用本发明提供的方式优化LSM-Tree，可以将LSM-Tree的整体写吞吐量提升40％
以上。
附图说明
图1为本发明的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明做
进一步说明。
实例1基于时间片轮转机制的树状存储结构写放大优化方法
本发明基于RocksDB进行实现和实验。具体的实现方法如下：
①在系统初始化时，将时间片的占用权限置空。
②当有组件(不一定是占用时间片的组件)满足本组件数据量大于本组件阈值时，判
断当前时间片是否被组件占用。如果没有被占用，则执行④；如果已经被占用，则判断当
前占用时间片的组件是否满足本组件数据量大于本组件阈值，如果不满足，则执行③；如
果满足则判断该组件的合并时间是否已超过当前时间片的阈值，如果没有超过，则该组件
继续进行合并操作，并在合并完成后执行⑤，否则执行③。
③判断当前占用时间片的组件的相邻下一组件是否满足本组件数据量大于本组件阈
值，如当前占用时间片的组件为C2，则判断C3是否满足。如果满足，则根据下一组件的相
关信息计算时间片阈值大小，为其分配时间片占用权限，并由该组件进行合并操作，合并
操作完成后，执行⑤；如果不满足，则执行④。
④根据如下公式计算所有组件的分数：组件分数＝组件数据量÷组件阈值。如果分数
最大的组件的分数大于1，则根据该组件信息重新计算时间片阈值大小，为其分配时间片占
用权限，并由该组件进行合并操作，合并操作完成后，执行⑤；否则，将时间片占用权限
置空。
⑤记录本次合并消耗的时间，并计算自该组件最近一次占用时间片以后所进行的所有
合并操作的总时间。