Compaction
对于基于 LSM 树的数据库,压缩是极其关键的。它将重叠的碎片化 SST 文件合并成一个有序的文件,丢弃已删除的数据,同时显著提高查询性能。
从 v0.9.1 版本开始,GreptimeDB 提供了控制 SST 文件如何压缩的策略:时间窗口压缩策略(TWCS)和严格窗口压缩策略(SWCS)。
概念
让我们从 GreptimeDB 中压缩的核心概念开始介绍。
SST 文件
当内存表刷新到持久存储(如磁盘和对象存储)时,会生成排序的 SST 文件。
在 GreptimeDB 中,SST 文件中的数据行按tag 列和时间戳组织,如下所示。每个 SST 文件覆盖特定的时间范围。当查询指定一个时间范围时,GreptimeDB 只检索可能包含该范围内数据的相关 SST 文件,而不是加载所有已持久化的文件。

通常,在实时写入工作负载中,SST 文件的时间范围不会重叠。然而,由于数据删除和乱序写入等因素,SST 文件可能会有重叠的时间范围,这会影响查询性能。
时间窗口
时间序列工作负载呈现出显著的“窗口”特征,即最近插入的行更有可能被读取。因此,GreptimeDB 将时间轴逻辑上划分为不同的时间窗口,我们更关注压缩那些落在同一时间窗口内的 SST 文件。
特定表的时间窗口参数通常是从最新 flush 到存储的 SST 文件推断出来的,或者如果选择了 TWCS,您可以在建表时手动指定时间窗口。
GreptimeDB 预设了一组窗口大小,它们是:
- 1 小时
- 2 小时
- 12 小时
- 1 天
- 1 周
如果未指定时间窗口大小,GreptimeDB 将使用 1 小时作为初始时间窗口并在第一次压缩时通过文件的时间分布推断窗口,通过从上述集合中选择能够覆盖所有要压缩文件的整个时间跨度的,最小的时间窗口作为时间窗口大小。
例如,在第一次压缩期间,所有输入 SST 文件的时间跨度为 4 小时,那么 GreptimeDB 将选择 12 小时作为该表的时间窗口,并将此参数持久化以便后续的压缩中使用。
有序组
有序组(sorted runs)是一个包含已排序且时间范围不重叠的 SST 文件的集合。
例如,一个表包含 5 个 SST,时间范围如下(全部包括在内):[0, 10], [12, 23], [22, 25],[24, 30],[26,33],我们可以找到 2 个有序组:

有序组的数量往往能够反映 SST 文件的有序性。更多的有序组通常会导致查询性能变差,因为特定时间范围的查询往往会命中多个重叠的文件。压缩的主要目标是减少有序组的数量。
层级
基于 LSM 树的数据库常常有多个层级,数据的键(key)会逐层进行合并。GreptimeDB 只有两个层级,分别是 0(未压缩)和 1(已压缩)。
压缩策略
GreptimeDB 提供了上述两种压缩策略,但在创建表时只能选择时间窗口压缩策略(TWCS)。严格窗口(SWCS)仅在执行手动压缩时可用。
时间窗口压缩策略(TWCS)
TWCS 主要旨在减少压缩过程中的读 / 写放大。
TWCS 将要压缩的文件分配到不同的时间窗口。对于每个窗口,TWCS 会识别有序组。如当前出现了多于一个有序组,TWCS 会基于合并开销来计算一个文件合并策略,从而将有序组的数量减少到 1。如果有序组的数量没有超过 1(也就是任意两个文件的时间范围都不重叠),TWCS 会检查是否存在过多的文件碎片,并在必要时合并这些碎片文件,因为 SST 文件数量也会影响查询性 能。
对于窗口分配,SST 文件可能跨越多个时间窗口。为了确保不受陈旧数据影响,TWCS 根据 SST 的最大时间戳来进行分配。在时间序列工作负载中,无序写入很少发生,即使发生了,最近数据的查询性能也比陈旧数据更为重要。
TWCS 对活跃窗口和非活跃窗口分别设置 compaction 触发条件。活跃窗口是包含最近一次刷盘数据的窗口,其余窗口均为非活跃窗口。只有更新的数据刷盘到其他窗口时,活跃窗口才会改变;写入停止后,活跃窗口也保持不变。
常用的 TWCS 表级参数包括:
active_window.trigger_file_num: 活跃窗口中触发 compaction 的 L0 文件数量(默认为 4)。trigger_file_num是该参数的别名。active_window.l1_merge_trigger: 活跃窗口中触发 L1 文件合并的 L1 文件数量(默认为 16),取值不能小于 2。inactive_window.trigger_file_num: 非活跃窗口中触发 compaction 的文件数量(默认为 2)。inactive_window.l1_merge_trigger: 非活跃窗口中触发 compaction 的 L1 文件数量(默认为 8),取值不能小于 2。time_window: TWCS compaction 的时间窗口大小max_output_file_size: compaction 产生文件的最大大小(默认 512MB)
同时指定 trigger_file_num 和 active_window.trigger_file_num 且取值不同时,语句会报错。SHOW CREATE TABLE 和 SHOW CREATE DATABASE 将活跃窗口的触发文件数显示为 compaction.twcs.trigger_file_num。