日志压缩
日志压缩确保 Kafka 将始终保留单个主题分区的数据日志中每个消息键的至少最后一个已知值。它解决了一些用例和场景,如在应用崩溃或系统故障后的状态恢复,或在运行维护期间应用重启后重新加载缓存。让我们更详细地探讨这些用例,然后描述压缩的工作原理。
到目前为止,我们只描述了比较简单的数据保留方法,即在一段固定的时间后或当日志达到某种预定的大小时,旧的日志数据会被丢弃。这对于临时事件数据很有效,比如日志,每条记录都是单独存在。然而,一类重要的数据流类别是对关键的、易变的数据的更改日志(例如,对数据库表的更改)。
让我们讨论一个这样的数据流的具体例子。




近期评论