weiyi
项目乐学空间

异步计数的批次、恢复与校准

事实同步成立,统计异步推进,真正困难的是增量在跨存储窗口里的归属。

为什么拆表之后还要聚合

将统计放到 post_counter 后,同一热点帖子的每次点赞仍会竞争同一行。异步计数先同步保存准确的点赞关系和评论事实,再把派生统计变化聚合成净 Delta,后台合并更新次数。

一百次真实点赞与三十次真实取消可以归为 +70。只有数据库关系真的发生变化才产生 Delta,唯一关系键、状态条件和 RowsAffected 共同判断。取消、删除和审核也按相同的可见性口径计算变化。

请求怎样进入 Pending

事实提交后,Lua 原子累加 Delta、标记 Dirty、记录首次和最近变动时刻。客户端断开后仍限时尝试入队,避免取消上下文直接丢掉已提交事实对应的动作。

首次 Dirty 写通知任务,再由 Publisher 投递 Kafka。消息只包含帖子和计数类型,真实 Delta 保留在 Redis。重复消息只会重复唤醒,Dirty 定期扫描提供漏通知兜底。

通知 Outbox 在事实提交及 Redis 入队之后写入,保护的是唤醒。事实提交后、Delta 入队前崩溃的窗口仍然存在,当前依靠事实校准恢复统计偏差。

哪个时间点允许 Claim

next_flush = min(最近变化时间 + 5 秒, 首次 Dirty 时间 + 60 秒)

安静窗口让突发变化合并,最大等待防止持续热点一直推迟处理。Lua Claim 再次检查时间,并将 Pending 转为带原 batch_id 的 Processing,同时记录该帖子的 Processing Sum。

后续请求进入新的 Pending。后台每次领取的批次因此与新变化分开保存。最大等待约束的是可领取时刻,任务排队与依赖故障还会继续延长完成时间。

一个批次怎样只生效一次

Processing 保存 batch_id、post_id 和 delta,并有恢复索引。若 Claim 后尚未落数据库就崩溃,扫描器能用原身份补插 counter_batch。

MySQL 在一个事务中条件领取 pending/failed 批次,实际取得执行权后才累加计数,再标为 success。提交前崩溃会整体回滚,提交后响应丢失则由 success 状态结束重试。

数据库成功而 Redis 清理失败时,恢复任务查到 success,只清残留 Processing 和缓存,不能再次加数。当前批次长期失败保留次数、错误和下次重试时间,不能套用 ES 三次转 DLQ 的策略。

读补偿为什么仍是近实时

展示值 ≈ MySQL 基础统计 + Redis Pending + Redis Processing Sum

Claim 前增量在 Pending,Claim 后转到 Processing,读侧因此仍能看到尚未落库的变化。但 MySQL 已加数、Processing 尚未清理时可能暂时重复计算,旧 Stats 缓存与已清理 Processing 组合也可能少算。

这个跨存储读没有共同原子快照。Pipeline 可以减少 Redis 往返,无法同时锁定 MySQL 事实和缓存状态。产品语义应允许短暂统计偏差。

校准怎样避免覆盖在途变化

定期按事实表重算点赞关系和可见评论数量。当前每十分钟为每类检查最多两百个帖子,按游标逐步覆盖,并非每轮全量。

校准前跳过存在 Pending、Processing 或未完成数据库批次的帖子,降低“事实 COUNT 已包含变化、旧批次之后再累加”的风险。结果记录 fixed 或 skipped,并失效 Stats 缓存。

检查空闲到写回之间仍会出现新变化,正负 Processing 相抵也可能误判。更完整的方案需要让事实写入、投递、刷库和校准遵守同一帖子协调协议,或使用事件水位与快照。只给校准任务单独加锁不能消除全链路竞争。

更可靠的下一步

可以在事实事务中同时写带 event_id 与 delta 的计数事件 Outbox,Redis Lua 先按 event_id 去重,再累加。这样投递超时后能够安全重试,也能明确事实与增量的交接责任。

事件去重保留时间要覆盖重放周期,Redis 整体丢失仍要按事实重建。当前多 Key Lua 还缺少统一 Cluster hash tag,迁移 Redis Cluster 前需要重新设计键的槽位。

本文整理依据

内容依据项目复习材料整理,本次发布没有重新审计源码或复跑历史实验。相同主题按专项笔记和较新复盘统一,原始笔记保留在本机。

  • 乐学空间/第二阶段/4-异步计数链路/1-链路设计/链路设计.md
  • 乐学空间/第二阶段/4-异步计数链路/2-异常处理与一致性/异常处理与一致性.md
  • 乐学空间/第二阶段/4-异步计数链路/3-面试讲解/面试讲解.md
  • 乐学空间/第二阶段/4-异步计数链路/点赞与评论异步计数面试问答.md