为什么拆表之后还要聚合
将统计放到 post_counter 后,同一热点帖子的每次点赞仍会竞争同一行。异步计数先同步保存准确的点赞关系和评论事实,再把派生统计变化聚合成净 Delta,后台合并更新次数。
一百次真实点赞与三十次真实取消可以归为 +70。只有数据库关系真的发生变化才产生 Delta,唯一关系键、状态条件和 RowsAffected 共同判断。取消、删除和审核也按相同的可见性口径计算变化。
请求怎样进入 Pending
事实提交后,Lua 原子累加 Delta、标记 Dirty、记录首次和最近变动时刻。客户端断开后仍限时尝试入队,避免取消上下文直接丢掉已提交事实对应的动作。
首次 Dirty 写通知任务,再由 Publisher 投递 Kafka。消息只包含帖子和计数类型,真实 Delta 保留在 Redis。重复消息只会重复唤醒,Dirty 定期扫描提供漏通知兜底。
通知 Outbox 在事实提交及 Redis 入队之后写入,保护的是唤醒。事实提交后、Delta 入队前崩溃的窗口仍然存在,当前依靠事实校准恢复统计偏差。
哪个时间点允许 Claim
next_flush = min(最近变化时间 + 5 秒, 首次 Dirty 时间 + 60 秒)
安静窗口让突发变化合并,最大等待防止持续热点一直推迟处理。Lua Claim 再次检查时间,并将 Pending 转为带原 batch_id 的 Processing,同时记录该帖子的 Processing Sum。
后续请求进入新的 Pending。后台每次领取的批次因此与新变化分开保存。最大等待约束的是可领取时刻,任务排队与依赖故障还会继续延长完成时间。
一个批次怎样只生效一次
Processing 保存 batch_id、post_id 和 delta,并有恢复索引。若 Claim 后尚未落数据库就崩溃,扫描器能用原身份补插 counter_batch。
MySQL 在一个事务中条件领取 pending/failed 批次,实际取得执行权后才累加计数,再标为 success。提交前崩溃会整体回滚,提交后响应丢失则由 success 状态结束重试。
数据库成功而 Redis 清理失败时,恢复任务查到 success,只清残留 Processing 和缓存,不能再次加数。当前批次长期失败保留次数、错误和下次重试时间,不能套用 ES 三次转 DLQ 的策略。
读补偿为什么仍是近实时
展示值 ≈ MySQL 基础统计 + Redis Pending + Redis Processing Sum
Claim 前增量在 Pending,Claim 后转到 Processing,读侧因此仍能看到尚未落库的变化。但 MySQL 已加数、Processing 尚未清理时可能暂时重复计算,旧 Stats 缓存与已清理 Processing 组合也可能少算。
这个跨存储读没有共同原子快照。Pipeline 可以减少 Redis 往返,无法同时锁定 MySQL 事实和缓存状态。产品语义应允许短暂统计偏差。
校准怎样避免覆盖在途变化
定期按事实表重算点赞关系和可见评论数量。当前每十分钟为每类检查最多两百个帖子,按游标逐步覆盖,并非每轮全量。
校准前跳过存在 Pending、Processing 或未完成数据库批次的帖子,降低“事实 COUNT 已包含变化、旧批次之后再累加”的风险。结果记录 fixed 或 skipped,并失效 Stats 缓存。
检查空闲到写回之间仍会出现新变化,正负 Processing 相抵也可能误判。更完整的方案需要让事实写入、投递、刷库和校准遵守同一帖子协调协议,或使用事件水位与快照。只给校准任务单独加锁不能消除全链路竞争。
更可靠的下一步
可以在事实事务中同时写带 event_id 与 delta 的计数事件 Outbox,Redis Lua 先按 event_id 去重,再累加。这样投递超时后能够安全重试,也能明确事实与增量的交接责任。
事件去重保留时间要覆盖重放周期,Redis 整体丢失仍要按事实重建。当前多 Key Lua 还缺少统一 Cluster hash tag,迁移 Redis Cluster 前需要重新设计键的槽位。
本文整理依据
内容依据项目复习材料整理,本次发布没有重新审计源码或复跑历史实验。相同主题按专项笔记和较新复盘统一,原始笔记保留在本机。
- 乐学空间/第二阶段/4-异步计数链路/1-链路设计/链路设计.md
- 乐学空间/第二阶段/4-异步计数链路/2-异常处理与一致性/异常处理与一致性.md
- 乐学空间/第二阶段/4-异步计数链路/3-面试讲解/面试讲解.md
- 乐学空间/第二阶段/4-异步计数链路/点赞与评论异步计数面试问答.md