评论搜不到,先判断慢在哪一段
同步经过 MySQL、Canal、Kafka、task 和 ES。只看 Kafka lag 会漏掉上游根本没发消息的情况,只看 Retry 会漏掉消费者尚未读取的积压。
告警因此分成上游停滞、消费积压和 Retry/DLQ 无法收敛三类。每条告警都关联最后确认时刻、位点或最老任务年龄,使处理者能定位阶段。
怎样区分正常静默与上游停滞
同时检查 MySQL 最新业务更新时间、已同步的业务更新时间和最近成功确认 Canal 消息的时刻。只有源数据已更新、下游又持续静默,才认为可能停滞。
最近边界定期写入 checkpoint,重启后从已知进度恢复。告警时间窗可指导定向检查,但日志可能被采样和轮转,恢复数据优先使用仍保留的 binlog。
旧 binlog 已被清理时,强行跳到新位点会漏掉中间变化。应从一致性快照建立新索引,验证后再续接增量和切换 alias。
Lag 说明什么,扩容有什么前提
Lag 比较各分区日志末端与消费组确认位置,持续增长表示处理速度落后。先检查 task 存活、rebalance 和 ES 写入耗时,再决定提高并行度。
同一消费组的有效并行度受分区数限制。ES 已返回大量 429 或磁盘高水位时,继续加消费者会加重下游压力。恢复应看到消费速度持续超过新消息进入速度,积压逐步下降。
Bulk 可以减少网络往返,但需要逐 item 检查成功、旧版本冲突、临时失败和 mapping 错误,再分别完成、重试或进入 DLQ。批量 HTTP 成功无法代表全部文档成功。
告警本身也有状态
持续时间过滤短暂波动,相同故障使用状态与冷却窗口去重,恢复时发送 resolved。轻量巡检只观测和通知,重置位点、删除任务或改 ES 属于独立修复动作。
监控参数阈值需要结合业务峰谷和正常追赶速度。消息少时绝对 lag 很小,也可能已经滞后很久,因此任务年龄与最后进展时间同样重要。
为什么还要做主动对账
Retry 和 DLQ 记录已经被代码感知的错误。订阅遗漏、人工改索引或历史投影 bug 可能没有错误记录,需要从 MySQL 主动发现 ES 差异。
每日任务按主键 Keyset 分页,跳过最近约两分钟仍可能在同步中的行,复用正常 CDC 的 Projector 生成规范文档,计算业务字段哈希,再通过 ES _mget 批量比较。
哈希排除 sync_at 和 binlog 位点等同步元数据,避免每次正常同步都触发差异。分类为 missing、hash_mismatch 和 visibility_leak,按表与 doc_id 唯一记录,重复发现累计,恢复一致则标 resolved。
为什么目前先检测,再人工修复
对账能读取当前业务行,却拿不到该行准确的 binlog external version。伪造一个极大版本强制覆盖,会让后续真实 CDC 一直被当成旧写入拒绝。
因此当前实现发现差异后记录并告警,修复由人工确认。要自动收敛,可以在业务事务中维护统一 projection_version,让 CDC 与对账遵守同一版本协议。
当前是 MySQL 到 ES 的单向检查,无法发现只存在于 ES 的孤儿记录;扫描没有全局长事务快照,宽限窗口也不能完全消除并发误报。对账进度持久化、反向扫描和安全自动修复是明确的后续工作。
面试讲解可以抓住责任变化
按“上游有没有新事实、Kafka 有没有责任、task 有没有接管、ES 结果是否一致”展开。然后说明告警发现的是阶段异常,对账补足未知差异,最后解释为什么修复必须遵守已有版本协议。
本文整理依据
内容依据项目复习材料整理,本次发布没有重新审计源码或复跑历史实验。相同主题按专项笔记和较新复盘统一,原始笔记保留在本机。
- 乐学空间/第二阶段/3-CQRS链路/告警机制/告警机制.md
- 乐学空间/第二阶段/3-CQRS链路/对账机制/对账机制.md
- 乐学空间/第二阶段/3-CQRS链路/README.md