写接口成功后,搜索还要经过什么
评论事务只提交 MySQL。Canal 捕获已提交的 ROW binlog,向 Kafka 的 post 或 comment Topic 发送 Entry protobuf。comment-task 拉取消息、构造完整搜索文档并写 ES,Refresh 后才对 _search 可见。
这里采用 CDC。业务成功条件位于 MySQL,ES 暂时故障时由异步链路保存处理责任。普通详情、删除、审核和资源权限仍基于业务事实。
FULL Row Image 怎样改变消费者
INSERT 和 UPDATE 使用 after columns,DELETE 使用 before columns。FULL Row Image 提供完整行,消费者可以直接投影文档,减少每条事件回查 MySQL 的读放大,也避免回查到比当前事件更晚的状态。
代价是 binlog 和消息体增大。若配置改成 MINIMAL,现有转换逻辑可能把没有携带的列写成空值,因此 binlog 配置也是数据契约的一部分。
Canal 与 Kafka 怎样交接责任
Canal 获取 batch 后先发送 Kafka,成功再 ack 并推进 cursor,发送失败 rollback。Kafka 恢复后从最后确认位点重发,需要 MySQL 仍保留相关 binlog。
专项文档前段保留了分区 0 的早期配置,末尾代码映射更新为 post、comment 各四个分区,并按对象 ID 稳定 Hash。本组采用末尾配置,说明同一对象尽量在同一分区内顺序处理,实际部署仍需核对配置。
comment-task 使用 FetchMessage 与 CommitMessages 手动确认。消费成功、可靠重试记录或 DLQ 已保存后,才提交相关 offset。增加并行度时,还需保证同分区已确认位置之前没有未完成消息。
外部版本怎样仲裁旧写入
资料将 binlog 文件序号与位置映射为递增值。
external_version = 文件序号 × 10^12 + 文件内位置
ES 写入使用 external_gte。小版本被拒绝,相同版本可以重放,大版本推进状态。原子比较发生在 ES primary shard,应用层先 GET 当前位点只能减少无效请求。
映射假定文件序号可解析且位置小于倍率。位点缺失时退化为 Kafka 分区 offset,需要记住 offset 只在单分区可比较。文档投影应保证同版本生成同内容,才能安全接受相同版本覆盖。
删除怎样避免被旧消息复活
DELETE 写入带更高版本的状态型文档。帖子或评论保留同一个 ES ID,将可见状态改为不可见,并记录删除时间。之后旧 UPDATE 晚到,版本比较将它拒绝。
学生搜索始终过滤可见状态。这种 tombstone 同时需要写入侧版本与查询侧过滤,任何一边遗漏都可能造成删除内容重新展示。
失败后为什么还能提交 offset
ES 暂时失败时,事件先写 es_sync_retry。无法解析的消息保存原文到 es_sync_dlq。只有可靠存储接管成功后,消费者才可以确认 Kafka 消息。
Retry 扫描每五秒取到期记录,采用线性等待,达到规定次数后在同一 MySQL 事务中插 DLQ 并删除 Retry。Retry 入库和 Kafka offset 跨系统,仍可能重复落重试任务,最终文档由 external version 收敛。
当前逐条 Index、写前 GET 和缺少多实例 Retry 抢占,都会增加恢复吞吐成本。Bulk、抢占和重放工具属于下一阶段工作,不能在描述当前实现时提前算作完成。
用户感知延迟怎样测
以请求发出为起点,以正常搜索接口首次命中对应 comment_id 为终点。同步延迟包含事务写入、Canal、Kafka、消费、ES Refresh,可能还受搜索短缓存影响。
实时 _get 能读到文档,也不能证明用户通过倒排搜索已经看见。压测需分别记录写 ACK 和可搜索时刻,才能判断慢在请求入口还是异步投影。
本文整理依据
内容依据项目复习材料整理,本次发布没有重新审计源码或复跑历史实验。相同主题按专项笔记和较新复盘统一,原始笔记保留在本机。
- 乐学空间/第二阶段/3-CQRS链路/CQRS链路设计/CQRS链路设计.md
- 乐学空间/第二阶段/3-CQRS链路/CQRS链路面试问答.md
- 乐学空间/第二阶段/3-CQRS链路/同步时延/同步时延.md