weiyi
项目乐学空间

乐学空间,让互动数据有据可循

从课程讨论的业务事实,走向可搜索、可缓存、可恢复的帖子与评论系统。

区分实习期间的开发职责与实习后的脱敏复盘。压测采用笔记中的最新本地报告口径。

  1. 三端业务入口
  2. 事实写入
  3. 搜索与缓存
  4. 计数与校准

课程结束后,学生集中浏览知识帖、完成打卡、评论和点赞;助教回复问题,运营处理风险内容。用户看到的是一个互动页面,背后却同时存在事务写入、全文搜索、热点缓存和统计计数几种不同节奏的数据。

项目背景与职责范围

乐学空间是雅思学习场景中的课程互动模块。材料给出的业务模型约覆盖 60 个班、每班约 50 人,流量集中在上午、下午下课后的窗口。平台 DAU、发帖量和评论量来自导师说明或行为模型估算,阅读容量设计时应保留这一来源差异。

实习期间主要在 Mentor 指导下完成表结构、接口、业务链路、CQRS 搜索、限流和可观测性相关代码及本地联调。代码评审、实际交付和生产部署由 Mentor 与运维协同完成。

实习后的个人脱敏复盘继续研究 Core/Stats 缓存、评论对象复用和异步计数,并用本地压测定位瓶颈。这个演进顺序关系到如何解释每项设计的必要性。

从业务角色划分系统

三个 BFF 分别面向学生、助教和运营。它们负责入口鉴权、限流与参数组装,统一调用 comment-service。核心服务检查资源归属、审核与可见状态,维护数据库事务;comment-task 独立承担搜索同步和后台恢复。

技术选择 对应的项目问题 需要承担的边界
Go Kratos、gRPC 三端共享核心领域能力,希望统一契约、拦截器、调用上下文和链路追踪 生成协议和逻辑分层增加联调成本
MySQL 评论、点赞、审核和删除需要准确事实与事务约束 热点写入、连接池和索引影响容量
Redis 相同帖子和评论会被反复读取,状态与统计变化频率不同 缓存失效、穿透和回源竞争需要治理
Canal、Kafka 从已提交数据库变化产生搜索投影,并缓冲下游故障 位点、积压和重放必须可追踪
Elasticsearch 支持中文全文检索、过滤与相关性排序 Refresh 引入搜索可见延迟
OpenTelemetry、Jaeger、k6 将吞吐和延迟现象关联到具体依赖与业务步骤 测试流量、缓存状态和指标口径要固定

一条评论的完整路径

学生请求先进入 BFF,经过认证和限流,再由 gRPC 调用核心服务。核心服务检查帖子可见性,在事务中写入评论事实,提交后返回评论 ID。评论分页缓存随后失效,计数变化进入异步聚合。

MySQL 的已提交行变更进入 binlog,由 Canal 投递 Kafka。comment-task 读取事件并生成 ES 文档,使用外部版本判断重复或陈旧写入。ES Refresh 后,搜索接口才能首次看到新评论。详情、审核和权限仍回到业务事实确认。

这条链路同时存在“写入已成功”“缓存已失效”“计数已刷新”“搜索已可见”几个时刻。观察这些阶段能解释用户为什么刚提交评论就能在详情中看到,却暂时搜不到。

缓存与统计为什么继续演进

数据库中的 post 与 post_counter 物理分表在实习期间完成,主体与统计字段因此能各自更新。后续复盘进一步把 Redis 缓存拆成低频 Core 和高频 Stats,减少计数变化导致正文缓存回源。

评论列表保存 ID 和总数,对象另存。一次列表查询先取 ID,再 MGET 评论对象,把缺失部分批量回源,并按原 ID 顺序重组。这样正文对象能够跨详情和分页入口复用。

计数属于可从点赞和评论事实重建的统计。Redis 把同帖子的真实变化合并为净 Delta,后台按批次更新 MySQL。为保证重试可恢复,批次需要在 Pending、Processing 和数据库任务之间留下稳定身份。

用验证结果反推问题

最新压测报告采用 1 万帖子、50 万评论和 50 万点赞关系。预热后的 100 VU 纯读测试中,帖子详情约 4.1k req/s,评论列表约 10k req/s。写入和搜索可见链路则暴露了不同瓶颈。

端到端同步延迟 P95 为 8.64~10.10 秒。历史笔记中的 1.95 秒属于另一轮测试,项目页采用最新报告,并明确其本地环境和突发写入模型。帖子搜索有 ES 宽泛热词查询的尾延迟,也有搜索后统计回填引入的超时。

点赞与评论写入出现业务忙、依赖超时和连接资源不足,取消点赞场景还缺少正确的前置关系。阅读这些失败能看清,异步计数合并的是派生统计更新,事实写入和连接资源仍需单独治理。

阅读路线

从数据模型、权限与缓存建立一次详情查询的完整视图,接着看搜索同步怎样传递事实和提交责任,再看告警与对账怎样发现遗漏。

异步计数解释 Pending、Processing、批次事务和事实校准。压测与复盘则把容量结果、失败率和误判问题放回具体流量模型。

架构取舍

按材料中的业务估算,合理索引和基础缓存已经可以覆盖许多请求。ES 的主要价值首先来自全文检索能力,缓存拆分和异步计数适合在明确的热点读写压力下演进。

组件越多,恢复路径和观测点也越多。这个项目的主线因此始终围绕一个判断展开,每一份数据由谁保存事实,当前处理失败后又由谁继续承担恢复责任。

本文整理依据

内容依据项目复习材料整理,本次发布没有重新审计源码或复跑历史实验。相同主题按专项笔记和较新复盘统一,原始笔记保留在本机。

  • 乐学空间/第一阶段/2026-07-07-技术面复盘.md
  • 乐学空间/第一阶段/2026-07-10-模拟面试-项目异常压测复盘.md
  • 乐学空间/第一阶段/2026-07-20-乐学空间深挖复习.md
  • 乐学空间/第一阶段/Kratos-gRPC-BFF调用链路总结.md
  • 乐学空间/第一阶段/乐学空间复习笔记.md
  • 乐学空间/第一阶段/简历及面试题.md
  • 乐学空间/第一阶段/简历逐条回答.md
  • 乐学空间/第二阶段/0-简历分析/简历题分析.md
  • 乐学空间/第二阶段/1-项目背景及实现/项目背景及实现.md
  • 乐学空间/第二阶段/2-表结构设计与缓存设计/帖子与评论缓存面试问答.md
  • 乐学空间/第二阶段/2-表结构设计与缓存设计/表结构设计与缓存设计.md
  • 乐学空间/第二阶段/3-CQRS链路/CQRS链路设计/CQRS链路设计.md
  • 乐学空间/第二阶段/3-CQRS链路/CQRS链路面试问答.md
  • 乐学空间/第二阶段/3-CQRS链路/README.md
  • 乐学空间/第二阶段/3-CQRS链路/同步时延/同步时延.md
  • 乐学空间/第二阶段/3-CQRS链路/告警机制/告警机制.md
  • 乐学空间/第二阶段/3-CQRS链路/对账机制/对账机制.md
  • 乐学空间/第二阶段/4-异步计数链路/1-链路设计/链路设计.md
  • 乐学空间/第二阶段/4-异步计数链路/2-异常处理与一致性/异常处理与一致性.md
  • 乐学空间/第二阶段/4-异步计数链路/3-面试讲解/面试讲解.md
  • 乐学空间/第二阶段/4-异步计数链路/点赞与评论异步计数面试问答.md
  • 乐学空间/第二阶段/6-压力测试/乐学空间评论系统-100VU压测方案.md
  • 乐学空间/第二阶段/6-压力测试/乐学空间评论系统压测执行手册.md
  • 乐学空间/第二阶段/6-压力测试/乐学空间评论系统压测结果复盘.md
  • 乐学空间/第二阶段/6-压力测试/压测数据统一复习面试问答.md