审核请求为什么只负责受理
商品审核通过后,Mall 将商品、说明书对象地址和版本交给 Agent。下载、解析、Embedding 和 Milvus 写入耗时且各自可能失败,API 因此先生成任务身份、保存载荷与幂等记录,再交给后台。
调用方得到任务 ID,查询 pending、running、success 或 failed 等状态。失败需要留下阶段、原因和重试信息,后台执行不依赖原始 HTTP 请求继续存活。
幂等对象需要包含什么
材料中的对象版本键由商品、卖家、文件地址、文件名与 source version 等输入生成哈希,再使用 Redis 的原子占位避免重复受理。同商品同版本重复提交可以复用任务,不同商品共享同内容仍可能分别建索引。
切分规则与 Embedding 模型变化同样会改变最终块和向量。将 splitter version、模型与维度纳入可复现版本,是后续索引管理的重要方向。跨商品内容复用还要额外处理授权、删除和元数据归属。
Worker 如何建立检索块
下载阶段检查地址协议、响应状态、文件大小和 PDF 文件头。解析输出保留页码,再识别标题路径、表格、步骤、列表、规格和 FAQ。
每个章节建立 section 父块,子块保存 parent_key。普通长文本在结构内部继续滑窗,材料给出的示例约为 720 字符、80 字符重叠。重叠让边界附近的句子能够完整出现在至少一个块中,也增加重复向量与候选去重成本。
| 元数据 | 后续使用位置 |
|---|---|
| product_id、doc_id、version | 查询范围、版本定位和清理 |
| page、title_path | 引用来源、章节召回和上下文展示 |
| chunk_type | 规格、步骤、FAQ 等路线与证据使用规则 |
| chunk_key、parent_key | 去重、父章节扩展和调试追踪 |
表格与步骤为什么单独组织
参数表同时保存整表和带表头的 table_row。单行更容易聚焦一个型号、单位和参数值,整表保留列关系以支持多参数问题。表格行父级在当前实现中指向 section,整表以独立候选参与检索。
操作步骤保留顺序,FAQ 保留现象与处理关系。若机械切开标题、表头或警告,模型即使命中数值,也可能失去适用条件。解析出的页码还需要固定为 PDF 文件页序或明确的印刷页标签,避免引用坐标混用。
分批向量化与索引更新
结构化块分批调用 Embedding,再以绑定的向量维度和 metadata 写入 Milvus。批次大小受到供应商请求上限、Token 数和超时影响,记录块键和失败位置有助于重试时避免重新处理整份文件。
更新说明书时,先构建并验证新版本,再切换 active version,最后清理旧索引,可以缩小中途失败的查询空窗。这个版本化发布是后续设计建议,资料中的现状需要与具体删除再入库路径分开核对。
可靠性与解析边界
当前任务状态和载荷主要保存在 Redis,有 Kafka 与本地 goroutine 路径。Kafka 不可用时本地降级保留了处理能力,但进程重启恢复仍依赖状态持久性和重新调度。生产化可将任务元数据落到 MySQL,并使用事务 Outbox 可靠派发。
默认本地文本解析适用于原生文字 PDF。扫描件、复杂双栏、跨页表格与图片标注仍受解析器能力约束,可选 Layout 解析能力需要独立验证。低质量解析应在索引和回答阶段保留可观察信号。
验证应该落到块结构
除了检查 Milvus 是否写入,还需要抽样核对页码、标题栈、表头与数值对应、步骤顺序以及父子关联。重新上传同版本、切分失败、Embedding 中断和部分批次写入,都应能得到可解释任务状态。
本文整理依据
内容依据项目复习材料整理,本次发布没有重新审计源码或复跑历史实验。相同主题按专项笔记和较新复盘统一,原始笔记保留在本机。
- ReTrade Agent Mall/Agent/Agent复习笔记.md
- ReTrade Agent Mall/Agent/Agent深挖复习笔记.md
- ReTrade Agent Mall/Agent/2026-07-22-说明书RAG问答复习汇总.md
- ReTrade Agent Mall/0-简历分析/简历题分析.md