weiyi
项目ReTrade

混合检索、结构化证据与质量评测

从“电池容量是多少”到“无法充电怎么办”,让不同问题找到合适的依据。

用户问题改变了检索需求

“多少 mAh”“某型号支持什么接口”包含精确词,“充不进电怎么办”更多依赖语义和故障结构。单一路线容易在这两类问题之间失衡。当前方案组合向量、轻量 BM25、标题路径、FAQ 和表格候选,再统一排序。

检索首先带上 product_id 等过滤。相似型号的说明书会出现近似章节,提前限定商品范围能让 TopK 在授权数据子集内竞争,避免候选被其他商品耗尽。

词法与语义分别怎样产生候选

直接改写保留原问题目标,HyDE 额外生成说明书风格的假想文本并向量化。HyDE 只作为候选扩展,其文本不能作为最终证据;超时或失败时保留原问题路线。

Agent 当前从 Milvus 拉取当前商品限定数量的块,执行轻量 BM25 与结构化检索,材料给出的上限为 1000 块。BM25 结合词频、稀有度和长度归一化,使型号、错误码、单位与技术名词成为区分信号。Mall 的 ES 搜索是另一条业务链路。

标题检索把 title_path 与正文组合匹配,FAQ 路线聚焦问答结构,参数路线关注 table_row、table 和 spec。这些路线各保留自己的候选排序。

RRF 怎样融合不同分值

向量相似度与词法分数的尺度不同,RRF 使用名次来融合。同一个 chunk 在多条路线排得靠前,就累加多次贡献。

RRF(chunk) = Σ 1 / (60 + rank_i)

统一 chunk_key 去重之后再累加,避免同一个块作为多份重复上下文出现。RRF 使用名次也会损失原始分差,单路线召回深度和后续重排因此仍影响最终结果。

参数问题的加权具体改变什么

规则识别型号、数字单位、尺寸、容量、接口及“参数”“规格”等意图信号。候选中的精确词命中、chunk_type 和证据类型参与重排。笔记给出的计算形态如下。

final_score = 融合分
            + keyword_hits × 0.12
            + chunk_type_boost
            + semantic_evidence_boost
            - noise_penalty

变化发生在候选排序阶段。参数问题使 table_row/spec 获得有限加分,故障问题使 FAQ 更有机会排到前面,防止宽泛 section 挤掉直接回答数值或现象的片段。不同字段的具体权重应由配置与评测记录确认,规则加分需要上限,保留语义路线以覆盖同义表达。

父块怎样补上下文

命中子块后按 parent_key 补所属 section。当前最多补少量父块,材料记录的上限为 2,随后仍按 TopK 截断。因此父块会占候选名额,可能挤掉后续精确子块。

表格行的 parent_key 指向章节,命中它不会自动带出整张表。整表只有在自身召回命中时进入候选。后续可给子证据与补充上下文分别分配 Token 预算,先保住直接依据,再补适用条件。

证据如何进入回答

每条证据包含 E 编号、类型、页码、标题路径、父块关系与正文。提示词规定参数优先 table_row/spec,操作优先 step/list,故障优先 FAQ,章节用于上下文。答案关键结论引用相应编号。

引用格式正确后,还需核对证据是否属于当前商品、页码是否一致、内容是否真正支持结论。无候选、证据冲突或依据不足时,回答明确缺少信息。尤其安全与兼容性问题,不能让模型用常识填补未提供的条件。

把失败拆成检索与生成两段

检索 Recall@5 看正确依据是否进入前五,MRR@10 看首个正确依据的名次。问题需要多块共同支撑时,还要统计关键证据的覆盖程度。

生成评测同时保存端到端准确率与“正确依据已召回”的条件准确率。前者对应用户体验,后者帮助判断是否应该调整证据格式和生成规则。还需单独检查单位、步骤顺序、引用正确性和无答案拒答。

材料记录了一组 120 题的历史实验。本次没有原始逐题输出与复跑,因此不将历史百分比当作当前网站的性能承诺。更可复现的做法是冻结手册、问题集和模型配置,逐项消融切分、多路召回、HyDE、重排与父块,保存每题候选、分值、耗时和错误阶段。

本文整理依据

内容依据项目复习材料整理,本次发布没有重新审计源码或复跑历史实验。相同主题按专项笔记和较新复盘统一,原始笔记保留在本机。

  • ReTrade Agent Mall/Agent/Agent复习笔记.md
  • ReTrade Agent Mall/Agent/2026-07-22-说明书RAG问答复习汇总.md
  • ReTrade Agent Mall/0-简历分析/简历题分析.md