weiyi
项目MewCode

上下文预算、压缩与恢复

在长任务中保留可继续工作的状态,同时控制工具输出、消息长度与提示缓存的变化。

读取一个大文件、打印一段长日志,就可能占去大量上下文。任务执行越久,模型越难在有限窗口中同时保留目标、关键决策与最新证据。MewCode 用局部输出管理和全局历史压缩处理不同尺度的增长。

设计目标与两种控制范围

局部控制面向工具结果,决定哪些内容保留在消息中、哪些落盘并用预览替代。全局控制面向整段会话,在预算接近阈值时将旧历史压成摘要,并保留最近消息。

目标是让模型仍能找到完整输出,知道已经做了什么、接下来做什么,并保持工具调用与返回成对。仅仅截断字符串可能丢失错误位置,仅仅总结全文又可能丢失可精确复现的命令与结果。

工具输出如何缩减

笔记记录单次工具输出超过约 12,000 字符时可落盘,用摘要或文件引用代替。单轮还有约 30,000 字符预算,优先处理体积较大的结果;较老的十轮历史中,超过约 2,000 字符的结果也会参与修剪。这些是当前实现阈值,不是通用最优参数。

落盘保留完整证据,预览保留定位入口。模型需要细节时再通过读取工具访问文件,避免每轮请求重复携带全部日志。代价是多一次读取,临时文件也需要生命周期管理。

为什么记录替换状态

同一个工具结果如果每轮被不同方式改写,会改变消息前缀,影响提示缓存复用。ReplacementState 按 tool_use_id 记录原结果与替代视图,并写入会话 JSONL,让后续组装保持一致。

稳定替换减少的是重复消息前缀的变化。缓存是否命中、命中成本和模型供应商策略仍需实际观测,不能把稳定前缀直接当作固定比例的成本下降。

全局预算怎样触发压缩

有效输入窗口由模型总窗口扣除预留输出预算计算,预留上限约 20,000 Token。软阈值与硬阈值分别再保留约 13,000 和 3,000 Token 的余量。已有 usage 时用它作锚点,随后新增文本用字符数估算,笔记中的粗略系数约为每 3.5 字符一个 Token。

估算对中文、代码、Schema 和多模态内容可能偏离真实分词。软阈值提前尝试摘要,连续失败有熔断策略;接近硬边界或服务端报告上下文过长时,需要强制处理。余量用于承接误差和下一次工具结果。

压缩怎样保留可恢复状态

旧前缀形成摘要,最近尾部保留原文。切分不能拆开工具调用与返回,否则消息协议和执行状态都会失去对应。摘要应保留任务目标、已完成改动、关键结论、未解决错误和下一步。

恢复时还会带入有限的近期文件、Skill 与工具相关快照。但快照可能过时,模型准备再次修改文件前应重新读取当前内容,不能将摘要中的旧片段当成最新文件。

当前顺序带来的取舍

源码分析记录的实际顺序是先运行全局 ManageContext,再对工具结果应用局部替换。因此不能声称实现总是先缩减输出、再判断是否需要摘要。较大的原始结果可能提前触发全局压缩,这是后续可以通过调用顺序与预算复算验证的改进点。

面试时从一次长日志引发的窗口压力讲起,解释局部落盘、稳定替换、全局摘要和恢复快照各自解决的问题,再讨论 Token 估算误差、摘要丢失细节与重新读取证据的必要性。

本文整理依据

内容依据项目复习材料整理,本次发布没有重新审计源码或复跑历史实验。相同主题按专项笔记和较新复盘统一,原始笔记保留在本机。

  • Co Coder/MewCode_上下文管理机制源码分析.md
  • Co Coder/code-golang简历题分析.md