异步视界博客
iaieye.com

最近更新

    ↑↓ 选择↵ 打开esc 关闭

    让 agent 少记点、回头改:Anthropic 记忆研究精读与评测

    Anthropic 用 CL-Bench、Pokémon、35 万文件语料测了 agent 记忆:强模型自己判断写什么效果最好,离线「做梦」能纠错、建 wiki、压缩常驻层。本文逐项核对数据,并与 Letta、Mem0、Cloudflare 的方案对比。

    • Agent 记忆怎么搭:A… · 1/2
    • 精读
    • 2026.11.08
    • 14 分钟
    • 7,695 字

    思思扬撰写 · AI 协作整理

    类型
    精读
    系列
    Agent 记忆怎么搭:Anthropic 的「做梦」方案与同行对比
    位置
    第 1 篇 / 共 2 篇
    发布
    2026.11.08
    篇幅
    7,695 字 · 14 分钟
    章节
    7 节
    标签
    • agent
    • memory
    • claude-code
    • context-engineering

    原文:The components of agent memory 作者:Anthropic Engineering(第三方摘要署名 Lance Martin,原文作者栏未单独核实) 发布:2026-11-06 格式:精读 + 评测,对应逐段全译与图解见 02 原文全译与图解。引文为原文短句,数据均来自原文正文或图表说明。

    一句话结论

    记忆写得少而准,比写得多更有用;写错了没关系,只要有一个离线环节拿原始记录回头核对。 Anthropic 把这个离线环节叫做 dreaming(做梦),并给出了四组实验。实验大多是自家基准、单次运行,结论方向可信,具体数字只能当参考。

    一、原文在讲什么

    四层记忆结构

    原文把 agent 记忆分成四层,由下到上越来越小、越来越常用:

    层是什么谁写什么时候用
    Transcripts会话原始记录,可搜索的事件日志系统自动需要核对或查细节时搜
    Memory notesClaude 会话中写下的笔记Claude 在线写新会话按需读
    Memory representations例如互相链接的 wiki 页主要由 dreaming 构建用来导航和定位
    Injected context每次会话开头自动载入的内容dreaming 提升上来每次都在上下文里

    Dreaming 位于这四层之外。它从 transcripts 出发,向上校正笔记、构建 wiki,并决定哪些内容放进常驻层。原文的类比来自神经科学:海马体白天快速记录,睡眠时回放并整合到新皮层。工程上的直接来源是 Letta 与 UC Berkeley 2025 年的 sleep-time compute 论文,即利用交互间隙的空闲算力重组上下文。

    原文给「agent 记忆」划了明确边界:只指跨会话保存、以可读上下文形式存在的经验。权重更新、单次对话内的 in-context learning、compaction(用摘要替换旧轮次)都不算。这个边界很有用,很多讨论把这几件事混在一起。

    实验 1:记忆是对未来的预测(CL-Bench)

    设定:CL-Bench 1.0 的数据库问答任务。每道题开一个新会话,答完会告诉正确答案,唯一跨会话的东西是一个记忆目录。运行环境是 Claude Managed Agents。

    结果(原文 Figure 3,mean reward,无记忆 → 有记忆):

    模型无记忆有记忆提升
    Opus 5.50.6550.838+0.183
    Sonnet 5.50.6440.833+0.189
    Opus 50.5640.828+0.264
    Opus 4.70.3830.700+0.317
    Sonnet 50.3060.610+0.304
    Sonnet 4.60.3300.364+0.034

    各代模型的差别在于能不能形成闭环。Sonnet 4.6 只写下一堆未验证的猜测。Opus 4.7 开始把笔记合并成一份参考文档,并标注哪些已核实。Opus 5 是第一个闭环的模型:每条规则都附上「怎么知道它是对的」,还记下踩过的坑。

    原文的说法是 memory is, occasionally, a prediction:写下一条规则,就是预测未来还会遇到这个模式。

    实验 2:判断什么值得记(Pokémon Red)

    在大约第 10,000 步时比较两个模型的记忆目录:

    • Sonnet 3.7:413 个文件、225 个文件夹、约 97.8 万字符。每场战斗、每件道具、每个 NPC 都单独建档,拿到 1 枚徽章。
    • Fable 5:10 个文件(两个文件夹加一个 global.md)、约 4.3 万字符,拿到 4 枚徽章。

    Sonnet 3.7 的问题是记了环境里随时能读到的东西,比如金钱和坐标。这些信息不断过期,模型越来越多的时间花在翻自己的笔记上。原文记录了一个片段:连续 17 步里它新建 6 个文件、删掉 9 个,游戏里一步没动。

    Fable 5 只记游戏不会告诉你的东西:策略、计划、验证过的规则。global.md 相当于仪表盘,放当前目标、打道馆的预案和它自己定的记忆使用规则。Opus 5.5 用类似的小目录打通了全游戏。

    实验 3:告诉它目的,别规定写法

    • 只告诉模型「有个记忆目录可用」,Opus 4.7 和 Opus 5 就能用好。
    • 加一条「只记录失败」的硬规则,记忆带来的提升反而下降:Opus 5 −0.234,Opus 4.7 −0.150,Sonnet 4.6 −0.020。
    • 老模型需要引导。给 Sonnet 4.6 加上「答题前先读记忆、并验证你的假设」,得分从 0.364 升到 0.641,接近翻倍。Sonnet 5 不用提示,10 次里有 9 次会先读记忆;Sonnet 4.6 不到一半。

    Anthropic 对前沿模型的做法是:用户要求或明显值得记时写笔记,其余交给模型判断。

    实验 4:Dreaming 的四种用法

    纠错。Pokémon 的 Mt. Moon 一段,Claude 记错了宝可梦中心在山的哪一侧,以为已经过了山,结果三次掉下单向台阶回到来路,最后退回 Pewter City,没能走出去。对这份错误笔记跑一次 dreaming,Claude 对照 transcript 发现错误并改写,重跑后在第 1,935 步到达 Cerulean City。无记忆的对照组也没到达。

    建 wiki。语料是 Anthropic 5 月收购的 Stainless 公司内部文档,约 35 万个文件、4.2 亿 token,共 25 道题。Opus 5 agent 跑了 128 轮 dreaming,用共享日志协调。结果:

    配置得分(满足的评分项)
    只用搜索53%(不随 wiki 变化)
    只用 wiki2 轮时 13% → 128 轮时 48%
    wiki + 搜索54% → 61%,每题省约 2 万 token

    wiki 从 103 页、766 条链接长到 222 页、12,893 条链接(图 10 说明中 dreaming token 从 2M 增至 128M)。

    wiki 的收益取决于任务。并购问答 24 题中有一半以上需要跨文档综合,用 wiki 得 87%,只用搜索 73%。但在一个 LAB 法律简报任务里,多数评分项在单篇文档中就能搜到,wiki 没有明显增益。另一个任务里,wiki 达到原始语料的 1.77 倍(10 篇文档 115 KB → 68 页 203 KB),原文用博尔赫斯那张和帝国一样大的地图作比喻:它什么都没抽象。

    提升到常驻层。常驻层每次都消耗 token,一条错的笔记会被带进每个会话,而且载入不代表模型会遵守。原文引用了 Claude Code 文档:指令文件越长,遵循度越低。所以 dreaming 在这一层的主要工作是把它保持得很小:细节下沉,只留链接。Claude Code 的 auto memory 也这样做,只载入 MEMORY.md 的前 200 行或 25 KB,当作索引用。

    按目标组织 / 补缺口。在一个合同收购任务里,多个 agent 同时写一张共享的条款表,互相覆盖,57 条评分事实只保留了 41 条(72%)。让 Claude 反思失败、改写建库指令之后,改为每份合同一页、由单个 agent 负责、逐字引用条款,结果 57/57。第二轮 dreaming 还发现 9 条链接指向不存在的页面,把它们改指向已有页面,并补了 3 页(包括索引)。

    原文留下的开放问题

    • 什么时候写:在线写能保留现场的判断,但会分散主任务的注意力;离线写不打扰,但产出不能立即使用。
    • 怎么保持新鲜:全量复查太贵,可能要按「容易变的信息」或「访问频率」决定 dreaming 的频率。
    • 以什么为地基:transcript 搜索本身就可以当记忆的基础,wiki 这类表示层需要持续投入算力维护,否则会积累错误和幻觉。

    二、数据核对

    所有数字都对照了原文正文和图表的 alt 说明(抓取于 2026-11-08)。早报 11-08 条目引用的数字与原文一致。

    项原文值核对
    CL-Bench 六个模型的分数见上表与 Figure 3 说明一致
    「只记失败」的损失Opus 5 −0.234 / Opus 4.7 −0.150 / Sonnet 4.6 −0.020与 Figure 5 一致
    Pokémon 文件数Sonnet 3.7 共 413 个;Fable 5 正文称 9 个加 global.md,图注称 10 个两处口径一致
    到达 Cerulean第 1,935 步与图 8 一致
    Stainless 语料约 35 万文件、约 4.2 亿 token正文
    wiki 得分13→48%;54→61%;搜索 53%正文和图 10 一致
    合同事实41/57 → 57/57图 14
    MEMORY.md 载入上限200 行或 25 KB与 Claude Code 记忆文档一致

    三、评测:哪些站得住,哪些要打折

    站得住的

    • 「写什么」比「写多少」重要。Pokémon 的对比很直观,CL-Bench 上硬规则的负面效果也有数据支持。它和长期用 Claude Code 的经验一致:MEMORY.md 里塞满一次性细节,模型会反复读、反复改,很少用上。
    • 记忆要能对照原始记录校正。这是全文最有价值的工程主张。在线笔记总会出错,有了 transcript 作为基准,错误才可以修复。同行产品也在收敛到这一点(见下节 Cloudflare 的 verifier)。
    • 常驻层必须小。这条和 Claude Code 官方文档互相印证,也是成本最低的改进。
    • 多 agent 不要共写同一个文件。41/57 这个数字很说明问题。Anthropic 自己的 knowledge-wiki quickstart README 也承认,最忙的共享实体页约有 5% 的写入行会丢内容,他们选择接受这个代价,以便不同文档的数字能在同一页对比。

    要打折的

    • 基准都是自家的,而且样本小。CL-Bench 1.0 是否公开、题量多少,原文没说。wiki 实验只有 25 题和 24 题;Pokémon 每个模型只比较了一次运行。这些更适合当案例,不能当统计结论。
    • 模型能力和记忆能力混在一起。Sonnet 3.7 对 Fable 5 跨了好几代,徽章数的差距不能全算在记忆策略上。原文自己也只说「一个关键区别」。
    • Dreaming 的成本没有换算。128 轮、128M token 的 dreaming 换来 wiki+搜索相对纯搜索 +8 个百分点;只用 wiki 的最好成绩 48%,仍低于纯搜索的 53%。每题省 2 万 token 能否抵回建库成本,要看问题量。quickstart 给了一个可参考的账:一个 8 份 SEC 文件的语料建库约 $16–19,对比大模型直接搜原文,约 240 个问题后回本。
    • 「别给规则」有适用范围。原文测试的是「规定写什么」的规则,强模型上效果为负。这不等于项目约束类指令(禁止访问的目录、花钱前先问)也没用,那类指令本来就不是记忆策略。老模型还需要明确引导。
    • 没谈安全。社区已有人指出,从不可信网页内容写进记忆的笔记会影响以后每次运行,也就是记忆投毒。原文完全没讨论这一点。而 dreaming 会把笔记往常驻层提升,反而放大这个风险。

    四、同行怎么做

    方案存储形态谁决定写什么有没有离线整理校正依据
    Anthropic(本文)文件目录 + wiki模型自己判断dreaming,按需或定时对照 transcript
    Managed Agents Dreams APImemory store会话中模型写异步任务,1–100 个会话,输出新 store,不改原 store对照 transcript
    Claude Code auto memoryMEMORY.md 索引 + 主题文件模型自己判断社区报道有 Auto Dream / /dream,官方文档未见,视为灰度—
    Letta Context Repositoriesgit 管理的 markdown(MemFS)模型 + 后台反思子 agentdream / reflection 子 agent,用 git worktree 并发写git 历史
    Mem0抽取后的记忆条目 + 向量/BM25/实体检索抽取管线异步写入、合并自测 LoCoMo 92.5、LongMemEval 94.4(厂商自测)
    Cloudflare Agent Memory事实 / 事件 / 指令 / 任务四类,按主题键版本链抽取管线(Llama 4 Scout)写入时校验verifier 按 8 项标准对照原始记录
    Karpathy LLM Wiki原始资料 + LLM 写的 wiki + schema 文件人选资料,agent 归档Lint 操作查链接和索引原始资料只读

    两条路线正在收敛。

    一条是文件派:Anthropic、Letta、Karpathy。记忆就是 markdown,结构交给模型判断,靠离线整理保持质量。好处是人可以直接读、改、用 git 回滚;代价是维护要花算力,规模上去后需要索引和搜索兜底。

    另一条是管线派:Mem0、Cloudflare。写入时用固定流程抽取、分类、去重,检索时多路召回再融合。好处是可控、便宜、能跑标准基准;代价是「什么值得记」被管线写死了,正是 Anthropic 实验里证明对强模型不利的那种硬规则。

    收敛点在于都承认在线写入会出错,都要拿原始记录校正。Cloudflare 在写入时用 verifier 校验,Anthropic 在离线时用 dreaming 校验,Letta 用 git 历史兜底。区别只在于校正放在什么时候。

    五、能直接用的做法

    1. 常驻层当索引用。MEMORY.md、CLAUDE.md 这类每次都载入的文件只放索引和硬约束,细节拆到子文件,主文件留链接。
    2. 记忆策略写目的,不写规则。例如写「记下以后会用到、但从环境里读不出来的东西」,不要写「只记失败」「每次都记」。
    3. 别记环境里能读到的状态。文件内容、git 状态、配置值随时可查,写进记忆只会过期。
    4. 每条规则附上依据。「怎么知道它是对的」是 Opus 5 闭环的关键,也方便以后复查。
    5. 定期对照原始记录清理。没有 Dreams API 也可以手动做:隔一段时间让 agent 读最近几次会话记录,检查记忆里有没有过期、重复、矛盾的条目。
    6. 并行 agent 分文件写。按会话或按实体分开,最后再合并。
    7. wiki 只用在需要跨文档综合的场景。单篇文档就能答的问题,直接搜更划算。

    延伸阅读

    7 条
    系列全部 2 篇
    1. 01让 agent 少记点、回头改:Anthropic 记忆研究精读与评测14 分钟
    2. 02Anthropic《智能体记忆的组成要素》逐段全译67 分钟