A1--王昊奋--面向智能体的记忆体系：理论与实践.pdf

1、面向智能体的记忆体系 理论与实践王昊奋 同济大学 长聘教授 博士生导师 01020304 记忆需求与研究动机学术界理论与技术创新工业界系统与应用实践未来趋势与开放问题记忆需求与研究动机Agent 的崛起使得记忆成为新的兵家必争之地4智能系统范式迁移与记忆演进阶段5传统机器学习/早期深度学习（无状态模型）一次性任务工具，离线训练，无状态推理，简单参数2005年2015年Stateless ML单次预测准确性深度学习爆发（感知上下文）神经网络主导，引入注意力机制，提升感知能力Representation-Centric感知与注意力大语言模型（预训练时代）（推理上下文）Transformer架构主导

2、，依赖超长上下文窗口，具备推理泛化能力Context-Centric长上下文与推理2020年Agentic系统时代（持续进化记忆）长期运行依赖，持续进化，个性化需求突出，记忆成为一致性保障的重要能力Memory-Centric个性化/长期一致性/可进化2025年缺乏记忆的典型表现601020304050607080901002 20 02 22 2年1 11 1月：O Op pe en nA AI I 正式发布ChatGPT2 20 02 24 4年2 2月1 13 3日：O Op pe en nA AI I 宣布开始测试“记忆”功能2 20 02 24 4年7 7月：MemTensor发布记

3、忆分层架构大模型2 20 02 25 5年1 1月：Google Research发布Titans记忆架构2 20 02 25 5年1 1月：Meta/Meta AI 上线可“记住”对话中偏好2 20 02 25 5年7 7月：MemTensor发布MMe emmO OS S记忆操作系统2 20 02 25 5年8 8月:G Ge emmi in ni i 推出P Pe er rs so on na al l C Co on nt te ex xt t2 20 02 25 5年9 9月:C Cl la au ud de e正式发布MMe emmo or ry y功能2 20 02 25 5年4

4、 4月：x xA AI I/G Gr ro ok k宣布新增mme emmo or ry y从搜索趋势看记忆系统发展的关键里程碑7记忆工程：应用范式演进的必然结果8静态对话动态认知提示工程上下文工程记忆工程单轮指令缺乏积累拼接任务背景、角色设定模拟短期记忆长短期记忆系统性管理主动理解你是谁正在做什么未来可能需要什么过去做过什么AIPrompt EngineeringContext EngineeringMemory Engineering引入记忆工程的必要性 9学术界理论与技术创新记忆工程实现路径：模型内生驱动的记忆增强11代表性工作作者团队/时间核心方案技术特点Memorizing Tran

5、sformersGoogle 2022把局部上下文注意力和外部记忆检索融合，引入外部记忆首次在语言模型中引入外部记忆联合模型解码Focused TransformerIDEAS NCBR 2023引入对比训练，让 KV 空间更好区分上下文相关/无关信息方法侧重训练策略改进，不改架构，可迁移到MemoryLLMUCSD 2024在每层引入固定大小 memory tokens，作为可更新参数池强调内置可更新记忆，能持续吸收新知识并抗遗忘Memory3记忆张量 2024基于不同记忆类型进行分层管理和建模，缩减主干参数首次提出记忆分层框架，对模型记忆进行分层建模WISE浙江大学 2024提出双参数记忆

6、：主记忆存预训练知识，侧记忆存编辑知识面向 lifelong model editing进行记忆编辑TitansGoogle 2025提出神经长时记忆模块，学习存储/遗忘模拟人类记忆分层，支持超长上下文MemAgentByteDance 2025基于强化学习的Agents上下文外推扩充方案侧重在短期记忆的扩充模型内生驱动的记忆增强：通过设计创新的基座模型架构，引入记忆增强的能力，强化模型的性能。记忆工程实现路径：应用外向驱动的记忆增强12代表性框架时间Slogan技术特点Star数量Letta/MemGPT2023Create stateful AI agents that truly rem