李志宇-从上下文到长期记忆：大模型记忆工程的架构设计与实践.pdf

1、从上下到期记忆：模型记忆程的架构设计与实践李志宇记忆张量（上海）科技有限公司 联合创始兼CTO模型性能缩放曲线的演进历史Pre-trainingPost-trainingMem-trainingPast-2023GPT3.5/4.0Qwen 1.02024-20252025-2027GPT-O1DeepSeek-R1Qwen 2/3预训练Scaling后训练Scaling下个增曲线？在实践中学习Model PerformanceGPT-4 更新版（2025年4）“兴奋到失眠”的新功能ChatGPT 全局记忆GPT-5（2025年8）记忆能升级与更多应进整合GPT-6（2026年？）反复强调：“

2、People want memory”，记忆与个性化是迭代主线从实践层看记忆增强的必要性语模型（LLMs）Agents业务流程户知识库MCP数据库存储系统/推理框架系统语模型（LLMs）户知识库企业/户明数据MCP外部具库参考知识执结果知识查询具执响应结果推理信息（逻辑结果）反馈信息（交互结果）外部信息（知识结果）抽取信息组织信息编码信息检索信息意图理解信息任务规划信息（Planing）任务执信息结果校验信息结果汇总信息Query临时参考信息户偏好信息系统信息单个Session对话内丰富的信息流增强信息流静态 预处理信息模型与户常交流过程中形成的信息流是模型持续迭代提升的最优资源！从实践层看记

3、忆增强的必要性动态记忆 Dynamic Memory动态记忆 Dynamic Memory动态记忆 Dynamic Memory静态记忆 Static Memory从实践层看记忆增强的必要性对于单个户的 Session，需要管理：动态信息：临时参考信息、偏好信息、系统信息、MCP执信息、任务信息、响应信息（外部、推理、反馈交互）.静态信息：本地知识库、云端知识库(知识处理的完整流程框架)单个从实践层看记忆增强的必要性Session1Session2Session3Session4Session5Session6Session7跨Session信息参考跨Session信息参考时间序列对于单个户的

4、 Session，需要管理：多个保障跨Session引的正确性，整体信息的歧义等从实践层看记忆增强的必要性Multi-usersMulti-sessionsMulti-agentsMulti-apps语模型（LLMs）实施场景实施难度应开发 复杂度急剧增从实践层看记忆增强的必要性从实践层看记忆管理框架的必要性Multi-usersMulti-appsMulti-agents语模型（LLMs）新增层处理框架来屏蔽复杂操作Multi-sessions从实践层看记忆管理框架的必要性语模型（LLMs）Agents业务流程户知识库MCP数据库存储系统/推理框架系统 （Memory Enhancement

5、 Layer）记忆增强层模型 的实现路径：（1）模型内驱动的记忆增强代表性作作者团队/时间核案技术特点Memorizing TransformersGoogle 2022把局部上下文注意力和外部记忆检索融合，引入外部记忆首次在语言模型中引入外部记忆联合模型解码Focused TransformerIDEAS NCBR 2023引入对比训练，让 KV 空间更好区分上下文相关/无关信息方法侧重训练策略改进，不改架构，可迁移到MemoryLLM清华学 2024在每层引入固定大小 memory tokens，作为可更新参数池强调内置可更新记忆，能持续吸收新知识并抗遗忘Memory3记忆张量 2024基

6、于不同记忆类型进行分层管理和建模，缩减主干参数首次提出记忆分层框架，对模型记忆进行分层建模WISE浙江学 2024提出双参数记忆：主记忆存预训练知识，侧记忆存编辑知识面向 lifelong model editing进行记忆编辑TitansGoogle 2025提出神经长时记忆模块，学习存储/遗忘模拟人类记忆分层，支持超长上下文MemAgentByteDance 2025基于强化学习的Agents上下文外推扩充方案侧重在短期记忆的扩充模型内驱动的记忆增强：通过设计创新的基座模型架构，引记忆增强的能，强化模型的性能。记忆增强层模型 的实现路径：（1）应外向驱动的记忆增强代表性框架时间Slogan