1、唐波|记忆张量演讲嘉宾演讲嘉宾唐波记忆张量(上海)科技有限公司应用算法负责人记忆张量(上海)科技有限公司应用算法负责人,主要负责MemOS与 ClawForce产品研发。主导研发的MemOS作为面向大模型与智能体的记忆操作系统,已在多项记忆基准上取得性能与效率双优,开源后获GitHub 8K+Star,并在金融投顾、工业运维、智能客服、科研助手等场景实现落地。曾带领团队研发新语NewsCopilot多智能体融合生产引擎,服务新华社并应用于两会场景,相关成果获王选科技进步一等奖。持续推进产学研合作,相关项目获昇腾AI创新大赛2025全国总决赛金奖。曾任职于微软亚洲研究院、阿里巴巴、美团,长期从事
2、自然语言处理、强化学习与安全强化学习研究,在ICML、NeurIPS、ICLR、ACL 等国际顶级会议发表论文40余篇。Part 01.Part 01.Part 02.Part 02.Part 03.Part 03.MemOS介绍(缘起)MemOS Openclaw 插件(现在)MemOS Agent 记忆系统(未来)大模型性能缩放曲线的演进历史GPT-4 更新版(更新版(2025年年4月)月)“兴奋到失眠”的新功能ChatGPT 全局记忆GPT-5(2025年年8月)月)记忆能力升级与更多应用进行整合GPT-6(2026年?)年?)反复强调:“People want memory”,记忆与个
3、性化是迭代主线*Agent Memory 与与 LLM Memory的谷歌搜索关键趋势图的谷歌搜索关键趋势图把“Agent 需要长期记忆”从概念拉到可落地的产品实践从实践层面看记忆增强的必要性大语言模型(LLMs)用户知识库企业/用户明文数据MCP外部工具库参考参考知识知识执行执行结果结果知识知识查询查询工具工具执行执行响应结果响应结果推理信息(逻辑结果)反馈信息(交互结果)外部信息(知识结果)抽取信息组织信息编码信息检索信息意图理解信息任务规划信息(Planing)任务执行信息结果校验信息结果汇总信息Query临时参考信息用户偏好信息系统信息单个Session对话内丰富的上下文增强信息流静态
4、预处理信息从实践层面看记忆增强的必要性Multi-usersMulti-sessionsMulti-agentsMulti-apps大语言模型(LLMs)实施场景实施难度应用开发复杂度急剧增长从实践层面看记忆管理框架的必要性Multi-usersMulti-appsMulti-agentsMemOS大语言模型(LLMs)新增一层处理框架来屏蔽复杂操作Multi-sessions从实践层面看记忆管理框架的必要性大语言模型(LLMs)Agents业务流程用户知识库MCP数据库存储系统/推理框架系统 (Memory Enhancement Layer)记忆增强层大模型记忆增强层的实现路径:(1)模型
5、内生驱动的记忆增强代表性工作代表性工作作者团队作者团队/时间时间核心方案核心方案技术特点技术特点Memorizing TransformersGoogle 2022把局部上下文注意力和外部记忆检索融合,引入外部记忆首次在语言模型中引入外部记忆联合模型解码Focused TransformerIDEAS NCBR 2023引入对比训练,让 KV 空间更好区分上下文相关/无关信息方法侧重训练策略改进,不改架构,可迁移到MemoryLLMUCSD 2024在每层引入固定大小 memory tokens,作为可更新参数池强调内置可更新记忆,能持续吸收新知识并抗遗忘Memory3记忆张量 2024基于不
6、同记忆类型进行分层管理和建模,缩减主干参数首次提出记忆分层框架,对模型记忆进行分层建模WISE浙江大学 2024提出双参数记忆:主记忆存预训练知识,侧记忆存编辑知识面向 lifelong model editing进行记忆编辑TitansGoogle 2025提出神经长时记忆模块,学习存储/遗忘模拟人类记忆分层,支持超长上下文MemAgentByteDance 2025基于强化学习的Agents上下文外推扩充方案侧重在短期记忆的扩充模型内生驱动的记忆增强模型内生驱动的记忆增强:通过设计创新的基座模型架构,引入记忆增强的能力,强化模型的性能。大模型记忆增强层的实现路径:(2)应用外向驱动的记忆增