严骏驰-AiDD主会场-世界模型增强下的自动驾驶.pdf

1、世界模型增强下的自动驾驶严骏驰 上海交通大学目 录CONTENTS1.世界模型介绍2.世界模型增强下的自动驾驶 视频生成3.世界模型增强下的自动驾驶 闭环决策演讲嘉宾严骏驰上海交通大学计算机系教授/国家优青严骏驰，上海交通大学计算机系教授，支部书记，CCF杰出会员/杰出讲者。国家优青、IET Fellow、科技部2030新一代人工智能重大项目、基金委人工智能重大研究计划项目负责人，教育部深度学习资源建设首席专家。曾任IBM研究院首席研究员。主要研究兴趣为机器学习及交叉应用。发表第一/通讯作者CCF-A类论文超百篇，谷歌引用过万次，成果先后获PaperDigest评选的最具影响力AAAI21、I

2、JCAI23论文榜首，及陕西省自然科学一等奖（排三）。长期任机器学习三大会议ICML/NeurIPS/ICLR领域主席，模式识别旗舰期刊PRJ编委。指导学生获得挑战杯特等奖、CCF优博/CV新锐奖、交大学术之星等荣誉和本科生自然科学基金。世界模型介绍PART 01图灵奖得主 Yann LecunYann Lecun的人脑模型IYann LeCun构想的人脑模块I总控（Configurator）:协调所有模块感知（Perception）:获得环境当前状态评价（Cost）:评估在当前以及可能的未来下，个体的“舒适度”短期记忆（Short Memory）：存储当前状态以及预测的未来以及对应的“舒适度

3、”行动（Actor）:给出在当前状态下最大化个体“舒适度”的行为世界模型（World Model）：给定当前状态，基于打算做的动作，预测可能的未来状态“人类和动物能够通过观察和以独立于任务、无监督的方式学习大量有关世界如何运作的背景知识，也就是我们所谓的常识 世界模型世界模型模块构成了体系结构中最复杂的部分。其角色是双重的：（1）估计感知模块未提供的有关世界状态的缺失信息（2）预测世界的合理未来状态。世界模型可以预测世界的自然演变，也可以预测由执行器模块提出的一系列动作导致的未来世界状态”I A Path Towards Autonomous Machine Intelligence.2022

4、.Yann Lecun世界模型介绍世界模型介绍世界模型的神经网络实现初步探索IILSTM之父Jrgen Schmidhuber 在其2018年NeurIPS的文章中，探索了神经网络能否在自己想象中的环境中学习？环境状态编码器 VAE未来状态预测器 MD-RNN控制器（决策）-C可以完成简单的游戏I Understanding comics:the invisible art.S.McCloud.Tundra Publishing.1993.II Recurrent World Models Facilitate Policy Evolution.Ha,David,and J rgen Schm

5、idhuber.NeurIPS 2018世界模型示例。源自I，在II中被被使用，而成为经典示例一个基于神经网络的世界模型IIJrgen Schmidhuber世界模型与自动驾驶自动驾驶子任务多且繁杂（感知、预测、决策）-标注成本高数据成长尾分布，多样性要求高-要求丰富的时间、地点、行为-高采集成本世界模型与自动驾驶视频生成模型OpenAI Sora展示了无监督Scale Up视频生成模型的强大潜力Video by Sora:“SUV in the dust”世界模型与自动驾驶世界模型增强下的自动驾驶显式生成逼真视频-数据增强，感知训练GAIA-1 DriveDreamer/DriveDream

6、er2GenADDrive-WMADriver-Ietc隐空间预测未来世界-神经仿真器，闭环决策训练Think2Drive（上海交通大学）视频生成模型，以GenAD为例隐空间预测模型，以Think2Drive为例世界模型增强下的自动驾驶 视频生成PART 02世界模型增强下的自动驾驶 视频生成GAIA-1(Generative Artificial Intelligence for Autonomy,Wayve,2023)世界模型：Autoregressive Transformer，预测下一个图片Token（仅前视相机）解码器：将预测出的Token转换成视频，可以于世界模型分别训练4700小