03-付亮亮-理想同学智能体20251024.pdf

1、演讲嘉宾：付亮亮理想同学智能体在智理想同学智能体在智能座舱落地实践能座舱落地实践0 1理想同学介绍理想同学介绍0 2理想同学智能体架构理想同学智能体架构0 3理想同学理想同学CUACUA0 4理想同学理想同学MCPMCP智能体智能体0 5总结与展望总结与展望0 1 理想同学介绍理想同学介绍理想同学好用好玩好聪明任务大师用车助手Agent娱乐助手Agent出行助手Agent专属的记忆生活助手Agent家庭专属的“三好”座舱理想同学2024年累计唤醒次数2024年方言指令次数2025年五一单日唤醒次数理想同学满意度MindGPT对话次数增长*对比2024年4月数据理想同学架构MindGPT持续进化

2、持续进化感知理解表达视觉编码算法视觉表征语音表征多音区算法N O NN O NN O NN O NN O NN O NN O NN O N语语音音分分离离规划TaskformerCUAMindGPT-4o专用智能体工具中心TextVisionAudioPOIMediaMusicDeviceShopping记忆中心MindGPTM i ndG P T N a no场景规划仲裁场景1场景2规划TaskformerCUAMindGPT-4o专用智能体工具中心TextVisionAudioPOIMediaMusicDeviceShopping记忆中心MindGPTM i ndG P T N a no场

3、景规划仲裁场景1场景2TaskformerTaskformerCUACUAContextContext EngineeringEngineering专用专用智能体智能体MindMind MCPMCP ServerServerTextVisionAudioPOIMediaMusicDeviceShopping记忆记忆中心中心MindGPTMindGPTM i n dG P T规划规划场景1场景2语语音音识识别别场景规划仲裁图像管理图像管理多屏幕管理动态刷新并行合成音频音频管理管理多路由管理多音区配置多焦点管理窗口窗口管理管理点咖啡分分区区A A分分区区B B听音乐看视频多屏显示多屏显示分区音响分

4、区音响理想同学Mind GPTMind持续进化持续进化ContextContext EngineeringEngineeringMindMind GPTGPT(MLLM)(MLLM)MindMind MCPMCP ServerServer全信息记忆全信息记忆OTA5.0OTA5.02023.122023.12任务与问答融合、任务与问答融合、RAG1.0RAG1.0OTA6.4OTA6.42024.102024.10FunctionCallFunctionCall、RAG2.0RAG2.0、记忆、记忆1.01.0OTA7.2OTA7.22025.032025.03长长思考与短思考思考与短思考OT

5、A7.4OTA7.4 +2025.052025.05MindMind GPTGPT持续进化持续进化0 2 理想同学智能体架构理想同学智能体架构理想同学智能体整体架构全信息记忆Comprehensive MemoryMindGPT多模态大语言模型MLLM规划推理Planning&Reasoning任务编排Task OrchestrationMindGPT-4o-AudioCUAMCPA2AOmni AttentionVisual AttentionmechanismAudio Full Duplex搜索Web Search多媒体Multimedia地图Map车控Vehicle Control三方

6、智能体Third party agents文生图Text to mage小程序Mini Programs浏览器Browser三方应用Thrid-party AppsAI服务生态理想同学智能体环境感知理想同学智能体 全信息记忆程序记忆程序，让理想同学更高效情景记忆回忆，让理想同学更温暖语义记忆偏好，让理想同学更懂你Action(t-1)Action(t)Obs(t-1)Obs(t)Obs(t+1)State(t-1)State(t)State(t+1)Action(t+1)轨迹POMDP过程，GUI Agent中State为页面类型，Obs为用户意图，Action为页面操作子任务1：State聚