徐海洋-多模态、多端 GUI 智能体 Mobile-Agent 的技术突破与实践.pdf

1、通义多模态、多端GUI智能体Mobile-Agent徐海洋目录010203大模型智能体背景大模型智能体背景多模态多端智能体多模态多端智能体MobileMobile-AgentAgentFoundation Agent for GUI01大模型智能体背景大模型智能体背景大模型智能体系统在人工智能领域，AI智能体指可以观察周遭 环境环境 并作出 行动行动 以达致 目标目标 的 自主自主 实体大模型智能体的优势OpenAI FiveLLM Agent with ChatGPT传统基于RL的智能体的局限性大模型智能体的优势数据采样专有环境和低效面向特定任务稀疏奖励和长时段问题大模型智能体的优势丰富的世

2、界知识推理/规划能力工具使用（检索、code等）In-context Learning近期两类AI Agent 应用Action Agent（GUI Agent）Information Agent(DeepResearch)作用硬“眼睛”&“手”环境感知和行动执行软“大脑”思考、规划和综合分析适用场景自动化操作密集型办公、生活操作任务智能化知识密集型办公Search创作场景示例Operator、Apple Intelligence、Claude、Mobile-AgentDeep Research（OpenAI、谷歌、Qwen）ChatGPT-Agent、ManusGUI 智能体发展迅速围绕Mo

3、bile、PC、Web的GUI-Agent是未来的重要技术趋势之一，替代人类操作、提升生产效率。Claude3.5 Sonnet(Computer)Apple IntelligenceOpenAI OperatorGUI 大模型智能体现实世界是需要 多模态环境交互 的，多模态智能体可能衍生出更多Super、Fancy应用Claude computer useClaude 3.7 sonnet(computer use)参照人类思考系统的快速反应与慢反思结合的工作模式,将LLM快速响应和思维链深度思考Operator基于Computer-Using Agent 模型，结合GPT-4o的视觉理解能

4、力和强化学习习得的推理能力，自动执行鼠标和键盘的组合操作，无需API，具备推理思维链和自动纠错能力大模型通用型智能体系统从基于检索提供信息，到Agent执行任务的本质进阶Claude computer use（1）规划-执行Tool-反思；（2）操作上云；（3）快操作+慢思考Manus/Open ManusManus强调“需求规划执行交付”全流程自动化，无需用户持续指导便可能直接生成可交付成果，动态调整执行路径，在解决现实世界问题方面表现卓越02多模态多端智能体多模态多端智能体MobileMobile-AgentAgent多模态多端智能体多模态多端智能体MobileMobile-AgentAg

5、ent分析天气搜索视频并评论刷短视频并点赞导航多模态多端智能体多模态多端智能体MobileMobile-AgentAgent在微博中搜索GTC2025的时间，然后在微信的GTC2025参会群中提醒大家在小红书搜西湖附近的特色餐厅，用高德地图导航过去多模态多端智能体多模态多端智能体MobileMobile-AgentAgentGUI 场景核心挑战核心挑战核心挑战1多步操作多步操作规划反思规划反思2UIUI界面理解界面理解3定位操作定位操作4操作时延操作时延多模态多端智能体多模态多端智能体MobileMobile-AgentAgentCCL2024,CCL 2025 Highlight Syste

6、m时间方案平均端到端完成率单步RTV12024.1ICLR2024基于GPT4o单Agent75%30sV22024.6NeuIPS2024基于GPT4o多Agent80%60sV3-Preview2024.8CCL BestDemo云栖大会基于QwenVL的多Agent75%10sV3-E2025.2记忆增强、自主进化85%5sV3-Full2025.8端到端模型、多Agent适配90%2.5sGithub 6.1k stars多模态多端智能体多模态多端智能体MobileMobile-AgentAgent-V1V