张圣宇-大小模型端云协同智能.pdf

1、大小模型端云协同智能张圣宇|浙江大学软件学院演讲嘉宾张圣宇浙江大学平台”百人计划”研究员、博士生导师浙江大学启真优秀青年学者，研究方向包括大小模型端云协同计算，多媒体计算与推荐系统。在TPAMI、TKDE、KDD、CVPR等CCF A类期刊和会议上发表论文三十余篇。曾获2023年度计算机学会科技进步一等奖，中国人工智能学会CICAI最佳论文奖、2021年WAIC云帆奖-明日之星（全球15人）。承担国家自然科学基金青年基金、副省级市人才工程项目等项目。曾作为主席联合举办国际学术会议ACM MM Asia 大小模型协同进化论坛，全国大模型与决策智能大会“大小模型协同理论与技术”论坛。目 录CONT

2、ENTS1.大小模型端云协同智能的背景2.大小模型协同基础算法3.大小模型端云协同智能4.案例分析5.总结大小模型端云协同智能的背景PART 01ChatGPT：人工智能的IPHONE时刻？2007年1月9日，乔布斯发布第一代iPhone苹果手机，把iPod、电话、移动互联网设备等进行有机整合，推动了移动互联网进入了黄金发展年代。今天大模型给人类社会诸多生产、生活模式带来一次大变革。2023年2月，英伟达创始人兼CEO黄仁勋提出随着ChatGPT为代表的大模型出现，我们已经进入“人工智能的iPhone时刻（iPhone moment of AI）”，这一观点受到美国财富杂志、华尔街时报等媒体的

3、广泛认可并转载。自然杂志列出2023年度十大人物(Natures10)，除了按惯例从全球的重大科学事件中评选出十位人物外，还有一位非人类人工智能(AI)工具ChatGPT也“抢镜”上榜。GPT4oGPT-4o（o代表全能）是朝着更自然的人类与计算机交互迈出的一步接受任何文本、音频、图像和视频的组合作为输入，并生成任何文本、音频和图像的组合作为输出。它对音频输入的响应时间最短仅为232毫秒，平均为320毫秒，这与人类在对话中的响应时间相近（在新窗口中打开）。GPT-4o：成为人的“眼睛”端云协同计算动机：传统云计算在算法层面围绕特定场景进行端云协同具有靠近户和数据的天然优势端侧用户芯片硬件编程框

4、架终端设备任务场景具有算力和资源丰富天然优势云侧Cloud Computing算法层面协同碎片化、异构化、算力受限延时高、成本大、负载多、部署难端云协同计算动机：打通端侧推理和云侧赋能之间的协同链路在端侧和云侧之间为数据、特征、模型和中间结果架构协同链路云侧模型训练（泛化能力）端侧推理模型（个性化）用户10端侧云侧端云异构模型协同计算l 端云协同计算通过卸载部分学习任务至端侧，让端和云协同完成任务，从而发挥终端靠近用户和数据源的天然优势，降低服务延时至毫秒级，增强模型个性化精准推理能力，缓解云服务器中心负载压力，同时支持用户原始数据在设备本地处理l 有效克服主流云学习范式在实时性、个性化、负载

5、成本、隐私安全等方面的不足自动驾驶(Gan et al.)Yulu Gan,Mingjie Pan,Rongyu Zhang,et al.:Cloud-Device Collaborative Adaptation to Continual Changing Environments in the Real-World.CVPR 2023:12157-12166Chengfei Lv,Chaoyue Niu,Renjie Gu,et al.:Walle:An End-to-End,General-Purpose,and Large-Scale Production System for Dev

6、ice-Cloud Collaborative Machine Learning.OSDI 2022:249-265Xufeng Qian,Yue Xu,Fuyu Lv,Shengyu Zhang,et al.:Intelligent Request Strategy Design in Recommender System.KDD 2022:3772-37823D渲染(Lv et al.)推荐系统(Qian et al.)前沿应用大小模型端云协同核心概念l 端云协同（Device-Cloud Collaboration）：指边缘设备（如智能手机、IoT设备）模型和云侧服务器模型协同进化推断。