张圣宇-大小模型协同智能及端云协同应用.pdf

1、大小模型协同智能及端云协同应用张圣宇|浙江大学张圣宇浙江大学平台”百人计划”研究员、博士生导师浙江大学启真优秀青年学者。入选第十届中国科协青年人才托举工程。研究方向包括大小模型端云协同智能，多媒体计算与推荐系统。近年来，在TPAMI、TKDE、KDD、CVPR等CCF A类期刊和会议上发表论文四十余篇。任KDD、ACM MM 领域主席，SIGIR、IJCAI等会议高级程序委员会委员，ICMR、ACM MM Asia 大小模型协同workshop主席。曾获2023年度上海市科技进步一等奖、2023年度计算机学会科技进步一等奖，2024年ACM Multimedia最佳论文奖提名，2023年中国人

2、工智能学会CICAI最佳论文奖、2021年WAIC云帆奖-明日之星（全球15人）等奖励与荣誉。目 录CONTENTSI.大小模型端云协同智能的背景II.大小模型协同基础算法III.大小模型端云协同智能IV.案例分析大小模型端云协同智能的背景PART 01大小模型端云协同智能 端云协同（Device-Cloud Collaboration）：指边缘设备（如智能手机、IoT设备）模型和云侧服务器模型协同进化推断。云侧大模型（Large Model）：通用认知计算，拥有强大的计算能力、海量的数据、充分的知识库。终端小模型（Small Model）：实时感知、实时响应，运行轻量级任务，响应速度快。大小

3、模型端云协同智能 端云协同计算通过卸载部分学习任务至端侧，让端和云协同完成任务，从而发挥终端靠近用户和数据源的天然优势，降低服务延时至毫秒级，增强模型个性化精准推理能力，缓解云服务器中心负载压力，同时支持用户原始数据在设备本地处理 有效克服主流云学习范式在实时性、个性化、负载成本、隐私安全等方面的不足自动驾驶(Gan et al.)Yulu Gan,Mingjie Pan,Rongyu Zhang,et al.:Cloud-Device Collaborative Adaptation to Continual Changing Environments in the Real-World.C

4、VPR 2023:12157-12166Chengfei Lv,Chaoyue Niu,Renjie Gu,et al.:Walle:An End-to-End,General-Purpose,and Large-Scale Production System for Device-Cloud Collaborative Machine Learning.OSDI 2022:249-265Xufeng Qian,Yue Xu,Fuyu Lv,Shengyu Zhang,et al.:Intelligent Request Strategy Design in Recommender Syste

5、m.KDD 2022:3772-37823D渲染(Lv et al.)推荐系统(Qian et al.)前沿应用大小模型端云协同智能大小模型协同基础算法PART 02基于调度的协同基于反馈的协同基于生成的协同大模型小模型反馈学习检索增强大模型小模型大模型小模型调度评估反馈学习大模型小模型调度IntellectReq自主智能请求WWW 24UnderReviewWorkIn Progress大模型小模型1小模型2小模型3模型架构参数生成大模型小模型参数高效微调ModelGPTUnder ReviewMergeNetAAAI 25大模型小模型反馈学习单视角采样MPOD1232D到3D生成CVPR

6、2024ECCV组合优化LLMECCV 2024联合应用平台既有的特定业务小模型特定业务小模型与云侧大模型云侧大模型，将端侧小模型轻量部署、快速响应、个性适端侧小模型轻量部署、快速响应、个性适配配的优势，和云侧大模型认知推理、多模态理解、通用泛化云侧大模型认知推理、多模态理解、通用泛化的优势进行互补大小模型协同基础算法研究基于融合的进化大模型小模型基于融合的不相容参数优化大模型小模型参数高效微调CKIAAAI 25MoMUnder Review基于调度的协同基于反馈的协同基于生成的协同大模型小模型反馈学习检索增强大模型小模型大模型小模型调度评估反馈学习大模型小模型调度IntellectReq自