1、大小模型端云协同赋能人机交互张圣宇浙江大学2025年4月2 马斯克的大胆预言:碳基生命(也就是我们人类)只是硅基生命的启动程序。随着科技的不断发展,尤其是AI领域取得的突破,以人工智能为主的硅基生命形态将会在未来成为地球上的主宰生物。2007年1月9日,乔布斯发布第一代iPhone苹果手机,把iPod、电话、移动互联网设备等进行有机整合,推动了移动互联网进入了黄金发展年代。今天大模型给人类社会诸多生产、生活模式带来一次大变革。2023年2月,英伟达创始人兼CEO黄仁勋提出随着ChatGPT为代表的大模型出现,我们已经进入“人工智能的iPhone时刻(iPhone moment of AI)”,
2、这一观点受到美国财富杂志、华尔街时报等媒体的广泛认可并转载。DeepSeek在模型算法和工程优化方面进行了系统级创新,在2048块英伟达H800 GPU(针对中国市场的低配版GPU)集群上完成训练,打破了大语言模型以大算力为核心的预期天花板,为在受限资源下探索通用人工智能开辟了新的道路。DeepSeek&ChatGPThttps:/ my eyeshttps:/ 端云协同(Device-Cloud Collaboration):指边缘设备(如智能手机、IoT设备)模型和云侧服务器模型协同进化推断。l 云侧大模型(Large Model):通用认知计算,拥有强大的计算能力、海量的数据、充分的知识
3、库。l 终端小模型(Small Model):实时感知、实时响应,运行轻量级任务,响应速度快。https:/hanlab.mit.edu/courses/2024-fall-65940l 端云协同计算通过卸载部分学习任务至端侧,让端和云协同完成任务,从而发挥终端靠近用户和数据源的天然优势,降低服务延时至毫秒级,增强模型个性化精准推理能力,缓解云服务器中心负载压力,同时支持用户原始数据在设备本地处理l 有效克服主流云学习范式在实时性、个性化、负载成本、隐私安全等方面的不足自动驾驶(Gan et al.)Yulu Gan,Mingjie Pan,Rongyu Zhang,et al.:Cloud-
4、Device Collaborative Adaptation to Continual Changing Environments in the Real-World.CVPR 2023:12157-12166Chengfei Lv,Chaoyue Niu,Renjie Gu,et al.:Walle:An End-to-End,General-Purpose,and Large-Scale Production System for Device-Cloud Collaborative Machine Learning.OSDI 2022:249-265Xufeng Qian,Yue Xu
5、,Fuyu Lv,Shengyu Zhang,et al.:Intelligent Request Strategy Design in Recommender System.KDD 2022:3772-37823D渲染(Lv et al.)推荐系统(Qian et al.)前沿应用大小模型端云协同大小模型端云协同大小模型协同+端云高效协同基于调度的协同基于反馈的协同基于生成的协同大模型小模型反馈学习检索增强大模型小模型调度大模型小模型调度IntellectReq自主智能请求WWW 24FiGRetRAG反馈学习Arxiv大模型小模型1小模型2小模型3模型架构参数生成大模型小模型任意模型知识迁
6、移ModelGPT大模型生成小模型ArxivMergeNet任意模型知识迁移AAAI 25大模型小模型反馈学习单视角采样MPOD1232D到3D生成CVPR 2024LLMCO4MS组合优化LLMECCV 2024联合应用平台既有的特定业务小模型特定业务小模型与云侧大模型云侧大模型,将端侧小模型轻量部署、快速响应、个性适配端侧小模型轻量部署、快速响应、个性适配的优势,和云侧大模型认知推理、多模态理解、通用泛化云侧大模型认知推理、多模态理解、通用泛化的优势进行互补大小模型协同基础算法研究大小模型协同基础算法研究基于融合的进化大模型小模型基于融合的不相容参数优化CKIAAAI 25基于调度的协同基