1、分布式推理网络(DIN)技术白皮书1分布式推理网络分布式推理网络(DINDIN)技术白皮书技术白皮书(20252025 年)年)中国移动中国移动通信有限公司通信有限公司研究院研究院分布式推理网络(DIN)技术白皮书2前前言言2025 年 1 月 20 日,深度求索(DeepSeek)公司自主研发的国产大模型 DeepSeek-R1 模型以极低成本实现了与国际顶尖 AI 模型相当的性能,凭借出色的性能和易用性快速扩张。随之而来的海量并发用户访问请求,造成服务器资源迅速耗尽,DeepSeek 多次出现网页和API 无法访问的情况,用户在使用其服务时,频繁收到“服务器繁忙,请稍后再试”的提示。同时,
2、DeepSeek 的火爆出圈也吸引了攻击者使用多种网络攻击技术和手段持续进行攻击。随着普惠 AI 推理时代的到来,需要考虑以 AI 模型和 AI 推理为中心构筑互联网,网络也将面临新的网络流量模式的变化。实现普惠 AI 和 AI 推理大规模应用面临 AI 推理基础设施能力不足,AI 推理网络技术待完善,AI 服务网络安全防护能力待提升等挑战。中国移动提出面向普惠 AI 服务的新型分布式推理网络(Distributed Inference Network,DIN),融合运营商网络协议可编程和流量感知调度能力的优势,支撑中心、边缘或边云协同部署等多种分布式方式的推理架构,挖掘算网一体安全推理、边云
3、协同后训练、模型分层协同、大小模型协同、训推协同进化、PD 分离协同等多种端边云协同模式,研究推理网络保障技术、推理服务调度技术、推理安全防护技术等关键技术,解决大模型集中化部署模式下的大规模并发推理能力不足的问题,构筑多维度安全能力,从而有效应对亿级海量用户并发推理挑战并实现安全高效的 AI 推理服务。分布式推理网络(DIN)技术白皮书3未来中国移动在分布式推理网络方面,将联合产业界重点拓展应用场景,构建融合端、边、网、算的 DIN 技术体系,解决 AI 推理在个人(ToC)、家庭(ToH)及企业(ToB)应用中的成本、效率、安全与场景适配难题,加速全社会普惠 AI 时代到来。分布式推理网络
4、(DIN)技术白皮书4目目录录前言.21.业务发展趋势与挑战.51.1 AI 大模型发展趋势.51.2 AI 时代网络流量变化.51.3 AI 普惠时代面临的挑战.62.推理业务服务模式及网络需求.82.1 ToB 推理服务.82.1.1 算网一体安全推理服务.82.1.2 边云协同后训练.92.1.3 模型分层协同.102.2 ToC/ToH 协同推理服务.112.2.1 大小模型协同.112.2.2 训推协同进化.122.2.3 PD 分离协同.133.分布式推理网络(DIN)架构及设计目标.154.分布式推理网络(DIN)关键技术.164.1 节点间互联质量保障技术.164.1.1 微流
5、级流控技术.164.1.2 层次化细粒度切片技术.174.1.3 推理业务识别技术.184.2 推理服务的调度技术.194.3 模型推理安全防护技术.194.3.1 以太网相干 PHYSec 技术.194.3.2 拒绝服务流量防护.214.3.3 基础设施轻量化 APT 监测能力.225.总结与展望.236.缩略语.24分布式推理网络(DIN)技术白皮书51.业务发展趋势与挑战业务发展趋势与挑战1.1 AI 大模型发展趋势大模型发展趋势2025 年 1 月 20 日,深度求索公司自主研发的DeepSeek-R1 模型震惊世界,以极低的成本实现了与国际顶尖AI模型相当的性能。人工智能大模型技术的
6、飞速发展,正在深刻改变人类社会的生产生活方式,对物理世界、虚拟世界和生命世界带来全方位的影响,加速人类社会从信息社会向智能社会演进。当前出现两个重要趋势:趋势一:趋势一:AIAI普及速度显著加快,推理成本迅速降低,用户从访问内容向访普及速度显著加快,推理成本迅速降低,用户从访问内容向访问问AIAI模型转变模型转变。DeepSeek-R1 大模型的表现达到了行业领先水平,推理速度提升4 倍,API调用成本仅为GPT-4-Turbo的近百分之一。从DeepSeek发布后不到一个月的时间,日活用户量DAU也在短短一个月的时间内从 100 万迅速突破 3000 万,增长速度刷新了行业纪录。据不完全统计