科大讯飞：万卡级超大规模智算集群网络运维挑战及实践（23页）.pdf

1、万卡级超大规模智算集群网络运维挑战及实践鲍中帅科大讯飞基础架构网络总监 12年从业经验，擅长大规模网络架构设计及运维 业内第一个超大规模国产万卡智算集群网络架构师 亚太地区领先的人工智能企业数据中心网络部门负责人鲍中帅公司职位基础架构网络总监GOP S全 球 运 维 大 会 暨 X Ops 技 术 创 新 峰 会 2 0 2 4 北 京 站目录大模型发展及国产化集群介绍万卡智算集群运维关键痛点万卡智算集群运维创新实践GOP S全 球 运 维 大 会 暨 X Ops 技 术 创 新 峰 会 2 0 2 4 北 京 站大模型发展及国产化集群介绍01GOP S全 球 运 维 大 会 暨 X Ops

2、技 术 创 新 峰 会 2 0 2 4 北 京 站GOP S全 球 运 维 大 会 暨 X Ops 技 术 创 新 峰 会 2 0 2 4 北 京 站2022年11月30日ChatGPT正式发布上线2个月活跃用户过亿2023年3月15日发布GPT-411月7日发布GPT-4 Turbo当前用户量突破17亿认知大模型的“智能涌现”推动了通用人工智能的技术阶跃2023年10月Gartner发布2024年十大战略技术趋势，到2026年将有超过80%企业使用通用人工智能2023年12月11-12日中央经济工作会议强调：要大力推进新型工业化，发展数字经济，加快推动人工智能发展2023年4月28日中共中央

3、政治局会议提出要重视通用人工智能发展2024年3月政府工作报告：深化大数据、人工智能等研发应用，开展“人工智能+”行动，打造具有国际竞争力的数字产业集群GOP S全 球 运 维 大 会 暨 X Ops 技 术 创 新 峰 会 2 0 2 4 北 京 站国际大模型产业竞争目前呈现“激烈迅猛”之势Meta重磅发布LIMA 65B并于7月19日发布免费商用开源模型LIama 22023.052023.112024.2.152023.122023.0314日OpenAI发布多模态大模型GPT-4，综合能力远超ChatGPTOpenAIOpenAI7日凌晨发布GPT-4 Turbo，六大升级，支持128

4、k上下文输入，同时推出OpenAI应用商店GPT StoreGoogle首次发布Gemini 1.0，多模态能力效果惊艳，MMLU测试中首次超过人类专家Google发布了新一代多模态大模型Gemini 1.5 Pro，最高支持1000万上下文长度，GSM8K评测全球第一2024.2.16OpenAI16日发布的文生视频模型，其效果显著超越了业界现有同类产品的水平2024.3.53月5日发布Claude 3支持200k上下文，更强的推理、数学、编码能力AnthropicGOP S全 球 运 维 大 会 暨 X Ops 技 术 创 新 峰 会 2 0 2 4 北 京 站建成5个国产化云服务集群20

5、亿次/日服务请求47%全网请求占比99.99%云端实时成功率5款+国产GPU芯片适配200个+底层算子优化50个+模型国产化移植模型试测缺失算子补充低效算子优化深度学习框架适配算法工具包联调优化科大讯飞自2019年10月被美国纳入实体清单以来，与华为等国产优秀AI芯片合作伙伴深度协同攻关加速国产AI芯片软件生态建设，AI国产化取得重要进展，为突破美国大模型算力卡脖子奠定基础语音输入等不定长算子加速面向异构NPU的推理加速基础算子库和工具链异构国产算力调度和框架适配科大讯飞坚定投入和深度参与国产AI芯片软件生态建设GOP S全 球 运 维 大 会 暨 X Ops 技 术 创 新 峰 会 2 0

6、2 4 北 京 站复杂版面的高精度解析覆盖更多领域的专业符号识别融合篇章语义的文字识别覆盖31个场景、18类关键要素面向教育、医疗等专业领域深度优化基于篇章上下文端到端建模89%84%83%83%FUNSD星火图文识别大模型讯飞基线微软Google典型应用场景图文识别效果英文公开测试集图文识别效果94%95%91%91%92%88%91%93%90%88%91%85%科研金融产品文档星火图文识别大模型讯飞基线GPT-4V国内最优测试结果来源：根据英文公开测试集FUNSD测试结果来源：根据图文识别实际应用场景构建测试集STDOCR-EVAL-V1.0国际领先的星火图文识别大模型GOP S全 球