马少楠_面向大模型时代的软硬协同计算架构与数智融合实践.pdf

1、启元实验室马少楠Part 01.Part 01.Part 02.Part 02.Part 03.Part 03.Part 04.Part 04.背景与现状九源统一智能计算架构九源数智融合系统九源生态建设情况国产智能算力困境与破局机遇国产智能算力困境与破局机遇算力安全已成为发展重点算力安全已成为发展重点构建一套构建一套面向国产芯片的统一基础软件面向国产芯片的统一基础软件栈及配套生态体系栈及配套生态体系已成为破局的关键已成为破局的关键智能芯片在制造与采购等环节的限制，使大规大规模依赖国际芯片愈发困难模依赖国际芯片愈发困难。从基础性能方面，国产芯片已逐步逼近国际水国产芯片已逐步逼近国际水平平，高性价

2、比的国产平台建设正在加速推进。然而，当前国内算力仍以国际芯片为主以国际芯片为主，大量已建成的国产算力因智能基础软件不完善、开智能基础软件不完善、开发者生态滞后发者生态滞后处于闲置状态。人人才才层层面面系统性地培养开发者和用户系统性地培养开发者和用户，通过课程建设、赛事举办等多元举措，引导产业界和学术界力量融入国产生态，为平台的持续发展注入为平台的持续发展注入源头活水源头活水。01课程课程建设建设02赛事赛事实践实践03激励激励机制机制04社区社区活动活动05就业就业指导指导技技术术层层面面研发能屏蔽底层芯片差异、支撑不同国产芯片高效运行的统一基础软件栈统一基础软件栈，从根本上打通底层适配难题。

3、异构硬件异构硬件计算平台计算平台模型模型应用应用各类国产芯片训练/推理框架基础/垂类模型各类智能体数智平台数智平台知识/记忆/存储典型的人工智能系统架构典型的人工智能系统架构以英伟达为例以英伟达为例芯片厂商提供硬件运行时 CudaRT 硬件编程接口计算 cuDNN/cuBlas/通信 NCCL语言 CUDA C国际芯片硬件层领域编程语言Triton基础框架训练框架Megatron-LM推理框架通信原生实现，性能更高语言、计算、通信、运行时语言编译器 各类大模型、小模型及智能应用开源为主生态活跃快速演进系统层模型层人工智能系统结构层次复杂，以开源社区为主进行维护，是各类人工智能应用在智能芯片上高

4、效运行的基础保障。英伟达的霸主地位，不仅是靠硬件层面的领先，而是基础软件栈与开源生态的领先。国产智能计算生态建设的主要挑战国产智能计算生态建设的主要挑战硬件高度异构硬件高度异构硬件层硬件层软件复杂繁多软件复杂繁多软件层软件层生态难以构建生态难以构建生态层生态层不同于英伟达体系下硬件层高度统一，国产智能计算硬件种类繁多、架构各异，国产智能计算硬件种类繁多、架构各异，各厂商独立维护软件栈各厂商独立维护软件栈，导致生态难以构建。九源统一智能计算架构路线选择九源统一智能计算架构路线选择硬件厂商提供Triton编译器基础算子通信库基础编程语言及编译器路线1：基于Pytorch的推理/训练引擎依赖厂商提供

5、的Pytorch版本，没有从根本上解决跨平台问题。路线2：基于Triton的算子库仅解决计算内核，不解决资源管理、算子调用等运行时层面的兼容性问题。对不支持 Triton 编译器的芯片无法兼容，对依赖该算子库的开源软件存在限制。重要算子与原生算子库存在性能差异。“单点式”路线“平台式”路线，“架构级”解决方案PyTorch、飞桨等编程框架、自研训练/推理框架等 “架构级”支持：面向异构系统一致性抽象1、原生算子/通信库接入：对厂商深度优化的原生算子进行直接接入，最大限度保证性能2、统一中间层IR：实现不同的高层DSL对各类低层DSL的全兼容，减少底层编译器的冗余开发3、Triton扩展优化：提

6、供更简洁编程接口，自动处理复杂并行和内存管理，提高开发效率4、统一运行时：统一不同硬件平台、不同算子库调用流程和资源管理流程，简化异构适配，支撑一套代码运行于不同平台。硬件厂商提供Triton编译器基础算子/通信库基础编程语言及编译器芯片1芯片2芯片3适配方案1适配方案2适配方案3“烟囱式”技术路线对英伟达以及少数两三款加速卡进行定制化优化。“烟囱式”路线相比“烟囱式”或“单点式”路线，九源采用“平台式”路线、“架构式”解决方案全面解决异构兼容性问题，全面对标英伟达底层基础软件，实现一套代码无需修改运行于多个平台各类智能芯片九源统一智能计算架构总览九源统一智能计算架构总览九源统一智能计算架构九