张洪滨_面向RISC-V大模型推理AI编译器设计与实现.pdf

1、面向 RISC-V 大模型推理的 AI 编译器设计与实现报告人：张洪滨中国科学院软件研究所智能软件研究中心AI 软硬件和编译技术DNN 与 BLAS 高性能算子库深度学习编译器与基础设施OpenBLAS./CPU/GPU/FPGA/CGRA/ASIC（手动调优/自动调优）-性能仿真-代价模型设计-约束设计-搜索策略制定EDAVerilog.AI 系统的软硬件协同设计涉及多项关键技术，主要包括 AI 计算负载的编译优化、硬件加速器设计、软硬件接口设计以及资源联合调优。一个典型的协同设计流程涵盖需求分析与系统规划、软硬件接口确定、编译工具链开发、硬件设计与仿真，以及协同验证与调优等环节。8AI 软

2、硬件和编译技术DNN 与 BLAS 高性能算子库深度学习编译器与基础设施OpenBLAS./CPU/GPU/FPGA/CGRA/ASIC（手动调优/自动调优）-性能仿真-代价模型设计-约束设计-搜索策略制定EDAVerilog.AI 系统的软硬件协同设计涉及多项关键技术，主要包括 AI 计算负载的编译优化、硬件加速器设计、软硬件接口设计以及资源联合调优。一个典型的协同设计流程涵盖需求分析与系统规划、软硬件接口确定、编译工具链开发、硬件设计与仿真，以及协同验证与调优等环节。AI 编译器采用多级编译技术进行优化：图级别算子融合、计算负载分块、向量化优化、死代码消除、常量折叠等。硬件编译器在硬件设计

3、领域，多级编译技术通过提供更高层次的抽象和统一支持，有效解决了硬件设计中的语言和抽象问题。多级编译技术已经应用到了HLS、硬件编程语言、硬件编译基础设施上。9AI 软硬件和编译技术DNN 与 BLAS 高性能算子库深度学习编译器与基础设施OpenBLAS./CPU/GPU/FPGA/CGRA/ASIC（手动调优/自动调优）-性能仿真-代价模型设计-约束设计-搜索策略制定EDAVerilog.AI 系统的软硬件协同设计涉及多项关键技术，主要包括 AI 计算负载的编译优化、硬件加速器设计、软硬件接口设计以及资源联合调优。一个典型的协同设计流程涵盖需求分析与系统规划、软硬件接口确定、编译工具链开发、

4、硬件设计与仿真，以及协同验证与调优等环节。10RISC-V 近期事件https:/riscv.org/blog/risc-v-jtc1-pas-submitter/11https:/riscv.org/blog/risc-v-jtc1-pas-submitter/RISC-V 近期事件12AI 软硬件和编译技术13什么是 MLIRMLIR(Multi-Level Intermediate Representation)The MLIR project is a novel approach to building reusable and extensible compiler infrast

5、ructure.MLIR aims to address software fragmentation,improve compilation for heterogeneous hardware,significantly reduce the cost of building domain specific compilers,and aid in connecting existing compilers together.不是Machine Learning，但为Machine Learning而生一个可重用、可扩展的开源编译基础框架处理软件的碎片化为面向异构硬件的编译提供支持为领域专

6、用编译器的开发减少开销连接已有的各种编译器15MLIR 简介MLIR：多层中间表示编译基础设施11 Codegen Dialect Overview,https:/discourse.llvm.org/t/codegen-dialect-overview/2723MLIR OverviewThe MLIR project is a novel approach to building reusable and extensible compiler infrastructure.MLIR Ecosystem-Language:Mojo-Compilers for AI Framework:To