《23.RISC-V与虚拟指令技术结合打造创新的计算架构.pdf》由会员分享,可在线阅读,更多相关《23.RISC-V与虚拟指令技术结合打造创新的计算架构.pdf(11页珍藏版)》请在三个皮匠报告上搜索。
1、RISC-V与虚拟指令技术结合打造创新的计算架构杨宜 博士奕行智能 COO 2025 EVAS Intelligence Technology Co.,Ltd.2AI的发展改变了软件编程的范式AI处理器在计算效率与通用性方面的挑战RISC-V+RVV是AI计算范式的最佳选择AI处理器指令的路径选择RISC-V+VISA的AI计算架构12345 2025 EVAS Intelligence Technology Co.,Ltd.3Software 1.0computerSoftware 2.0neural netpromptsLLMcomputer codeweightsSoftware 3.0
2、became programmable in 1940sfixed function neural nete.g.AlexNet:for image recognition(2012)LLM=programmable neural net!2019Source:Andrej Karpathy on Software 3.0:Software in the Age of AIHardware 1.0Hardware 2.0Hardware 3.0CPU dominatedGPGPU dominatedDSA will dominate 2025 EVAS Intelligence Technol
3、ogy Co.,Ltd.4硬件计算单元利用率最大化硬件的计算资源使用率,避免算力浪费优化计算任务的并行能力、访存效率,适配不同硬件架构模型算法多样性,海量算子模型计算模式多样(密集/稀疏/动态),需高效适配海量算子支持需兼顾性能与利用率,避免硬件低效用户编程易用性兼容主流框架,提供高层抽象,降低开发者使用硬件的门槛隐藏底层硬件细节,同时允许高级用户进行深度优化海量开发者生态需求既要满足研究人员的快速实验需求(易用性)又要满足工业界的高效部署(利用率)算力利用率双重要求AI计算领域特殊性核心矛盾:领域专用效率vs编程通用性AI计算是领域特定范式,却因模型多样性和海量编程用户需求,需兼顾领域内通用
4、性和专用性 2025 EVAS Intelligence Technology Co.,Ltd.51从零开始构造AI计算架构所需要的时间较长,涉及复杂的技术决策与优化过程。2从零开始构造一套经过产品与生态认可的指令系统需要大量时间进行验证与完善。3从零开始构造后端编译软件并达到成熟可商用水平,需经历长时间的调试和优化。4自主构建的指令系统需获得广泛生态支持,这一过程存在较高的门槛与不确定性。2025 EVAS Intelligence Technology Co.,Ltd.6开放的图灵完备指令,定制灵活RVV可变长向量,适应多样化数据天然SIMD并行,内存访问高效更容易实现软硬协同设计RVV向
5、量操作直接对应AI的张量计算向量掩码操作天然支持稀疏矩阵运算可根据性能需求配置不同规模的向量单元GCC、LLVM等主流编译器已支持RISC-V主流AI框架正积极适配RISC-V平台开源调试和性能分析工具日趋完善 2025 EVAS Intelligence Technology Co.,Ltd.7固化的ASIC优势:针对单一算法专用性强/能效高劣势:一旦有新的模型算法产生,ASIC则无法适配或性能较低高层次粗颗粒度指令优势:单条指令可完成复杂操作,简化了软件设计的复杂度劣势:算子数量多,若全部指令化的面积开销大低层次细粒度微指令优势:可图灵完备,灵活性高,可实现复杂的算法逻辑劣势:指令数量多,
6、调度开销大,软件开发周期长CPU与GPU作为成熟的处理器架构其原子指令都是微指令,软硬件之间有着清晰的分工合约。而作为AI处理器的指令选择有以下不同策略:有没有一种创新的计算架构,既能够保留算子级粗颗粒指令的语义,给编程者更好更高效的编程界面,同时又能保证细颗粒度指令的图灵完备性?2025 EVAS Intelligence Technology Co.,Ltd.8ScalerEngineVISASchedulerVectorEngine4DTurboEngineTensorEngineEVAMINDTMAI内核标