6.大模型在RISC-V架构上的技术创新与应用.pdf

《6.大模型在RISC-V架构上的技术创新与应用.pdf》由会员分享，可在线阅读，更多相关《6.大模型在RISC-V架构上的技术创新与应用.pdf（13页珍藏版）》请在三个皮匠报告上搜索。

1、大模型在大模型在RISC-V架构上的架构上的技术创新与应用技术创新与应用知合计算 解决方案总监黄怡皓大模型持续创新大模型持续创新2017年6月Transformer2020年5月GPT-32022年11月ChatGPT2023年2月LLaMA2023年12月Qwen22025年1月DeepSeek-R1模型百花齐放模型百花齐放模型模型GPT-2LLaMA/QwenDeepSeek-v3FFN 结构MLP（由两个矩阵乘组成）FFN（由3 个矩阵乘组成）MOE（3 个矩阵乘为一组，选择性的激活若干组）Attention 结构MHA（基础的多头注意力机制）GQA（按组共享的注意力机制，优化 kvca

2、che 大小）MLA（低秩分解的注意力机制，目的也是优化 kvcache 大小）代码行数200500800算子种类222121模型算力模型算力算子算子说明说明embedding词嵌入rms_norm均方根归一化reshape调整张量形状rope位置编码相关llm_pos存cache、取cachetranspose转置mul乘法softmaxsoftmaxadd加法silu激活函数DeepSeek 7B 模型中，核心算子共Matmul 计算量占比约RISC-V助推助推AME 指令除 3 个算子外，均可采用AME优化支持全面的 AI 数据格式丰富的数据类型与高效的计算单元FP32 FP16 FP8 BF16 INT8 INT4 FP4 MXFP8 MXFP4ScalarVectorTensor指令集指令集创新创新AI应用发展趋势应用发展趋势实现通用计算与实现通用计算与AI增强的高效融合增强的高效融合端侧 SOC 应用场景五花八门，“通推一体通推一体”CPU产品产品A2108核CPU 12 TOPS算力 敬请期待通推一体CPUA210应用场景案例应用场景案例 A210应用场景案例应用场景案例 通用计算需要高效通用计算需要高效大模型算子统一，为RISC-V提供“生态红利”开放架构助推算子优化实现AI能力跃迁：从“识别”走向“认知”通用计算与AI计算开始融合谢谢聆听谢谢聆听