2025大模型发展回顾、国内外大模型进展及未来研判分析报告（49页）.pdf

1、2 0 2 5 年深度行业分析研究报告5目录目录一、大模型发展回顾：以一、大模型发展回顾：以Transformer为基，为基，Scaling law贯穿始终贯穿始终1.1.1、大语言模型（LLMs）的兴起自回归架构强化文本生成能力1.1.2、Transformer架构克服RNN长文本局限性，标志着NLP的分水岭时刻1.1.3、Transformer拆解：包括Encoder/Decoder、注意力层、前馈神经网络层1.2.1、预训练Transformer模型时代(20182020)：GPT VS BERT1.2.2、GPT-3以1750亿参数开启了预训练侧Scaling law叙事1.3.1、T

2、ransformer受限于长序列场景，计算复杂度与输入序列表现为指数增长关系1.3.2、Mamba架构集成Transformer+RNN优势，成为Transformer架构的强劲挑战者二、国内大模型进展：行业充分竞争，降本提效为主旋律二、国内大模型进展：行业充分竞争，降本提效为主旋律2.1、国内大模型：行业充分竞争，降本提效为主旋律2.2、DeepSeek：早期确立AI战略，模型家族涵盖标准语言模型/推理模型/多模态模型2.3、豆包大模型：实时语音、视频生成/理解领域布局，2024H2发力月活冲上全球第二2.4、Qwen：AI为阿里巴巴未来战略核心，Qwen系列掀起国内模型开源革命三、海外大模

3、型进展：资源头部集中，压铸三、海外大模型进展：资源头部集中，压铸AGI3.1、海外大模型：格局头部集中马太效应显著，集中押注面向AGI3.2、OpenAI：全球AI大模型风向标，自然语言/多模态/推理模型上均作为引领角色3.3、Google：Gemini面向智能体时代新作，原生多模态领域前瞻布局3.4、Meta：10年布局跻身全球AI巨头，Llama成为全球开源模型标杆3.5、Antropic：Claude-3.5对标OpenAI，Agent系列computer use推动人机交互变革四、模型未来研判：投注后训练四、模型未来研判：投注后训练+算法的持续优化算法的持续优化4.1、模型架构的演进：

4、从Dense到MoE，模型大幅降本提效4.2、合成数据作为AI时代新石油，支撑模型继续在pre training上scaling4.3、DeepSeek带动纯强化学习新范式，引领通向AGI之路4.4、DeepSeek带动模型加速私有化+低成本部署趋势一一、大模型发展回顾大模型发展回顾：以以TransformerTransformer为基为基，Scaling lawScaling law贯穿贯穿始终始终1.1.1、大语言模型大语言模型（LLMs）的兴起的兴起自回归架构强化文本生成自回归架构强化文本生成能力能力 语言模型是一种人工智能系统，旨在处理、理解和生成类似人类的语言。语言模型是一种人工智能

5、系统，旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构，使得能够产生连贯且上下文相关的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。大语言模型大语言模型（LLMs）是语言模型系统的子集是语言模型系统的子集。大语言模型规模显著更大，通常包含数十亿个参数（例如，GPT-3 拥有 1750 亿个参数），使得大语言模型在广泛的任务中表现出卓越的性能。大语言模型这一术语在 2018 至 2019 年间随着基于 Transformer 架构的模型出现开始受到关注，在 2020 年 GPT-3 发布后，LLMs开始被广泛使用。大多数大多数LLMs以自回归方式操作，根据前面的文本预测

6、下一个字（或以自回归方式操作，根据前面的文本预测下一个字（或tokensub-word）的概率分布。）的概率分布。这种自回归特性使模型能够学习复杂的语言模式和依赖关系，从而善于文本生成。在文本生成任时，LLM通过解码算法确定下一个输出的字，这一过程可以采用的策略包括：1）选择概率最高的下个字；2）从预测的概率分布中随机采样一个字。资料来源：中科院计算所培训中心公众号图图：语言模型系统概念语言模型系统概念：旨在处理旨在处理、理解和生成类似人类的理解和生成类似人类的语言语言图图：LLMLLM通过解码算法来确定下一个输出的通过解码算法来确定下一个输出的字字1.1.2、Transformer架构克服架