2024国内第三方AI大模型厂商及腾讯、字节、百度、阿里大模型开发应用进程分析报告（46页）.pdf

1、2 0 2 3 年深度行业分析研究报告大模型的竞争格局演绎的关键因素大模型的竞争格局演绎的关键因素0101独立的模型团队独立的模型团队月之暗面、清华月之暗面、清华GLMGLM、百川智能、百川智能0202互联网大厂的模型和应用进展互联网大厂的模型和应用进展腾讯、字节、百度、阿里腾讯、字节、百度、阿里0303目录目录风险提示风险提示04043图1：不同公司/组织/院校 近三年top-100 AI发文数图2：海外SuperGlue模型榜单排名（截至2023年12月）资料来源：Sergi Castella i Sap，Must read:the 100 most cited AI papers in

2、2022，Zeta Alpha，2023年3月2日，国信证券经济研究所整理资料来源：SuperGlue，参考文献：Z Du、Y Qian等，GLM:General Language Model Pretraining with Autoregressive Blank Infilling，Computation and Language(cs.CL)，2022，arXiv:2103.10360，国信证券经济研究所整理大模型技术本质上来源于科研创新与技术积累大模型技术本质上来源于科研创新与技术积累海外大厂核心大模型的能力迁移是国内海外大厂核心大模型的能力迁移是国内AIAI发展的重要考量发展的重要

3、考量。考察是否有海外大厂核心大模型研发的技术积累和知识迁移到国内，以及这些技术在本土的应用情况和调整，对理解国内外AI技术的差异和互动具有重要意义。国内企业大模型技术路线有两类国内企业大模型技术路线有两类：自研效果复现类：参考GPT论文自研复现效果，前期耗时、后续Finetuning对于数据数量质量也有一定要求，能力天花板高；基于开源迭代类：训练更顺畅但天花板低，依赖开源社区，且开源模型如Llama2比较GPT3.5还是有差距。国内企业大模型国内企业大模型团队发展路径有两类：团队发展路径有两类：从搜广推背景转向大模型研发，如百度和百川；成立之初主要基于大模型研究路线和学术背景，如月之暗面的杨植

4、麟团队和清华的智谱团队。4基于开源大模型框架进行优化调整、应用创新较易落地基于开源大模型框架进行优化调整、应用创新较易落地OpenAIOpenAI的核心能力主要体现在三个方面：的核心能力主要体现在三个方面：1）数据收集和处理的能力，包括数据来源，清洗方式，数据结构等；2）模型结构，包括注意力、隐藏层等设计；3）训练方法，包括各类超参数，学习率等。海外大模型开源后，我国大模型企业可在其框架上进行优化调整，以百川智能为例：基于开源模型提升性能：基于开源模型提升性能：据GitHub，百川智能通过对LLaMA框架进行修改以提升训练时的吞吐。此外，在LLaMA较为薄弱的中文语料方面，百川智能采用2000

5、万条以中英为主的多语言语料训练分词模型，显著提高中文的压缩率。大模型大模型+搜索增强解决方案搜索增强解决方案服务服务B B端场景：端场景：百川智能通过借助搜索增强，解决大模型在幻觉和时效性问题，提升了模型的可用性，并拓展了应用领域，如金融、政务、司法、教育等行业的智能客服、知识问答、合规风控、营销顾问等。图3：Baichuan-7B对LLaMA框架进行优化后的性能提升图4：在LLaMA上进行的研究工作的演化图资料来源：GitHub BaiChuan主页，国信证券经济研究所整理资料来源：Wayne Xin Zhao、Kun Zhou等,A Survey of Large Language Mod

6、els，Computation and Language，2023，arXiv:2303.18223，国信证券经济研究所整理5图5：各大模型训练数据集对比图6：Scaling Law模型性能与模型参数、数据集和训练计算量成幂律关系资料来源：WayneXinZhao、KunZhou等,A Survey of Large Language Models，Computation and Language，2023，arXiv:2303.18223，国信证券经济研究所整理资料来源：OpenAI官网，国信证券经济研究所整理有效数据集有限，优质数据集仍旧稀缺。有效数据集有限，优质数据集仍旧稀缺。当前开源榜