拾象：LLM状态调研报告（56页）.pdf

1、State of LLM2023 年 2 月拾象分享丨2023.072023 年 2 月01 关键结论01 模型格局：决定下一代超级入口n 对 GPT 的最新认知：n 对模型格局的猜想：GPT不止模型，而是新一代超级计算机，重构“用户交互+软件执行+计算”模型即产品：ChatGPT/MidJourney/Character自然语言=API类似航空航天：类似航空航天：OpenAI 登月(SpaceX)VS 其他(波音/空客/庞巴迪/湾流，but)属地独立市场：属地独立市场：US/China日韩/中东/欧洲/东南亚，和语系相关本质是对入口争夺：本质是对入口争夺：生产力入口、助理入口、娱乐入口Tie

2、r 1Tier 2FM HierarchyTier 3LLMs are the new computerUsersCPUDatabaseUI/OSCodeUsers自然语言ModelGPU02 数据是GPT的核心秘方，来源于大量实验工程(GPU)n GPT 的北极星能力：复杂推理能力（写代码、解题、处理复杂任务）n 众多 ChatBot 们为何推理和解题能力都还不行？智力来源在哪？n 代码数据带来推理能力，GPT pre-training code data 比预期要高，猜测接近 50%占比n Google 受限于大公司身份，很多数据受到版权限制不能用于模型训练n 做模型像做菜，原材料、配比、

3、排序、拼接决定口味差异03 OpenAI 的下一代模型：AI 登月时刻n Scale:Compute:10万张H100,50亿美元投入Data source:Video+合成数据Multimodal:AI that can use computer to do complex knowledge work tasksCoding/Tooling:run&debug&use APIs能力上接近 AGIn Costn Latency/Speedn Excellent APIn Hallucinationn 拉开差距，追赶难度骤然变大？n 数据n 人才密度n 组织能力n GPU 资源n Killer

4、 App04 关键胜负手2023 年 2 月02 Key Takeaways From OpenAI训 LLM 比造原子弹更复杂，每一代大模型发布都像登月n原子弹原子弹n芯片芯片n登月登月“简单”技术，可堆积、研发方向明确，涉及技术项目有限，只要造出来就能形成威慑，无需考虑商业盈利。每一步都需要实验和聪明人的奇思妙想，技术上有无数小细节，无法大力出奇迹。准备周期长，正式 launch 之前的实验都是在地球上做的，和真实环境相差很远。LLM：正式训练前准备至少 8 个月，正式训练成功率 50%，内部无数 tricks。全公司重点攻坚下一代模型训练，一个月内决定数据解决方案 n 大规模服务客户和训

5、练下一代模型的主要瓶颈是 computen 做模型越久，越认为模型和硬件应该 co-designGPT-3.5GPT-4下一代模型优势挑战解决方案模型架构小于 50bMoE/16 experts/800b 参数多模态，十倍参数量级接近AGICost/Latency-Compute训练成本和推理成本都比 Llama 低5 万张 A100 实验和训练，3-4 万张A100 做 inference，人均 500 张卡做实验10 万张 H100GPU 使用率能达到 50%，远超行业水平，微软支持Cost、互联、物理空间，无法支撑大规模应用模型和芯片codesignData3-5T30 T多模态数据没有

6、版权限制，独有 recipe可用数据量不够，多模态数据质量不够高，Video 数据无法有效process各小组提出解决方案/模型生成数据/新架构OpenAI 内部如何看待 AGI Coding 等能力超过 50%人类，AGI 代表能做绝大部分知识工作者的工作。中期长期短期解决大部分数学问题，写代码能替代人模型和世界交互的方式就是代码。用模型发现新的科学定律是终极目标，挑战是如何让模型和现实世界产生交互非常有信心下一代模型会接近 AGIChatGPT 是另一个重点，目标达到 10 亿用户除了下一代模型外最重视的产品招聘、Mobile 版本、dedicate compute 资源OpenAI 今年