1李林- 汽车之家大模型实践——从模型训练到业务应用.pdf

1、演讲嘉宾：李林汽车之家大模型实践：从模型训练汽车之家大模型实践：从模型训练到业务应用到业务应用0 1引言引言0 2大模型训练架构大模型训练架构0 3业务应用业务应用0 4推理实践推理实践0 5总结与展望总结与展望0 1引言引言中国推动企业数字化中国推动企业数字化全球范围内，数字化转型已成为企业应对市场变化、提升竞争力的关键战略。数字化转型是大势所趋数字化转型是大势所趋数字化转型不仅有助于企业提高生产效率、降低成本，还能开辟新的业务领域，增强企业的创新能力。随着车联网技术、5G通信技术等技术的应用和普及，汽车行业的数字化转型正在加速，新产业、新模式、新产品不断涌现。数字化转型的作用数字化转型的作

2、用中国政府在“十四五”规划中明确提出要推动企业数字化转型，以科技创新引领世界经济数字化发展。中国加快推动企业数字化中国加快推动企业数字化01020403汽车行业汽车行业的数字化转型的数字化转型汽车之家汽车之家的优势与的优势与挑战挑战专业性要求高专业性要求高汽车之家凭借私有化数据资产，构建信息壁垒，在复杂业务场景上提供准确回答。数据壁垒构建数据壁垒构建训练垂直行业大模型需要大量的计算资源和时间，成本较高。训练难度大训练难度大汽车之家精准构建用户画像，为用户推送更贴合的内容用户行为洞察用户行为洞察02040103汽车领域涉及大量专业知识，模型在回答专业问题时可能出现知识盲区测评内容涵盖了汽车咨询、

3、对比、推荐、资讯等五个一级维度，以及11个二级子维度，提供全面评估。测评全面覆盖汽车知识测评全面覆盖汽车知识测试题目由SuperCLUE机构独立开发，通过两轮测试综合考量大模型在信息时效性、事实准确性等方面的能力。仓颉大模型性能卓越仓颉大模型性能卓越01020304在最新一期的测评中，汽车之家自主研发的“仓颉大模型”以72.96分的总成绩位居榜首，领先优势明显。仓颉大模型测评夺冠仓颉大模型测评夺冠测评结果显示，在汽车咨询、对比、推荐、资讯等维度均居第一，用车问题维度位列第二，差距不足一分。用车问题维度列第二用车问题维度列第二仓颉大模型测评佳绩仓颉大模型测评佳绩01知知用户用户，精研判，精研判随

4、着汽车消费市场逐渐成熟，用户向大模型咨询选购建议时提出多条件需求，例如预算、空间、车型等。02不忙从，明真伪不忙从，明真伪仓颉大模型具备在多条件中提取、整合并推理正确答案的能力，面对用户提问，能够提供准确、全面的回应。03不虚构，授方案不虚构，授方案面对不合理问题，不虚构信息，而是坦诚告知现状，同时贴心给出其他相关资料仓颉大模型仓颉大模型0 2大模型训练架构大模型训练架构训练框架将模型加载、参数更新机制集成，以实现“无代码化”操作。大模型大模型训练框架训练框架工程化挑战工程化挑战大模型参数规模不断突破，单机单卡训练已无法满足显存需求，分布式训练成为必选项，框架需通过自动并行技术动态管理通信同步

5、与显存分片。分布式训练必要性分布式训练必要性0102大模型训练框架大模型训练框架并行类型并行类型核心逻辑核心逻辑核心优势核心优势关键局限关键局限数据并行多设备用相同模型，各自处理不同数据分片，训练后聚合梯度更新实现简单、通用性强，不依赖模型结构通信开销随设备数增加上升（梯度传输量大），单卡仍需容纳完整模型流水线并行按层拆分模型,多设备按“流水线”顺序处理数据，每设备仅存部分模型层降低单卡内存压力,支持超大规模模型存在“气泡开销”（部分设备等待前序设备输出），小批量场景效率低张量并行拆分模型的张量（如权重矩阵）到多设备，单步计算时多设备并行执行矩阵运算，再聚合结果计算并行度高，无流水线气泡，适合

6、计算密集型层实现复杂（需适配模型算子），仅对大张量有效，通信依赖高带宽大模型分布式方案大模型分布式方案框架框架并行策略并行策略通信开销通信开销模型规模支持模型规模支持DDP数据并行（模型全复制）低（仅梯度同步）中小模型DeepSpeed Zero2数据并行+优化器/梯度分片中（分片通信）大型模型（100亿千亿参数）DeepSpeed Zero3全状态分片（参数/梯度/优化器）高（高频通信）超大规模模型（万亿参数）Megatron-LLM3D并行（张量+流水线+数据）极高超大规模模型（万亿参数）大模型分布式实现大模型分布式实现框架名称MS-SwiftLLaMA-FactoryVERL核心定位全模