黄宁_让每一分算力都算数——Fast Apply与企业级高效能研发新范式.pdf

1、aiXapply模型与企业级算力高效应用方模型与企业级算力高效应用方案案硅心科技（硅心科技（aiXcoder）产品研发负责人产品研发负责人 黄宁黄宁Part 01.问题洞察：算力不够用？换个思路用模型Part 02.技术解析：aiXapply-4B模型 数据训练推理加速Part 03.产品实战：大小模型协作与企业算力资源Part 04.未来展望：aiXcoder场景小模型矩阵Part 01.业界怎么解决这个矛盾业界怎么解决这个矛盾？无论压缩还是蒸馏，核心没变 依然在用同一套参数做每一个任务，不管这个任务是不是真的需要这么大的模型aiXcoder的解法：大小模型协同合的解法：大小模型协同合作作a

2、iXcoder 模型发展路模型发展路径径深耕深耕“AI+软件工程软件工程”领域领域 8 年年 从第一个代码大模型到场景化专精模型从第一个代码大模型到场景化专精模型aiXapply-4B模型实模型实测测AI 编程编程Agent的真正瓶颈不在的真正瓶颈不在生成生成，而在而在应用应用关键洞察：关键洞察：用专门的应用模型来处理应用任务，能大幅提升编程智能体的速度和效用专门的应用模型来处理应用任务，能大幅提升编程智能体的速度和效率率Part 02.定义定义Apply任务：数据格式的选择与设任务：数据格式的选择与设计计数据工程：四阶段流水数据工程：四阶段流水线线原料来自真实代码提交记录原料来自真实代码提交

3、记录 每一次每一次commit 天然就是一组天然就是一组改了什么、改成什么改了什么、改成什么训练策略：跳训练策略：跳过过 SFT，直接强化学直接强化学习习结论：结论：当基座模型已具备基础能力时，直接强化学习比先微调再强化学习更有当基座模型已具备基础能力时，直接强化学习比先微调再强化学习更有效效奖励函数设计：教模型奖励函数设计：教模型改对改对和和不乱改不乱改推理加速推理加速：N-gram 投机采投机采样样Apply 输出输出 90%+是从原文件是从原文件“抄过来抄过来”的，的，推理瓶颈推理瓶颈在串行不在计在串行不在计算算评测结果：准确评测结果：准确率率 x 延迟指延迟指标标泛化能力：换场地、换题

4、型，依然稳得泛化能力：换场地、换题型，依然稳得住住结论结论：1aiXapply不仅在标准测试上击败大模型，在各不仅在标准测试上击败大模型，在各类类 OOD 场景下同样表现强场景下同样表现强劲劲2RL训练路线的泛化优势在跨格式场景中尤为突训练路线的泛化优势在跨格式场景中尤为突出出Part 03.VSCode演演示示需要录制视频，或者使用产品已有的视频！实战总结：大小模型协作实战总结：大小模型协作在在 Apply 任务上已生任务上已生效效Part 04.aiXapply只是第一只是第一步步 场景小模型矩场景小模型矩阵阵不是比谁的模型不是比谁的模型参数更多参数更多，而是比同等算力预算下谁的，而是比同等算力预算下谁的产出更产出更高高三个核心观三个核心观点点