《A3--杨经纬--文心快码背后的智能化进阶之路.pdf》由会员分享,可在线阅读,更多相关《A3--杨经纬--文心快码背后的智能化进阶之路.pdf(44页珍藏版)》请在三个皮匠报告上搜索。
1、杨经纬百度 前端研发经理杨经纬百度 研发经理百度工程效能部前端研发经理,负责文心快码Comate、Devops工具平台、Comate Stack AI原生研发工具链等业务前端研发团队,在软件研发智能化、Devops、研发提效、前端研发技术、技术团队管理等领域有着丰富的经验,并在相关领域著有发明专利8个,国家高质量专项基于大模型技术的工业领域智能化开发工具项目技术骨干 目录CONTENTS背景0102智能代码助手的发展趋势关键问题与解决方案03落地效果与未来展望04PART 01背景:智能代码助手的现状AI编码行业进入爆发性增长,机遇与挑战并存AI 编码是大模型应用落地最深的领域,行业进入爆发性
2、增长:今年公开融资事件18 次,估值一年10倍增长;AI 编码成为大模型公司的必赢之战,巨头和投资机构争抢投入:Cursor估值百亿美金,OpenAI 30亿美金收购WindSurf;群雄逐鹿,多强形成,但尚未形成寡头局面:各个公司都在构建自己的技术壁垒,抢占潜力市场。25家生成式AI独角兽中,占比最高的领域为编程助手4家AI编程公司均由00后/95后创建,也是新晋独角兽中仅有的四位95后。PART 02智能代码助手的发展趋势智能代码助手的发展趋势从补全到预测改写最初,续写形式定义了新的人机交互模式,拟人化的流式输出让大家眼前一亮,在续写基础上,Cursor率先推出了预测改写能力,点击Tab键
3、,可以进行位置预测与改写从智能问答到智能体研发行为在逐渐向对话式编程靠拢。用户只需要输入需求,紧接着智能体形态问世。它能够独立思考、拆解并执行完整任务,是当前阶段最先进的形态。从小白到Vibe Coding智能代码助手使代码小白能够消除技术壁垒,“完全投入到氛围中,拥抱技术的指数级发展,并忘记代码的存在”。开发者可以不再专注于代码本身,而是关注想要实现的功能和效果。010302产品形态变化用户群体变化PART 03关键问题与解决方案智能代码助手面临的关键问题我们希望尽可能覆盖更多用户,因此支持了行业内最丰富的端种类。在多端场景中,最初有大量需要重复实现的能力。在产品建设过程中,我们支持的端类型
4、越来越丰富,研发与对齐成本直线上升,针对此问题,端上推出了多端复用的技术方案。3.2 多端支持纵观代码助手发展的所有阶段与能力,准确性一直是用户关注的第一要素,也是智能研发面临的关键挑战,其中包括模型训练、上下文理解、多模型调用、工具链调用、智能体等核心能力。3.1 代码推荐准确性提升我们一直在尝试将Devops全流程集成到编程现场,给用户带来更流畅的体验,而生成式大模型给我们带来了智能化覆盖Devops全流程的新的机会。3.3 Devops研发全流程提效3.1代码准确率提升用户关注的能力从编辑区的续写、预测改写,扩展到了侧边栏的智能问答、智能体。整体来看,准确性还是用户关注的第一要素,也是智
5、能研发面临的关键挑战。其中包括模型训练、上下文理解、多模型调用、工具链调用、智能体等核心能力。系统提示词、工具链系统提示词是复杂应用的重要环节,定义了模型的行为、习惯、细节使用工具链系统化完成完整任务模型训练、数据工程模型能力决定了产品的上限能力。确保数据准确、完整和多样化是实现有效模型的关键步骤。上下文理解编程现场会存在大量私域知识,对这些知识掌握的越准确,编写的代码质量越高。知识检索准确性是领域探索的重点内容。提示词、工具模型研发现场代码准确性是用户首要关注点模型训练数据工程模型微调数据生产数据清洗数据标注监督学习强化学习训练实验推理实验(文心团队)数据生产-数据源&数据格式全面而高质量的
6、数据是模型效果提升的关键企业代码社区论坛开源代码SFT数据格式 在SFT过程中,模型通过使用标注好的数据集学习特定任务的模式和规律,从而提高性能。SFT的数据格式:通常由一对输入(src)和目标输出(tgt)组成。典型场景:代码续写、代码问答、代码解释、单测生成、代码优化等DPO数据格式 DPO专注于优化模型输出以更好地符合用户或任务的偏好。DPO的数据格式:输入对(input pair)+偏好标签(preference label)典型场景:续写有时会无法正常截断、输出过长、无法正确识别后文。可通过构建正例样本、负例样本进行DPO训练来纠正模型行为。官方文档数据源数据生产-基于代码解析的数据