喜马拉雅-吴阕-Gene：喜马拉雅AI智能编程助手探索与演进.pdf

1、Gene:喜马拉雅AI智能编程助手探索与演进吴阕 喜马拉雅 DevOps&SRE负责人吴阕（Acone）喜马拉雅DevOps&SRE负责人“喜马拉雅-DevOps&SRE-负责人SECON讲师多年Infra架构经验：资深微服务网关、中间件系统架构与研发CI/CD、效能平台架构经验如今，all in AI Infra，专注喜马拉雅AI Agent基建与业务创新”讲师简介目录01010202AI在软件开发中的应用与挑战喜马拉雅在AIGC研发提效的探索03030404智能研发推进演进路线未来展望AI在软件开发中的应用与挑战GPT每天都在公司担任研发、大数据、运维专家能不能用GPT帮助我们的技术团队提

2、效？案例背景2023年初，ChatGPT为首的大语言模型需求井喷，上下文迅速切换。过去的我们现在的我们案例背景模型种类越来越多如何分类选型？如何衡量？模型参数越来越大部署成本如何?性能怎么样?生态能二次开发?成本如何?模型评估闭源：CodexGPT3.5/4/Turbo开源:PaLMLLama（Vicuna、CodeLLama）成本:A100*48百度百度comate阿里通义灵码阿里通义灵码蚂蚁蚂蚁codefuse华为华为CodeArtsGithub CopilotLabs支持语言支持40+语言主流语言都支持支持30+语言主流语言都支持支持40+语言主流语言都支持主流语言都支持全语言训练云端大

3、模型ERNIE大模型通义大模型混合大模型盘古大模型GPT-4本地小模型不支持支持行级补全不支持不支持不支持智能问答支持非流式支持流式不支持支持流式支持流式代码搜索不支持支持不支持不支持不支持亮点功能注释阅读解释单测注释阅读解释单测方法补全注释阅读解释单测注释阅读解释单测阅读解释语言翻译代码刷子问题与挑战 模型存在“幻觉”，容易一本正经胡说八道。问题与挑战 提示直接决定回复质量，经常容易“说正确的废话小结模型幻觉无意义的废话无法支持内部知识与增量知识模型没有记忆最大token有限制模型模型代码元素之间存在的长依赖问题响应时间要求代码质量抽奖,缺少质量控制需要专业的Prompt工程工程喜马拉雅在A

4、IGC研发提效的探索破题思路传统研发痛点：低效、重复、精力分散、质量不稳定编码 重复代码重复写：半数以上非核心业务代码 代码质量参差不齐：缺陷、安全问题事后发现 学习成本高：学习至少一周，才能写第一行代码测试 写测试用例成本高：1天写代码，2天写测试用例 测试覆盖率低：测试用例覆盖不全业务逻辑 软件质量不高：长期下来导致软件质量走下坡路Gene:从骨子里重新定义研发流程破题思路Prompt EngeeringPrompt EngeeringCoT场景提示词0101RAGRAG向量检索传统搜推0202上下文选举上下文选举ASTJaccard算法0404联邦联邦查询查询RAGContext0505

5、微调微调&推理加速推理加速int8、int4float16、bfloat16推理框架0303R RefineefineReActagent化智能研发推进演进路线推理加速*int4int4量化量化 精度精度丢失丢失速度速度提升提升内存内存减少减少vllmvllm推理加速框架推理加速框架,单卡单卡1010并发并发模型版本模型版本CodeLLama-34B推理速度Token/sGPU单卡A10单卡A100单卡4090量化int4int8fp16int4int8fp16int4int8fp16输入/输出长度（batch_size=1）16/832.3OOMOOM59.5346.5126.1836.24

6、22.53OOM64/3229.82OOMOOM60.0641.3224.5334.2121.19OOM256/12827.3OOMOOM52.1739.6223.8933.9820.319OOM1024/51220.07OOMOOM51.1533.3521.332.8420.15OOMPrompt EngneeringTaskContextExampleFormat精准的上下文 +专业的Prompt =满意的答案思考为什么GPT会算对？算错？RAGLLM推理能力 zero/few shot CoT prompting Instruct-tuningSe