codeLLM和RAG技术在OPPO的探索_郑志彤_DataFunCon2024.pdf

1、DataFunSummitDataFunSummit#20242024codeLLMcodeLLM和和RAGRAG技术在技术在OPPOOPPO的探索的探索郑志彤（Liam）-OPPO-AI中心大模型算法部首席算法架构师LLMLLM的缺陷与领域知识的缺陷与领域知识codeLLMcodeLLM和和dataLLMdataLLM的技术创新的技术创新RAGRAG技术落地技术落地展望展望LLMLLM和符号化推理的结合和符号化推理的结合目录目录 CONTENTCONTENTDataFunSummitDataFunSummit#202420240101LLMLLM的缺陷与领域知识的缺陷与领域知识01 LLM0

2、1 LLM的缺陷与领域知识的缺陷与领域知识1.1 LLM的幻觉1.2 LLM的推理鲁棒性1.3 领域知识的特性1.1 LLM的幻觉LLM幻觉的本质是什么？训练阶段：训练数据的共现偏置（co-occurrence bias）精调阶段：精调对齐时过短的上下文QA推理阶段：不恰当的prompt会导致雪崩效应（snowball）1.1 LLM的幻觉LLM本身能不能消除幻觉？不能，因为LLM是个端到端的神经网络，通过学习基于上下文的token概率来拟合训练数据，即使是训练数据无偏，也不可能捕获到小概率重要事件。1.1 LLM的幻觉如何缓解LLM的幻觉？RAG是其中最重要的一种方法。1.2 LLM的推理鲁

3、棒性Transformer的ICL能力。1.2 LLM的推理鲁棒性LLM推理的顺序性。1.2 LLM的推理鲁棒性如何提升LLM推理的鲁棒性？数据增强（data augmentation），更优的ICL网络架构。1.3 领域知识的特性非结构性领域知识实时信息文本、操作规范文档等1.3 领域知识的特性结构性领域知识数据库、知识图谱、QA对等1.3 领域知识的特性专家系统带有完全正确推理能力的知识库DataFunSummitDataFunSummit#202420240202codeLLMcodeLLM和和dataLLMdataLLM的技术的技术创新创新2 codeLLM2 codeLLM和和dat

4、aLLMdataLLM的技术创新的技术创新2.1 基模型选取2.2 非结构领域知识调优2.3 结构领域知识调优2.1 2.1 基模型选取基模型选取需求：帮助开发者文生代码、代码补全、代码注释、单元测试、代码 bug 检测，从而提高研发效能。选取标准：code/data能力强，NLP能力也要强，对齐提升潜力大。2.1 2.1 基模型选取基模型选取基线模型对比表模型名称模型名称starcoderBasestarcoderBasecodeLLAMAcodeLLAMAdeepSeekCoderdeepSeekCoder参数量15B7B、13B、34B、70B1.3B、5.7B、6.7B、33B网络架构

5、LLaMA1LLaMA2LLaMA2预训练数据1T-code及相关英文文本，35B-python620B tokens(500B（85%+8%+7%）、100B python（75%+10%+10%+5%）、20B 长code）2T tokens（70%code、10%StackExchange、7%NL-code、7%NL-math、6%NL-zh-en）预训练方法LLaMA1预训练方法在LLaMA2上继续训练，FIM、LCFT（16K）4k（1.8T）、16K（0.2T）zeroShot指标HumanEval：30.4MBPP：49.0HumanEval：31.7MBPP：41.6Huma

6、nEval：48.2MBPP：55.2HumanEval：49.4MBPP：60.6HumanEval：56.1MBPP：66.02.1 2.1 基模型选取基模型选取调优模型对比表模型模型名称名称starcoderstarcoderwazardcoderwazardcoderPanGu-PanGu-Coder2Coder2CodeFuse-CodeFuse-CodeLlama-34BCodeLlama-34BdeepSeekCoder-deepSeekCoder-instructinstructNSQL-Llama-NSQL-Llama-2-7b2-7b参数量15B15B15B34B33B7B