蚂蚁-刘志伟-检索增强在大模型落地中的实践应用.pdf

1、大模型效果提升-检索增强刘志伟（比奥）蚂蚁集团，研发效能搜索与推荐团队负责人“刘志伟（比奥），蚂蚁集团，研发效能搜索与推荐团队负责人，负责：企业内部搜索和推荐智能客服分布式链路追踪大模型应用等相关领域和技术”讲师简介 解决的问题 行业实践 我们的实践、业务效果 未来展望目录企业内部知识搜索的重要性 文档-资料学习我是个新同学，希望对历史的信息了解的不全面，想要对历史的信息做追溯和了解，通过搜索过滤交接新的平台或业务，了解过去的需求背景及实现细节等 文档-寻找问题排查方案找一些研发文档、技术手册，当开发的任务有运行问题时，为了解决这些问题就会去找文档 背景-企业内部知识可以应用大模型企业内部知识

2、可以应用大模型 case 分析分析 代码-不知道怎么用（找不到参考代码）某个中台接口，38 个入参、37 个出参，20 个错误码。支持上万的业务场景，每个业务场景该传什么参数 代码-影响太多，不敢改代码支付流水号扩位（16 位改 32 位），人工批量检查大规模代码 代码-代码定位难日志报错在哪打的，谁改了这段代码 背景-企业内部知识可以应用大模型企业内部知识可以应用大模型 case 分析分析 联调不通：机器问题、应用问题、消息队列问题、网络问题等 支付失败：哪个服务有问题 线上告警 服务耗时高 服务上下游都被谁调用 背景-企业内部知识可以应用大模型企业内部知识可以应用大模型 case 分析分析

3、 流水线部署失败，阻塞迭代的推进，这个有什么办法吗？是否可以跳 Dev环境网关超时，走不到应用机器 DTM：denied by sts or ram,action:log:CreateConsumerGroup 因公付在外部费控场景下，由于需要调用外部应用，支付决策会对此类情况调长咨询超时时间，想问下，对于此种情况的咨询量是否有做限流“”但搜索还有未被很好解决的痛点：知识获取成本依然高 分散在多个平台分散在多个平台多个常用的平台挨个尝试 相关性的结果，多个搜索结果自己总结答案相关性的结果，多个搜索结果自己总结答案举例：在已有代码上找到 API 几种典型的用法并参考。然而通过相关性找到的搜索结果

4、往往成千上万大模型是解决这些问题很好的技术方案问题与挑战截图：https:/ B行业产品：行业产品：ChatGPT行业技术：行业技术：LangC行业技术：行业技术：LangC行业技术：行业技术：Self-RAG行业技术：行业技术：CON行业技术：行业技术：COK解决方案解决方案-整体架构整体架构关键点关键点-知识库的分层构建知识库的分层构建关键点关键点-复复杂文档的处理杂文档的处理关键点关键点-知识点提取知识点提取关键点关键点-混合搜索混合搜索关键点关键点-总结模型总结模型关键点关键点-总结模型总结模型解决方案解决方案-内部产品实践内部产品实践未来展望未来展望-大模型如何具备知识大模型如何具备知识微 信 官 方 公 众 号：壹 佰 案 例微 信 官 方 公 众 号：壹 佰 案 例关 注 查 看 更 多 年 度 实 践 案 例关 注 查 看 更 多 年 度 实 践 案 例