报告预览

360搜索ranking算法自动化评测系统建设和应用实践张永强.pdf

编号：148945

PDF 20页 3.12MB 下载积分：VIP专享

下载报告请您先登录！

360搜索ranking算法自动化评测系统建设和应用实践张永强.pdf

1、360搜索ranking算法自动化评测系统建设和应用实践分享人：张永强个人简介姓名：张永强所在组织：互联网产品事业群/搜索事业部专业领域：服务端测试内容010203搜索算法测试的背景和难点自动化评测系统的目标和设计思路自动化评测系统的实践过程和成果04大模型时代的新思路算法测试的背景和难点行业背景要突破的现状020103040506算法测试手段单一线上实验的周期太长实验存在失败风险算法提测占比超80%人工评测的case数量太少、周期长各个质量维度的影响面难以评估自动化评测系统的目标和设计思路评测目标首要问题核心问题人工标注算法模型离线数据积累的case集合初始完成数十万doc Label 新

2、doc 定期增量人工标注基于bert_qt 相关性模型基于bert_qs 相关性模型基于MR离线计算doc CTR doc的点击和展现数据 Good case Bad case自动化评测系统的实践过程和成果明确指标明确过程引入自动化评测后明确结论指标分析实践成果运行12个月2000个评测任务策略拦截率30%效率提升90%流程依赖度100%大模型时代的新思路对大模型进行自动化评测安全回复能力评测意图识别能力评测代码能力评测数据能力评测翻译能力评测逻辑推理能力评测回答长度评测人工标注数据集回归使用gpt-4打分封闭性问题回归用大模型评测ranking算法使用gpt-4实时计算doc相关性用大模型直接对doc排序作为完美排序大模型进行query意图识别和分类THANK YOU

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（360搜索ranking算法自动化评测系统建设和应用实践张永强.pdf）为本站（2200）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。