A2--王珍懿--基于大模型的智能交互产品评测.pdf

1、基于大模型的智能交互产品评测王珍懿蚂蚁集团、技术专家王珍懿（翠翰）蚂蚁集团 技术专家长期从事质量保障领域算法开发及模型效果评测工作，目前负责芝麻信用部门智能体评测。在评测集合成、智能体红蓝军、自动标注等能力项有丰富积累与实践经验，已在NLP领域国际顶级会议上发表多篇论文。通过技术创新迭代提升评测质量和效率，牵引对客智能体的技术迭代和业务效果升级。目录CONTENTS智能交互产品评测的现状和痛点0102 基于多模态大模型的评测技术垂类智能应用的评测实践03环境、感知与响应：未来展望04PART 01智能交互产品评测的现状和痛点传统NLP时代的智能交互产品构建挑战早期对话系统依赖规则匹配，难以理解

2、语境，导致对话生硬，用户体验受限。知识库限制预设知识库规模有限，无法覆盖所有场景，影响系统响应的准确性和多样性。理解障碍缺乏深度理解能力，对模糊指令和口语化表达识别困难，降低交互效率。形式单一与用户沟通的模态单一，无法做到图文并茂、也难以同时理解用户输入的图文1990s统计学习时代（HMM、n-gram）2010深度学习时代（RNN/LSTM）早期规则驱动时代2017Transformer与预训练时代（BERT/GPT）2023大模型及多模态融合时代（GPT-4o/Qwen）代表性产品：早期客服机器人（依赖预设问题库和规则逻辑）、传统搜索引擎（通过关键词匹配返回结果）大模型时代的智能交互产品1

3、990s统计学习时代（HMM、n-gram）2010深度学习时代（RNN/LSTM）早期规则驱动时代2017Transformer与预训练时代（BERT/GPT）2023大模型及多模态融合时代（GPT-4o/Qwen）深度学习崛起深度神经网络的突破，如Transformer架构，显著提升了模型理解复杂语义的能力。数据驱动的力量海量语料库训练，使模型能够学习到更广泛的语言模式和知识，提高泛化能力。算力革命GPU和TPU等高性能计算硬件的普及，加速了大规模模型的训练过程，降低了成本。新时代智能交互产品的评测：机遇与挑战迭代快人力紧垂类智能产品快速迭代，但评测人力有限，难以及时跟进，影响评测效率和质

4、量。场景复杂度高特定领域场景复杂，若仍然关注单轮答案指标，则难以全面评估产品在实际环境中的表现。多模态挑战智能体输出更加倾向于图文并茂的多模态交互，评测技术需同步接轨，否则难以准确评估产品性能。用户交互模拟难深入场景模拟真实用户交互是难点，缺乏有效方法模拟多样化用户行为和需求。传统评测方法困境PART 02基于多模态大模型的评测技术LLMops&Evaluation as Agent围绕评测全流程的提效数据集准备批量推理智能标注人工标注报告生成Badcase复盘可控生成、自校验、科学评估自动化机审、自动验收评测平台：流程托管、简易配置Badcase分析生成数据生成agent标注agent验收a

5、gentbadcase分析agent用户、环境仿真用户模拟agent多智能体对抗、协作的智能评测体系经验、记忆知识工具、算子规划评测智能体技术实现评测专家文档预训练执行任务SFT格式对齐/思考奖励GRPOPrompt自动优化评测关键技术突破01通过基础语料、构造生成和对抗校验生成丰富可靠的垂类数据集。这些数据集经过多维度评估和badcase剔除，确保其准确性和可靠性。准入门禁机制进一步保证了数据集的质量。0203垂类数据集生成指标分级处置克服多模态幻觉普遍采用机审标注的方式进行提效，利用工具规划引入指标分级，进行高效、准确、可靠的自动标注。MLLM对图像、视频的输入注意力不及文本输入和常识记忆

6、，存在较多幻觉，影响打分准确性。引入预描述机制做可控缓解。垂类数据集生成垂类数据集生成垂类数据集生成信度评估规范性:数据集内样本格式是否保持一致完整性:样本语句/语义是否完整，是否截断正确性:样本内容与标签的匹配程度效度评估代表性:问题能够代表整个问题范畴的程度分布覆盖度:数据集样本标签的覆盖程度分布偏差度:数据集不同版本间的差异程度语言真实性:样本口语化的程度难度评估语义难度:在句子语义视角下的难度程度推理难度:从推理到答案的逻辑难度程度解决难度:融合多个裁判模型推理的难度区分度:多个裁判模型推理的区分程度010302评测关键技术突破01通过基础语料、构造生成和对抗校验生成丰富可靠的垂类数据