A4--付宇--从实验室到真实办事场景：支付宝行业智能体评测的探索与实践.pdf

1、付宇支付宝行业技术质量负责人付宇支付宝 行业质量技术负责人蚂蚁集团支付宝技术部 资深测试开发专家，担任过多个重大项目的质量保障1号位（余额宝、乘车码、健康码、行业智能体等），目前负责支付宝行业质量技术团队，专注于支付宝出行酒旅、政务民生与物流等行业的技术风险与研发效能，以及行业智能体算法评测等技术领域的创新攻坚。目录CONTENTS支付宝行业智能体介绍0102行业评测挑战与整体策略行业评测体系建设与实践03未来展望04PART 01支付宝行业智能体介绍支付宝行业智能体 业务背景历经十余年发展，支付宝逐步完成从支付工具到亿万用户身边的数字生活服务的心智升级。行业智能体把AI融入政务、出行、就业等

2、核心行业场景，为用户提供真正能办成事的智能化体验。AI时代出行服务政务服务就业服务行业AI助手移动互联网时代公交地铁两轮出行社保公积金交管生活缴费网约车就业ETC租车12306支付宝行业智能体 产品介绍就业助手岗位推荐、AI面试职业规划、培训推荐政务助手政策解读、办事攻略、政务服务推荐、边问边办出行助手出行问答、智能履约、出行服务用车服务、旅行规划支付宝行业智能体 演进路线Lv1 ChatbotAGI发展路径Lv2 ReasonerLv3 AgentsLv4 InnovatorsLv5 Organizers基础对话能力复杂逻辑推理能力自规划与执行的系统创造知识、探索科学边界代替人类组织进行工作

3、用户行业智能体记忆多模态交互短期记忆长期记忆规划工具反思思维链RAGMCP工具更多工具生态智能体A2A高质量行业数据支付宝行业智能体 评测的重要性可量化的跟踪领域进展多个模型的效果对抗训练策略的效果验证支付宝行业智能体 评测对象行业Agent算法模块基础模型专业性通用性RAG,Planning,MCP Tools,Memory,GPT,DeepSeek,Qwen,PART 02支付宝行业评测挑战与整体策略传统评测面临的问题 在行业场景的置信度是否也遇到过类似的问题？业务：单一的basecase率指标或benchmark分数，无法反映模型在行业专业领域各个能力维度的水位差异。技术：除了行业专业领

4、域的能力维度评估，评测指标也需要下钻到算法模块粒度，算法优化才可以有效做功。用户：评测结果 vs 线上用户用脚投票，评测标准和动作需要更加前置，与用户真实体验保持一致。行业评测技术挑战政务、出行、就业等行业助手面临的数据类型、风险等级和任务复杂度差异显著，通用评测标准难免失真，行业评测需要因地制宜行业场景差异支付宝亿级用户的高度个性化场景，让通用评测标准难以契合用户的真实体验，行业评测需要因人而异用户个性化支付宝海量行业知识与工具的评测覆盖，尤其政务、医疗等专业领域的标注成本，行业评测亟需降本提效评测效率与成本行业评测技术挑战 行业场景差异政务助手就业助手出行助手政策解读与咨询、政务服务推荐、

5、政务办事指南、预约与攻略等岗位推荐、AI在线面试、AI职业规划与培训推荐等出行知识问答、出行服务推荐、智能履约提醒、用车服务、旅行助手等业务场景数据类型社保/公积金/住房/政策法规/办事指南/统计数据/公交地铁/火车/机票/车生活/路线库/景点库/酒店库/出行FAQ/岗位JD/岗位分析/商家信息/学历/履历/技能/求职意向/从业务场景到数据构成、从地域时空到合规约束，不同行业助手的服务目标与用户对象差异极大，行业智能体评测如果不能因地制宜，评测结论将失去参考意义。区域性时效性高（路况、车次、天气实时更新）中（招聘岗位信息每日更新）中（跟随政策节奏，对热点时效要求高）高（同一事项各省市政策有差异

6、）高（道路规则、交通路线和服务有差异）中（受用户偏好、地域方言影响）行业评测技术挑战 用户个性化支付宝万千用户画像的多样化、时空动态变化以及用户偏好的主观差异，使得行业智能体评测必须因人而异。以出行助手为例，评测需要构建场景-动机矩阵，覆盖多个细分用户群体，为个性化规划算法提供多维优化基础。行业评测技术挑战 用户个性化支付宝万千用户画像的多样化、时空动态变化以及用户偏好的主观差异，使得行业智能体评测必须因人而异。以就业助手为例，需要构建评测agent模拟各类候选人的基础特征、求职偏好、对话与行为，以完成评估动作。候选人Role-play基础信息求职偏好对话风格姓名、年龄、性别、区域、学历、技能