A1--陈永健--AI系统鲁棒性评测挑战与实践.pdf

1、AI系统鲁棒性评测挑战与实践陈永健华为GTS 平台测试总工、TSE Leader陈永健华为 GTS平台测试总工、TSE Leader06年加入华为ICT BG，6级专家目前主要负责华为运营商软件数智化转型与AI云原生应用开发测试，主导参与研发ADC Copilot、Code Agent、AgentStudio、GDE Claw等多款AI应用产品。长期投入项目一线和TSE团队建设，在AI Agent应用开发评测、混沌工程（高可靠性测试）、生态赋能运营、自动化测试、性能与仿真设计建模等领域有深入探索，每年支撑和保障华为软件全球300+运营商客户稳定运营。目录CONTENTSAI系统鲁棒性挑战与开展

2、背景0102 鲁棒性评测定义及关键技术点NLP类AI系统鲁棒评测实践03总结思考与后续计划04PART 01AI系统鲁棒性挑战与开展背景AI系统的脆弱性一面智能驾驶生物医疗生产制造不能承受的脆弱人工智能是否可信是制约其发展的关键因素Trustworthy用户满意度要求AI系统满足不同角色、不同地域习惯、不同文化水平、不同技能栈等差异化用户群的体验法律合规要求各国陆续出台AI合规法案人工智能法案生成式人工智能服务管理暂行办法人工智能生成合成内容标识办法产品可信竞争力要求AI系统竞争力重要要素，鲁棒性一定程度上衡量AI能力的领先性，成为AI领域持续被重视的一环010302AI系统鲁棒性商用诉求什么

3、是AI系统的鲁棒性ISO/IEC 24029-2:2023 人工智能（AI）神经网络鲁棒性评估Robustness is the ability of an AI system to maintain its level of performanceunder any circumstances。人工智能系统在任何环境下保持其性能水平的能力。ISO/IEC TS 5723:2022 TrustworthinessRobustness is defined as the“ability of a system to maintain its level of performance under

4、a variety of circumstances”。人工智能系统在各种环境下保持其性能水平的能力。鲁棒性（Robustness）是指AI系统在面对输入数据的微小变化、扰动、噪声、异常值或对抗性攻击等干扰时，仍能保持其预期功能和性能不变或变化不大的能力。影响AI系统鲁棒性的因素任务与场景模型复杂性任务 任务复杂度：多步推理、复杂理解或生成高度创造性内容 多轮复杂上下文交互环境 指令/提示（Prompt）的鲁棒性基础模型能力 模型容量与泛化能力，模型结构本身的设计（如注意力机制、残差连接等）参数初始化与优化器选择 模型对扰动的敏感性数据训练数据质量 数据本身质量，包含噪声、错误标签、偏见等 数

5、据分布漂移（Data Drift）数据覆盖度不足AI系统鲁棒性评测挑战与应对挑战扰动设计评估指标评测对象DataSets、Prompt、ModelText in hereTASK鲁棒鲁棒Alignment鲁棒鲁棒Prompt鲁棒鲁棒OOD TasksPromptBenchJailbreak(安全)PART 02鲁棒性评测定义及关键技术点AI系统鲁棒性评测相关概念概念关系ConceptualRelation技术手段Tech.Method被测对象System under Test基础设施与运行时环境鲁棒性LLM模型鲁棒性提示词、数据集鲁棒性 Prompt DataSets Robustness字符

6、级|单词级|句子级|语义级 扰动准确性可靠性安全性鲁棒性对抗鲁棒AdversarialChallenge：威胁/挑战/攻击应对所指：输入数据欺骗对抗、攻防博弈、促进提升特点：局部、微小、针对分布外鲁棒OODAdaptive：环境变化/适应所指：输入数据及环境训练数据与真实世界应用之间的自然分布差异特点：全局、系统、自然图像/视频鲁棒性 Image Robustness高斯噪声|泊松噪声|椒盐噪声ApproachCapability&CharacteristicsAI系统级鲁棒性 AI System Robustness价值观对齐内容合规模型本身的一种属性、能力关注AI的通用性、泛化性真实场景中