分论坛一03-秦峰-人工智能安全管理体系能力建设-秦峰.pdf

1、演讲人：秦峰人工智能安全管理体系能力建设人工智能安全管理体系能力建设目录01人工智能的发展02人工智能管理体系建设1.01、人工智能发展一门融合了计算机科学、统计学、脑神经学和社会科学的前沿综合性学科人工智能(Artificial Intelligence,AI):希望计算机拥有像人一样的智力及能力，可以协助人类实现识别、认知、分类和决策等多种功能人工智能目标:三次浪潮第一次浪潮第二次浪潮第三次浪潮逻辑主义机器逻辑推理实用性不佳连接主义人工神经元网络算法算力限制2006-今深度神经网络算力算法数据打造场景应用人工智能发展第4页医疗保健主要功能监测、诊断、治疗典型实例医学成像分析、药物发现、医疗

2、决策支持教育主要功能提供个性化学习体验、批改作业典型实例智能学习书桌、智能在线教育、智能辅导系统金融主要功能个人财务管理、交易、风险管理、投资建议典型实例个人理财工具、股票预测模型、风控管理模型交通主要功能自动驾驶、交通预测典型实例自动驾驶汽车、交通流量管理、导航线路规划制造主要功能自动化、缺陷检测、流程优化典型实例工业机器人，市场分析预测、自动化质检、生产线自动化电商、娱乐主要功能个性化推荐典型实例电商平台推荐系统、音乐视频推荐通信主要功能机器翻译、语音识别、语音合成典型实例语音助手、语音翻译软件开发主要功能代码生成、自动测试典型实例低代码平台、辅助开发软件人工智能主要功能图像识别、物体检测

3、、网络威胁识别典型实例智能入侵检测系统、网络威胁识别与防护、行为分析商业、个人主要功能数据分析、预测、日程安排、问题解决、个性化体验典型实例智能客服、智能助手、文档生成、聊天机器人计算机视觉知识图谱语音识别自然语言处理多模态人工智能在多个技术领域取得了重大突破在各行各业实际应用中展现了巨大的潜力。NLP技术突破及典型应用数据算力算法人工智能可解释性差的风险偏见、歧视风险鲁棒性弱风险被窃取、篡改的风险输出不可靠风险对抗攻击风险违规收集使用数据风险训练数据含不当内容、被投毒风险训练数据标注不规范风险数据泄露风险缺陷、后门被攻击利用风险算力安全风险能源、水资源、碳排放风险AI自身安全风险提示注入敏感

4、信息泄露供应链攻击数据和模型投毒过度代理系统提示泄露向量和嵌入的弱点虚假信息不当输出处理无界消费AI应用风险Top10OWASP TOP10 for LLM Application(2025)序号攻击阶段技术手段1侦察1.搜索受害者的公开研究资料；2.搜索公开的对抗性漏洞分析；3.搜索受害者拥有的网站；4.搜索应用仓库；5.主动扫描；6.收集RAG索引目标2资源开发1.获取公共机器学习资产；2.获取技术能力；3.开发技术能力；4.获取基础设施资源；5.发布投毒数据集；6.污染训练数据；7.创建账户；8.发布投毒模型；9.发布虚构实体；10.大语言模型提示词设计；11.检索内容设计3初始化访问1

5、.机器学习供应链威胁;2.有效账户滥用;3.机器学习模型规避;4.公开应用漏洞利用;5.钓鱼攻击4ML模型访问1.AI模型推理API访问;2.机器学习赋能产品或服务;3.物理环境渗透;4.全量机器学习模型访问5执行1.用户诱导执行;2.指令与脚本解释器操控;3.大语言模型提示词注入;4.大语言模型插件漏洞6持久化1.训练数据投毒;2.机器学习模型后门植入;3.大语言模型提示自复制;4.检索增强生成数据投毒7权限提升大语言模型插件入侵;大语言模型越狱攻击8防御绕过1.机器学习模型规避;2.大语言模型越狱攻击;3.大语言模型可信输出组件操控;4.大语言模型提示词混淆;5.虚假检索增强生成条目注入9

6、凭证访问未受保护凭据暴露10发现1.机器学习模型本体发现;2.机器学习模型家族识别;3.机器学习制品探测;4.大语言模型幻觉溯源;5.AI模型输出分析;6.大语言系统信息探查11收集1.机器学习制品窃取;2.信息库数据提取;3.本地系统数据窃取12ML攻击准备1.创建代理机器学习模型;2.后门植入机器学习模型;3.攻击验证;4.构造对抗性数据13数据渗出1.模型推理API数据渗透;2.网络路径数据窃取;3.大语言系统提示词提取;4.大语言模型数据泄露;14影响1.机器学习模型规避;2.机器学习服务拒绝;3.机器学习系统垃圾数据泛洪攻击;4.机器学习模型完整性侵蚀;5.成本收割攻击;6.外部危害