owasp：大语言模型攻击与AI安全（55页）.pdf

1、OWASP-LLM-top10&AI Attacking&protecting张坤（KK）姓名：张坤（KK）ID：破天职位：脑动极光首席信息安全官 OWASP北京分会负责人教育背景：西班牙UAB大学硕士（Full time)北京某高校网络空间安全学院研究生导师网络安全研究生实习基地导师 学术领域：GB_T39725 健康医疗行业数据安全指南、健康医疗行业标准*3某高校外聘研究生导师中国卫生信息与健康医疗大数据学会首届委员技术领域：国家三级荣誉证书（技术贡献类）DPO&ISO27001&PDPP&PDPF CISSPCISPDSGCCIEPMPPIPITILISO27001PMPPrince2O

2、STA等认证 医疗器械临床试验管理认证（GCP）心理咨询师认证 职业履历：网络安全行业从业十余年，曾于金融集团、上市企业及互联网企业、top国企担任安全负责人角 色，负责基础安全、法务合规、隐私合规、安全研发、风控及业务安全、SRC（安全应急响应中心）、数据安全、内审内控等等工作。个人介绍What is Al?Al roles in application securityAl engineering继续做您已经为网络安全所做的一切，不然SAMM是 OWASP 帮助您成长的模型。将AI 开发人员、数据科学家以及与 AI 相关的应用程序和基础架构纳入安全计划：风险分析、培训、需求、静态分析、代码

3、审查、渗透测试等。通过将良好的软件工程实践应用于您的 AI 活动（例如版本控制、文档、单元测试、集成测试、性能测试和代码质量）来超越安全性。有关指南，请参阅ISO/IEC 5338标准。这样，人工智能系统将变得更易于维护、可转移、更可靠和面向未来。最佳做法是在团队中将数据科学家概况与软件工程概况混合，因为软件工程师通常需要更多地了解数据科学，而数据科学家通常需要更多地了解如何创建易于维护和测试的面向未来的代码。确保所有相关人员都了解“特定”人工智能安全风险。这些在下图中可视化，连同关键的缓解措施，并在下一节中进行讨论。如何应对AI安全LLM01:2023 提示词注入Prompt Injecti

4、ons 绕过过滤器或使用精心制作的提示操作 LLM，使模型忽略先前的指令或执行非计划的操作。LLM02:2023 数据泄漏Data Leakage 通过 LLM 的回复意外泄露敏感信息、专有算法或其他机密细节。LLM03:2023 不完善的沙盒隔离Inadequate Sandboxing 当 LLM 可以访问外部资源或敏感系统时，未能正确隔离 LLM，从而允许潜在的利用和未经授权的访问。LLM04:2023 非授权代码执行Unauthorized Code Execution 利用 LLM 通过自然语言提示在底层系统上执行恶意代码、命令或操作。LLM05:2023 SSRF 漏洞SSRF V

5、ulnerabilities 利用 LLM 执行意外请求或访问受限制的资源，如内部服务、API 或数据存储。LLM06:2023 过度依赖大语言模型生成的内容Overreliance on LLM-generated Content 在没有人为监督的情况下过度依赖法 LLM 生成的内容可能会导致不良后果。LLM07:2023 人工智能未充分对齐Inadequate AI Alignment 未能确保 LLM 的目标和行为与预期用例保持一致，从而导致不良后果或漏洞。LLM08:2023 访问控制不足Controls Insufficient Access 未正确实现访问控制或身份验证，将允许未经

6、授权的用户与 LLM 交互，并可能导致漏洞被利用。LLM09:2023 错误处置不当Improper Error Handling 露错误消息或调试信息，将导致敏感信息、系统详细信息或潜在攻击向量的泄露。LLM10:2023 训练数据投毒Training Data Poisoning 暴恶意操纵训练数据或微调程序，将漏洞或后门引入 LLM。大型语言模型(LLM)上的人工智能(AI)应用程序的重要漏洞类型的列表OWASP Top 10 List for Large Language ModelsOverreliance on LLM-generated ContentInadequate AI