OWASP：OWASP大语言模型应用程序十大风险（14页）.pdf

1、OWASP 大语言模型应用程序十大风险1OWASP 大语言模型应用程序十大风险2前言OWASP 大语言模型应用程序十大风险项目旨在向开发人员、设计人员、架构师、管理人员和组织介绍部署和管理大语言模型（LLM）应用程序时的潜在安全风险。该项目主要基于漏洞的潜在影响，可利用性以及在实际应用程序中的普遍性，整理出包括提示注入、数据泄漏、沙盒不足和未经授权的代码执行等 LLM 应用程序中常见的 10 大最关键风险的列表。本项目旨在提高对这些风险以及相关漏洞的认识，提供修正策略的建议，并最终改善 LLM 应用程序的安全状况。项目组长：Steve Wilson中文翻译人员：肖文棣、周乐坤OWASP 大语言

2、模型应用程序十大风险3这是一份对象为构建在大型语言模型(LLM)上的人工智能(AI)应用程序的重要漏洞类型的列表。LLM01:2023提示词注入Prompt Injections绕过过滤器或使用精心制作的提示操作 LLM，使模型忽略先前的指令或执行非计划的操作。LLM02:2023数据泄漏Data Leakage通过 LLM 的回复意外泄露敏感信息、专有算法或其他机密细节。LLM03:2023 不完善的沙盒隔离Inadequate Sandboxing当 LLM 可以访问外部资源或敏感系统时，未能正确隔离 LLM，从而允许潜在的利用和未经授权的访问。LLM04:2023 非授权代码执行Unau

3、thorized Code Execution利用 LLM 通过自然语言提示在底层系统上执行恶意代码、命令或操作。LLM05:2023 SSRF 漏洞SSRF Vulnerabilities利用 LLM 执行意外请求或访问受限制的资源，如内部服务、API 或数据存储。LLM06:2023 过度依赖大语言模型生成的内容Overreliance on LLM-generated Content在没有人为监督的情况下过度依赖法 LLM 生成的内容可能会导致不良后果。LLM07:2023 人工智能未充分对齐Inadequate AI Alignment未能确保 LLM 的目标和行为与预期用例保持一致，

4、从而导致不良后果或漏洞。LLM08:2023 访问控制不足Controls Insufficient Access未正确实现访问控制或身份验证，将允许未经授权的用户与 LLM 交互，并可能导致漏洞被利用。LLM09:2023 错误处置不当Improper Error Handling暴露错误消息或调试信息，将导致敏感信息、系统详细信息或潜在攻击向量的泄露。LLM10:2023 训练数据投毒Training Data Poisoning恶意操纵训练数据或微调程序，将漏洞或后门引入 LLM。十大风险列表OWASP 大语言模型应用程序十大风险4提示词注入包括绕过过滤器或者通过精心构造的提示词来操控大

5、语言模型（LLM）使得该模型忽略先前的指令或者执行意外操作。这些漏洞导致数据泄漏、未经授权的访问或者其他安全漏洞等意想不到的后果。描述常见提示词注入漏洞如何防范攻击场景示例 LM01:2023_ 提示词注入 精心构造能够操纵大语言模型以暴露敏感数据的提示词。利用特定的语言模式或者词元来绕过过滤器或者限制。利用大语言模型的分词或者编码机制的弱点。利用误导性上下文来误导大语言模型执行意外操作。对用户提供的提示词进行严格的输入校验和净化。使用上下文感知过滤器和输出编码来防止提示词操作。定期更新和微调大语言模型以提高其对于恶意输入和边界用例的理解能力。监视和记录大语言模型的交互以检测和分析潜在的提示词

6、注入尝试。场景 1攻击者精心构造一个提示词发起请求，并让模型认为该请求是合法的，从而欺骗大语言模型包括用户凭证或者内部系统详细信息等敏感信息。场景 2恶意用户通过利用特定的语言模式、词元或者编码机制来绕过内容过滤器，从而允许该用户执行那些本应被阻止的操作。OWASP 大语言模型应用程序十大风险5LLM02:2023_ 数据泄漏当大语言模型通过响应恶意请求意外泄漏敏感信息、专有算法或者其他机密细节时，就会发生数据泄漏。这可能导致未经授权访问敏感数据、窃取知识产品、侵犯隐私或其他安全漏洞。描述常见不完善沙盒隔离漏洞如何防范攻击场景示例 在大语言模型的响应中的敏感数据过滤不完全或者不恰当。在大语言模