安全极客：大模型安全边界揭秘提示注入攻击会话共享漏洞与AI幻觉毒化策略（38页）.pdf

1、大模型安全边界:揭秘提示注入攻击、会话共享漏洞与AI幻觉毒化策略Kelp AI Beta作者 宁宇飞2024.05.18About Me宁宇飞Kelp AI Beta作者12年软件/网络开发经验，前端/后端半全栈安全开发与安全研究专注大模型安全与大模型在安全领域中的应用落地Kelp AI Beta作者目录CONTENTS提示注入攻击会话共享漏洞AI幻觉毒化策略总结与挑战概要随着大语言模型/AI的普及以及广泛应用，确保模型的输入/输出安全非常重要。本次分享主要针对三个常见的商业AI中最常见的三种安全场景，借此抛砖引玉。1.提示注入攻击：这类攻击发生在攻击者通过设计特定的输入（提示），诱导AI模型

2、产生错误或恶意的输出。这种策略可以用来绕过AI的预期行为，获取敏感信息或促使AI作出不利于用户的决策。2.会话共享漏洞：在多用户环境中，会话共享可能导致用户间的信息泄露。特别是在AI模型中，如果不同的用户请求能够互相影响，就可能泄漏用户的私人信息或影响模型的行为。3.AI幻觉毒化策略：这是一种数据幻觉的形式，通过在训练数据中注入错误或误导性信息，使得模型学习到错误的行为模式。这种策略可以被用来降低模型的性能，或使模型在特定情况下表现出预定的行为。大模型安全以”输入/输出”维度的2点区分：输入1.提示注入（Prompt injection）：通过输入特制的提示（命令或数据），以误导模型执行不当的

3、操作或产生错误的输出。2.训练数据中毒（Training data poisoning）：在模型训练阶段，恶意修改输入数据，导致模型学习到错误或有偏差的行为。3.供应链漏洞（Supply chain vulnerabilities）：攻击者通过供应链环节对输入数据、模型组件或训练环境进行篡改，从而影响模型性能和安全。4.过度依赖（Overreliance）：用户或系统对模型的判断过于依赖，未能充分考虑到模型输入的局限性或偏差可能导致的风险。大模型安全以”输入/输出”维度的2点区分：输出1.不安全的输出处理（Insecure output handling）：模型输出未经适当处理直接用于决策或显

4、示，可能导致错误决策或信息泄露。2.数据泄露/敏感信息泄露（Data leakage/sensitive information disclosure）：模型输出包含敏感信息或暗示内部结构的细节，可能导致数据泄露或被利用来攻击模型本身。3.不安全的插件设计（Insecure plug-in design）：模型的插件或扩展设计不当，可能导致输出被篡改或引发其他安全问题。4.过度授权（Excessive agency）：模型被赋予过多的决策权力，其输出可能导致不当的自动化决策，例如在没有充分监督的情况下执行关键任务。提示注入攻击01什么是提示（Prompt /prmpt/）?当我们与AI语言模型

5、交互时，如ChatGPT、Google Gemini等，我们提供一个提示，以问题、句子或简短段落的形式。提示是输入到AI的内容。让我们来看几个示例：01 文、图之间的Prompt02 不同类型提示的例子:简单提示、复杂提示和指示提示03 多种类型的Zero-shot Prompt04 多种类型的Few-shot Prompt什么是提示注入攻击?提示注入攻击是指恶意操纵提供给AI系统的输入提示，以欺骗、破坏或利用其行为的行为。这种攻击的目标可能因情境而异。来看一个示例：实操攻击的具体方式和实例1.偏见注入（Bias Injection）：向AI注入有偏见或有害的提示，以影响AI的输出，促使其传播

6、虚假信息、仇恨言论或歧视性内容。2.数据毒化（Data Poisoning）：在AI训练过程中引入有污染或误导性的提示，以损害模型的性能并导致其产生错误结果。3.逃避（Evasion）：精心设计提示，旨在规避AI的安全或检测机制，使恶意活动不被察觉。4.模型利用（Model Exploitation）：操纵提示，导致AI模型执行其未经设计的操作，如泄露敏感信息或执行未经授权的任务。5.对抗性攻击（Adversarial Attacks）：制作对抗性提示，利用AI模型的漏洞，导致其做出不正确或不打算的决定。真实例子：AI向美国总统发出威胁真实例子：偷梁换柱Riley Goodside在2022年