1、 大语言模型提示注入攻击安全 风险分析报告 大数据协同安全技术国家工程研究中心 2023 年 7 月 6 日 安全大脑国家新一代人工智能开放创新平台 版权声明 本报告版权属于大数据协同安全技术国家工程研究中心，项目成果属于“安全大脑国家新一代人工智能开放创新平台”，受法律保护。转载、摘编或利用其他方式使用本报告文字或观点的，应注明“来源：大数据协同安全技术国家工程研究中心安全大脑国家新一代人工智能开放创新平台”。违反上述声明者，编者将追究其相关法律责任。编写单位及部门 大数据协同安全技术国家工程研究中心 AI 安全实验室 安全大脑国家新一代人工智能开放创新平台项目组 编写组成员 邹权臣、张德岳

2、、杨东东、韩东、徐昌凯 目录目录 1.引言引言.1 2.提示与提示学习提示与提示学习.3 2.1 提示的概念提示的概念.3 2.2 提示学习的概念提示学习的概念.6 3.提示注入攻击提示注入攻击.7 3.1 直接提示注入直接提示注入.7 3.1.1 目标劫持.7 3.1.2 提示泄露.9 3.1.3 越狱攻击.11 3.2 间接提示注入间接提示注入.15 4.提示注入防御提示注入防御.19 4.1 输入侧防御输入侧防御.19 4.1.1 提示过滤.19 4.1.2 提示增强.22 4.2 输出侧防御输出侧防御.27 4.2.1 内容审核过滤.27 5.测评数据集构建测评数据集构建.30 5.1

3、 基础数据集构建基础数据集构建.30 5.1.1 越狱攻击验证数据集.30 5.1.2 目标劫持验证数据集.32 5.1.3 提示泄露验证数据集.33 5.2 测评数据集生成测评数据集生成.35 5.2.1 恶意问题数据生成.35 5.2.2 恶意指令数据生成.36 5.2.3 测评数据有效性验证.37 6.实验评估实验评估.39 6.1 实验设置实验设置.39 6.1.1 模型设置.39 6.1.2 数据设置.40 6.2 提示注入攻击风险测评提示注入攻击风险测评.40 6.2.1 不同攻击类别的攻击成功率.40 6.2.2 不同问题类别的攻击成功率.41 6.3 提示注入防御性能测评提示注

4、入防御性能测评.42 6.3.1 基于提示增强的防御性能测评.42 6.3.2 基于模型检测的防御性能测评.44 7.总结与展望总结与展望.45 参考文献参考文献.47 1 1.引言引言 近期，基于 Transformer 的大语言模型（Large Language Model，LLM）研究取得了一系列突破性进展，模型参数量已经突破千亿级别，并在人类语言相似文本生成方面有了卓越的表现。目前已有多个商业化大模型发布，如 OpenAI 推出的 GPT 系列1-3、Google 推出的 T54和 PaLM5，以及 Meta 推出的 OPT6等大语言模型等。特别是 OpenAI 推出 ChatGPT7

5、，由于其强大的理解与生成能力，在短短 2 个月内突破了 1 亿用户量，成为史上用户增长速度最快的消费级应用程序。为了应对市场冲击，谷歌也推出了 BARD 聊天机器人，Meta 则开源了 LLaMA模型8。国内各大企业、高校和研究机构也纷纷进入大模型领域，推出了一系列对话大模型，包括百度文心一言9、360 智脑10、讯飞星火11、商汤商量12、阿里通义千问13、智源悟道14、复旦 MOSS15、清华 ChatGLM16等。大语言模型正在各个应用领域引起巨大的变革，并已经在搜索、金融、办公、安全、教育、游戏、电商、社交媒体等领域迅速普及和应用。例如微软将 GPT4应用于必应搜索引擎和 Office

6、 办公软件，而谷歌把 PaLM2 等模型应用在Workspace 办公套件、Android 以及 Bard 聊天机器人。然而，伴随着大语言模型广泛应用的同时，也衍生出一系列严重的安全风险，并引发了多起安全事件。如 OpenAI 曾经默认将用户输入的内容用于模型训练，从而导致了多起隐私数据泄漏事件。据媒体报道，亚马逊公司发现 ChatGPT 生成的内容中发现与公司机密非常相似的文本17。韩国媒体报道称，三星公司在引入 ChatGPT 不到 20 天内就发生 3 起涉及机密数据泄漏的事故，其中 2 起与半导体设备有关，1 起与会议内容有关18。据网络安全公司 Cyberhaven 的调查，至少有