1、 大模型大模型安全安全漏洞漏洞报告报告 真实漏洞视角下的全面探讨真实漏洞视角下的全面探讨 2 目录目录 一、概述.3 二、漏洞列表.3 三、模型层安全.5 1.数据投毒.5 2.后门植入.6 3.对抗攻击.8 4.数据泄露.9 5.小结.10 四、框架层安全.10 1.计算校验与运行效率的矛盾.10 2.处理不可信数据.12（1）原始数据预处理.12（2）模型加载.12 3.分布式场景下的安全问题.13（1）llama.cpp.14（2）Horovod.16（3）Ray.17 4.小结.18 五、应用层安全.18 1.前后端交互中的传统安全问题.19（1）Intel Neural Compre

2、ssor.19（2）AnythingLLM.20 2.Plugin 能力缺少约束导致的安全问题.20（1）数据检索处理.21（2）任意代码执行与沙箱机制.22 3.小结.23 六、总结.24 3 一、一、概述概述 近年来，人工智能（AI）正以前所未有的速度发展，在各行各业中扮演着越来越重要的角色。大模型作为 AI 中的重要一环，其能力随着平台算力的提升、训练数据量的积累、深度学习算法的突破，得到进一步的提升，并逐渐在部分专业领域上崭露头角。与此同时，以大模型为核心涌现的大量技术应用，也在计算机安全领域带来了诸多新的风险和挑战。本文对大模型在软件设施和具体应用场景落地中的安全问题进行多方面探讨和

3、研究，涵盖了模型层安全、框架层安全、应用层安全。在研究过程中，在研究过程中，我们我们借助借助 360 安全大模型代码分析能力，对多个开源项目进行代码梳理和风险评估，安全大模型代码分析能力，对多个开源项目进行代码梳理和风险评估，结合分析报告，快速结合分析报告，快速审计并发现审计并发现了近了近 40 个个大模型相关安全漏洞，影响范围覆盖大模型相关安全漏洞，影响范围覆盖llama.cpp、Dify 等知名模型服务框架，以及等知名模型服务框架，以及 Intel 等国际厂商开发的多款开源产等国际厂商开发的多款开源产品品。这些漏洞中，既存在二进制内存安全、。这些漏洞中，既存在二进制内存安全、Web 安全等

4、经典漏洞类型，又包含由安全等经典漏洞类型，又包含由大模型自身特性引入的综合性问题。大模型自身特性引入的综合性问题。本文对不同场景下的攻击路径和可行性进行分析，并在文中结合了部分漏洞案例和具体说明，旨在从真实漏洞的视角下探索当前大模型的安全实践情况，为构建更加安全、健康的 AI 数字环境贡献力量。二、二、漏洞列表漏洞列表 目标名称目标名称 漏洞概述漏洞概述 CVECVE 编号编号 llama.cpp 远程代码执行 CVE-2024-42479 llama.cpp 远程代码执行 CVE-2024-42478 llama.cpp 远程代码执行 CVE-2024-42477 llama.cpp 拒绝服

5、务 CVE-2024-41130 BentoML 远程代码执行 CVE-2024-10190 Dify 沙箱逃逸 CVE-2024-10252 Dask 远程代码执行 CVE-2024-10096 D-Tale 远程代码执行 CVE-2024-9016 4 H2O.ai 远程代码执行 CVE-2024-45758 Polyaxon 容器逃逸 CVE-2024-9363 Polyaxon 容器逃逸 CVE-2024-9362 langchain 路径穿越 暂无 LangFlow 远程代码执行 暂无 Intel Neural Compressor SQL 注入/命令注入 暂无 Intel open

6、vino 拒绝服务/信息泄露 暂无 Horovod 远程代码执行 暂无 Horovod 远程代码执行 CVE-2024-9070 pandasai SQL 注入 暂无 pandasai 命令注入 暂无 pandasai 命令注入 CVE-2024-9880 AnythingLLM API Key 泄露 CVE-2024-6842 Open-webui SSRF CVE-2024-44604 haystack 远程代码执行 CVE-2024-41950 ollama 拒绝服务 CVE-2024-8063 LightGBM 内存破坏 CVE-2024-43598 Qanything XSS CVE