李文瑾-LLMAgent安全攻防战从架构风险到应用实战剖析.pdf

《李文瑾-LLMAgent安全攻防战从架构风险到应用实战剖析.pdf》由会员分享，可在线阅读，更多相关《李文瑾-LLMAgent安全攻防战从架构风险到应用实战剖析.pdf（36页珍藏版）》请在三个皮匠报告上搜索。

1、LLM Agent安全攻防战从架构风险到应用实战剖析李文瑾|绿盟科技李文瑾绿盟科技主任研究员/CCF高级会员绿盟科技 天元实验室负责人十余年安全从业经验聚焦红队技术从攻击视角提供识别风险的方法和手段，为威胁对抗提供决策支撑目 录CONTENTSI.应用技术的演进与风险变化II.Agent工作流的高危攻击面III.红队视角实战案例IV.智能化红队工具实践应用技术的演进与风险变化PART 01LLM应用形态发展变化人类主导（Copilot模式）人设立任务目标提出请求/问题AI负责生成建议和内容人修改、调整，确认任务人自主结束工作AI自主拆解任务步骤AI全权代理设立目标提供资源监督结果AI自主（Ag

2、ent模式）调用工具/API执行AI自主结束工作应用特点 人类保持最终决策权 适合创意写作、代码编写等场景 需要人工校验结果工具名称典型场景核心能力LangChain构建可组合的AI工作流Chain/Pipeline编排工具调用Dify可视化打造企业级Copilot低代码Prompt工程+RAG部署n8n人机协作业务流程自动化AI节点与人工审批节点混合编排应用特点 自主处理复杂流程 自主感知、调度工具实现闭环 需要设定安全边界工具名称典型场景核心能力AutoGPT自动完成复杂目标（如市场调研）目标分解+递归执行AutoGen模拟团队协作（如辩论/谈判）Agent角色定制+对话编排CrewAI业

3、务流程自动化（如CRM管理）角色分工+工具调用链路LLM Copilot 应用与风险提示词注入（模型越狱攻击&角色逃逸攻击）智能问答助手业务Coploit&业务智能体Safety 内容安全商业违法违规包含歧视性内容违反社会主义核心价值观的内容侵犯他人合法权益无法满足特定服务类型的安全需求问答RAG框架RAG知识内容检索敏感数据泄露风险RAG问答结果生成过渡依赖模型生成内容CoT ReAcT 业务执行体业务转账功能（业务）CoT注入攻击网络请求功能（技术）不安全的Agent设计SSRF风险用户任意转账AI大模型应用的快速发展，在应用安全层面暴露出很多新的攻击手段业务快速尝鲜迭代，缺少监控手段，简

4、单的攻击手段可能直接获取内网权限模型幻觉问题政治&军事敏感问题诱导&不当言论恐怖暴力言论歧视性言论Deepfake人脸伪造Safety内容安全模型越狱攻击角色逃逸攻击间接提示词注入元Prompt泄露Security对抗安全AI Agent 应用与风险Al Agent=Planning(规划)+Memory(记忆)+Action/Tools(行动/工具)以大语言模型(LLM)为大脑驱动，具有自主感知、规划、记忆和行动的能力，能自动执行复杂任务的系统。Memory（记忆）模块风险核心功能：负责存储历史交互、知识库内容以及上下文场景信息，为决策规划提供长期与短期的记忆支持主要风险：面临因数据投毒、记

5、忆篡改以及隐私泄露等问题，导致LLM基于虚假信息进行决策判断上下文记忆投毒RAG数据投毒Planning（规划）模块风险核心功能：负责目标拆解、任务排序和行动方案生成，确保智能体能够分步骤完成复杂目标主要风险：面临因逻辑漏洞、决策能力以及恶意提示注入生成错误计划，或被攻击者劫持导致产生恶意行动规划恶意破坏和目标操纵错误决策偏离预期Action/Tools（行动/工具）模块风险核心功能：负责调用API、外部工具、MCP Server或物理执行器，将决策规划转化为实际行动主要风险：面临因错误决策或恶意调用等安全风险，其执行能力极易遭受攻击，导致出现工具恶意滥用等问题工具恶意滥用工具特权利用规划需抗

6、干扰 记忆需防污染 行动需控权限AI应用风险演进与变化Al Agent模型APIAI Copilot 文本生成与摘要：自动撰写文章、报告或生成长文核心摘要 机器翻译：提供多语言之间的实时、高质量文本翻译服务 情感分析：分析文本内容（如用户评论）中的情感倾向在此阶段，AI以开放API的形式提供基础能力，开发者可以将其集成到各种应用中。核心是模型本身，风险也主要围绕模型内容的生成与控制AI深度集成到现有软件和平台中，成为辅助用户完成特定任务的“副驾驶”。此时AI能够接触到用户的个人数据和系统环境，带来了新的数据安全与隐私风险AI Agent具备自主规划、决策和执行任务的能力。它不再仅仅是辅助，而是