AI 系统的安全风险和挑战-李康.pdf

1、AI系统的安全风险和挑战安全现状及治理思考CertiK李康AI 安全监管和治理Make sure that AI systems used in the EU are safe,transparent,traceable,non-discriminatory and environmentally friendly.AI systems should be overseen by people,rather than by automation,to prevent harmful outcomes.对AI安全在不同层面上的监管考虑AlgorithmAbstractSystem？AI系统的安全

2、现实近期热点事件AI 系统安全现状（近期安全事件报道）https:/ 系统安全现状（近期安全事件报道）https:/ AI 安全：遥远的未来，或者是否会来话语权主导者：人类学家，领袖精英AI 系统的安全风险：现在及1-3年话语权主导者：？AI 算法偏见与缺陷：3-5 年或更长，关注度是否会持续话语权主导者：AI 科学家，数据工程领袖AI系统的发展热点AI Agent智能体(AI Agent)浪潮智能体(AI Agent)浪潮Agent Front EndLLMs to understand missionSandboxLLMs to aggregate responsesTasksTasksT

3、asksSandboxSandboxUserInputOutputMission breaks downas tasksExecutionIntegrationOf Outcomes智能体(AI Agent)浪潮Agent Front EndLLMs to understand missionSandboxLLMs to aggregate responsesTasksTasksTasksSandboxSandboxUserInputOutputMission breaks downas tasksExecutionIntegrationOf Outcomes观察1.AI 不仅仅是单纯的统计模

4、型，需要结合Code Execution2.执行的内容来自用户直接或间接的输入a.用户直接注入的代码b.互联网上由于任务组件，从网络上获取的代码c.LLM 生成的代码3.执行环境可能采用不同强弱类型的沙箱AI 系统中是否使用沙箱询问 Ollama 给定字符串的 MD5 值是否是正确的答案？询问了第二遍AI 系统中是否使用沙箱继续追问几句。AI 系统中是否使用沙箱继续追问几句。AI 系统中是否使用沙箱Latest ChatGPT(Oct 2024)智能体(AI Agent)沙箱（案例#2）智能体(AI Agent)沙箱（案例#2）AI Agent is a Goldmine for Attack

5、ersThe trend of AI Agent enables more system level riskshttps:/ Agent RCE Example(GPT_academic)SandboxGPT_academic（commit#310122f)基于 Ubuntu 22.04 服务暴露端口：13373Vulnerability允许用户提交文件，在沙箱中调用 LLM API 分析支持用户提交 RAR 文件，但是未做安全验证AI Agent RCE Example(GPT_academic)Exploitation构建恶意 RAR 文件 Payload。利用 Python rarfi

6、le 模块支持符号链接，覆盖关键系统文件（/etc/cron.d),实现任意文件写入。最终实现代码远程执行（reverse shell）AI Agent RCE Example(Invoke AI)SandboxInvoke AI versions 5.3.1 5.4.2服务暴露端口：9090VulnerabilityAPI 允许用户指定一个模型的 URL该模型会被下载到沙箱环境中用 torch.load 加载AI Agent RCE Example(Invoke AI)Exploitation构建恶意 Model 文件Torch.load 执行模型加载