1、2024想像与现实：人工智能 恶意使用的威胁人工智能安全报告2024 人工智能安全报告一、AI 的定义 3二、AI 引发科技变革 3三、AI 存在滥用风险 4四、AI 普及引入多种威胁 61、深度伪造 62、黑产大语言模型基础设施 73、利用 AI 的自动化攻击 94、AI 武器化 105、LLM 自身的安全风险 116、恶意软件 127、钓鱼邮件 148、口令爆破 159、验证码破解 1610、社会工程学的技术支持 1711、虚假内容和活动的生成 1912、硬件传感器相关威胁 20五、当前状况总结 21六、应对措施建议 211、安全行业 212、监管机构 223、政企机构 224、网络用户

2、23CONTENTS目录2024 人工智能安全报告1主要观点人工智能（AI）是新一轮科技革命和产业变革的核心技术，被誉为下一个生产力前沿。具有巨大潜力的 AI 技术同时也带来两大主要挑战：一个是放大现有威胁，另一个是引入新型威胁。奇安信预计，未来十年，人工智能技术的恶意使用将快速增长，在政治安全、网络安全、物理安全和军事安全等方面将构成严重威胁。研究发现：AI已成攻击工具，带来迫在眉睫的威胁，AI相关的网络攻击频次越来越高。数据显示，在2023年，基于 AI 的深度伪造欺诈暴增了 3000%，基于 AI 的钓鱼邮件数量增长了 1000%；奇安信威胁情报中心监测发现，已有多个有国家背景的 APT

3、 组织利用 AI 实施了十余起网络攻击事件。同时，各类基于 AI 的新型攻击种类与手段不断出现，甚至出现泛滥，包括深度伪造（Deepfake）、黑产大语言模型、恶意 AI 机器人、自动化攻击等，在全球造成了严重的危害。AI 加剧军事威胁，AI 武器化趋势显现。AI 可以被用来创建或增强自主武器系统，这些系统能够在没有人类直接控制的情况下选择和攻击目标。这可能导致道德和法律问题，如责任归属问题及如何确保符合国际人道法。AI 系统可能会以难以预测的方式行动，特别是在复杂的战场环境中，这可能导致意外的平民伤亡或其他未预见的战略后果。强大的 AI 技术可能落入非国家行为者或恐怖组织手中，他们可能会使用

4、这些技术进行难以应付的破坏活动或恐怖袭击。AI 与大语言模型本身伴随着安全风险，业内对潜在影响的研究与重视程度仍远远不足。全球知名应用安全组织 OWASP 发布大模型应用的十大安全风险，包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等。此外，因训练语料存在不良信息导致生成的内容不安全，正持续引发灾难性的后果，危害国家安全、公共安全甚至公民个人安全。但目前，业内对其潜在风险、潜在危害的研究与重视程度还远远不足。AI 技术推动安全范式变革，全行业需启动人工智能网络防御推进计划。新一代 AI 技术与大语言模型改变安全对抗格局，将会对地缘政治竞争和国家安全造成深远的影响，各国正在竞相加强在人工智

5、能领域的竞争，以获得面向未来的战略优势。全行业需启动人工智能网络防御推进计划，包括利用防御人工智能对抗恶意人工智能，扭转“防御者困境”。一个影响深远的新技术出现，人们一般倾向于在短期高估其作用，而又长期低估其影响。当前，攻防双方都在紧张地探索 AI 杀手级的应用，也许在几天、几个月以后就会看到重大的变化。因此，无论监管机构、安全行业，还是政企机构，都需要积极拥抱并审慎评估 AI 技术与大模型带来的巨大潜力和确定性，监管与治理须及时跟进，不能先上车再补票。2024 人工智能安全报告2在本报告中，我们将深入探讨 AI 在恶意活动中的应用，揭示其在网络犯罪、网络钓鱼、勒索软件攻击及其他安全威胁中的潜

6、在作用。我们将分析威胁行为者如何利用先进的 AI 技术来加强他们的攻击策略，规避安全防御措施，并提高攻击成功率。此外，我们还将探讨如何在这个不断变化的数字世界中保护我们的网络基础设施和数据，以应对 AI 驱动的恶意活动所带来的挑战。2024 人工智能安全报告3一、AI 的定义人工智能（ArtificialIntelligence，AI）是一种计算机科学领域，旨在开发能够执行智能任务的系统。这些系统通过模拟人类智能的各种方面，如学习、推理、感知、理解、决策和交流，来完成各种任务。人工智能涉及到多个子领域，包括机器学习、深度学习、自然语言处理、计算机视觉等。它的应用范围非常广泛，包括自动驾驶汽车、