1、CHECK POINT RESEARCHAI 安全报告CHECK POINT AI 安全年度报告 第一版目录05面向 AI 的安全性、由 AI 实现的安全性 以及借助 AI 实现的安全性 04企业人工智能03用于研究的 AI02AI 威胁01引言 01引言01引言AI 在网络攻击者和防御者中加速发展的未来 人工智能正在彻底改变各行各业,网络犯罪和网络安全也不例外。企业采用人工智能不幸的是,威胁行为者也采用了人工智能可以提高效率、扩大规模和影响。此时此刻,我们认为有必要停下来,评估人工智能和网络安全的现状与未来。攻击者会如何使用 AI,之后又会发生什么?作为网络防御者,您应如何利用 AI 来加强
2、自身的安全工作并更有效地保护组织?这些问题已在Check Point Research AI 安全报告第一版中进行解答。我们的关注点在于:跨文本、音频和视频的自主与互动式社交工程的兴起 LLM 的越狱与武器化 恶意软件开发与数据挖掘的自动化 企业采用人工智能及其相关风险 数据中毒在实际环境中的出现以及由 GenAI 工具放大的大规模虚假信息 以毒攻毒的 AI 工具-保护您的组织免受最先进的威胁 AI 威胁已不再停留在理论阶段它们已经存在并迅速发展。随着 AI 工具的普及,威胁参与者在利用这一转变时主要有两种方式:利用 AI 来增强其能力,以及针对采用 AI 技术的组织和个人发起攻击。以下页面将
3、提供对这些威胁的全面理解,使读者能够驾驭复杂的人工智能安全环境。为了一个安全、创新和成功的未来,Lotem Finkelstein,Check Point Research 研究总监面向 AI 的安全性、由 AI 实现的安全性以及借助 AI 实现的安全性05用于研究的 AI03AI 威胁02用于 APT 搜寻的 AI引言01企业人工智能04新型社交工程将 LLM 帐户作为目标面向恶意软件的 AI人工智能漏洞研究暗网中的 AI 模型 2025 年 AI 安全报告402AI 威胁 02网络犯罪分子使用的 AI 模型网络犯罪分子正在密切关注主流人工智能应用的趋势。每当一个新的大型语言模型(LLM)向
4、公众发布时,地下行为者都会迅速测试其被滥用的潜力(图1)。目前,ChatGPT 和 OpenAI 的 API 是网络犯罪分子中最受欢迎的模型,而 Google Gemini、Microsoft Copilot 和 Anthropic Claude 等其它模型也图 1 关于利用 DeepSeek 进行恶意软件开发的地下论坛讨论 在迅速获得人气。随着阿里巴巴推出 DeepSeek 和 Qwen 等开源模型,网络安全解决方案的格局正在发生变化。这些模型增强了可访问性,使用限制极少,并且提供免费套餐,使其成为网络犯罪的重要资产。暗网中的 AI 模型用于 APT 搜寻的 AI新型社交工程将 LLM 帐户
5、作为目标面向恶意软件的 AI人工智能漏洞研究 2025 年 AI 安全报告6面向 AI 的安全性、由 AI 实现的安全性以及借助 AI 实现的安全性05用于研究的 AI03AI 威胁02引言01企业人工智能04恶意 AI 模型的发展网络犯罪分子正在利用主流平台,创建并销售专门为网络犯罪量身定制的恶意 LLM 模型(图 2)。这些黑暗的 LLM 模型旨在规避为道德模型设立的安全措施,并被积极推销为黑客工具。图 2 Onion GPT,在 Tor 中创建的暗网 AI 模型的示例暗网中的 AI 模型用于 APT 搜寻的 AI新型社交工程将 LLM 帐户作为目标面向恶意软件的 AI人工智能漏洞研究 2
6、025 年 AI 安全报告7面向 AI 的安全性、由 AI 实现的安全性以及借助 AI 实现的安全性05用于研究的 AI03AI 威胁02引言01企业人工智能04图 3 在 Telegram 频道上宣传的恶意 AI 服务 WormGPT臭名昭著的 AI 模型 WormGPT 是通过从 ChatGPT 越狱而产生的(图 3)。它被宣传为“终极黑客 AI”,且能在不受道德约束的情况下生成网络钓鱼邮件、编写恶意软件并创建社交工程脚本。某一 Telegram 频道鼓吹可将其用于欺诈、僵尸网络创建和网络入侵,从而提供旨在突出暗网 AI 商业化的订阅服务。暗网中的 AI 模型用于 APT 搜寻的 AI新型