1、1Prisma by Palo Alto Networks|白皮书|AI 治理 1 https:/ AI 助力的应用程序建立治理框架人工智能(AI)的发展日新月异，各行各业的企业都在以前所未有的速度部署 AI 助力的应用程序。例如，在 Prisma Cloud 的 2024 年云原生安全现状报告1 中，100%的受访者都表示自己欣然接受 AI 辅助的应用程序开发对于这个几年前还被许多人视为科幻的技术来说，这确实是一个让人惊讶的结果。然而，尽管 AI 系统提供了巨大的优势，但也带来了全新的安全风险和治理挑战，而传统的网络安全方法并不具备应对这些风险和挑战的能力。作为一名安全领导者，必须了解 AI

2、 的现状、其潜在隐患以及给企业带来的独特风险。在本白皮书中，我们概述了 AI 的形势，强调了关键的安全考虑因素，并提出了一个治理框架，帮助您在这个复杂的环境中做到游刃有余。您将清楚地了解企业可能有机会探索的关键 AI 技术及其安全隐患，以及需要考虑哪些潜在的防护和缓解措施。我们还将帮助您了解在制定 AI 安全战略时需要考虑哪些因素。2当前的 AI 形势及其安全隐患近年来，AI 领域发生了翻天覆地的变化，随着企业评估和实施一系列新技术，无论是通用系统还是专用系统都取得了重大进展。为了应对 AI 的相关风险和机遇，安全领导者需要时刻把握这个不断发展的生态系统的脉搏。风险可能以多种形式表现出来，正如

3、我们最近的研究发现的一样，47%的企业都在担心与 AI 生成的代码相关的安全风险2。在本文中，我们将重点关注部署 AI 助力的应用程序时出现的云基础设施风险。截止到今天，以下是 AI 领域的基本轮廓。“传统的”AI 和 ML多年来，各家企业一直在利用特定于领域的 AI 和机器学习(ML)推理工具来提高制造、供应链优化、欺诈检测、在线营销和其他领域的效率和自动化程度。这些狭义的系统在特定的数据集基础上进行训练，用于执行明确定义的任务。虽然这些系统已经成为许多业务流程不可或缺的一部分，但每个应用程序通常都是孤立的，并且作用范围有限。虽然这些工具已经存在了很长一段时间，并且近年来可能没有经历什么突破

4、性的进展，但它们受到了“水涨船高”现象的影响。围绕着 AI 的广泛热情正在推动着人们加速投入预算来部署这些工具以及最新的 LLM 工具。安全隐患 确保用于训练和运行 AI/ML 模型的数据的完整性和安全性 监控 AI/ML 系统是否存在异常行为、意外输出或性能下降，这些现象可能表明存在数据中毒攻击、模型规避和系统入侵等安全问题 验证 AI/ML 模型没有引入无意识的偏见、公平性问题或歧视性结果，从而避免产生法律和名誉风险，这就需要定期对模型审核公平性 提供适当的访问控制和治理，规定谁可以开发、修改或使用 AI/ML 系统Prisma by Palo Alto Networks|白皮书|AI 治

5、理 用例 制造优化、供应链、欺诈检测、营销安全风险 数据完整性、模型性能监控、偏见审核、访问控制 2 https:/ AI 和机器学习3大型语言模型LLM 已经发展成一种高度全能的通用 AI 系统，能够进行开放式的对话、生成连贯的文本，甚至还能编写代码。虽然面向消费者的聊天机器人（如 ChatGPT）引起了广泛关注，但这也只是冰山一角。LLM 的更大影响力在于能够以终端用户通常无法立即察觉的方式，为各种各样的企业应用程序（包括内部应用程序和面向客户的应用程序）注入动力。在这个大背景下，有几类实现模式，每一类都依赖于一套不同的工具并带来相关的安全隐患。使用预训练的 LLM（专属或开源）OpenA

6、I 和 Anthropic 等云提供商提供 API 来访问功能强大的 LLM，并由其负责管理和保护。企业可以利用这些 API 将 LLM 功能纳入自家的应用程序，不必亲自管理底层的基础设施。另外，一些开源的 LLM（如 Meta 的 LLaMa）也可以在企业自己的基础设施上运行。这提供了更多的控制和定制选项，但需要大量的计算资源和 AI 专业知识才能安全实施和维护。LLM 有多种部署模式：基于 API 的 SaaS：基础设施由 LLM 开发者（如 OpenAI）提供和管理，通过公共 API 配置。由 CSP 管理：LLM 部署在超大规模云服务商提供的基础设施上，可在 Azure、OpenAI