1、网 络 安 全 研 究赛迪研究院 主办2024 年 12 月 15 日总第 81 期4第期本期主题 人工智能安全趋势研究所长导读近年来，随着人工智能技术的快速迭代与深度应用，其对社会经济和日常生活的变革性影响日益显现。然而，与技术进步相伴的是日趋复杂的安全挑战。如何在推动技术创新的同时，确保人工智能系统的安全、可靠和可控，成为当前全球科技发展的核心议题。本期人工智能安全趋势研究从供应链、数据、算法、应用和伦理五个层面梳理了人工智能的安全风险，分析了高端芯片断供、数据泄露、对抗性攻击、深度伪造以及伦理困境等问题对人工智能技术发展的潜在威胁。同时，介绍了机密人工智能、联邦学习、对抗性机器学习、AI

2、GC 检测、可解释人工智能等技术解决方案，并展望了人工智能安全测评的发展方向。此外，针对我国实际情况，报告提出了完善人工智能治理体系、加快关键技术研发、推动人工智能安全标准建设以及加强公众教育等具体建议，助力我国人工智能实现安全、可持续的高质量发展。在当前人工智能技术加速融入社会经济各领域的背景下，推动人工智能安全发展不仅关乎技术本身，更是构建和谐社会、维护公平秩序的重要前提。希望本期内容能为政府部门、企业机构和社会组织提供参考和借鉴，并欢迎各界读者不吝赐教。赛迪研究院网络安全研究所所长 温晓君2024 年 12 月 15 日本期主题：人工智能安全趋势研究一、人工智能安全1（一）人工智能内生安

3、全1（二）人工智能衍生安全2二、人工智能安全风险分析2（一）供应链安全2（二）数据安全4（三）算法安全5（四）应用安全6（五）伦理安全8三、人工智能安全解决方案和技术趋势10（一）数据安全与隐私保护10（二）算法安全与模型防护13（三）人工智能生成内容检测和溯源15（四）人工智能透明度和信任构建17四、人工智能安全测评趋势21（一）人工智能安全测评标准21（二）人工智能安全测评平台和工具22（三）人工智能安全测评未来展望23目 录 目 录 CONTENTS五、促进我国人工智能安全发展的对策建议24（一）构建多层次的人工智能安全治理体系24（二）加快技术研发与自主生态建设25（三）完善人工智能安

4、全标准与测评体系26（四）加强伦理引导与公众教育27本期主题：人工智能安全趋势研究网络安全研究2024 年第 4 期1一、人工智能安全人工智能作为引领科技革命和产业变革的核心技术，已经深刻改变了社会各领域的运作模式。从 20世纪 50 年代人工智能概念的提出，到 21 世纪初机器学习的兴起，再到近几年深度学习和大模型的迅猛发展，人工智能在语音识别、图像处理、智能驾驶等多个领域取得了显著成果。尤其是 ChatGPT、Sora 等大模型的广泛应用，使得人工智能逐步渗透到人们的日常生活与工作中。然而，随着人工智能技术的普及化与复杂化，其安全问题日益凸显。一旦人工智能系统被滥用、误用或发生故障，不仅可

5、能带来经济损失，还可能对社会秩序、伦理道德乃至国家安全构成威胁。因此，全球各国逐渐将人工智能安全作为重要议题，开展相关研究与政策制定。人工智能安全可分为人工智能内生安全（AI Security）和人工智能衍生安全（AI Safety）。内生安全指的人工智能系统自身存在的脆弱性，可能导致系统运行出现问题，无法达到预设的功能目标。这往往源于新技术的不成熟，或是技术自身的天然缺陷。衍生安全则是指人工智能技术的脆弱性被利用，虽然其自身能够正常运行，但是危及其他领域的安全。这两方面共同构成了人工智能安全的核心内容，决定了人工智能技术能否在安全、可靠、可控的前提下持续健康发展。（一）人工智能内生安全人工智

6、能内生安全包括供应链安全、数据安全、算法安全三个层面。供应链安全：人工智能供应链安全是指在人工智能供应链的整个生命周期中，确保所涉及的训练框架、第三方库、操作系统、数据库、芯片、云服务等软硬件和服务的安本期主题：人工智能安全趋势研究专业就是实力 精准就是品牌网络安全研究2024 年第 4 期2全性、完整性和可靠性。数据安全：人工智能数据安全是指通过采取必要措施，确保人工智能系统使用的数据得到有效保护，并且合法、安全地被利用，同时具备持续保障数据安全状态的能力。算法安全：人工智能算法安全是指在整个人工智能系统的设计、开发、部署和使用过程中，确保算法的公正性、透明性、鲁棒性和抗攻击能力，同时采取必