清华大学战略与安全研究中心：人工智能安全研究所国际网络会议前瞻（16页）.pdf

1、 2 202024 4 年第年第 1 1 期（总第期（总第 1111 期）期）人工智能安全研究所国际网络会议前瞻人工智能安全研究所国际网络会议前瞻 欢迎关注欢迎关注 CISS 如需订阅电子版本，请访问 CISS 网站 010-62771388 http:/ 北京市海淀区清华大学明理楼 428 室 人工智能安全研究所国际网络会议人工智能安全研究所国际网络会议前瞻前瞻 编者按：编者按：为推进人工智能与国际安全领域的相关研究，清华大学战略与安全研究中心（CISS）组织研究团队定期跟踪最新国际研究动态，重点关注人工智能应用对国际安全带来的风险挑战，并针对人工智能安全领域国际动态、智库报告、学术论文等资

2、料进行分析。本文是CISS推出的人工智能与国际安全研究动态第11期，主要分析美国举办的人工智能安全研究所国际网络会议。2024 年 11 月 21-22 日，美国将举办人工智能安全研究所国际网络（International Network of AI Safety Institutes）第一次会议，汇聚全球各地政府代表、企业高管和学术界人士，推进全球合作，促进人工智能安全、可靠和值得信赖的发展。在人工智能技术快速发展背景下，各国高度重视人工智能安全和治理问题。本次峰会将在设定议题、达成共识和形成预期成果方面引领全球人工智能治理新方向。一、峰会核心议题和动向一、峰会核心议题和动向 1.推进推进前

3、沿人工智能模型的风险评估与安全测试前沿人工智能模型的风险评估与安全测试 欢迎关注欢迎关注 CISS 如需订阅电子版本，请访问 CISS 网站 010-62771388 http:/ 北京市海淀区清华大学明理楼 428 室 前沿人工智能模型，即指在规模、性能和创新性上达到或接近当前技术极限，具备广泛适用性和高计算能力的模型。这一模型展现出惊人潜力，但其强大的能力也带来了潜在安全隐患。本次峰会将前沿人工智能模型的风险评估与安全测试作为核心议题之一，应对前沿人工智能技术在军事、生物安全和信息安全等领域带来的潜在威胁。近期不断有研究和政策强调，前沿人工智能模型可能普遍被滥用于开发生化武器、实施信息战或

4、其他恶意活动，导致严重的公共安全和国家安全风险。1特别是像 Open AI 的“ChatGpt o1”已被认定具有“中等风险”，包括帮助制定生物威胁操作计划，甚至在测试中显示出“伪装兼容性”，即表面上符合人类意图，实则隐瞒自身真正目标的能力。2 与会各方将在英国、韩国两次“人工智能安全峰会”（AI Safety Summit）会议基础上，深入探讨如何通过安全测试和风险评估机制确保这些前沿人工智能模型可控性和安全性。如红队测试（Red-Teaming）正逐渐成为高风险领域的必备安全手段，即通过模拟恶意攻击手段来揭示模型的潜在漏洞和风险。3这种测试方法不仅适用于人工智能开发初期的风险评估，也应成为

5、模型投入使用前的强制性测试手段，以确保其不会在关键领域被误用或滥用。美国和欧盟等国已将红队测试列为高风险人工智能系统的关键步骤，应对日益增长 欢迎关注欢迎关注 CISS 如需订阅电子版本，请访问 CISS 网站 010-62771388 http:/ 北京市海淀区清华大学明理楼 428 室 的人工智能安全威胁，并为未来全球技术标准制定奠定基础。4 峰会预计还将就人工智能模型在军事和生物安全等高风险领域的应用制定更严格的技术安全标准。为此，政府、技术研发机构及国际标准组织可能会合作建立一套全面的安全评估框架，涵盖风险量化、透明度标准和数据管理等关键方面。此框架旨在指导各国在推动技术创新的同时，有

6、效防控可能出现的风险，以达成技术发展与安全保障的平衡。2.探探讨讨构建人工智能安全治理的国际框架构建人工智能安全治理的国际框架 人工智能技术的跨国应用特性导致单一国家的治理手段难以全面应对潜在风险。为此，建立国际一致的人工智能治理框架已成为应对人工智能安全挑战的当务之急5。本次峰会将不仅停留在抽象原则的讨论层面，而是着重讨论具体、可操作的治理机制，推动跨国合作。主要参与方将在峰会上提出各自治理主张，其中一个重要议题是如何协调这些主张以实现一致标准。例如，会议或将推进人工智能生成内容的统一标识标准，使得人工智能生成内容能在发布时被以统一规格明确标记，便于用户辨别其来源，从而提高透明度和信任度。6