施勇-AI时代企业安全战略与趋势(1).pdf

1、AI时代企业安全战略与趋势 施勇 上海交通大学 网络空间安全学院(ISC)2上海分会 主席 /上海信息网络安全管理协会 理事 CISSP/CISA/ISO27001 LA 联合国亚太训练中心 信息安全讲师 微信：shiyongshPage.2Page.2火爆全网的DeepSeek2据介绍，R1模型在技术上实现了重要突破用纯深度学习方法让AI自发涌现出推理能力，在数学、代码、自然语言推理等任务上，性能比肩OpenAl的01模型正式版，且训练成本仅为560万美元，远低于美国科技巨头的数亿美元乃至数十亿美元投入。人工智能AIGC的行业运用影视行业新闻传媒内容广告游戏行业其他行业电商行业0101060

2、60505020203030404勒索病毒是一种极具破坏性、传播性的恶意软件，主要通过多种密码算法加密用户数据，从而恐吓、胁迫、勒索用户高额赎金。一系列攻击严重影响金融、能源、交通等领域服务于生产生活的信息系统正常运转，勒索病毒对现实世界威胁加剧。根据行业相关报告显示，2022年全网遭受勒索攻击高达3583万次,与2021年相比增加了1300多万次，被索要赎金最高达到4000万美元。行业索要赎金金额零售4000万美元能源2000万美元科技文化500万美元房地产400万美元典型行业被索要金额具体数据例举网络勒索网络勒索中国企业的达摩克利斯之剑中国企业的达摩克利斯之剑大模型大模型的应用与风险的应用

3、与风险应用场景大模型在人各个行业中的应用场景：如智能招聘、简历筛选、员工培训等数据安全问题模型训练数据的质量和安全问题：避免因数据问题导致决策失误大模型自身安全问题大模型带来的自身安全问题：意识形态问题、幻觉问题、公平性问题、隐私问题、大模型供应链安全从数据采集到模型部署的安全大模型快速发展下的机遇与挑战人工智能及其所在系统在承受不利环境或意外变化时,仍能按照既定的目标运行、保持结果有效的特性。可靠性通常需要综合考虑系统的容错性、恢复性、健壮性等多个方面。可靠性透明性人工智能在设计、训练、测试、部署过程中保持可见、可控的特性,只有具备了透明性,用户才能够在必要时获取模型有关信息,包括模型结构、

4、参数、输入输出等,方可进一步实现人工智能开发过程的可审计以及可追溯。公平性人工智能模型在进行决策时,不偏向某个特定的个体或群体,也不歧视某个特定的个体或群体,平等对待不同性别、不同种族、不同文化背景的人群,保证处理结果的公正、中立,不引入偏见和歧视因素。可解释性人工智能算法模型可被人理解其运行逻辑的特性。具备可解释性的人工智能,其计算过程中使用的数据、算法、参数和逻辑等对输出结果的影响能够被人类理解,使人工智能更易于被人类管控、更容易被社会接受。隐私性人工智能在开发与运行的过程中实现了保护隐私的特性,包括对个人信息和个人隐私的保护、对商业秘密的保护等。人工智能安全属性人工智能安全风险分析模型和

5、数据成为核心资产,安全保护难度提升网络意识形态安全面临新风险用户数据用于训练,放大隐私信息泄露风险可靠性问题仍然制约人工智能关键领域应用滥用误用人工智能,扰乱生产生活安全秩序算法模型日趋复杂,可解释性目标难实现人工智能模型面临的攻击人工智能模型面临的攻击1.模型窃取攻击2.数据窃取攻击3.提示攻击4.数据投毒5.对抗攻击6.后门攻击7.快速注入攻击8.深度伪造和其他骗局9.人工智能生成的恶意软件和漏洞发现人工智能大模型安全检测及保护关键技术人工智能大模型安全检测及保护关键技术1.检测与过滤技术2.数据溯源与鉴定技术3.数据清洗技术4.蒸馏防御技术5.网络认证技术6.对抗训练7.复合防御技术从“

6、散装攻击”到“定向攻击”的转型从“单一平台”到“多种平台”的扩展从“加密数据”到“四重勒索”的改变从“早期加密”到“环境感知”的技术黑产首先会以产业链的形态对黑产首先会以产业链的形态对AIAI加以加以利用利用早期加密技早期加密技术术单一加密数单一加密数据据窃取数据窃取数据加密数据加密数据DDOSDDOS攻击攻击勒索受害人勒索受害人进行无差别攻击WindowsWindows系统系统WindowsWindowsLinuxLinuxmacOSmacOSVmwareVmware金融、医疗、制造、教育和能源等关键行业成为主要目标，这些行业的数据通常极为重要。中小型