李志伟-端侧大模型的安全建设：如何在算力与保障之间找到平衡.pdf

1、李志伟目录VS模型训练方式：数据中心或云端模型推理方式：服务器或云端参数量：多为百亿/千级别模型训练方式：云端模型推理方式：端侧参数量：多为十亿级别端侧大模型AI大模型82131476179030609020232024E2025E2026E2027E2028E市场规模单位:亿数据来源：【头豹研究院】2024年中国端侧大模型行业研究预估未来4年，端侧大模型市场每年会以4050%的增长率保持快速增长。OWASP首次发布大模型的TOP10脆弱性风险不断提出请求，直到模型执行危险的命令拒绝遏制(Refusal Suppression)输入中嵌入恶意代码片段，执行危险指令代码攻击(Code Attac

2、k)提供正反两面输入，使模型产生混淆/偏误正负对比(Pos-Neg Contrast)输入中插入特殊指令，改变模型行为指令注入(Instruction Injection)输入之前添加特定指令/文本改变模型行为前缀注入（Prefix Injection）基于多轮对话的机制诱导模型风险输出多轮越狱(Many-shot Jailbreak)向模型提供提供误导性输入，改变模型行为生成式反事实引导(GCG)通过建立信任关系，让模型泄漏敏感信息邪恶密友（Evil Confidant）多种攻击手段结合使用，以绕过安全策略组合攻击(combo attacks)-参数/结构可被逆向工程提取；攻击者获得完整模型

3、后，可分析训练数据特征、复制模型架构-无云端级防火墙/入侵检测等防护能力-只能依赖终端操作系统的基础防护-模型压缩（量化/剪枝）导致决策边界扭曲-压缩模型对输入扰动敏感-运行时内存/缓存中遗留敏感信息，容易泄漏-多应用间数据交叉污染企业用户平台难企业用户平台性能稳定性准召率软硬件适配模型加载目标按需加载/释放模型加载并完成初始化（平均值）推理时间（平均值）CPU/NPU占用率（IDEL）物理存储占用内存占用功耗运行电流重复load/unload(每千次)持续运算（每万次输入）72小时运行识别准确性X86ARM内存支持=800ms200ms3%500M 400M95%支持违规日志能否上报离线用户

4、能否封禁突发事件能否处置备案测试场景化+离线沙盒监管部门针对端侧大模型的备案审查、与常态化管理过程中，核心关注如下问题：端侧离线模型的应急处置方案云端控制台词库管理知识库管理拦截策略管理封禁阈值模型阈值违规日志解析干预文件基础配置主动推送定期拉取终端设备本地基座大模型安全SDK加载更新文件并执行智能回复辅助撰写图片处理个人助理离线x天禁用AI功能支持紧急情况一键禁用定期同步干预策略端侧场景在日常运营时，因无法像云端方案用户完整的用户日志做例行巡检，因此建立常态化/自动化的评测评测数据集围绕Agent场景制定场景化KDES 互联网黑词挖掘对抗性构建仿写大模型快速扩展多样性毒性增强技术毒性评测报告

5、A1-A5分类风险指数风险详情内容安全优化建议复合风险评测体系基础安全评测集高级攻击生成系统高级攻击评测集评测标注裁判大模型分类模型人工标注待测评终端大模型Prompt模型回复端侧丰富的应用场景，在基础的评测数据集之上，建立针对AI应用场景的评测方案评测数据集围绕Agent场景制定场景化KDES 互联网黑词挖掘对抗性构建仿写大模型快速扩展多样性毒性增强技术毒性评测报告A1-A5分类风险指数风险详情内容安全优化建议复合风险评测体系基础安全评测集高级攻击生成系统高级攻击评测集评测标注裁判大模型分类模型人工标注待测评终端大模型Prompt模型回复构建仿写大模型、与毒性增强的技术，快速围绕各种主题场景构建测试题集，解决端侧评测数据集构建问题构建裁判大模型，以高度自动化、和高度准确率的要求建立评测结果标注系统，进一步降低评测成本/1.2.“”“”3.4.“”1.“”“”“”“”2.“”3.“”“”1.“”2.QA3裁判大模型标注构建裁判大模型，以高度自动化、和高度准确率的要求建立评测结果标注系统，进一步降低评测成本1959196599QA裁判大模型标注支持CPU/GPU/NPU运行：内存占用400M1024MB多种规格可选；可同时支持文本、图片审核大模型正在重新定义软件Large Language Model Is Redefining T