初佳明-DeepSeek R1技术复现和大模型的治理与安全.pdf

1、ML-SummitML-Summitwww.cpp-www.ml-summit.orgwww.gosim.orgwww.pm-summit.orgML-SummitML-SummitML-SummitML-SummitML-SummitML-Summit初初佳佳明明 北北京京邮邮电电大大学学博博士士生生，T Te el le eA AI I研研究究院院A AI I治治理理实实习习生生北京邮电大学电子工程学院博士在读。研究方向聚焦于无训练的可控图像编辑生成和 AI 图像鉴伪。论文被ACM MM、IEEE TIP等CCF-A会议期刊收录，在 CVPR2022 SoccerNet workshop

2、竞赛中的Replay Grounding Track夺冠。具有大语言模型垂类领域微调经验，对信号处理、图像处理、表征学习、自然语言处理和提示词工程都有较深的研究经验。目前在中国电信人工智能实验室多媒体认知学习实验室做实习生，研究方向目前涉及镜头可控的视频生成、生成图像鉴伪和AI治理。演演讲讲主主题题：D De ee ep pS Se ee ek k R R1 1技技术术复复现现和和大大模模型型的的治治理理与与安安全全ML-SummitML-Summit2 20 02 25 5 全球机器学习技术大会D De ee ep pS Se ee ek k R R1 1技技术术复复现现和和大大模模型型的的

3、治治理理与与安安全全初佳明TeleAI of China Telecom中国电信人工智能研究院EVOL LabML-SummitML-Summit目目录录DeepSeek-R1 技术复现及分析针对大语言模型的红队攻击AI的安全与治理ML-SummitML-SummitDeepSeek-R1 技术复现ML-SummitML-Summit通通用用模模型型：DeepSeek LLM(V1):Scaling Open-Source Language Models with Longtermism（2024.1.5）D De ee ep pS Se ee ek k L LL LMM包包含含7 7B B&

4、6 67 7B B参参数数(D De en ns se e)，从零开始在一个包包含含2 2万万亿亿t to ok ke en n的的数数据据集集上上进进行行了了训训练练，数据集涵盖中英文。参与研发人员（作者）8 86 6人人DeepSeek-V2:A Strong,Economical,and Efficient Mixture-of-Experts Language Model（2024.5.7）D De ee ep pS Se ee ek k-V V2 2是是一一个个混混合合专专家家（MMo oE E）语语言言模模型型，它它包包含含2 23 36 60 0亿亿个个总总参参数数，其其中中每每

5、个个t to ok ke en n激激活活2 21 10 0亿亿个个参参数数，在在8 8.1 1万万亿亿t to ok ke en ns s语语料料库库上上进进行行了了预预训训练练。与DeepSeek 67B相比，DeepSeek-V2不仅实现了更强的性能，同时还节省了42.5%的训练成本，将KV缓存减少了93.3%，并将最大生成吞吐量提升至5.76倍。参与研发人员（作者）1 15 56 6人人DeepSeek-V3:A Breakthrough in Inference Speed and Performance（2024.12.26）D De ee ep pS Se ee ek k-V V

6、3 3是是一一个个强强大大的的混混合合专专家家（MMo oE E）语语言言模模型型，总总参参数数为为6 67 71 10 0亿亿，每每个个t to ok ke en n激激活活3 37 70 0亿亿参参数数，基基于于 1 14 4.8 8T T t to ok ke en ns s 训训练练。为了实现高效的推理和经济高效的训练，DeepSeek-V3采用了多头潜在注意力（MLA）和DeepSeek MoE架构。参与研发人员（作者）2 20 00 0人人专专用用模模型型：DeepSeekMath:Pushing the Limits of Mathematical Reasoning in Op