高翠芸-代码大模型的安全问题-终端用户与模型供应商的双重视角.pdf

1、代码大模型的安全问题-终端用户与模型供应商的双重视角高翠芸 哈尔滨工业大学（深圳）演讲嘉宾高翠芸哈尔滨工业大学（深圳校区）计算机科学与技术学院副教授，博导，哈工大青年拔尖人才。主要研究方向为智能化软件工程、软件可靠性、软件安全。近年来在TSE、TOSEM、ICSE、FSE、ASE等会议和期刊上发表论文60余篇，是多个顶级会议如FSE、ISSTA、ASE等的评审委员会成员。荣获ASE2023杰出论文奖和其Industry Challenge Track杰出论文奖、指导学生获得ACAIT2022最佳学生论文奖，授权发明专利10余项。目 录CONTENTS1.大模型的发展2.代码大模型数据窃取的可能

2、性3.代码大模型数据水印保护方案4.总结与展望大模型的发展PART 01大模型的发展Zhao,Wayne Xin,et al.A survey of large language models.arXiv preprint arXiv:2303.18223(2023).GPT系列模型使用生成式预训练任务来从大规模无标注的数据中学习到通用知识，并通过instruction-tuning和RLHF进一步提升其理解和生成能力。Instruction-tuning 可以让模型更好地理解自然语言所编写的指令，生成更加符合指令要求的应答；RLHF(Reinforcement Learning from H

3、uman Feedback)有助于将模型生成的内容和人类的回复对齐，并降低模型生成有害内容的概率。大模型的发展目前大多数流行的LLM都使用了decoder-only的架构，并遵循GPT系列模型的生成式训练策略。同样，这些LLM也可以通过Instruction-tuning和RLHF来提升其理解和生成能力，并常常用作聊天模型。https:/crfm.stanford.edu/2023/03/13/alpaca.htmlChatGLMVicuna代码大模型百花齐放CodeX(Github Copilot背后模型)的成功验证了LLM可以通过在大量代码数据集上继续训练的方式成为具有代码能力的模型。为了

4、充分发挥代码数据的作用，一些为代码任务设计的特定预训练任务代码任务设计的特定预训练任务在后续工作中被陆续提出。模型发布时间规模(B)预训练数据规模CodeX2021.072.5/12100B tokensAlphaCode2022.0241967B tokensCodeGen2022.032.7/6.1/16577B tokensPanGu-Coder2022.072.6147GBCodeGeeX2022.0913850B tokensStarCoder2023.0515.51 T tokensCodeGen22023.053.7/7/16400B tokensCodeT5+2023.052/

5、6/1651.5B tokensWizardCoder2023.0615-CodeLLaMa2023.087/13/34500B tokens大模型的安全问题大模型内容和人生成内容的鉴别问题大模型内容和人生成内容的鉴别问题大语言模型可以生成高度逼真的高质量文本内容，难以与人工生成的内容区分。而这可能使得大语言模型被用于诈骗、造谣、冒充诈骗、造谣、冒充等问题训练隐私数据泄露问题训练隐私数据泄露问题大语言模型的训练需要使用大量的数据，这些数据可能包含个人隐私信息。这些隐私数据存在泄露和被窃泄露和被窃取取的风险。有毒性和有毒性和公平公平性问题性问题大语言模型可能学习到不良的行为和价值观，例如歧视、仇

6、恨言论等。同时大模型还可能存在歧视性别、种族、年龄等方面的偏差偏差大模型的安全性大模型内容鉴别隐私数据泄露有毒性公平性大模型的安全问题大模型内容和人生成内容的鉴别问题大模型内容和人生成内容的鉴别问题大语言模型可以生成高度逼真的高质量文本内容，难以与人工生成的内容区分。而这可能使得大语言模型被用于诈骗、造谣、冒充诈骗、造谣、冒充等问题训练隐私数据泄露问题训练隐私数据泄露问题大语言模型的训练需要使用大量的数据，这些数据可能包含个人隐私信息。这些隐私数据存在泄露和被窃泄露和被窃取取的风险。有毒性和有毒性和公平公平性问题性问题大语言模型可能学习到不良的行为和价值观，例如歧视、仇恨言论等。同时大模型还可