扬州市科学技术局：2023年人工智能大语言模型GPT带来的影响与机遇挑战（8页）.pdf

1、 1 2023 年第年第 5 期（总第期（总第 343 期）期）主办主办:扬州市科学技术局扬州市科学技术局 承办承办:扬州市科学技术情报研究所扬州市科学技术情报研究所 2023 年年 3 月月 21 日日 领导批示：领导批示：摘要：摘要：以 GPT-4 和 ChatGPT 为代表的人工智能大型语言模型和产品带来了深刻的生产力变革，正在迅速催生全新的科技革命系统、格局与生态。为推动扬州人工智能产业高质量发展，市科技情报所开展了专题调研。本文主要介绍了 GPT 模型的概念、发展路径、重大突破、局限性与风险，研究其可能带来的技术、产业和社会变革，并从国家产业规划、地方新赛道培育、产业发展水平与瓶颈等

2、方面分析和总结了我国大语言模型面临的机遇与挑战，供参考。人工智能大语言模型（GPT）带来的影响与机遇挑战 2 一、相关背景 1、GPT 大型语言模型（即生成型预训练转化模型）：是美国人工智能研究实验室 OpenAI 开发的一种自然语言处理（NLP）模型。该模型使用多层变换器（Transformer）预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本。OpenAI 从 2018 年 6 月推出第一代 GPT 模型开始，已快速迭代出 GPT-2、GPT-3、InstructGPT(GPT-3.5)。今年 3 月 15 日推出的最新“升级版本”GPT-4 模型，已

3、迭代升级成多模态大型语言模型。2、ChatGPT：是基于 GPT-3.5 模型研发的“现象级”聊天机器人程序。它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能创造或生成全新的、有意义甚至具备美感的内容，比如写诗、撰写文案、设计产品、制作游戏与编写程序代码等。它自 2022 年 11 月推出，仅两个月其活用户已突破 1 亿，成为史上用户增长速度最快的消费级应用程序。而仅过了 3个多月，以最新的 GPT-4 大模型为技术底座的新型聊天机器人，不仅文本输入能力跃升至 2.5 万字，还新增了识图能力，逻辑推理更强，在一些学术和专业基准上具备“人类

4、水平的表现”，远超其前任 ChatGPT。3、GPT 技术的发展路径与技术支撑。GPT 大语言模型在技术路径上采用的是“大数据+大算力+强算法=大模型”路线，并在“基础大模型+指令微调”方向探索出新范式，其中基础大模型类似大脑，指令微调是交互训练，两者结合实现逼 3 近人类的语言智能。ChatGPT 使用了模拟人脑的独特算法Transformer 和基于人类反馈的强化学习方法，提高了对话的质量；模型参数超过 1750 亿，用了 45TB 的数据、近 1 万亿个单词（相当于 1351 万本牛津词典）来训练模型；其总算力消耗约为 3640PF-days（即假如每秒计算一千万亿次，需要计算 3640

5、 天）。4、GPT 技术的四个重大突破。（1）能够精准理解提问意图，并在深度理解语境的基础上做出符合一定智力水平的回复，特别是能够生成符合逻辑、具备知识或常识，且多样化的长文本。（2）能够开展多轮对话，特别是超过十轮以上的连续对话，机器需要具备记忆和主题管理的能力。（3）能够初步像人一样学习、思考、推理和决策。（4）为通用人工智能建立雏形，相较于普通人工智能特定或单一任务的完成能力，ChatGPT 可以完成聊天、写论文、做文案、写邮件等不同的复杂任务。5、GPT 技术的局限性和风险 局限性：局限性：（1）知识范畴存在时间限制。受制于模型训练方式，数据难以实时更新，目前截止于 2021 年 9

6、月。（2）仍会编造事实，并进行错误的推理。（3）存在社会偏见（种族、性别和宗教偏见等）和对抗性提示。风险：风险：（1）“技术+资本”的垄断风险。OpenAI 开发和运营 GPT 模型所需的极其昂贵的数据资源和云计算能力高度依赖微软、英伟达，存在被科技巨头垄断数据、算法及技术要素资源的风险。（2）数据安全风险。包含用户隐私以及 4 用户对话的数据可能会被 OpenAI 采集并存储在其数据中心，涉及数据安全、国家安全、行业安全及个人安全等。（3）知识产权侵权风险。即模型在向用户提供回复时可能过度借鉴他人的作品，从而引起侵权纠纷。（4）可能给出犯罪建议。（5）拥有“看似合理地表达错误事情”的能力，可