上海人工智能实验室：大模型时代生成式AI发展与科技创新范式（24页）.pdf

1、大模型时代：生成式AI发展与科技创新范式2个人学术专著黑镜与秩序2022年7月清华大学出版社正式出版，十余位公共管理、法学、计算机、经济金融的跨领域领军学者推荐智能经济：用数字经济学思维理解世界国内首部数字经济领域的技术思想专著数字经济学重大学术影响专著，数字经济学学科的开拓之作AI与区块链智能2019年12月正式发布，国内首部讨论AI与区块链产业融合的教育部高等教育教材测算与判断：人工智能的终极未来作为中文版本唯一译者进行了全文翻译工作，于2022年8月中信出版社正式出版Principles of Digital Econnomics第一本全英文数字经济学的学术理论专著，由Springer

2、Nature出版并单独成系列人工智能科学家，现为上海人工智能实验室应用研究部高级研究员，上海交大安泰AI与营销研究中心特聘研究员，国家人工智能标准总体组专家，AIIA联盟可信AI 专家委员会委员，上海开源信息技术协会AI伦理与治理专委会主任，上海人工智能技术协会专家委员。主要研究领域包括人工智能、智能经济以及数字经济学等。刘志毅人工智能科学家ChatGPT的成功源于NLP领域70年发展的长期积累NLP领域的发展为大语言模型（Foundation Models）提供了坚实的基础。Gary Marcus现代机器人之父纽约大学教授LecunMeta AI的负责人图灵奖得主LeCun指出：ChatGP

3、T本质上是一种大语言模型，并指出：“大型语言模型其实是一条邪路”。就基础技术而言，ChatGPT并不是特别有创新性，这不是什么革命性的东西。Yann LeCun和Gary Marcus对此达成了空前一致。NLP 70年发展符号NLP1950年代-1990年代40年第一个聊天机器人（PARRY）的诞生早期大多数自然语言处理系统都基于复杂的手写规则集。给出一组规则，计算机通过将这些规则应用于它所面临的数据来模拟NLP任务。统计NLP1990年代-2010年代20年机器翻译领域得到了很大的进步随着用于语言处理的机器学习算法的引入，机器学习范式要求使用统计推理，通过对典型的真实世界的例子的大型语料库的

4、分析，自动学习这些规则。神经NLP2010年代至今10年+多样化的机器学习任务得到了发展，如VQA等表征学习和深度神经网络（CNN、RNN、Transformer）的机器学习方法得到广泛应用。通常使用词嵌入捕获单词的语义属性，并增加高级NLP任务的端到端学习。视觉问答 Visual Question Answering图像标注Image captioningCaptioning ModelA happy dog is standing on the road语法纠正Grammatical Error CorrectionThere were lot of sheep.There were a

5、lot of sheep.ChatGPT的发展历程 ChatGPT在海量的文本数据上进行了预训练，可以对自然语言输入产生类似人类的回答。ChatGPT其核心是建立在GPT模型（Generative Pre-trained Transformer）的发展基础之上。GPTGPT-2GPT-3lnstructGPTChat-GPT2018年OpenAl推出初代GPT模型，该模型的核心是Transformer结构,其参数量达到1.17亿。GPT-1采取预训练+下游任务微调两个阶段学习，在BookCorpus数据集(5G)上进行训练，再通过特定下游任务来微调和推广模型。2019年GPT-2是在WebTe

6、xt数据集(40GB)上训练的，有超过15亿个参数。GPT-2在GPT-1的甚础上，采用预训练+零样本(Zero Shot)设定下游任务，即不进行训练或微调，其在阅读理解、翻译、问答等任务时表现出强大的性能。2020年GPT-3拥有1750亿个参数。它在“Common Crawl”等数据集(45TB)进行训练。GPT-3在GPT-2的基础上，采用预训练+少样本(Few-shot)设定下游任务的学习方式，可以执行编写代码片段，生成类似人类的文本。2022年InstructGPT具有1300亿参数，它在GPT-3的基础上采用预训练+人类反馈的强化学习(RLHF)的学习方式。比GPT-3更擅长遵循指