王金桥-多模态大模型驱动新一代技术变革.pdf

1、多模态大模型驱动新一代技术变革演讲人 王金桥演讲嘉宾王金桥 中科院自动化研究所紫东太初多模态中心常务副主任中国科学院自动化研究所副总工程师，紫东太初多模态中心常务副主任，研究员，博导，武汉人工智能研究院院长，中国科学院大学人工智能学院岗位教授，多模态人工智能产业联盟秘书长，中国技术创业协会技术创新工作委员会副理事长，获北京市高聚领军人才、广州市创新团队领军人才、山东省泰山领军人才等称号。共发表包括IEEE国际权威期刊和顶级会议论文300余篇，国际期刊50余篇，国际会议220余篇。完成国家标准提案3项，发明专利36项，10项国际视觉算法竞赛冠军，北京市科技进步一等奖，吴文俊人工智能科技进步奖，中

2、国发明创新银奖，世界人工智能大会SAIL（卓越引领者）奖等。大模型开启人工智能新一代技术革命“大算力+大数据+大模型”标志着通用人工智能技术产品化的来临，成为产业化分水岭，将实现对劳动力、资本等生产要素的智能替代和功能倍增，促进全要素生产率的提高。增长速度最快重塑办公模式全程自动设计AIGC机器替人.开放环境、复杂场景、不同应用技术功能需求不断增多计算智能感知智能认知智能？智能形态水平持续深入二进制图像用户界面意图解析人机交互越来越智能国内外大模型井喷式爆发（语言模型为主）通过自监督+学习条件下实现“大数据+大模型”方式，引发人工智能发展新浪潮。悟道文源-参数26亿悟道文汇-参数113亿文本：

3、2TBBAAI 2021.03悟道2.0参数:1.75万亿文本:3TB图文:90TBBAAI 2021.06Switch Transformer参数:1.6万亿Google Brain 2021.01BERT参数：3.4亿文本:13GGoogleAI20004000数据量（GB）GPT参数:1.1亿文本:5.7GOpenAI2018.07GPT-2参数:15亿文本:40GOpenAI 2019.02MT-DNN参数:3.3亿微软2019.03GPT-3参数:1750亿文本:45TB-570GOpenAI2020.06XLNet参数:140GCMU2020.01盘古参数:2000亿文本:1.1T

4、B华为云2021.041TB =1024GB1GB =1024MB1MB=1024KB1KB =1024B300010000知识增强文心大模型参数:2600亿数据:海量无监督文本鹏城/百度 2021.12源1.0模型参数:2457亿文本:约5T浪潮 2021.10紫东太初1.0参数:1000亿图文音:50TB中科院自动化所,2021.07Florence模型参数:6.37亿图文:9亿对微软 2021.11产业界：Google、微软、OpenAI、阿里、百度、华为等学术界：智源、中科院自动化所、上海人工智能实验室、清华大学等DALLE-参数120亿图文：4亿对OpenAI 2021.01Stab

5、leDiffusion模型参数:14.5亿图文:58.5亿对StabilityAI 2022.4GPT-4模型参数:1估计00亿数据：未知StabilityAI 2023.3ChatGPT资源投入资料来源：OpenAI官网，N ChatGPT在数据、算力、资金、人才投入巨大。由OpenAI主导，微软Azure云、Johns Hopkins University深度参与，其他单位部分参与或员工跳槽带来的技术外溢。资源名称投入情况数据来自互联网、书籍或维基百科的45TB文本数据（近1万亿个单词来训练它，即大约1,351 万本牛津词典）和179GB的代码算力GPT-3训练一次需要460万美元，Cha

6、tGPT增加了代码数据，训练成本更高人员375名员工，大部分是世界级顶尖人才。另有数据外包人员几千人和40人专家级标注人员。资金OpenAI成立时投入10亿美元，2019年微软又投入了10亿美元，2023年后微软继续投入几百亿美元。根据美国财富报道，OpenAI 2022年净亏损5.45亿美元。ChatGPT生成一条问答成本为1.3美分左右，按照月活用户1亿，每个平均20条，算力运营费将达到1千万美元左右/月合作单位由OpenAI主导，微软深度参与，其他单位辅助或部分人员跳槽到其他单位，包括Johns Hopkins University、Anthropic、Alignment Researc