1、中文大模型基准测评报告，中文大模型基准测评报告，20232023 2023.11.28 ChatGPTChatGPT发布一周年，中文大模型进展评估发布一周年，中文大模型进展评估目 录目 录0101 国内大模型关键进展国内大模型关键进展 测评体系、方法说明测评体系、方法说明2023年大模型关键进展2023年值得关注的中文大模型全景图中文大模型基准SuperCLUE介绍测评体系、层次、方法说明 大模型测评结果大模型测评结果SuperCLUE模型象限国内外大模型差距国内大模型竞争格局大模型对战胜率分布图四大维度测评结果及示例 优秀模型案例介绍优秀模型案例介绍优秀模型案例介绍020203030404第

2、1部分 国内大模型关键进展国内大模型关键进展5（关键进展）时间准备期准备期成长期成长期爆发爆发期期自2022年11月30日ChatGPT发布以来，AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮。国内学术和产业界在过去一年也有了实质性的突破。大致可以分为三个阶段，即准备期（ChatGPT发布后国内产学研迅速形成大模型共识）、成长期（国内大模型数量和质量开始逐渐增长）、爆发期（各行各业开 源闭源大模型层出不穷，形成百模大战的竞争态势）。故事的起点：故事的起点：ChatGPTChatGPT发布发布国内迅速形成大模型共识国内迅速形成大模型共识百度发布文心一言1.0 2023大模型关键进展2

3、022.122月6月8月10月2023.114月OpenAIOpenAI发布发布GPT4GPT4复旦开源MOSS元语开源ChatYuan清华开源ChatGLM360发布360智脑1.0科大讯飞发布星火1.0阿里云发布通义千问1.0MetaMeta开源开源Llama2Llama2百川智能开源Baichuan-7BOpenAIOpenAI发布多模态发布多模态GPT-4VGPT-4VGPT-4 TurboGPT-4 Turbo发布发布百度升级文心一言4.0商汤科技发布商量1.0阿里云开源Qwen-7B华为发布盘古3.0字节跳动公测大模型产品豆包百川智能开源Baichuan2vivo发布BlueLM清

4、华开源ChatGLM3清华&智谱AI开源ChatGLM2小米发布大模型MiLM西湖心辰发布西湖大模型零一万物开源Yi-34B文心一言升级V3.5科大讯飞升级星火3.0元象科技开源XVERSE-13B昆仑万维发布天工1.0云从科技发布从容大模型出门问问发布序列猴子上海人工智能实验室开源InternLM-20BOPPO发布AndesGPT商汤科技升级商量2.0商汤科技升级商量3.0理想汽车发布MindGPT深言科技开源 LingoWhale-8B腾讯发布混元助手360升级智脑4.0SuperCLUE：AI大模型2023年关键进展百川智能发布Baichuan2-192K2023年值得关注的中文大模型

5、全景图通通用用大大模模型型字节云雀大模型字节云雀大模型AndesGPTAndesGPT玉言闭闭源源开开源源行行业业大大模模型型岐黄问道医疗医疗MindGPTMindGPT银河大模型蚂蚁金融大模型轩辕大模型AInno-15BCOSMO-GPTCOSMO-GPTSMore LrMo妙笔大模型妙笔大模型文化文化/零售零售/交通交通百川百川BaichuanBaichuanBlueLMBlueLM云天书云天书孟子孟子部分部分领域领域汽车汽车教育教育金融金融工业工业.Yi-34BYi-34B序列猴子序列猴子第2部分 测评体系、方法说明测评体系、方法说明0102030405不同于传统测评针对于学术能力的测评

6、，SuperCLUE考察通用大模型在语言理解与生成、专业技能与知识、安全性和工具使用的四大能力、十大维度的上百个任务上的效果。多维度多层次的反应大模型通用能力。多维度中 文 语 言 理 解 测 评 基 准中 文 语 言 理 解 测 评 基 准 C L U E（T h e C h i n e s e L a n g u a g e Understanding Evaluation）是致力于科学、客观、中立的语言模型评测基准，发起于2019年。陆续推出CLUE、FewCLUE、KgCLUE、DataCLUE等广为引用的测评基准。SuperCLUE是大模型时代CLUE基准的发展和延续。聚焦于通用大模