1、AIAI前沿系列（一）：混合专家模型技术（前沿系列（一）：混合专家模型技术（MoEMoE）证券研究报告证券研究报告 行业动态报告行业动态报告发布日期：2023年8月18日本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况下，本报告亦可能由中信建投（国际）证券有限公司在香港提供。同时请参阅最后一页的重要声明。分析师：于芳博分析师：于芳博SAC编号：S1440522030001分析师：金戈分析师：金戈SAC编号：S1440517110001SFC 中央编号：BPD352分析师：分析师：阎贵成阎贵成SAC编号：S144051804

2、0002SFC编号：BNS315 核心观点：核心观点：混合专家模型技术混合专家模型技术(MoE)是由专家模型和门控模型组成稀疏门控制的深度学习技术。是由专家模型和门控模型组成稀疏门控制的深度学习技术。MoE通过门控网络实现任务通过门控网络实现任务/训练数据在训练数据在不同专家模型间的分配，让每个模型专注处理其最擅长的任务，进而实现模型的稀疏性。随着大模型参数量的持续提升，不同专家模型间的分配，让每个模型专注处理其最擅长的任务，进而实现模型的稀疏性。随着大模型参数量的持续提升，MoE在提升计在提升计算效率方面展现出强大的能力。同时，近年来算效率方面展现出强大的能力。同时，近年来MoE逐渐与不同领

3、域的模型相结合，包括自然语言、图像、推荐系统、多模态等，并展现逐渐与不同领域的模型相结合，包括自然语言、图像、推荐系统、多模态等，并展现出优秀的性能。后续出优秀的性能。后续MoE技术将在提升训练及推理效率、优化模型性能和边缘技术将在提升训练及推理效率、优化模型性能和边缘&端侧端侧AI应用等方面发挥重要作用，应用等方面发挥重要作用，建议关注相关研究进建议关注相关研究进展。展。混合专家模型技术混合专家模型技术(MoE)让模型具有稀疏性，进而提高模型计算效率。让模型具有稀疏性，进而提高模型计算效率。在传统的密集模型中，输入的内容要在整个模型中进行计算，而MoE 通过门控模型将输入内容分配至一个或多个

4、专家模型，保证在单次处理中只有少数专家模型被激活或使用，而大部分专家模型处于未被激活状态，从而实现模型的稀疏性。这一性质大幅提高了模型的计算效率，例如Switch Transformer的训练速度最高可以达到T5模型（参数量相近情况下）的7倍，而V-MoE相较于ViT模型，达到相同性能的情况下节省了2.5倍的算力消耗。混合专家模型混合专家模型(MoE)技术技术目前在多个目前在多个AI细分领域中有所应用，性能提升显著。细分领域中有所应用，性能提升显著。近年来随着MoE技术的不断突破，其在自然语言处理、计算机视觉、多模态、推荐系统等丰富场景中有所应用。相较于密集模型而言，稀疏的MoE模型在性能和计

5、算效率上都有显著提升，例如NLP领域的GLaM模型在零样本、单样本和少样本学习任务上相较于GPT-3分别实现了平均10.2%、6.3%和4.4%的性能提升，多模态领域的LIMoE在零样本、少样本的图像分类任务中的绝对平均性能相较于CLIP分别实现了10.1和12.2%的提升。展望未来，混合专家模型展望未来，混合专家模型(MoE)技术将成为技术将成为AI技术革新和技术革新和AI应用落地的强大推动力。应用落地的强大推动力。AI技术革新方面，MoE技术将从计算效率、模型性能和模型可解释性方面提供发展助力，相关论文发表数量呈现明显上升趋势；AI应用落地方面，MoE将推动训练门槛降低、更新迭代速度加快、

6、推理速度加快、推理算力需求降低、应用领域拓展等方面的进度，相关科技巨头都已对这一技术展开布局，相关应用领域如机器人、计算机视觉等将加速发展。核心观点 BUiZqWjXjW8ZtRtRnO9PcM7NsQnNnPsRkPmMvNiNmOoP9PnMmMNZpNsOuOsRtR目录一、混合专家模型（一、混合专家模型（MoEMoE）介绍）介绍二、二、MoEMoE技术在不同领域中的应用技术在不同领域中的应用三、三、MoEMoE最新研究进程及未来展望最新研究进程及未来展望 1.1 混合专家模型（MoE）发展历程资料来源：Web of science，Google scholar，中信建投19901990