1、模型模型技术持续演进，交互体验有望升级技术持续演进，交互体验有望升级 西南证券研究发展中心 海外研究团队 2024年7月 AI专题专题从从模型视角看端侧模型视角看端侧AI 核心观点 基础的构建：模型实现高效压缩是端侧AI的第一步。模型尺寸变小、同时具备较好性能，是端侧AI的前提。目前，在10B参数规模以下的模型中，7B尺寸占据主流，3B及以下小模型仍在探索，部分小模型性能正逐步接近更大参数模型，如谷歌Gemini-Nano模型在部分测试基准上接近Gemini-Pro、Meta Llama-3-8B模型表现可与Llama-2-70B匹敌。模型厂商为兼顾模型尺寸与性能，在算法优化上进行积极探索，在

2、模型压缩技术、稀疏注意力机制、多头注意力变体等领域取得持续进展，帮助模型减少参数、降低存算需求，同时保持较好的性能，为端侧AI奠定小模型的基础。落地的关键：模型适配终端硬件是端侧AI的第二步。小语言模型（SLM）不完全等于端侧模型，在模型实现高效压缩后，需要进一步与手机硬件进行适配，帮助小模型装进终端。从众多小模型论文中可以发现，当前主要存在内存、功耗、算力三大硬件瓶颈。其中，苹果在其论文LLM in a flash中指出，70亿半精度参数的语言模型，完全加载进终端需要超过14GB的DRAM空间；Meta在其MobileLLM模型论文中指出，一个约有5000焦耳满电能量的iPhone，仅支持7

3、B模型在10 tokens/秒的AI生成速率下对话不足2小时。为解决以上问题，手机芯片厂商正加速推进AI芯片研发，在先进制程、内存容量及带宽、CPU和GPU性能、以及AI服务器上发力，手机品牌商也将配备更高性能的电池、散热元器件，提升整体终端硬件能力，更好地支持AI模型。体验的突破：模型助力人机交互是端侧AI的第三步。端侧模型通常能够支持用户完成AI初级任务，然而更丰富、更深度的交互体验需要UI模型、云端模型、以及系统级AI进行有力支撑。其中，UI模型可以提供手机UI界面理解的基础，云端模型能够帮助处理较为复杂的交互任务，系统级AI可以实现多种模型间的调用与协同。在AI时代下，模型的端侧意义不

4、止于类似ChatGPT的聊天机器人软件，而在于赋能手机系统和应用交互的系统级AI，其带来的交互体验将成为影响用户换机的核心。从当前的海外合作阵营来看，可分为“苹果+OpenAI”和“谷歌+高通+三星”两大阵营。未来，随着端侧模型、配套硬件、AI系统的持续发展，终端市场有望呈现更多可能。相关标的：苹果(AAPL.O)、三星电子(005930.KS)、高通(QCOM.O)、谷歌(GOOGL.O)等。风险提示：端侧AI技术进展不及预期风险；行业竞争加剧风险；应用开发不及预期风险等。1 aVbUdXcWfYaVfVdX7NcMaQoMmMoMtPlOoOpQiNoNrQ8OpOoOuOnNrPxNpO

5、mO 1 基础的构建：模型实现高效压缩是端侧AI的第一步 1.1 十亿级参数模型加速迭代，性能表现向百亿参数模型靠拢 1.2 模型压缩技术助力端侧部署，注意力优化机制降低存算需求 目 录 2 落地的关键：模型适配终端硬件是端侧AI的第二步 2.1 从小模型论文看端侧硬件瓶颈：内存/功耗/算力 2.2 从芯片厂商布局看硬件升级趋势：制程/内存/NPU/电池/散热 3.1 UI模型：手机界面理解能力提升，任务设计为人机交互奠定基础 3 体验的突破：模型助力人机交互是端侧AI第三步 3.2 系统级AI：云端模型补充交互体验，系统升级支持更多AI场景 2 GoogleGoogle MistralMis

6、tral GemmaGemma-2 2 GeminiGemini-NanoNano LlamaLlama-3.13.1 MistralMistral TPUv4,TPUv5eTPUv4,TPUv5e 算力租赁算力租赁等等 Gemma-2基于Gemma-1优化模型具体细节；Gemini-Nano致力于在终端设备上运行；GQAGQA由谷歌由谷歌创新提出创新提出 Llama追求数据上的数据上的scaling lawscaling law，Llama-3.1加入多模态/多语言/长文本/实用工具等能力；MobileLLM强调小模型的深度比深度比宽度更重要宽度更重要 欧洲LLM领先独角兽 资料来源：谷歌，