1、DataFunCon#2023多模态预训练模型在OPPO端云场景的落地实践陈宸-OPPO研究院-高级算法工程师Contents目录端侧图文检索技术研究图文生成&理解模型的应用优化文图生成模型的端侧轻量化80387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241

2、2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-29端侧图文检索技术研究80387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-

3、11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-29query1:和女朋友去迪士尼query2:山顶婚纱照一句

4、话搜索的意义：一句话搜索的意义：用户体验：真正解决用户想什么就能搜什么想什么就能搜什么的痛点，“智慧搜图，搜你所想”。依托于大模型预训练大模型预训练技术技术，不再依赖于标签不再依赖于标签的迭代和扩展的迭代和扩展https:/ CLIPCLIP（OpenAIOpenAI）的图文理解能）的图文理解能力力。其二，高效搜索速度高效搜索速度。相比动辄翻上十几分钟半个小时的相册，现在无论从桌面下拉智慧搜索、打开相册、或是用语音助手，都只需要一句话就能搜到想要的图片，系统级地提升了找信息的效率。因此因此如何实现大模型在端侧的轻量化部署有重大的意义如何实现大模型在端侧的轻量化部署有重大的意义。大模型轻量化端侧

5、技术落地的难点：大模型轻量化端侧技术落地的难点：1.压缩多模态大模型并确保精度确保精度。这并非简单用剪枝或量化等方法，直接压缩几倍模型大小就能搞定。毕竟对于端侧而言，算力有限的情况下，能部署的模型大小是往往只能达到大模型大模型的几十分之一的几十分之一。2.与算法模型升级相对应的，需要在端侧实现一个性能鲁棒的向量检索引擎，保证大模型下端向量检索引擎，保证大模型下端的工程性能的工程性能80387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023

6、-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-2980387241 2023-11-29端侧图文检索技术研究算法优化CLIP双塔模型ALBEF单流模型单双流多教师蒸馏架构损失函数检索引擎的计算分位两部分：1.离线部分：扫描相册所有图片，通过图片编码器将所有图片转成向量；并经过fp16量化存储成N