迈向实用化多模态大模型-姚远.pdf

1、迈向实用化多模态大模型清华大学/姚远大模型成为人工智能前沿制高点 多模态大模型的能力突破，成为大模型前沿发展的新趋势和焦点 极大拓展大模型能力边界和应用场景，智能跃迁的下一个关键引擎主要特点基于大数据和人类反馈进行学习，与用户通过对话进行交互，能够处理多模态信息及多种任务，深层推理与常识运用能力大幅度提升2022/11/30:OpenAI 发布文本对话模型 ChatGPT2023/03/15:OpenAI 发布多模态对话模型 GPT-42023/09/20:OpenAI 发布文生图模型 DALLE 32023/09/25:ChatGPT 全面整合多模态能力2023/12/06:Google 发

2、布多模态模型 Gemini2024/03/04:Anthropic发布多模态模型 Claude 3里程碑事件多模态能力通常 70亿-550亿 参数量需要高性能服务器部署服务用户需上传隐私使用数据参数多，成本高参数多，成本高模型回复与图像内容不符开源模型幻觉率 60%以上高风险场景危害大（自动驾驶、盲人助手等）幻觉多，难置信幻觉多，难置信多数开源模型仅支持英语中文多模态数据少、质量低难以满足中文用户需求英文强，中文弱英文强，中文弱多模态大模型迈向实用的痛点问题中文图文数据质量分布高质量低质量具有超出预期的巨大潜力大模型 Scaling Law 沙盒可在手机高效部署运行参数多，成本高参数多，成本高

3、端侧大模型端侧大模型基于中英双语语言基座仅使用英文图文数据预训练实现中文多模态跨语言泛化多模态大模型迈向实用的痛点问题幻觉多，难置信幻觉多，难置信多模态人类反馈学习多模态人类反馈学习英文强，中文弱英文强，中文弱多模态跨语言泛化多模态跨语言泛化通过人类反馈对齐模型行为可大幅降低模型幻觉使高风险场景更加可信Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages.ICLR 2024.RLHF-V:Towards Trustworthy MLLMs via Behavior Alignment fro

4、m Fine-grained Correctional Human Feedback.CVPR 2024.MiniCPM:Unveiling the Potential of Small Language Models with Scalable Training Strategies.2024.高效端侧多模态大模型 MiniCPM-V 系列（2.8B）集成团队近期探索前沿技术 2024/2/1 MiniCPM-V 发布 实现同参数规模最佳性能，支持中英双语 可部署安卓和鸿蒙系统手机 国际开源平台累计下载次数超过 4 万次高效端侧多模态大模型 MiniCPM-V 系列（2.8B）集成团队近期探

5、索前沿技术 2024/4/11 MiniCPM-V 2.0 发布 通用能力：OpenCompass 11个常用基准综合榜单，优于 17-34B 主流模型 OCR 能力：刷新 OCRBench 开源模型最佳成绩；通用场景文字理解持平 Gemini Pro高效端侧多模态大模型 MiniCPM-V 系列（2.8B）集成团队近期探索前沿技术 2024/4/11 MiniCPM-V 2.0 发布 通用能力：OpenCompass 11个常用基准综合榜单，优于 17-34B 主流模型 OCR 能力：刷新 OCRBench 开源模型最佳成绩；通用场景文字理解持平 Gemini Pro 可信行为：物体幻觉水平持平 GPT-4V 高清图理解：可支持 180万 像素任意长宽比图像无损编码 中英双语，端侧部署开源项目技术博客