冯张驰-LLaMA Factory多模态LLM高效微调原理与实践.pdf

1、ML-SummitML-Summitwww.cpp-www.ml-summit.orgwww.gosim.orgwww.pm-summit.orgML-SummitML-SummitML-SummitML-SummitML-SummitML-Summit冯冯张张驰驰 L LL La aMMA A F Fa ac ct to or ry y核核心心开开发发者者LLaMA Factory核心开发者，北京航空航天大学硕士。在ACM MM、KDD等会议发表多篇论文。国家奖学金，北航优秀毕业生获得者。曾受邀前往KDD、中国网络大会等顶级学术会议发表主题演讲。演演讲讲主主题题：L LL La aMMA A

2、 F Fa ac ct to or ry y多多模模态态L LL LMM高高效效微微调调原原理理与与实实践践ML-SummitML-Summit2025 全球机器学习技术大会LLaMA-Factory多模态LLM高效微调原理与实践冯张驰LLaMA-Factory核心开发者ML-SummitML-Summit目录CONTENTS1.多模态大模型简介2.LLaMA-Factory整体介绍3.高效微调算法4.多模态统一架构5.多模态应用案例6.多模态大模型展望ML-SummitML-Summit多模态大模型简介 01ML-SummitML-Summit多模态大模型演变-纵向扩展BLIP:1亿亿tok

3、en 0.3B参数参数ML-SummitML-Summit多模态大模型演变-纵向扩展BLIP:1亿亿token 0.3B参数参数Qwen2.5-VL:4万亿万亿token 72B参数参数ML-SummitML-Summit多模态大模型演变-纵向扩展BLIP:1亿亿token 0.3B参数参数Qwen2.5-VL:4万亿万亿token 72B参数参数Llama4-Maverick:40万亿万亿token 400B参数参数ML-SummitML-Summit多模态大模型演变-纵向扩展 训练数据量越来越大越来越大 预训练和后训练数据都几乎耗尽预训练和后训练数据都几乎耗尽 模型参数量越来越大越来越大

4、从从BERT-based到到MoEBLIP:1亿亿token 0.3B参数参数Qwen2.5-VL:4万亿万亿token 72B参数参数Llama4-Maverick:40万亿万亿token 400B参数参数ML-SummitML-Summit多模态大模型演变-纵向扩展 训练数据量越来越大越来越大 预训练和后训练数据都几乎耗尽预训练和后训练数据都几乎耗尽 模型参数量越来越大越来越大 从从BERT-based到到MoEBLIP:1亿亿token 0.3B参数参数Qwen2.5-VL:4万亿万亿token 72B参数参数Llama4-Maverick:40万亿万亿token 400B参数参数需要高

5、效微调算法高效微调算法降低训练成本降低训练成本ML-SummitML-Summit多模态大模型演变-横向扩展LLaVA:图像理解图像理解ML-SummitML-Summit多模态大模型演变-横向扩展LLaVA:图像理解图像理解Qwen2.5-VL:图像、视频理解图像、视频理解ML-SummitML-Summit多模态大模型演变-横向扩展LLaVA:图像理解图像理解Qwen2.5-VL:图像、视频理解图像、视频理解Qwen2.5-Omni:全模态理解全模态理解ML-SummitML-Summit多模态大模型演变-横向扩展 从视觉语言模型到全模态模型 ImageText-Text=X2X X=图像

6、 图像理解、图像生成图像理解、图像生成 X=音频 音频理解、音频生成音频理解、音频生成 X=视频 视频理解、视频生成视频理解、视频生成 X=文本 保持LLM的能力 X=全模态 和人类一样感知理解世界LLaVA:图像理解图像理解Qwen2.5-VL:图像、视频理解图像、视频理解Qwen2.5-Omni:全模态理解全模态理解ML-SummitML-Summit多模态大模型演变-横向扩展 从视觉语言模型到全模态模型 ImageText-Text=X2X X=图像 图像理解、图像生成图像理解、图像生成 X=音频 音频理解、音频生成音频理解、音频生成 X=视频 视