书生万象大模型的技术演进与应用探索-王文海.pdf

1、书生书生 万象多模态大模型的万象多模态大模型的技术演进与应用探索技术演进与应用探索演讲人：王文海https:/ 4:1 李世乭德州扑克首次在多人复杂对局中超越人类2021人脸识别LFW识别率99%,超过人类20161000类，100万数据历史:“特定任务+大数据”取得巨大成功一个模型解决一个问题AlphaFold未来:“通用性”一个模型多种任务多种模态蛋白质结构预测准确率新高以视觉为核心的多模态大模型有望在众多领域带来AI生产力革命https:/ 12.MLP 23.MoE 31 Li J,Li D,Savarese S,et al.Blip-2:Bootstrapping language-

2、image pre-training with frozen image encoders and large language modelsC/International conference on machine learning.PMLR,2023:19730-19742.2 Liu H,Li C,Wu Q,et al.Visual instruction tuningJ.Advances in neural information processing systems,2024,36.3 Wang W,Lv Q,Yu W,et al.Cogvlm:Visual expert for p

3、retrained language modelsJ.arXivpreprint arXiv:2311.03079,2023.研究背景：大语言模型&多模态大模型多模态大模型研究背景1目目录大规模视觉语言模型对齐2强多模态模型构建3不止于语言输出：通专融合4InternVL：大规模视觉语言模型对齐传统视觉/视觉-语言基础模型范式已落后于大语言模型的发展，亟需新的范式来推动其发展判别式预训练AlexNet、ResNet对比式预训练CLIP、ALIGN20122021与LLM参数量差距过大与LLM表征不一致训练数据单一、数据量小imageclassesvisionencodercontrastive

4、imagetextvisionencodertextencoderInternVL：大规模视觉语言模型对齐传统视觉/视觉-语言基础模型范式已落后于大语言模型的发展，亟需新的范式来推动其发展大模型时代判别式预训练AlexNet、ResNet对比式预训练CLIP、ALIGN201220212023与LLM参数量差距过大与LLM表征不一致训练数据单一、数据量小60亿参数视觉模型+1000亿参数语言模型渐进式对齐视觉基础模型和语言模型表征大规模、多来源图文多模态训练数据imageclassesvisionencodercontrastiveimagetextvisionencodertextencod

5、er渐进式对齐训练书生图文大模型-InternVLfeature aligningimagetextscaling upvisionencoderto 6B#paramslanguagemodel100Bgenerativeprompt 核心思想：扩大视觉基础模型并为通用视觉语言任务进行对齐设计1：扩大视觉模型至6B参数步骤1：固定 60 亿参数，网格搜索模型宽度、深度、MLP Ratio和Attention Head维度步骤2：使用CLIP 作为代理任务，找到在速度、准确性和稳定性之间取得平衡的模型https:/ ClassificationObject DetectionInstance

6、SegmentationSemantic SegmentationVisual Perception TasksImage ClassificationSemantic SegmentationImage-Text RetrievalText-Image RetrievalImage CaptioningVisual Question AnsweringMultimodal DialogueLike ViT-22BLike GPT-4VLike CLIPGeneric Vision-Language TasksImage ClassificationObject DetectionInstan