OS2ATC - 新一代大算力芯片及基础软件架构创新加速汽车智能化 - 黑芝麻智能 - 20min -v20250326 2025-3-31 101734 1.pdf

1、新一代大算力芯片及基础软件架构创新加速汽车智能化2025/03/26游昌海，系统软件副总裁黑芝麻智能汽车智能化技术正在飞速发展中单车智能化车路云一体化智能座舱自动驾驶智能底盘人机共驾多模态交互智能信息融合智能生态第三空间数字孪生车辆路侧智能化云端智能管理智能感知智能计算智能执行数字孪生世界精准定位制驱转悬融合智能整车协同控制协同决策模型数据算力智能底盘智能座舱大模型上车快速推动汽车智能化自动驾驶传统模块化方案端到端基于LLM/MLM端到端基于世界模型具身智能模型预测控制基于深度强化学习舱内行为监控语音交互NLP+TTS多模态交互LLM/MLM模型预测控制基于LLM/MLM自动驾驶传统模块化方案

2、正被替代感知预测规划控制控制精度平顺性.安全性舒适性.平均距离误差最终距离误差.分类平均精度测距精度/角分辨率.传感器帧率.时延SoCMCU相机数据接入预处理深度学习计算后处理数据融合相机数据接入预处理深度学习计算相机数据接入预处理深度学习计算毫米波/激光雷达数据接入IMU/GNSS/位姿数据接入.10 30 50 10 10 20 100350模块优化目标不统一模块间传递的特定数据与最终任务不完全匹配，易丢失信息多模型、多任务增加计算负担难以支持规则覆盖不到的长尾场景每个模块的WCET难以精确控制，整体时延较大汽车智能化需要多模态大模型doi:10.3390/app14125068:From

3、 Large Language Models to Large Multimodal Models:A Literature ReviewFigure 17.Comparison of LLM and LMM overview frameworks.多模态大模型正爆发性发展arXiv:2401.13601:MM-LLMs:Recent Advances in MultiModal Large Language ModelsFigure 1:The timeline of MM-LLMs.Model LLM Visual EncoderV2L Adapter Main Tasks&Capabil

4、itiesBLIP-2(Li et al.,2023g)FlanT5-XXL-11BEVA ViT-g Q-Former Visual Dialogue,VQA,Captioning,RetrievalFROMAGe(Koh et al.,2023b)OPT-6.7BCLIP ViT-L Linear Visual Dialogue,Captioning,RetrievalKosmos-1(Huang et al.,2023b)Magneto-1.3BCLIP ViT-L Q-FormerVisual Dialogue,VQA,CaptioningLLaMA-Adapter V2(Gao et

5、 al.,2023)LLaMA-7BCLIP ViT-L Linear VQA,CaptioningOpenFlamingo(Awadalla et al.,2023)MPT-7BCLIP ViT-L XAttn LLM VQA,CaptioningFlamingo(Alayrac et al.,2022)Chinchilla-70BNFNet-F6 XAttn LLM Visual Dialogue,VQA,CaptioningPaLI(Chen et al.,2023j)mT5-XXL-13BViT-e XAttn LLM Multilingual,VQA,Captioning,Retri

6、evalPaLI-X(Chen et al.,2023h)UL2-32BViT-22B XAttn LLM Multilingual,VQA,CaptioningLLaVA(Liu et al.,2023e)Vicuna-13BCLIP ViT-L Linear Visual Dialogue,VQA,CaptioningMiniGPT-4(Zhu et al.,2023a)Vicuna-13BEVA ViT-g Linear VQA,CaptioningmPLUG-Owl(Ye et al.,2023c)LLaMA-7BCLIP ViT-L Q-FormerVisual Dialogue,V