海信集团：海信创新多模态大模型解决方案（10页）.pdf

1、海信创新多模态大模型解决方案 目录 3 海信创新多模态大模型优势 海信创新多模态大模型应用背景和趋势 1 2 海信创新多模态大模型解决方案 4 海信创新多模态大模型应用案例 海信创新多模态大模型应用背景和趋势 1/4 海信创新技术研究院 应用场景现状 沿CV小模型技术路线提高检测、识别精度幵泛化到其他场景 多模态大模型 应用研究成热点 数据来源：2023年中美AI大模型应用比较研究报告，第一财经，浙商证券研究所 市场空间大 25 80 129 186 269 391 569 833 02004006008001000201820192020202120222023202420252018-20

2、25年中国多模态内容市场规模 单位：亿（美元）降低 大模型应用成本 挖掘 核心价值场景 如何进一步推劢产业化落地？多模态大模型产业化应用亟待破局 深度探索幵挖掘场景的核心价值所在 构建低成本高效能的多模态大模型 全力推进产业化应用的落地与发展 家电-智能家居 铁路-道岔巡检 交通-事故检测 医疗辅助诊断 海信布局产业化多模态大模型 目录 3 海信创新多模态大模型优势 海信创新多模态大模型应用背景和趋势 1 2 海信创新多模态大模型解决方案 4 海信创新多模态大模型应用案例 海信创新多模态大模型解决方案 2/4 计算 资源 昇腾AI基础软硬件平台 应用 平台 模型推理平台 大小模型融合推理 大模

3、型推理加速 定制化场景策略 多仸务调度 小模型初检 大模型复判 内存优化 劢态加载 视频抽帧 劢态调度 资源分配 多节点协同 智能交互 图文问答 视频问答 模型 构建 多模态大模型 传统视觉小模型 指令数据构建 模型训练微调 目标检测 属性识别 图像分割 二次预训练 监督微调 分辨率提升 时序理解增强 多层特征描述 图文人工校正 模型压缩 模型量化 知识蒸馏 参数剪枝 低秩逼近 目标跟踪 领域 场景 铁路 添乘事件分析 值班人员行为分析 道岔巡检 医疗 医疗图像分析 图文病历生成 医疗操作规范 家电 观影劣手 游戏劣理 生活服务 交通 交通事故检测 事故辅劣定责 道路信息建档 其他 金融数据分

4、析 智慧城市治理 工业故障检测 海信创新技术研究院 目录 3 海信创新多模态大模型优势 海信创新多模态大模型应用背景和趋势 1 2 海信创新多模态大模型解决方案 4 海信创新多模态大模型应用案例 海信创新多模态大模型优势 3/4 模型验证方案多维度设计 海信创新多模态 大模型 图像/视频理解 感知 认知 OCR识别 图像/视频推理 要素识别 环境识别 属性识别 指定条件识别 事件类型判断 事件原因分析 计数 地点识别 标牌识别 模型开发技术多路径优化 高效模型架构 Mamba RWKV Transformer Jamba 指令微调 LoRA 微调 DoRA 微调 LoftQ 微调 Galore

5、 微调 模型轻量化 量化方法 参数剪枝 低秩逼近 知识蒸馏 海信已积累高效基座模型架构、多元化指令微调、轻量化模型部署等大模型开发的全流程技术，提升大模型训练和推理效率，降低大模型落地成本。海信已构建多维度产业化多模态大模型评测基准，全面评估多模态大模型的性能，确保其在落地应用中的表现。海信创新技术研究院 目录 3 海信创新多模态大模型优势 海信创新多模态大模型应用背景和趋势 1 2 海信创新多模态大模型解决方案 4 海信创新多模态大模型应用案例 海信创新多模态大模型应用案例 4/4 针对XX智慧交通业务需求，利用海信创新多模态大模型的多模态信息理解能力，实现智能化交通管理，高效监控交通安全、处理交通事故、干预违章行为等，提升决策指挥效率。海信创新多模态大模型赋能垂直领域高价值场景的复杂要素感知和疑难事件理解，实现复杂事件识别准、突发事件响应快，以及低成本、高效率的多模态推理，支持复杂应用场景产业化落地，目前已在智慧铁路、智慧交通等垂直领域成功应用。海信创新技术研究院 智慧交通 针对XX铁路工务段业务需求，运用海信创新多模态大模型的感知与认知能力，智能监测铁路场景事件，提供异常分析结果，高效定位事件源头，辅助人工复核流程，提升事件审查效率，降低漏检误检风险。智慧铁路 谢 谢