1、EffectiveGPU?技术书顺丰科技团队?2025年4EffectiveGPU 技术书 录CA TA LOGUE概述01背景介绍02GPU 算发展的挑战2.102EffectiveGPU 的技术标2.303GPU 池化和虚拟化的价值2.202关键创新点09创新点：针对多节点异构GPU的池化和调度实现4.109创新点三：实现GPU的显存和算切分保障机制4.311创新点：抽象适配国产和海外GPU的统调度接4.210创新点四：通过显存超分和优先级保证多任务并运4.412技术原理与架构05技术架构3.105Volcano 集成案3.307核组件3.206GPU 虚拟化实现原理3.508HAMi 兼

2、容案3.407结论18附录：名词解释与参考资料19应场景与解决案17模型推理服务场景6.117语识别场景6.317测试服务集群场景6.217适配国产算的推理场景6.417实施部署与测试13云原部署5.113部署功能测试5.315基于 Volcano 调度器部署5.214使整卡 EGPU5.3.115算和显存切分5.3.215配置任务优先级5.3.316EffectiveGPU 技术书 在A I模型推动产业智能化变的新时代，算资源的效配置已成为制约企业数字化转型的核命题。当前模型推理服务呈现指数级增态势，异构算管理效率不已成为掣肘企业A I应落地、抬运营成本的关键瓶颈。传统的异构算 资 源 分

3、配 模 式（如 独 占 GPU）分 配 模 式 暴 露 三 核 痛点：资源孤岛导致跨节点算法动态复、粗粒度调度引发的资源浪费、以及异构环境适配性不造成的管理复杂度攀升。?针对业痛点，本书介绍了 EffectiveGPU 池化技术（简称 eg pu），通过统调度接标准、算细粒度切分与跨节点协同调度，可显著提升集群 G PU 等异构算的利率和管理效率，为云端及边缘场景提供更灵活、更效的算基础设施，并且适配国产 A I 算平台。作为构建 GPU 池化和虚拟化的算基础设施核技术，深融合研的 A I 技术平台，为构建主可控的智能计算体系提供关键技术撑。011.概述EffectiveGPU 技术书2.背景

4、介绍GPU 算发展的挑战2.1 随着模型技术与A I应的爆发式增，算资源的效利成为产业核诉求。传统GPU资源分配模式存在利率低（平均30%）、弹性不（整卡独占）、态碎化（多商硬件/协议差异）等诸多痛点：EffectiveGPU 技术书GPU 池化和虚拟化的价值2.2 基于创新的池化技术架构，实现异构算细粒度切分、统的调度接与云原持，显著提升算资源利率（最达200%显存超分能），为A I训练、推理及科学计算场景提供灵活效的算基础设施撑：算资源利率低在A I模型运环境中，常规的GPU分配机制多采独占模式，导致计算资源空置问题突出。特别是在模型推理和测试验证环节，GPU设备的算负荷率和显存使率普遍处

5、于低下状态。资源共享度不现有GPU资源调度案通常局限于整卡分配，缺乏灵活的计算单元与显存空间切分机制。这种粗放式资源分配式难以撑多样化A I任务在单张加速卡上的并执需求。异构硬件适配困难当前加速器市场呈现多元硬件态（涵盖GPU/NPU/及各类研芯），不同商设备存在兼容壁垒，导致上层应临多平台适配成本企的挑战。02EffectiveGPU 的技术标2.3 EffectiveGPU 项的主要的是提供个异构算虚拟化平台，于管理和优化规模异构算集群中的资源利，在云原环境中简化部署和利如GPU这样的复杂硬件的过程，同时提资源的利效率和灵活性。?具体来说，EffectiveGPU 项旨在实现以下个关键技术

6、标：?异构设备管理：EffectiveGPU具备多样化异构设备（包括GPU、NPU等）的统管理能，持跨Pod的设备共享机制，通过分析硬件拓扑结构特征并应智能调度策略，实现更优的资源分配决策。?设备共享与资源隔离：系统提供细粒度资源管控案，持按核利率（百分）和显存容量（M B）进精确分配，对计算单元实施硬件级隔离。在保持业务须改造的前提下，实现资源分割带来的性能损耗控制在5%以内。EffectiveGPU 技术书03资源使效率优化采精细化资源分割与协同管理机制，突破传统单卡独占模式，有效激活闲置GPU算的动态复能。统调度的接标准计算框架服务提供层以调度器插件（vGPU scheduler-plu