《track3-面向应用的服务器算力算效评估工具-OCTC-康真健.pdf》由会员分享,可在线阅读,更多相关《track3-面向应用的服务器算力算效评估工具-OCTC-康真健.pdf(11页珍藏版)》请在三个皮匠报告上搜索。
1、面向应用的服务器算力算效评估工具OCTC算力算效测评组康真健随着信息技术革命的推进,计算平台架构(如Arm、x86、RISC-V等)日益多样化,应用场景(如AI、大数据分析、虚拟化技术等)也变得更加广泛,这些多样性对算力和效率的评估提出了新的挑战和要求。综上,当前业界亟需构建一套全面覆盖多架构、多应用场景的服务器评测工具,科学反映服务器在不同应用场景下的算力、算效水平。产学研各界对服务器算力评测标准的统一需求需要一套全面且与时俱进的评价学方法论,用于客观评估不同架构计算产品的性能。这套方法论应当能够精确反映各种计算平台在多种应用环境下的实际表现,为理论研究和技术发展提供科学依据学术研究视角:面
2、对激烈的市场竞争,各厂商亟需一种统一的评价体系和打榜平台,以公平比较不同架构产品的能效差异产业竞争考量:最终用户基于其特定业务需求,期望所选产品能在特定应用场景中展现出色的能效比;同时考虑到用户的多样性,评测标准还需满足不同类型用户的具体需求用户需求导向:当下系统级算力评测发展的不足及优化方向评估结果不可比:不同厂商或架构的算力性能指标差异大,难以横向对比。资源分配低效:企业或研究机构难以根据统一标准选择最优算力方案。技术发展碎片化:缺乏标准可导致技术协同阻碍,增加开发和维护成本。缺乏统一的评测标准:性能指标标准化:定义通用的基准测试(如TOPS、FLOPS、吞吐量等)。能效评估体系:结合功耗
3、与算力输出,衡量绿色计算能力。兼容性与开放性:确保评测工具和框架支持多厂商硬件及软件生态。动态适应性:覆盖不同场景(如云端、边缘端、终端设备)的算力需求。需依照关键方向进行标准制定:国际学术及产业界基准研制情况多元算力系统评测体系的构建正逐步成为研究和应用的热点。为了确保技术和服务的公正性与透明度,国际上权威的评测组织、标准化机构以及学术界正在共同努力,构建全面且科学的评测体系。SPEC:全球知名的性能评估合作组织,提供一系列涵盖通用计算、能耗效率、云环境及人工智能等领域的基准测试工具,为不同类型的服务器提供了标准化的评估方法TPC:专注于数据库和事务处理性能评估,设计了 TPC-C、TPC-
4、E 和 TPC-H 等一系列基准测试MLCommons:致力推动机器学习领域标准化工作,发布 MLPerf 评测基准,针对不同机器学习任务和模型提供全面评估指标Green Grid:由 AMD、惠普和 IBM 等公司于2006年共同创立的全球联盟,旨在提高数据中心能源效率,开发并推广能效指标和技术,如 PUE(Power Usage Effectiveness)评测组织:ISO/IEC 30134系列标准:为数据中心提供关键性能指标,优化能源使用及环境可持续性国际标准:ACM SIGMETRICS、ICPE:聚焦于性能建模、测量分析以及电力和能源效率的研究,促进理论研究与实践应用相结合学术界贡
5、献:系统级评测国际基准建设情况评测基准评估对象工作负载关键指标SPEC CPUCPU系统能效43个基准测试程序,含整数和浮点数计算速度、吞吐、功耗SPEC Sert组件级服务器能效一系列微工作负载,针对CPU、内存、存储和网络等核心组件进行测试组件级能效表现,服务器综合能效评分SPEC Power服务器能效模拟各种典型服务器工作负载每瓦特性能MLPerf Power机器学习系统能效一系列代表性的机器学习任务,含训练和推理每瓦特性能、总功耗、峰值功率TPCx-AI机器学习系统性能一系列代表性的机器学习任务,全流程模拟性能得分、性价比等AI Energy Score机器学习模型推理文本生成、摘要、
6、图像分类等10个主流AI推理任务瓦时每千次查询TPC-C数据库管理系统高并发、短时间、原子性的读写事务吞吐量、性价比TPC-H数据库管理系统订单输入、库存控制、产品规划、分销和销售分析等响应时间、吞吐量、性价比TPCx-BB大数据系统数据摄取、清洗、ETL、SQL查询、机器学习等多种大数据工作负载吞吐量、性价比HiBench大数据系统排序、字数统计、K-means、PageRank、SQL查询、流处理等。吞吐量、延迟、系统资源利用率TPC-DS决策支持系统包含库存管理、销售分析、促销系统等方面吞吐量、性价比、响应时