I&O领导者实践指南：如何部署GenAI基础设施.pdf

1、0 2025 Gartner,Inc.and/or its affiliates.All rights reserved.RESTRICTED0 2025 Gartner公司及/或其关联公司版权所有。受限受限Gartner高管项目2025大中华区高管交流大会2025年5月21-22日中国，上海 2025 Gartner公司及/或其关联公司版权所有。Gartner是Gartner公司及其关联公司的注册商标。本文件（包括所有辅助材料）的所有权利归Gartner公司及/或其关联公司专有，仅供Gartner指定的接收方内部使用。本文档可能包含保密、专有或其他受法律保护的信息，未经Gartner公司或其

2、关联公司的明确书面许可，不得对其进行复制、传播或公开展示。2025 Gartner,Inc.and/or its affiliates.All rights reserved.Gartner is a registered trademark of Gartner,Inc.and its affiliates.This presentation,including all supporting materials,is proprietary to Gartner,Inc.and/or its affiliates and is for the sole internal use of the

3、 intended recipients.Because this presentation may contain information that is confidential,proprietary or otherwise legally protected,it may not be further copied,distributed or publicly displayed without the express written permission of Gartner,Inc.or its affiliates.2025 Gartner公司及/或其关联公司版权所有。Gar

4、tner是Gartner公司及其关联公司的注册商标。本文件（包括所有辅助材料）的所有权利归Gartner公司及/或其关联公司专有，仅供Gartner指定的接收方内部使用。本文档可能包含保密、专有或其他受法律保护的信息，未经Gartner公司或其关联公司的明确书面许可，不得对其进行复制、传播或公开展示。基础设施和运营领导者现场工作指南：生成式人工智能基础设施Carolin Zhou2 2025 Gartner公司及/或其关联公司版权所有。Gartner是Gartner公司及其关联公司的注册商标。超5亿人现在每个月都在使用GenAI。*企业希望IT基础设施能够跟上发展步伐。*世界银行报告，2024

5、年8月GenAI=生成式人工智能2 2025 Gartner公司及/或其关联公司。Gartner是Gartner公司及其关联公司的注册商标。3 2024 Gartner,Inc.and/or its affiliates.All rights reserved.Gartner is a registered trademark of Gartner,Inc.and its affiliates.3 2025 Gartner公司及/或其关联公司版权所有。Gartner是Gartner公司及其关联公司的注册商标。错误的基础设施决策带来的风险问题问题后果后果性能需求是什么？无法有效且准时地训练模型。

6、扩展需求是什么？无法轻松增减资源。预算是多少？支出过多，业务论证不可行。是否拥有合适的技能？无法完成模型开发与推理部署。数据的敏感性如何？公司专有数据泄露给第三方。推理与训练的需求有什么不同？存在性能和成本问题。数据主权是否重要？违反公司要求。4 2024 Gartner,Inc.and/or its affiliates.All rights reserved.Gartner is a registered trademark of Gartner,Inc.and its affiliates.4 2025 Gartner公司及/或其关联公司版权所有。Gartner是Gartner公司及其关