中国电信云上AIOPS场景化实践——左悦.pdf

1、中中国电信国电信左左 悦悦1上云带来的运维挑战2AIOps提升运维效率3AIOps实际应用4展望目录CONTENTSONE上云后的运维挑战：传统运维模式，不能满足上云后运维管理目标更高“快速，高效”不仅要安全、稳定，还要快速、高效；实现故障的快速发现、定位和处理。通过动态伸缩等，突破性能天花板。管理内容更细“一切皆资源”业务驱动下，位于支撑线上的资源和配置都需要纳入管理，大到机房基础设施，小到操作系统的配置，更多的是面向业务生命周期和IT服务过程管理要求更严“联合体运维”应用模式向多点多活的部署模式转换，运维也由“各扫门前雪”向矩阵式的联合体运维模式转变，更加关注“能感知、会学习、会分析、可预

2、测、可决策、可展示”的智能化运维能力。云原生分布式多中心微服务敏捷迭代动态管理容器封装抽象化自动化云计算时代监控对象：几何级数增长，人力维护不能胜任调用承载关系极其复杂，亟待引入运维工具技术架构切换，带来技术运营风险上云后的IT运维的核心框架IT运维转型要求1:100(以往）运维人员IT设备和数据1:100n(现在/将来）运维人员IT设备和数据 基础架构：云化 应用：微服务化全新架构n系统节点、微服务数量几何级数增加，监控工作量急剧上升n关系复杂：日志和告警、性能变化等系统众多 依赖专家技能和经验 跨团队，责任界定困难 对排障时效的要求更高排障更难IT运维核心框架：从前期的资产交维和纳管、监控

3、部署、巡检作业、风险操作，到持续的运营调度、隐患排查和治理、应急演练，再到常态化的系统优化，围绕IT运维的全视角展开，建成聚焦客户感知、敏捷高效、稳定安全的IT维护体系。IT运维形势分析可管、可监、可控事前、事中、事后通过上云，打造了企业级数字化基础设施打造能力黄页统一运营开放提供100000+高质量API能力端到端自动化流水线承载6200+系统，托管100亿行代码安全隔离、资源共享云翼统一PaaS平台用户自助资源开通升级不停业、业务可连续云道开发运营一体化平台支撑代码的安全漏洞审计多资源池按需部署，一站式业务交付接口及性能自动化部署代码自动化打包发布云桥能力开放平台分层解耦、能力沉淀实时接口

4、、秒级生效一点签约、全网通行一点注册、能力黄页全网协同运维开发云眼IT智能运维平台端到端监控AI问题智能预防分钟级故障定位云道开发运营一体化云桥能力开放云眼智能运维端到端跨多层监控全网监控55万+组件节点自助式开通IaaS/PaaS资源拉通142资源池，开通2.4万+PaaS组件云翼统一PaaSONE集团系统和平台数据省分系统和平台数据规范统一能力解耦数据拉通运维注智统一日志中心日志采集日志处理日志分析日志检索综合告警中心告警汇聚告警管理通知管理告警分析可视化监控中心API监控移动端监控NaaS监控SaaS监控PaaS监控IaaS监控端到端监控业务监控AI决策中心样本管理算法管理模型试验模型评

5、估知识管理中心知识抽取知识融合图谱管理知识推理资源管理中心模型管理实例管理拓扑管理自动发现操作管理中心批量管理模板构建标准化运维任务灾备切换鉴权审计跨区域运维作业调度应急管理运维机器人故障演练统一采集中心Agent管控数据采集操作控制2018年11月2018年9月2019年5月2019年6月2019年8月2021年6月2021年12月2022年1月2022年6月云眼平台能力视图依靠服务资源树实现的业务端到端监控集团直充携号转网OTN专线缴费复机集团电渠翼支付监控覆盖XX个场景涉及全网XXX个核心系统xxxxx个核心环节以直充场景为例，服务资源一体可见全网业务运营监控场景问题定界集团直充场景监控

6、精品专线场景监控打通能力和系统，聚合API调用监控调用趋势分析调用错误详单能力主题监控-总部EOPEOP调用详单和报文xxx万APIxxx业务系统实现了业务系统的一体化监控全网SaaS系统监控两级接口 API xxx万+，SaaS服务xxx万+SaaS监控PaaS监控全网PaaS组件监控xx类xx万+实例监控IaaS监控全网IaaS资源监控主机xx万多台网络监控全网网络连通监控网络链路监控xx+条构建起以业务应用为中心的资产拓扑管理已纳管实体资源约XX万个业务、SaaS、PaaS、IaaS四层资源实体如：业务、中心应用、中间件、数据库、主机等等通过自动化手段发现资产，采用有向无环图技术构建数据