联通研究院-吴天昊-“1-5-15”原则：数字化监控平台可观测稳定性保障实践.pdf

1、“1-5-151-5-15”原则：中国联通数字化监控平台原则：中国联通数字化监控平台可观测稳定性保障实践可观测稳定性保障实践吴天昊吴天昊中国联通软件研究院中国联通软件研究院副总架构师副总架构师吴天昊中国联通软件研究院 副总架构师“负责数字化生产运营保障体系建设与落地负责数字化监控平台整体架构设计及演进致力于完善“平台+应用”生态体系，打造联通集团自动化生产和智慧化运营的生产运营平台”讲师简介目录03数字化转型运维问题挑战数字化监控平台整体架构智能运维场景的应用实践一、数字化转型运维问题挑战一、数字化转型运维问题挑战问题痛点问题痛点痛点指标纷繁复杂看不全，看不清？指标纷繁复杂看不全，看不清？各层

2、级数据不互通共享，铁路警察各管一段？各层级数据不互通共享，铁路警察各管一段？告警无人关注，处理缓慢？告警无人关注，处理缓慢？需需2424小时运维值守，无法故障自愈及自动化小时运维值守，无法故障自愈及自动化?故障发现无法及时拉会，故障管理质量效率低下故障发现无法及时拉会，故障管理质量效率低下?无应急方案，应急操作时候全是问题无应急方案，应急操作时候全是问题?故障如何快速发现故障如何快速发现故障如何快速抢通故障如何快速抢通故障如何快速定位故障如何快速定位系统调用关系复杂，故障排查困难？系统调用关系复杂，故障排查困难？云化架构下容器服务与主机关联关系不清？云化架构下容器服务与主机关联关系不清？只知道

3、有问题，不知道问题出现在哪里，根因无法定位？只知道有问题，不知道问题出现在哪里，根因无法定位？故障如何优化预防故障如何优化预防故障反复出现，复盘改进没有效果？故障反复出现，复盘改进没有效果？全链路性能瓶颈点和容量水位上线不知道？全链路性能瓶颈点和容量水位上线不知道？隐患无法察觉，没有提前治理优化隐患无法察觉，没有提前治理优化?云原生下一些常见的典型故障云原生下一些常见的典型故障故障根因在故障根因在IaaSIaaS主机主机故障根因在故障根因在PaaSPaaS组件组件故障根因在外部接口故障根因在外部接口故障根因在故障根因在SaaSSaaS服务下的实例服务下的实例数字化转型运维面临的挑战数字化转型运

4、维面临的挑战监控对象：几何级数增长，人力维护不能胜任监控对象：几何级数增长，人力维护不能胜任调用承载关系极其复杂，亟待引入运维工具调用承载关系极其复杂，亟待引入运维工具应用软件应用软件:硬件硬件:上千个上千个微服务微服务几套Oracle几十种中间件清单几十种中间件清单可数小型机成千上万成千上万硬件硬件中间件中间件:几个Jar包运维生态挑战运维生态挑战分布式架构挑战分布式架构挑战业务连续性挑战业务连续性挑战工具重复：工具按烟囱式建设，能力分散能力割裂：运维工具能力割裂不成体系数据孤岛：应用、数据库、中间件、云平台、基础设施各管自身维护对象：系统节点、微服务数量几何级数增加调用关系：从简单对应到极

5、其复杂，人力维护无法胜任数据分片、异地存储，传统维护模式难以为继故障处理过多依赖专家经验，系统服务间调用链路复杂，故障分析定位困难端到端的稳定性保障体系缺失，自动化、智能化故障应急处理能力不足故障处于被动防御、救火，没有提前预防手段，运维大数据未被合理价值挖掘 随着随着云原生云原生技术的不断成熟，企业技术的不断成熟，企业数字化转型数字化转型也在不断加速，企业也在不断加速，企业ITIT架构架构进入云原生时代，进入云原生时代，多云多集群多云多集群部署已经部署已经成为常态和趋势，成为常态和趋势，几何增长几何增长的云资源、微服务以及的云资源、微服务以及复杂化复杂化的调用关系与业务场景，的调用关系与业务

6、场景，传统人肉运维难以为继传统人肉运维难以为继，如，如何保障系统的全面稳定，保证业务流程的高效运转，为系统运营提出了不小的挑战。何保障系统的全面稳定，保证业务流程的高效运转，为系统运营提出了不小的挑战。二、数字化监控平台整体架构二、数字化监控平台整体架构数字化监控平台功能架构数字化监控平台功能架构 基于云原生下的基于云原生下的生产运营支撑平台生产运营支撑平台，以全局运营视角解读，以全局运营视角解读ITIT运维，提供运维，提供端到端、全层级端到端、全层级的运维工具支撑，依托的运维工具支撑，依托大数据与人工智能技术，助力企业数字化业务高效、稳定运行，从传统运维向自动化生产、智慧化运营转变。大数据与