张皓&张凯-蚂蚁集团混沌工程技术理论与实践.pdf

1、蚂蚁集团混沌工程技术与实践主讲人:张皓、张凯演讲嘉宾介绍张皓蚂蚁集团高级技术专家，蚂蚁混沌工程业务负责人 先后在阿里集团和蚂蚁集团供职12年 2017年开始从事混沌工程领域，为蚂蚁集团混沌工程团队（技术蓝军）初创成员 在技术蓝军团队先后负责资金安全和高可用混沌工程业务，并多次作为负责人组织527和1218大型攻防演练活动 对混沌工程领域的业务，技术，运营，组织建设等方向都有丰富的实践经验演讲嘉宾介绍张凯 蚂蚁集团混沌工程技术专家 蚂蚁集团混沌工程技术专家 蚂蚁集团混沌工程核心技术负责人，孵化 ChaosMeta 以及云原生故障注入技术 蚂蚁集团基础设施红蓝攻防一号位，落地基础设施攻防演练 先后

2、在腾讯云和蚂蚁落地混沌工程平台，对混沌工程技术有丰富的探索以及实践经验CONTENT目录2023K+01蚂蚁集团混沌工程发展概述蚂蚁集团混沌工程业务和技术实践0203ChaosMeta介绍Part 01蚂蚁集团混沌工程发展概述 蚂蚁集团技术风险概述 2015-2017：第一代混沌工程 2018-2020：第二代混沌工程 2021-2023：第三代混沌工程蚂蚁集团技术风险概述故障为核心业务指标，驱动技术架构和运营体系建设技术架构运营体系故障趋势整体打法以故障为核心业务指标，驱动体系建设技术和运营双体系结合，持续迭代故障近年稳步下降强文化宣导，建心智重制度建设，审计常态化01000FY18FY19

3、FY20CY20CY21历年P级故障数红蓝攻防牵引体系建设风险架构演进构筑防线2015-2017：第一代混沌工程527光缆事件-蚂蚁集团正式成立技术风险部 容灾演练常态化进行1218重大资损故障-资金安全防控成为技术风险部的核心业务之一 大面积上线资金核对能力，T0/TM/TH/T1核对 混沌工程团队（技术蓝军）正式成立，以资金安全领域的攻防演练为主要业务2018-2020：第二代混沌工程混沌工程业务持续扩展，组织持续扩大 资金安全 技术蓝军 高可用&变更 技术蓝军 大数据 数据蓝军 前端/客户端 端蓝军混沌工程技术快速演进 JAVA任意代码注入技术 日志注入技术 监控注入技术 资金表无损注入

4、技术527对于每个蚂蚁技术人来说都是一个非常特殊的日子。2015年5月27日，光纤挖断导致故障的黑天鹅事件让支付宝成为热搜，这也敲响了我们“敬畏风险”的警钟，集团把这一天作为纪念日、技术日和创新日。我们相信可以用技术的力量为客户带来有价值的改变。527重点发力运营1218的资金安全故障，警醒着我们要时刻敬畏风险，保持初心，坚守“客户第一”的理念，不断提升“客户体验”。同时也促使我们思考如何让风险的不确定性在持续的优化升级中变得可预知、可预测。因此我们用技术创新构建风险免疫系统，让每笔业务精准可靠，让每次体验丝般顺滑！12182021-2023：第三代混沌工程技术风险服务托管（降本提效）变更无人

5、值守，容量扩缩容托管，资金核对托管 混沌工程：演练托管（大规模常态化演练自动化）技术风险智能化（gpt）智能监控，智能核对，opsgpt 混沌工程：风险挖掘 智能产生演练场景故障发生少，但发生多为重大，且存在新故障形态 混沌工程更加重视云原生基础设施 内容展示型的故障演练（例如产品页面乱码）多媒体业务混沌工程（直播等）Part 02蚂蚁集团混沌工程业务和技术实践 资金安全 弱点挖掘 高可用&变更 新业务探索资金安全蚂蚁集团业务稳定性的核心挑战：金融级的稳+互联网的快资金安全万亿资金秒级实现核对“账、证、实”交易系统（服务A）花呗支付系统（服务B）业务流trade_orderpayment_or

6、der数据落库数据落库trade_amount=10pay_amount=10 pay_amount=11 资金上下游一致性核对混沌工程实践：资金表上下游一致性故障资金服务逻辑异常故障资金安全Java Agent交易系统交易DB注入：写DB篡改binlog异步复制有损注入核对数据采集系统注入：核对消费数据篡改为什么引入无损注入？面向生产环境的混沌工程 控制注入影响，降低恢复成本 大规模常态化攻防演练资金表注入金 额，状 态，账 号，币 种，费 率 等 数 据 篡 改有 损 注 入&无 损 注 入资金核对系统注入二方包无损注入资金服务注入服 务 参 数，返 回 值 篡 改服 务 代 码 逻 辑