ArchSummit_蚂蚁安全领域智能化数据治理-蚂蚁集团_霄元_20230722_v4.pdf

1、蚂蚁安全领域智能化数据治理高级数据技术专家/霄元（黄国龙）20年加入蚂蚁，目前是安全大数据团队数据智能资产、内容数据资产负责人 0-1主导建设蚂蚁集团内容安全数据资产专项 关注大数据研发、数据架构、数据治理等领域黄国龙 高级数据技术专家个人简介个人简介目录目录数据治理创新探索数据治理探索与创新数据治理业务案例安全领域智能化数据治理实践数据治理通用能力蚂蚁数据治理架构及能力蚂蚁数据治理架构及能力蚂蚁数据治理架构及能力_ _面临挑战面临挑战成本增速快 存储资源：蚂蚁存储达 EB 级别，年增速40%+；计算资源：计算资源 千KCU/日.40%40%存储增速存储增速+0%5%10%15%20%25%3

2、0%35%40%45%2018年2019年2020年2021年2022年业务需求多 新业务资源需求旺盛；人工智能发展快，数据需求呈现爆炸性增长。成本看不清 资源使用细节看不清；成本很难分摊到业务。蚂蚁数据治理架构及能力蚂蚁数据治理架构及能力_ _治理思路治理思路平台提效&技术治理平台提效：将治理能力产品化服务用户技术治理：结合引擎能力升级做技术优化无效资产治理无效资产治理重复资产治理重复资产治理TOP TOP 资产治理资产治理存储治理存储治理计算治理计算治理集群治理集群治理能力建设能力建设蚂蚁数据治理架构及能力蚂蚁数据治理架构及能力_ _治理方案治理方案治理对象治理策略场景驱动应用系统应用日志

3、DRCAntQSLSBlink应用DB数据(ods)加工任务加工任务回流任务应用系统数据生产数据同步数据加工（DataPhin）数据应用触发管控场景触发管控场景系统账号开通用户加入Project项目任务大量变慢触发治理场景触发治理场景年度资源预算架构师驱动模块存储触顶管理员驱动任务大量变慢管理员驱动关键能力建设方案：从事前-事中-事后，构建成本治理全链路能力。explorerodps数据(ods)应用DB（事前）规划与准入（事前）规划与准入架 构 要 素 管 理运 维 管 控 模 块生 命 周 期 管 理（事中）管控与监控（事中）管控与监控发布管控运维管控查询管控账号管控生命周期汰换任务暴力扫

4、描补数管理补数监控运行监控暴力扫描大表限制汰换数据并发限制血缘要求无效下线（事后）技术治理（事后）技术治理专项运营治理项目迭代式运营治理重复表识别离职人员资产处置 参数不合理奖惩效生命周期长资产汰换数据排重热点任务识别大表暴力扫描资产下沉推荐重复采集过渡埋点资源混部Archive压缩冷数据归档蚂蚁数据治理架构及能力蚂蚁数据治理架构及能力_ _治理架构治理架构统一资源元数据预 算血 缘访 问存 储计 算调 度资 产制度规范标准规范计存军规考试培训组织文化治理达人红黑榜治理双周/月报治理委员会资源预算管理（事前-规划&管理）资产治理中心（事后-治理）资源调拨中心（事中-分配&监控）业务管理预算分配

5、预算分析预算采购发布管控拦截场景化生命周期自动化技术治理健康分治理业务单元治理活动实时巡检资源风险处置自动化扩缩容弹性分时调度资源治理核心领域（专项方案）集群管理资源调拨采集治理集群资源混部资源预算管理数据项目规划业务单元化容灾任务分时调度自动化扩缩容单元化隔离调度并发控制数据分级存储数据极限存储无效采集下线场景化生命周期日志治理消费治理关键技术无效埋点下线重复采集治理日志消费管控业务单元化容灾一键链路退役废弃报表下线无效服务下线消费血缘保鲜引擎优化模型优化代码优化资产管理优化资源监控大盘（DRE）资产治理工作台（个人/团队/业务单元）资源成本管理（管理者/DRE）跨集群带宽TOP任务排队暴力

6、扫描集群存储任务并发资产健康分垃圾资产处置治理活动分析风险拦截列表一键治理工具资源分析预算管理资源调拨成本核算基础平台能力资源治理领域资源管理门户蚂蚁数据治理架构及能力蚂蚁数据治理架构及能力_ _资源治理领域案例资源治理领域案例 集群资源混部推进在离线混合部署，计算算力会提升10%，机器成本降低25%.混合部署方案跨城访问依赖中间层减少网络开销1.项目规划2.迁移改造3.日常巡检4.持续优化迁移评估架构升级迁移完成日常巡检巡检治理发布管控代码改造集群缓存开源迁移混部（四个阶段）杭州专用集群深圳混部提升资源利用率，动态扩容，保障稳定性存储计算一体=存储计算分离蚂蚁数据治理架构及能力蚂蚁数据治理架