金融级数据研发治理一体化平台实践_廖晓格.pdf

1、金融级数据研发治理一体化平台实践廖晓格廖晓格廖晓格 长期大数据平台、长期大数据平台、AIAI平台建设经验平台建设经验 平安银行数据资产管理及研发中心团队负责人，负责大数据基础平台、数据中台、BI及AI中台能力的建设 曾就职于PPTV、ebay、携程、华为，负责大数据平台应用的研发工作目录一、数据治理传统模式痛点二、数据治理核心目标三、开发治理一体化解决方案四、未来展望大数据服务应用数据质量缺乏缺乏必要的监控和告警必要的监控和告警各业务的数据存在孤岛孤岛数据多份存储，加大数据成本数据成本PB级别大数据海量存储和计算，造成极高的负载极高的负载，影响系统稳定性稳定性，批量时效批量时效难以有效保障大数

2、据测试数据难造，生产数据脱敏到测试环境又有安全有安全隐患，敏感数据多，安全管控难隐患，敏感数据多，安全管控难数据流量洪峰不断刷新记录，如何提升实时化能力提升实时化能力虽然提供了各种线上平台和工具，但思维思维和动作还未全面数据化数据化安全安全 提效提效 降本降本金融数据的特点及治理挑战金融数据的特点及治理挑战数数据据治治理理价价值值金融数金融数据治理的价值据治理的价值包包袱袱？资产资产！存储成本存储成本剧增剧增计算负载极高计算负载极高数据安数据安全隐患全隐患不可靠决策不可靠决策数据数据治理治理数据数据治理治理数据数据治理治理降低成本提升数据加工效率控制数据风险赋能管理决策改善数据质量ABCDE数

3、据治理传统模式的痛点数据治理传统模式的痛点传统模式下的数据治理工作更多参考DAMA或者DCMM理论体系推行，但公司内部从哪里入手、以什么样的路径推进目前并没有结合自身企业和行业特点制定数据治理的标准体系，涉及效率、技术、管理、安全等，导致治理效果一直不佳，主要体现在以下几个方面：通过事后治理事后治理，在短期内能看到一定成果，但因为没有融入到日常数据生产流程中，导致治理效果不可持续，不能长久解决治理痛点1 1、运动式治理、运动式治理治理成效难量难量化、可视化化、可视化，治理推进工作难度会倍数加大3 3、数据治理成效不可量化、数据治理成效不可量化很多企业的数据治理管理规范只能停留于纸面和规范文字层

4、面停留于纸面和规范文字层面，没有治理工具支撑2 2、治理措施落地难、治理措施落地难目录一、数据治理传统模式痛点二、数据治理核心目标三、开发治理一体化解决方案四、未来展望金融行业数据治理核心目标在于兼顾安全、成本并最大化数兼顾安全、成本并最大化数据价据价值值，因此数据治理需要解决四个使命：治理标准化治理智能化数据成本数据价值最大化，包括通过数据生命周期、成本/价值评估逆向推动成本治理，释释放数据价值、降低数据应用放数据价值、降低数据应用成本成本全周期治理解决方案全周期治理解决方案，数据治理涉及多个流程、多个平台、多方不同角色，整合各方在平台提供统一治理能统一治理能力，实现治力，实现治理标准流程；

5、理标准流程；治理线上化治理治理DAMADAMA方法论与工具结方法论与工具结合合，将治理方法论以及行内所有规范，通过平台工具结合，提供工具化的治理能力，实现治实现治理线上化理线上化；集成规则策略，集成规则策略，可以通过自通过自动化治理能力动化治理能力识别安全风险、敏感数据，通过内置规则和策略提升治理效果；数据治理的目标是什么数据治理的目标是什么沉沉淀淀数据数据资产资产提供高可用的数据服务提供高可用的数据服务数据治理体系建设数据治理体系建设方案与规划方案与规划 制定数据资产治理管控方案，包括资产目录设计、资产范围、资产治理运营等流程与规范流程与规范 制定数据治理相关规范，流程、治理引擎和标准一个一

6、个平台平台1.数据需求环节数据架构评审数据架构评审影响分析影响分析2.数据研发环节元数据元数据治理治理质量治理质量治理血缘治理血缘治理数据服务数据服务3.指标定义环节规范定义规范定义度量定义度量定义属性定义属性定义业务范围业务范围4.数据应用指标服务指标服务数据特征数据特征数据报表数据报表数据服务数据服务数据资产分类数据资产分类(技术视角技术视角)数据资产分类数据资产分类(业务视角业务视角)表资产指标资产标签资产特征资产模型资产营销运营风险财务一套一套治理治理治理范畴治理范畴(规则规则)治理拦截治理拦截(优化优化)长效运营长效运营一套一套标准标准数据资产成本数据资产成本/价值评估价值评估低价值