数据治理

1数据治理是什么
2数据治理的内容

3数据治理框架
4数据治理解决的问题

5数据治理发展概况

数据治理是什么

国际数据管理协会(DAMA)认为：数据治理是对数据资产管理行使权力和控制的活动集合；

国际数据治理研究所(DGI)则认为：数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统，这些过程按照达成共识的模型来执行，该模型描述了谁(Who)能根据什么信息，在什么时间(When)和情况(Where)下，用什么方法(How)，采取什么行动(What)。

IBM认为数据治理是针对企业中数据的可用性、相关性、易用性、完整性和安全性的整体管理

数据治理的概念并没有标准的界定，可从微观、中观和宏观的角度分别来理解。

(1)微观上，数据治理指的是个体的数据管理，即对数据的实用性、可用性、完整性和安全性的整体管理。

(2)中观上，数据治理是指公共治理，即区域和国家对其主权范围内的数据质量、权属、流动机制等方面的宏观管理。

(3)宏观上，数据治理指的是全球治理，即在大数据时代，以国家、国际组织、多利益攸关方等为主体，对数据权利、流通、管理等方面的治理

数据治理的内容

数据治理是一套包含策略、原则、组织架构、管理制度、流程以及各种相关技术工具的管理框架，在数据管理与应用层面上进行规划、监督和控制，包含数据标准管理、数据质量管理、元数据管理、数据生命周期管理等多个管控专项。

(1)数据标准管理是统一对数据的理解和使用，为数据的属性、业务规则、管理属性和技术属性制定统一的规范。通过数据标准管理，可以加强对业务的标准化工作，强化对业务的管理，完成对重点数据的统一管理。数据标准管理的原则：保证数据标准命名、编码的唯一性，维护数据标准的权威性和稳定性，保证数据标准的准确性和可执行性。

(2)数据质量管理是指通过一系列技术手段或者管理手段提高数据质量的过程。数据质量管理是循环管理的过程，目的是通过提升数据的使用价值，为系统赢得经济效益。

(3)元数据管理是指管理数据的数据，负责记录和管理系统中所有数据的定义、规则、规范和流程。元数据管理可以清晰、直观地了解数据的来源、变化过程等信息。当数据发生变换时，用户可以借助元数据管理工具分析出这些数据变化带来的影响。

(4)数据生命周期管理是按照数据的业务属性划分数据的几个阶段：数据的创建、数据的使用、数据的归档和数据的销毁。数据生命周期管理的目的是为了满足对历史数据查询的要求，减少数据冗余，提高数据的一致性，并且提升系统的性能和响应速度。降低数据存储、运维等方面的基础设施投入^[1]。

数据治理框架

(一)DGI数据治理框架

国际数据治理研究所(Data Governance Institute，DGI)认为数据治理不同与IT治理，应该建立独立的数据治理理论体系。从组织、规则、流程三个方面，总结了数据治理的十大关键要素，创新的提出了DGI数据治理框架嘲。该框架考虑数据治理战略专家，数据治理专业人员，业务利益相关者，IT领导者共同关注的如果管理数据，实现数据价值，最小化成本和复杂性，管理风险以及确保遵守不断增长的决策的决策法律、法规和其他要求。提出企业在操作层面进行数据治理的框架体系，包括数据治理的概念、内容、流程和方法等，从而使数据管理活动更加规范有序、高效权威。

DGI数据治理框架的愿景定义了数据治理的使命，指出数据治理是要干什么。目标指明数据治理应为解决数据利益相关方的需求或实现业务与管理的目标，如确保数据符合监管机构要求，提高数据应用能力以支撑业务分析和风险防控等。数据规则与定义是对数据相关的策略、标准、合规性要求和业务规则等进行统一定义，主要是对数据标准进行统一，实现数据的一致性要求。决策权指出数据治理必须有一个明确的归口管理部门去承担管理工作，同时要设置相应的数据治理管理岗位。确定数据治理工作相关部门和岗位人员的具体工作职责，以制度明确数据治理相关工作的职责划分，并根据制度规范对数据治理的具体执行情况进行评价和问责。通过采取一定的措施控制数据安全风险的发生。建立数据治理办公室，促进数据治理和数据管理的相关活动，数据管理员作为数据治理工作的具体管理人员，负责特定业务领域的数据质量监控和数据的安全合规使用。在数据治理的流程方面，每个企业应根据自身情况定义数据治理过程中的结构与形式。

从DGI数据治理框架整体的结构上看，数据治理的开展首先要明确治理的战略目标，建立完善数据治理的组织架构，通过制度建设明确数据治理的职责划分，建立统一的数据标准，根据企业的实际情况建立合适的数据治理流程规范。通过对DGI数据治理框架的分析，为本文后续数据治理问题分析、数据治理对策提供依据^[2]。

(二)DAMA数据治理框架

国际数据管理协会(DAMA International)总结了数据管理的十大职能，指出数据治理处于核心位置

DAMA数据治理框架指出数据治理作为数据管理的核心内容，指导元数据管理等其他数据管理职能的执行。数据治理主要围绕其他9个方面的数据管理工作进行，其他9个数据管理职能是数据治理的核心领域。元数据管理是数据治理开展的基础，数据质量管理是数据治理的重点，数据安全管理是数据治理的前提保证。该数据治理框架为本文后续数据治理核心领域的分析提供理论支持。

(1)数据架构管理：定义企业数据需求，规划数据架构蓝图。架构管理主要活动包括设计企业数据架构，制定数据架构管理方案

(2)数据开发：主要指制定数据开发解决方案，从数据的角度进行系统全生命周期的建设，包括数据需求分析、数据建模、设计、实施和维护数据相关的解决方案。

(3)数据操作管理：针对关系型数据库而言，对数据进行统一计划和控制。

(4)数据安全管理：对数据的访问安全进行管理，保障数据使用合规。

(5)参考数据和主数据管理对企业各系统的参考数据和主数据进行管理，保障基础数据的准确性。

(6)数据仓库和商务智能管理：建立企业数据仓库，利用商务智能管理为业务部门提供数据和技术报告。

(7)文档和内容管理：对文本、视频、图像等非结构化数据进行统一规划、实施和控制。

(8)元数据管理：对企业元数据进行管理，包括元数据血缘分析等活动。

(9)数据质量管理：利用相关技术工具，对企业数据质量进行统一规划和控制的相关活动^[3]。

(三)IBM数据治理统一流程

大部分公司需要一个如何实施数据治理的统一步骤。显然，每个企业的实际情况不同，因此需要以不同的方式开展数据治理，主要是考虑到数据治理的目标有所不同。某些企业重点考虑数据质量，其他企业重点聚焦客户需求，还有企业关注保障客户数据的隐私。其中有些企业表明将接受一种正式的数据治理计划，而其他组织希望实现更加轻量型和战术性的方案。数据治理统一流程主要包含14个主要活动，以便有效的支持数据治理。其中10个活动是必需的，4个活动是可选的，将从4个可选专题(也就是主数据治理、分析治理、安全和隐私，以及信息生命周期治理)中选择一个或多个。

(1)定义业务问题：企业需要以业务为导向，围绕解决业务上的痛点(例如某个领域的数据质量问题)来划定数据治理的范围。

(2)获取高层支持：通过业务经典案例来获得高层支持是比较快速有效的方式。

(3)执行成熟度评估：调研企业数据管理现状，执行成熟度评估。

(4)创建路线图：制定企业管理目标蓝图，根据短期、中期、长期战略制定数据治理的具体目标。

(5)建立组织蓝图：建立组织蓝图，建立数据组织体系。

(6)创建数据字典：建立数据字典，统一数据语言。

(7)理解数据：从业务、技术、管理三个方面理解数据，主要包括了解数据的业务、技术、管理属性，从而理解数据的业务含义、技术含义和管理含义。

(8)创建元数据存储库：元数据是关于数据的数据。元数据的建设对于数据资产管理、提升数据价值有着重要的意义。

(9)定义度量指标：制定数据治理考核指标，以便跟踪数据治理项目的进展。

(10)治理主数据：常见的主数据包括物料、单位、员工、客户、供应商等核心基础数据。企业治理主数据需要定标准、建平台、清数据、设体系。

(11)治理分析：对数据治理的效果进行彻底分析。

(12)管理安全和隐私：数据治理的活动过程中需要考虑数据安全、数据隐私的相关问题。

(13)治理信息生命周期：围绕数据的全生命周期进行数据治理。

(14)度量结果：数据治理效果必须有相关的指标进行评估，然后在评估的基础上不断进行改进

数据治理解决的问题

(1)从微观上看，数据治理能够实现数据共享、数据准确和数据可用

①共享：知道公司有哪些数据。业务视角上来看，业务内部多载体(PRD、邮件、wiki、共享文档)知识记录，受入离调转的影响，“考古成本”高；公司视角：跨组织数据流通黑盒，数据不流通

②准确：业务知道该用哪个数据。数据语义记录不明晰；业务自我迭代变更过程中数据记录不同步；好多数据不知道该用哪个?业务迭代数据定义变更如何准确修改定义及触达关注方

③可用：数据质量需要保障。已经下线了文档还存在；不同数据健康状态监控；数据血缘追溯问题排查；不同数据格式导致下游消费解析成本过高；上游变更下游无感知

(2)从宏观上来看，数据治理能够优化数据质量、保障数据安全、维护数据主体权利、提高数据流通效率

①优化数据质量，发掘数据资产价值。大数据时代的数据具有5V特征(数据体量大(Volume)、数据类型多(Variety)、处理速度快(Velocity)、价值密度低(Value)准确性(Veracity))。数据治理能够压缩数据体量、提高价值密度，促进数据资产价值最大化。

②保障数据安全，确保国家社会稳定

③建立数据规则，维护数据主体权利。数据治理能够工业大数据、商业数据和公共数据流动保驾护航。

④降低边际成本，提高数据流通效率。日前数据掌握在诸多不同的主体中，各个主体之间信息不流通，数据无法真正得到重复利用，信息孤岛效应明显，数据治理能够有效改善这种状况。

数据治理发展概况

(1)数据治理相关政策法规相继颁布，促进数据治理现代化的发展。近年来，我国政府及相关部门相继颁布了〈国务院关于印发《促进大数据发展行动纲要》的通知〉、《国家信息化发展战略纲要》、《大数据产业发展规划(2016年-2020年)》等相关政策，这些政策在框架结构、模式创新、平台网络、规划建设等方面推动数据治理的发展。

(2)数据治理的相关技术不断完善。数据治理技术的研发水平决定了数据治理能力的高低，是发展数据治理的关键要素。数据治理的核心技术主要包括数据的采集、存储、计算、可视化等。目前，我国正不断加大核心技术的研发力度，推动数据治理策略的发展与创新

(3)我国形成了相对完整的数据产业体系，并融合于各个领域形成新生业态，使得越来越多的产业领域需要实行数据治理策略。我国大数据产业体系主要包括核心产业、关联产业及融合产业，分别为数据治理提供了基础条件及体现了其实际应用，其中互联网、工业、金融、交通等领域发展态势较好。目前，我国格外重视大数据产业的发展，加大投资规模和研发投入，投资规模超过8000亿元^[4]。