常亚敏-GeoScene时空数据治理能力.pdf

1、GeoScene空间数据治理能力介绍易智瑞信息技术有限公司常亚敏1.数据治理背景2.GeoScene 时空数据治理能力3.GeoScene 数据治理场景及案例4.优势特性总结目 录1.数据治理背景DAMA（Data Management Association，国际数据管理协会）数据管理知识体系数据治理是对数据资产的管理活动行使权力和控制的活动集合（规划、监控和执行）数据治理职能是指导所有其他数据管理领域的活动数据治理的目的是确保根据数据管理制度和最佳实践正确地管理数据。包括战略、制度、标准和质量、监督、合规、问题管理、数据管理項目、数据资产估值DCMM（Data Management Cap

2、ability Maturity Assessment Model）数据管理能力成熟度评估模型，工信部牵头发布数据治理能力域：数据治理组织、数据治理制度、数据治理沟通DGI（Data Governance Institute，数据治理研究所）数据治理框架5W1H法则：WHY,WHAT,WHO,WHEN,HOW,WHERE 数据治理愿景目标、治理内容、利益干系人、行动计划、治理流程、水平定位数据治理概念Data GovernanceDAMA数据管理知识体系数据治理没有严格的定义，一些国际和国内机构提出了一整套数据治理知识体系和模型框架，用于指导企业级的数据治理活动。通俗的讲，数据治理是对数据进行

3、处置、格式化、规范化的过程，解决数据从不可用、不好用到可用、好用的过程数据分析过程往往没有那么顺畅和理想数据存在问题，清洗数据费时费力探索性分析阶段，反复进行数据处理与模型验证为什么需要数据治理收集数据收集数据数据分析数据分析数据处理数据处理数据清洗数据清洗数据融合数据融合Happy families are all alike;every unhappy family is unhappy in its own way.Leo TolstoyLike families,tidy datasets are all alike,but every messy dataset is messy i

4、n its own way.Hadley Wickham，Tidy data tidyr理想的数据分析 VS 实际的数据分析数据数据分析分析数据数据处理处理数据数据融合融合数据数据清洗清洗收集收集数据数据各业务系统积累数十年的数据，即使在当前信息化的问题初步解决的情况下，仍然存在数据产生/管理的混乱；往往通过离线拷贝方式交换数据，数据版本混乱，难以追溯数据的问题缺少统一管理平台；系统内部，存储分散、交换困难，难以集中应用、共享成效；跨系统、不同管理组织、不同标准的数据难以统一管理车辆不在道路农田数据压盖未融合的数据，难以进行深度分析；如数据分散、质量等问题，也为数据融合制造了困难 历史数据缺少

5、过程管理 数据分散 数据质量参差不齐 未融合，难以深度挖掘缺少数据治理Garbage in Garbage out时空数据组成1基础时空数据矢量数据影像数据高程模型数据地理实体数据地名地址数据三维模型数据测绘产品数据2公共专题数据法人数据人口数据宏观经济数据民生兴趣点数据地理国情普查与监测数据3物联网实时感知数据实时位置信息、影像和视频交通、环保、水利、气象等监控与监测数据4互联网在线抓取数据采用网络爬虫等技术，在线抓取完成任务所缺失的数据时空数据特征2、数据范畴1、来源多样性4、数据量巨大且快速增长类型：点、线、面3、数据组织结构多样性城市级手机信令数据，每天超过10亿条城市级车辆运行轨迹数

6、据，每天超过1亿条国家级国土三调矢量数据超过1TBHDFS文件存储数据库存储格式：Shp、HDFS、PG人类活动产生自然存在空间属性空间尺度时间特性E116.40N39.9时空大数据治理的问题2、数据的感知如何快速了解数据的信息，洞察数据结构4、计算效率数据量大的情况下，如何高效计算能否采用最新的数据存储和计算引擎1、数据的组织和管理如何将离散的的、不同来源、类型、存储格式的数据进行组织管理必要时还需要做数据类型转换3、数据处理工具是否有全面、易用的工具，应对时空数据的数据质量问题和清洗处理2.GeoScene时空数据治理能力GeoScene时空大数据治理架构应用层算法层数据层技术层 CSV数