2019年ArcGIS空间大数据-深晓时空、洞知内涵.pdf

1、ArcGIS空间大数据-深晓时空、洞知内涵业务重组时空大数据平台分析计算洞察挖掘趋势预测自然资源双评价大数据时代：转型的时代、变革的时代连接赋能社会感知量子计算人工智能移动互联智慧社会模型构建数据整合知识引擎数字孪生ArcGIS空间大数据发展历程2017，ArcGIS 10.5，Spark框架，14个分析工具2014，ArcGIS 10.3，Hadoop框架2018，ArcGIS 10.6，Spark框架，17个分析工具2019，ArcGIS 10.7，Spark框架，24+个分析工具，可扩展接口Next.ArcGIS GeoAnalytics Server矢量大数据分析产品 针对大规模的具有

2、空间位置信息、时间属性信息的矢量数据，以及表格数据进行分布式计算和处理的平台级产品。分布式计算能力 数据处理能力 洞察挖掘能力 机器学习能力ArcGIS GeoAnalytics Server 产品架构PortalWeb GIS Layers新的 Web GIS 图层可以通过Pro、Portal、Insights、Notebook Serverpython以及Rest API调用大数据工具ArcGIS内部数据关系型数据库时空大数据库GA集群FilesFilesHDFSFileHIVE外部数据ProPortalInsightsPython云存储源数据接入分布式计算集群时空大数据存储ArcGIS平

3、台门户层Feature serviceBig data file shareGA接入分析数据源形式：ArcGIS GeoAnalytics Server，支撑多源数据接入接入形式数据源格式存储类型CSVShapefileParquetORC源数据格式：NFS、CIFSHDFS、HiveAmazon S3Azure Data Lake源数据存储类型：空间大数据分析，重点在源数据接入、存储、和管理交通电力国土农业环保规划多业务多结构DBMSCSV/TSV/TXTshpfileHDFSCIFS/NFSHive云存储大数据资源池汇聚空间数据组织管理：基于规则的抽取、转换、加载基于需求的汇聚、融合、更新

4、大数据分析资源池构建更新抽取（shp）合规性检查上传到HDFS注册到GA分析计算分析计算投影转换空间数据流转，以业务为导向大数据资源池中的数据，经过一系列分析计算，其结果可以写回到大数据资源池SDEFileGDBothers源数据：现状数据规划数据管控数据经济数据数据抽取数据汇聚空间大数据存储资源池HDFS模型构建空间大数据应用分析结果，写回大数据资源池，支撑多维应用以实际项目需求为例，谈数据流转GA 10.7GA 10.7新增新增：分析结果输出到文件ArcGIS GeoAnalytics Server，大数据分析工具数据汇总位置查找模式分析邻近分析数据管理点聚合要素连接轨迹追踪属性汇总范围内

5、汇总构建多值段网格密度计算热点分析空间聚类查找相似位置事件检测地理编码拷贝数据字段计算追加数据空间叠加（Intersect、erase、Union、identity、sd）裁剪数据边界融合数据合并创建缓冲区空间赋能从多变量网格丰富数据数据处理.叠加分析.事件检测.机器学习.洞察预测.分布式计算描述数据集基于森林的分类回归广义线性回归大数据分析性能影响因子数据算力算法优化性能软件架构参数调优配置策略全国土地利用数据与管制区数据叠加分析Intersect2016年全国地类图斑数据全国乡级建设用地管制区1.5亿5500万计算类型计算类型算法算法运算量运算量耗时耗时普通分布式计算笛卡尔积千万亿次难以一

6、次性完成ArcGIS GA 10.7分布式索引和数据分块技术万亿次小时级ArcGIS 10.7大数据，相较于传统，性能提升90%以上Intersect2016年全国地类图斑数据全国乡级建设用地管制区1.5亿5500万120小时传统方式10.6.110.715.5小时4.2小时3节点，40core、256G内存、千兆3节点，40core、256G内存、千兆单机，16core、64G内存3.68亿结果数据量ArcGIS空间大数据应用场景一：全面支撑国土空间规划业务场景，连接分析工具与业务需求 业务数据：现状数据 规划数据 管控数据 基本农田 城市边界 典型需