分布式环境下空间矢量大数据存储模型及高性能分析关键技术研究

来源 :云南师范大学 | 被引量 : 0次 | 上传用户:marticabi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,数据不仅已成为国家基础性战略资源,也逐渐成为第五种生产要素,融入社会经济各领域并驱动发展。随着传统3S技术、互联网、数据采集和云计算技术的发展,空间大数据的体量飞速增长,在各领域内的应用也更加普及和深入,数字经济发展也对数据要素的流动提出了更高要求。研究构建分布式环境下空间矢量大数据的高效存储模型,构建与其相匹配的高效空间分析、可视化关键技术,是形成高扩展、高性能地理信息服务体系的基础技术前提。然而,现有研究多基于单个数据模型、存储平台构建空间矢量数据存储模型,无法提供多数据粒度的空间矢量数据存储、管理支持;同时,由于分布式存储环境与传统单机存储的差异,现有模型的分布式索引机制与分析处理模式还存在较大优化空间,效率有待进一步提升;此外,这些存储模型面向查询叠加、邻近分析或快速可视化等其中的一类空间分析功能构建,若要支撑多种应用,则要负担额外的存储成本。针对上述问题,本文以分布式环境下多模态、数据分析粒度的空间大数据高效分析、可视化关键技术为导向,探讨研究分布式环境下空间矢量大数据存储模型,特别是空间数据存储模型、空间查询处理、叠加分析处理、邻近分析处理以及矢量瓦片快速构建方面的关键技术,提出了一套打通空间矢量大数据多源存储、分析、快速动态可视化的方法体系,并通过实验验证了其可行性与优越性;同时,以自然资源大数据管理为应用领域,设计实现了分布式环境下自然资源大数据分析原型系统,以实际的自然资源管理、规划分析等关联空间矢量大数据的应用场景验证本文研究成果的应用价值与实际意义。本文的创新性成果与主要贡献包括以下四个方面:(1)为满足不同计算模式、数据粒度的空间矢量大数据的分析需求,本文结合数据特征提出了空间矢量大数据分布式存储模型Fabric Geostore。首先,介绍了空间矢量数据存储的理论基础与关键技术;其次,针对Key-value与列式数据模型不同的存储特性、读取特性进行研究,按照面向对象的存储模型思想,设计实现了基于HDFS与HBase的空间矢量大数据分布式存储模型,并提供了空间元数据管理用于高效组织、筛选数据。利用2022年亚洲区域的开源街道地图(OSM)数据集对Fabric Geostore存储模型进行了丰富的测试实验,验证了模型优秀的数据载入性能、存储资源利用能力以及数据读取性能。(2)基于FabricGeostore存储模型,本文开展了空间矢量大数据高效分析方法研究,提出了支撑在线、离线两种计算模式,数据粒度涵盖文件、区块、行(row)列(column)记录的空间矢量大数据分布式分析方法。提出了Keyvalue与列式数据模型下,服务端分布式内存空间索引(SIR*-tree)与相应的索引加载、分析处理框架来提高分析效率。首先,以HDFS为数据源,基于内存并行计算框架Spark编程实现了矢量大数据的空间查询、叠加分析与邻近分析的离线并行处理;其次,以HBase为数据源,通过基于其服务端协同处理计算框架实现轻量级空间查询、叠加分析、邻域分析的实时并行处理。利用2022年亚洲区域的OSM数据集对在线、离线两种模式下的空间查询、叠加分析与邻近分析进行测试,验证了上述所提分析方法优秀的性能与扩展性。(3)基于所提出的在线模式下的空间矢量大数据分析方法,本文开展了分布式环境下空间矢量大数据可视化方法研究。首先,介绍了现有空间数据可视化的理论基础与关键技术;其次,通过评估不同展示层级下空间矢量数据可视化产生的必要信息量与冗余信息量,提出了一种基于像素与数据混合可视化计算模型的矢量数据可视化方法,结合几何概化抽稀技术与矢量瓦片编码技术,实现矢量瓦片的快速生成与前端动态渲染。方法直接使用Fabric Geostore列式存储模型中的数据,无需另行处理、加工额外版本的数据,并且支持将Fabric Geostore的HBase作为切片缓存服务器,极大节约了存储资源与成本。利用2017年中国区域的OSM数据集对本文方法、QGIS、Arc GIS Server工具进行对比测试,实验结果验证了本文的空间矢量大数据分布式快速可视化方法的性能优越性,实验条件下,方法具备为1080p、2k分辨率的显示设备提供空间矢量数据实时动态可视化的能力。(4)以自然资源大数据管理为应用场景,设计实现了分布式环境下自然资源大数据分析原型系统,介绍了系统的开发环境与部署条件,选取了合规性分析、缓冲区分析、土地利用转移矩阵分析应用案例,介绍了本文的成果方法支撑这些应用的实现方式,并提供了测试数据与应用运行案例。通过实际的自然资源管理、规划分析应用体现本文研究成果的应用价值与实际意义。
其他文献
随着地理信息相关产业的发展,基于网络提供地理信息服务已经成为一种常态化的地理空间数据应用方式。目前,通过栅格瓦片技术提供地理信息服务已应用于数字城市建设领域,解决了数字城市建设中的部分问题。但由于栅格瓦片数据自身的特点,难以满足实际应用中用户对于地理信息日益增长的交互需求。文章以“智慧湖口地理空间信息共享平台”的建设为切入点,结合矢量瓦片技术的应用,利用北京吉威数源信息技术有限公司提供的GEOWA
期刊
针对“天地图·江苏”18—20级精细电子地图“开天窗”问题,按照集约共享的总体原则,立足已有数据基础,对精细电子地图的建设方案进行研究和探讨,提出“地形图映射转换”“多源数据整合”2种地图数据集建设模式及电子地图的编制生产技术路线,为江苏省实现精细电子地图全覆盖提供技术保障。
期刊
云计算等计算机技术的应用,促进了医院信息化的建设和发展。医院门诊管理信息系统在医院的信息化建设中发挥着重要的作用,医院门诊管理信息系统的开发与设计,要适应医院发展的需求,并具有可维护性和可靠性。对基于云计算的信息系统应用的优势进行了分析,结合云计算等先进的计算机技术,对中小型医院门诊管理信息系统进行了设计和开发,并根据中小型医院门诊服务的实际需求,提出了医院门诊管理信息系统的设计方案。
期刊
为解决“天地图”国家、省和市三级节点服务不统一、数据精度不高、现势性不好、更新不及时等问题,对国家、省、市节点数据开展数据融合工作。以“天地图·南昌”矢量数据融合为例,探讨了矢量数据融合的技术路线,阐述了道路、铁路、水系、绿地、居民地以及地名地址6大类矢量要素融合的方法和关键点,实现了国家、省、市三级节点的矢量数据融合,提高了“天地图·南昌”矢量数据的现势性、精确性以及丰富度。
期刊
目的:观察阿托伐他汀(ATO)干预后,LPS作用的Krüppel样因子4(KLF4)过表达的RAW264.7细胞株的表型相关基因的变化,探讨ATO对RAW264.7细胞表型调控的作用及机制。方法:将野生型RAW264.7细胞、空载体RAW264.7细胞(Lenti-pLVX细胞)、KLF4过表达的RAW264.7细胞(Lenti-KLF4细胞)均分为对照组、ATO组、LPS组、ATO+LPS组,其
期刊
<正>随着地理信息技术在自然资源、生态环境、农业农村等领域的不断发展,用户对地理信息服务的数据可靠性、服务可用性和业务稳定性等要求越来越高,互联网环境下的地理信息服务面临着并发数激增、系统响应和容量限制等挑战。如何为用户提供稳定、可靠的高质量地理信息服务,成为稳定互联网地理信息服务系统建设需要解决的问题之一。集群技术是应对大规模用户并发访问和海量地理信息数据服务的主流技术手段。研究小组以“天地图·
期刊
时空数据规模的急剧增长、泛在时空信息服务模式的发展,对在线地图的表达和性能提出了更高要求。矢量瓦片具有数据量小、渲染速度快、交互性强的优势已经成为地图应用的首选。本文基于Mapbox矢量瓦片地图框架,以构建高性能技术框架和离线部署为目标,围绕矢量瓦片数据模型、瓦片渲染、应用路线、离线部署、集群架构设计方面展开,提出了一种支持离线、计算资源动态扩展的集群架构,并以空间地理数据对其进行了验证,为地理信
期刊
由于受保密因素影响,传统的房管系统提供的房产信息缺乏空间位置,仅使用照片结合文字的方式描述房产信息,展示效果差。为了满足现代房产业务需求,本文将天地图应用于房产信息系统开发中,充分利用天地图API接口技术,结合房产专题数据库、系统数据整合与关联技术、数据集成应用Mashup技术,构建起完备的房产信息系统,实现了基于房产信息管理平台的地图管理、房源周边设施查询统计、选房辅助决策等功能,应用效果良好,
期刊
以“天地图·浙江”为例,介绍了省市县协同变化发现、数据核实、快速更新的技术和流程,可为其他省的天地图建设工作提供参考。
期刊
论证了建立眼科中心信息管理系统的必要性与可行性,阐述了该系统的结构、功能概要和硬件组成,并详细叙述了眼科中心信息管理系统中设备信息接口的设计要点。
期刊