毕业论文
您现在的位置: 自动化 >> 自动化前景 >> 正文 >> 正文

干货苍穹大数据云GIS平台最全介绍

来源:自动化 时间:2023/3/23
308治疗白癜风 http://baidianfeng.39.net/a_yufang/131207/4304160.html

今天,我们继续分享一下苍穹大数据云GIS平台(KQGISBDS)。

KQGISBDS融合云计算、大数据和物联网等新一代先进技术,采用分布式架构,提供高可靠、高性能、高并发的云GIS服务,支持集群智能管理、资源弹性调度,实现海量地理空间数据的存储、处理、分析和共享应用。

苍穹大数据云GIS平台由苍穹大数据平台和苍穹云GIS平台两大核心组成。

1、苍穹大数据平台

苍穹大数据平台包含数据采集系统、数据融合系统、数据管理系统、挖掘分析系统。通过数据采集系统实现资源汇聚和时空标识,再经过数据融合系统进行数据抽取、清洗、转换、加载、关联、融合等,导入云数据库,由数据管理系统统一管理和应用,由挖掘分析系统进行大数据挖掘和模拟推演,用于辅助决策。

2、苍穹云GIS平台

苍穹云GIS平台包括云运维管理系统、云服务管理系统、云服务共享系统以及云门户。以计算存储、数据、功能、接口和知识服务为核心,形成服务资源池,建立服务引擎、地名地址引擎、业务流引擎和知识引擎,连同时空大数据的数据引擎,通过云服务系统,为各种业务应用按需提供大数据支撑和各类服务。

技术特点

1、五个“分布式”核心技术

苍穹大数据云GIS平台采用的核心技术,总结为五个分布式,分布式GIS算法、分布式任务调度、分布式内存计算、分布式空间索引、分布式存储。

分布式GIS算法:服务于大数据GIS中的空间数据处理和分析,通过构建分布式空间数据处理和分析算子,来支持用户多样化的数据分析需求;

分布式任务调度:可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处;

分布式内存计算:Spark的主要特性是它的内存中集群计算,提高了应用程序的处理速度,涵盖各种工作负载,减少了维护单独工具的管理负担;

分布式空间索引:利用分布式并行技术,建立网络环境下海量空间数据的大规模索引机制,满足分布式环境下海量空间数据查询、分析运算的需求;

分布式存储:具备低成本、高容错、高吞吐的特性,不但提高了系统的可靠性、可用性和存取效率,还易于扩展,将不稳定因素降到最低;

(分布式存储原理图)

2、五个“创新型”关键技术

苍穹大数据云GIS平台采用行列存储优化组合技术、多级智能缓存和索引技术、固态硬盘存储的优化算法、全面融合NEWSQL新技术、机器学习空间大数据挖掘技术等创新技术,实现超大规模GIS数据的快速浏览、查询、渲染、分析等,极大提升了运行效率。

(创新技术)

功能优势

1

智能化集群环境部署

提供一键式自动化集群环境部署,通过在线选择硬件资源和集群配置规则,实现部署环境标准化和部署过程自动化;采用负载均衡技术,加强网络数据处理能力、提高网络的灵活性和可用性。

2

空间大数据ETL处理

ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后,进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘提供决策支持的数据。

3

快速浏览和动态渲染

基于分布式存储模式,采用并行计算、内存计算等技术,解决了传统GIS平台采用切片方式进行数据快速浏览时存在的耗时、耗力、耗存储以及无法动态渲染等问题,实现了WEB端无需缓存切片即可进行地图无极缩放浏览和快速动态渲染等功能。

4

高性能分布式空间分析

从内核扩展了Spark空间数据模型,基于分布式计算技术重构和研发了大量空间分析算法,实现海量空间数据高性能的空间分析,支持空间查询、空间统计、叠加分析、网络分析、差值分析、水文分析、栅格分析、领域分析等空间分析功能,解决了空间大数据分析和应用的难题。

5

实时空间大数据分析

基于ES分布式存储,采用并行处理、行列混合存储、高效压缩以及内存计算等技术,并支持多数据源协议,实现海量数据在服务器主内存中秒级,甚至毫秒级处理,提供实时统计分析结果,能够有效提高业务效率,具备实时决策能力。

6

空间大数据可视化表达

提供丰富的数据展示模板,针对不同的数据可套用不同的模板进行展示。主要包括条形图、漏斗图、柱状图、仪表盘、雷达图、折线图、饼状图、地图等多种展示模板。同时,支持将统一数据按照不同维度、不同模板进行展现,提供数据多维度展示效果。利用API来搭建模型,选择想要的表达方式,就可以搭建大数据挖掘的可视化系统,可以有各种模板效果。

7

数据挖掘个性化推荐

为用户提供个性化推荐服务,通过对用户线上线下数据的聚类、关联和协同过滤,建立了不同使用场景的推荐机制,实现推荐引擎从传统的大众化推荐向差异化推荐转变,实现智能数据服务推荐,提升了用户购买过程的体验。

8

自动化运维管理机制

由于分布式体系架构的节点分布较广,运维管理相对复杂,因此时空信息云平台运维体系,参照ITIL的管理规范进行运维管理机制建设,通过覆盖整个体系的云运维管理系统,对平台的硬件、网络、数据、应用及服务的运行状况进行实时、综合监控,及时发现和预见问题,并按照相应的流程及时处置,保证平台持久的稳定运行。

往期精彩回顾

实现可视化定制,苍穹服务地理信息平台更快速

聚焦

苍穹数码研究院正式成立

拒绝低效率!苍穹桌面GIS平台给你“加速度”

转载请注明:http://www.0431gb208.com/sjsbszl/3880.html