空间大数据依然具有大数据的相关特征，例如数据体量大、数据种类多、数据变化快以及价值密度低等，这些特点为用户处理空间大数据带来了诸多困难。如何在大体量的空间大数据中，通过高效的挖掘工具或者挖掘方法实现价值提炼，是用户非常关注的话题。在解决该问题之前，有必要对空间大数据进行重新的认识和解读。
\n\n
如上图所示，是一个非常经典的DIKW金字塔模型，我们普遍称之的空间大数据就是金字塔最基础的数据层（Data），这一层也是体量最为庞大，种类最为繁多，数据价值密度最低的一层。将原始大数据素材经过加工处理后，得到的有逻辑的数据就是我们所说的信息（Information），例如我们常说的测绘4D产品、倾斜摄影数据等。通过对信息的组织就形成了知识（Knowledge），当知识实现应用就产生了智慧（Wisdom），智慧可以提供预测和决策的指导。
\n所谓大数据的挖掘就是从最基础的大数据中挖掘信息、提炼知识、产生智慧的过程。所以空间大数据的内涵就是带有（隐含的）空间位置，具有体量大、变化快、种类多和价值密度低的特点，而且常规软件工具无法进行有效处理，需要借助于更加先进的技术才能实现价值提炼，同时具备更强的决策力、洞察力和流程优化能力的数据资产。
\n在大数据时代，空间大数据是指带有（隐含的）空间位置且具有体量大、变化快、种类多和价值密度低等特点的数据。其区别于海量空间数据，后者不具有变化快、价值密度低的特点，只是随着时间积累数据在不断增加，而具有数据量大的特征。空间大数据也包括大量的外延类型，它们具有时空标记能力，能够描述个体行为，如手机信令数据、车船位置数据、社交媒体数据、电商交易数据、导航轨迹数据、搜索关键词、公交地铁刷卡数据等。这些数据为用户进一步定量理解社会环境、进行社会感知提供了一种新的手段。
\n主流的大数据技术都基于Linux操作系统，这需要GIS基础软件支持跨平台技术，同时在基础云计算环境中也能为大数据存储和计算提供资源的管理和运维能力。
\n跨平台主要是指程序语言、软件或硬件设备可以在多种作业系统或不同硬件架构的电脑上运作。即在一个熟悉的平台上面开发的软件或者程序，直接可以在其他平台上正常的运行显示而不需要对其原始文件或者原始代码进行修改。基于跨平台技术的软件产品能够满足不同的技术环境、行业应用和用户需求。
\n云计算的出现，带来了弹性伸缩、按需访问、资源池化、可实例化和成本低廉的计算资源，为解决当今时代GIS面临的挑战提供了新的思路，使得云GIS技术逐渐成为当前GIS领域的研究热点。云GIS指的是由地理空间科学驱动并通过时空原则进行优化的云计算模式，使分布式计算环境中的地理空间科学发现和云计算成为可能。其实质是将GIS的平台、软件和地理空间信息方便、高效地部署到以云计算为支撑的“云”基础设施之上，以弹性的、按需获取的方式提供最广泛的基于Web的服务。
\n空间大数据核心技术通过先进的IT大数据技术与GIS内核技术进行深度融合，为空间大数据实现分布式存储、计算的能力，同时大幅度提升海量空间数据的管理和计算能力。空间大数据核心技术包括空间大数据存储技术、空间大数据计算技术、流计算技术及空间大数据可视化技术。
\n随着信息技术发展，互联网快速普及，全球数据呈现爆发增长、海量集聚的特点，对经济发展、社会治理、国家管理、人民生活都产生了重大影响。如何实现对类型多样、标准不一的空间大数据的有效管理，提高数据应用效率，成为GIS面临的一大难题。
\n空间大数据存储是汇总不同来源、不同格式、不同行业的数据，并通过数据引擎和数据处理对其实现一体化、全流程的管理。近几年，从传统的结构化数据如矢量数据、影像数据到非结构化数据如三维数据、视频数据等，从更新频度较少的静态数据到动态实时产生的流数据等，空间数据的数据量迅猛增长，空间数据类型逐渐增多，数据的时效性也不断增强。随着数据的爆发式增长，数据存储和应用问题不断产生。
\n以前传统GIS处理的多为静态数据，随着技术手段的发展，动态数据越来越多。面临着不断累积的数据存量和仍然不断增加的数据增量，用户面临的数据量已经从GB级、TB级向PB级发展。其中，很多大数据还处于模态多样、杂乱无章、标准不统一、时空尺度不统一、精度不统一的阶段。如何存储和管理如此庞杂的数据，成为空间大数据应用的首要问题。
\n传统关系型数据库一直都是GIS数据存储的首选，它的概念易于理解、使用比较方便，同时便于维护。但是随着数据量的不断增加，数据类型的多样化，关系型数据库很难应对单表亿级以上记录的查询和分析，同时也无法很好的解决流数据的处理需求，特别是在扩展性和高可用性方面能力也比较弱，成本又相对较高。
现有的空间大数据价值还没有充分发挥出来，深度挖掘空间大数据价值仍在路上，大数据本身不等于价值，它是“贫矿”，只有挖掘出它的价值，才是“金子”。所以，GIS技术并不仅仅要解决空间大数据的存储问题，更重要的是如何从空间大数据中，通过GIS技术去实现数据挖掘，通过GIS的空间分析、空间查询和空间可视化等技术优势为用户提供指导和决策。
\n数据存储主要涉及所有的空间数据格式以及大数据技术体系中常用的数据存储技术，如Oracle、HDFS、MongoDB集群等等，它们既可以利用存储的数据进行数据分析，也可以用于存储分析产生的中间数据和最终成果数据。
\n在空间大数据时代，GIS平台不仅需要接入传统测绘所支持的数据如矢量数据和影像数据，也需要接入新型测绘数据如倾斜摄影模型、BIM模型等相关数据。特别是随着移动互联网的高速发展，产生了大量的手机信令数据、移动社交数据、导航终端数据等，这些数据80%都包含地理位置，而且类别繁杂且数据变化越来越快，这就需要对传统空间数据引擎进行扩展，也需要通过实现对分布式文件系统、分布式数据库的支持来提升对空间大数据的存储和管理能力。
\n传统关系型数据库一直都是GIS应用的首选，它的概念易于理解、使用比较方便，同时便于维护。但是随着数据量的不断增加，关系型数据库很难应对单表亿级以上记录的查询和分析，而随着用户并发持续递增，硬盘读写也会成为一个瓶颈，且无法很好的解决流数据的处理需求，特别是在扩展性和高可用性方面能力也比较弱，成本又相对较高。基于以上分析，关系型数据库已经很难满足空间大数据的存储需求。分布式数据库的分布式技术架构可以很好的解决上述问题。它可以实现横向扩展（Scale-Out），通过集群的分布式处理方式对大数据量进行如水平拆分（将数据均匀分布到多个数据库节点中）的操作，这样相比较每个数据库节点的数据量会变小，相关的存储管理性能也自然提升。此外，主流的分布式数据库的分布式能力对用户透明，而且无缝顺应用户的SQL操作习惯，让用户在使用和管理上更加地简单便捷。
\n如今在空间大数据存储方面，业界主要利用以下的技术：基于Hadoop的HDFS实现非结构化数据存储；通过对Postgres-XL分布式数据库的支持对海量空间大数据提供存储管理；通过对MongoDB分布式数据库的支持对海量二维或者三维的瓦片数据提供存储管理；通过对Elasticsearch分布式数据库的支持对流数据提供存储管理等；基于分布式架构的HBase是分布式空间数据存储和管理的首选。
\n空间大数据分析计算技术的核心是对传统地理空间分析算子扩展其分布式计算处理能力，也就是希望通过业界主流的分布式计算框架与GIS平台基础内核实现深度融合。目前主流的大数据计算框架以Hadoop的MapReduce和Spark为主。
\n数据计算极大地增强了人们从事科学研究的能力，大大地加速了把科技转化为生产力的过程，深刻地改变着人类认识世界和改造世界的方法和途径，正推动着当代科学与技术向纵深发展。为了提高计算速度（单机受物理速度限制无法满足）、提高计算精度（加密、计算网格等）以及满足实时计算需求（数值天气预报等），数据计算模式不断发展变化，已由传统的串行运算向并行运算，CPU计算向GPU计算转变。
\n多线程并行计算技术可将一项任务分解为多个线程。这些线程可由多颗CPU内核并行运行，能够更充分和更加高效地利用多核计算资源，降低单个问题的求解时间，节省成本，也能够支撑更大规模或更高精度要求的问题求解。
\n下图对比了串行与并行。当一个任务被划分为A、B、C三个子任务时，串行需要依次执行三个子任务，而多线程并行则可以通过三个线程同时执行三个子任务，从而提高任务的执行效率。
\n\n
Spark吸取了MapReduce的经验教训，充分利用内存，避免反复无效的磁盘I/O写入与读取，大大提高程序运行效率；设计RDD（分布式弹性数据集）作为数据抽象层，把操作分为变换（Transformation）和行动（Action）两种类型，并分别提供丰富的具体算子，使得应用逻辑无需再纠结于底层逻辑，大大降低开发难度；以及提供诸如Spark Streaming、SparkSQL、MLlib等多个扩展库，分别满足实时流计算、SQL查询和机器学习能方面的需要。
\n\n
如上图基于Spark Streaming的流数据处理所示，主流的空间数据流处理都采用Spark Streaming作为首选技术方案，Spark Streaming 是构建Spark的流计算框架，扩展了Spark流式大数据处理能力，可以实现高吞吐量的、具备容错机制的流数据的处理，也适合流数据与历史存档数据混合处理的场景。
\nSpark Streaming包含流处理主程序（Spark Driver），支持从多种数据源获取数据，包括Kafka、Flume、ZeroMQ以及TCP sockets。从数据源获取数据之后，可以使用诸如map、reduce、join等高级函数进行复杂算法的处理。最后还可以将处理结果存储到分布式文件系统、数据库和现场仪表盘。GIS基础软件可以基于Spark Streaming的基础能力实现扩展，扩展实时GIS需要的接收和输出支持文件、传输协议和支持类型，同时可以实例化扩展更多的关于空间数据的过滤、转换等相关能力。
空间大数据既包括了传统的静态的地理空间数据，例如：林地、水系、城市区划等，还涵盖了通过GPS或者传感网络采集的实时动态位置数据。在巨大的数据量面前，更直观更高效的实现地理可视化是一项重要的关键技术。
\n传统GIS主要针对矢量和影像数据提供了不同的显示技术。影像数据通过压缩以及建立金字塔等手段提高了显示效率，而矢量数据尽管有很多优化手段但依然受浏览数据的数据量、精度和符号风格等因素所限。这些都是在大数据阶段进行可视化要解决的问题。
\n空间大数据的地理可视化要根据静态数据和动态数据提供不同的可视化方案，而最直观的问题往往都会集中在性能和效果上。静态数据的可视化在大数据应用中的需求会涉及数据的全貌显示，如下图出租车数据10亿个点的全量显示所展示的地图，在进行缩放、平移等操作时，浏览了上千万甚至上亿个空间对象。
\n