数据准备

iServer Manager 提供注册不同数据来源到iServer中,根据数据不同的存储位置,iServer现支持以下两种方式来进行注册:

  • 注册用户自管理的存储:也称iServer 注册数据,通过iServer 服务页面中的数据注册功能,将磁盘目录、HDFS目录和数据库注册到iServer中,使 iServer 提供的服务访问并使用这些数据。
  • 注册SuperMap托管的存储:即通过iServer DataStore产品包与iServer进行关联,在 DataStore 中配置关系型数据存储时,将自动创建一个 PostgreSQL 数据库,可存储数据集。通过 iServer 大数据服务访问数据,进而可下载、上传数据,以及分析这些数据等。

iServer 注册数据

用户可将拥有的数据库或数据文件所在目录注册到 iServer,即可以使 iServer 提供的服务访问并使用这些数据。iServer 数据注册提供四种存储类型:大数据共享目录、空间数据库、分布式切片库、机器学习模型。当数据准备就绪后,在创建各类大数据分析任务时,iServer 会自动列出符合分析条件的数据集。

注册大数据文件共享

iServer 分布式分析服务提供对 csv 数据和 udb 数据集的处理与分析能力。您可以将网络中共享的或本地文件目录,以及HDFS 目录注册到 iServer 中,目录中的 csv文件、index文件、udb 数据集文件及子文件夹用于分布式分析服务。

  1. 在 iServer 服务管理页面,依次点击数据数据注册注册数据存储,在注册数据存储面板中设置数据存储类型,选择大数据文件共享
  2. 文件共享类型可选择以下两种:
  3. 共享目录:可以将存储于本地或者文件共享的csv 数据和 udb 数据注册到iServer中,用于分布式分析或机器学习分析。其中,注册的csv数据支持修改数据的字段类型。
  4. HDFS目录:为更好的适应大规模数据的 GIS 应用,推荐您使用 HDFS(Hadoop Distributed File System),即 Hadoop 分布式文件系统。它具有高容错特性,适合大规模数据集上的应用。iServer 支持注册 HDFS 中存储的 csv 数据(注册的csv数据支持修改数据的字段类型)、index文件数据。
  5. 共享目录中输入注册数据所在的共享路径,或在HDFS目录中输入csv 数据的路径即可。
  6. 设置好以上参数后,单击注册数据存储按钮,即可将数据注册到iServer中。

dataregister

注册空间数据库

登录服务管理器,依次点击进入数据--数据注册。数据存储列表中展示了所有已注册的数据存储,点击存储 ID,可查看详细的存储配置信息。

具体配置信息如下:

  • 存储 ID:为数据库创建一个唯一标识。
  • 数据存储类型:选择空间数据库
  • 数据库类型:当前支持 HBase、HDFS、Oracle 、 PostgreSQL、PostGIS。
  • 服务地址: 数据库连接地址。
  • 数据库:您将使用的数据库。
  • 用户名:该数据库所有者的用户名(HBASE和HDFS除外)。
  • 密码:该数据库所有者的密码(HBASE和HDFS除外)。
  • 允许编辑:当前仅注册的 HBase、HDFS、 PostgreSQL、POSTGIS数据库支持该选项。不勾选”允许编辑”,该数据库不可作为目录服务上传关系型数据的存储节点。勾选”允许编辑”:该数据库可作为目录服务上传关系型数据的存储节点。作为上传的关系型数据的存储节点,遵循以下原则:

    • 当注册多个允许编辑的数据库时,优先选择数据集最少的数据库做为存储节点。
    • 当同时注册了允许编辑的数据库和iServer DataStore,则优先选择允许编辑的数据库作为存储节点,且遵循数据集最少原则。
    • 如只注册了iServer DataStore,则iServer DataStore可作为存储节点。

:在进行数据注册时,如果iServer服务与HBase集群不在同一机器,需要将HBase集群各个节点所在机器的ip、主机名添加到iServer服务所在机器的hosts文件中。

也可以通过修改数据目录服务配置文件来注册空间数据库,具体操作时,在 iserver-datacatalog.xml 中添加如下配置信息:

    <datastore> 
    <datastoreType>SPATIAL</datastoreType> 
    <name>postgresql2</name>
    <type>POSTGRESQL</type>   
      <connectionInfo>  
        <dataBase>postgres2</dataBase>   
        <engineType>POSTGRESQL</engineType>   
        <password>iserver</password>   
        <server>192.168.17.116</server>   
        <user>iserver</user>   
        <connect>false</connect>   
        <exclusive>false</exclusive>   
        <openLinkTable>false</openLinkTable>   
        <readOnly>false</readOnly>  
      </connectionInfo> 
    </datastore> 

其中,datastoreType、name、type 为必填参数,conectionInfo 中:dataBase、password、server、user也均为必填参数。

分布式切片库

如果您希望将地图瓦片进行分布式存储,那么在创建分布式切图任务之前,需要先将分布式切片库注册到 iServer。目前支持的分布式切片库的类型有MongoDB、OTS。下面详细介绍MongoDB存储的添加过程:

  1. 在 iServer 服务管理页面(http://supermapiserver:8090/iserver/manager),依次点击数据数据注册注册数据存储,并设置以下参数:
  2. 存储 ID:自定义存储 ID 名称,为数据库创建的唯一标识。
  3. 数据存储类型:选择分布式切片库
  4. 切片存储类型:选择MongoDB。点击添加MongoDB服务地址
  5. 服务地址:即 MongoDB 服务的地址,格式为:{ip}:{port}。
  6. 添加复制集:如果勾选,则为分布式切片库中的数据创建副本。通过复制集机制可以实现 MongoDB 存储系统的自动故障转移,提升数据的可用性。
  7. 数据库名称:用来存储地图瓦片的数据库。默认使用名为 smtiles 的数据库。
  8. 用户名:具有访问该数据库权限的用户。即在输入前,您为将使用的数据库设置的用户名和密码。
  9. 密码:已设置的密码。
  10. 点击下方的注册数据存储按钮,完成数据注册。

机器学习模型

iServer机器学习服务可提供对udb中的矢量数据集进行回归预测等能力,对影像数据集进行影像分类和目标检测等能力。您可以将模型文件注册到 iServer 中用于机器学习服务。

在 iServer 服务管理页面(http://supermapiserver:8090/iserver/manager),依次点击数据数据注册注册数据存储,并设置以下参数:

  • 存储 ID:自定义存储 ID 名称。
  • 数据存储类型:选择机器学习模型
  • 模型文件路径:填写 sdm 文件所在的目录路径,如:/home/supermap/model/binary_building。

点击下方的注册数据存储按钮,完成数据注册。

iServer DataStore

iServer DataStore 是一款应用程序,您可以通过 iServer DataStore 快速创建数据存储,并将数据存储与 iServer 关联起来。在 DataStore 中配置关系型数据存储时,将自动创建一个 PostgreSQL 数据库,可存储数据集。通过 iServer 大数据服务访问数据,进而可下载、上传数据,以及分析这些数据等。

环境搭建

DataStore 默认端口为 8020,请先修改防火墙配置,使该端口通过。如果您的 DataStore 将安装在 Windows 系统上,请确认是否安装了 vcredist 2013,如未安装,DataStore 产品包中提供安装文件,位于 DataStore 产品包 \support\vcredist\vcredist_x64-2013.exe。

  1. 在iServer DataStore 产品包的 bin 文件夹中,启动服务;
  2. 在浏览器中输入地址:http://{ip}:8020 访问 DataStore 配置向导,输入 iServer 管理员用户名、密码;
    DataStore1
  3. 指定内容目录,用于存储数据、日志,备份文件等。默认为【DataStore 安装目录】\data。注意:DataStore的内容目录暂不支持包含中文和空格的路径;
    DataStore2
  4. 选择要创建的数据类型,目前支持关系型数据、二进制文件、切片缓存、时空数据;二进制数据和切片数据的存储能力依托于 MongoDB 数据库,需要在本机安装 MongoDB。选择创建二进制数据存储或切片数据存储后,指定本机 MongoDB 的安装路径,例如D:\mongodb;
  5. 点击完成后,等待配置成功。
  6. 配置成功后,“配置状态”页面会提示 iServerDataStore 的关系组件已成功配置给 iServer,单击该页面中的“数据目录服务”,在跳转的页面中登录后,单击“dataimport”即可选择数据上传;
    DataStore4
  7. 在数据导入界面选择相应的数据,单击“上传”按钮,即可将数据上传至 DataStore 中。支持导入 udb 数据源、CSV文件、工作空间、Excel文件和GeoJson文件,且udb数据源与工作空间导入格式需为*.zip压缩文件。
    DataStore6
  8. 数据集上传成功后,会返回一个唯一的 dataID,如上图所示,用于代表该上传文件的数据包。单击该DataID,可查看该数据包的详细描述信息。上传成功的数据集,也会出现在 relationship/datasets 资源的“数据集列表”中。
    DataStore7
  9. 上传数据之后,在桌面应用程序中通过打开刚配置好的 iServer DataStore 数据源,即可查看其中上传的数据。

相关主题

环境配置

密度分析