保存矢量数据

使用说明

保存矢量数据工具将要素数据集(FeatureRDD)保存到指定数据源中。目前,支持将要素数据集(FeatureRDD)保存到以下几种数据源中:

  • 文件型数据源:UDB/UDBX、SimpleJson、DSF。
  • 数据库型数据源:达梦、华为云PostgreSQL、瀚高、神舟通用、禹贡、空天、人大金仓、Oracle 、PostGIS 、PostgreSQL、SQLSpatial、SQLPlus、MySQL、MongoDB、Hbase 、ElasticSearch 。

参数说明

参数名 默认值 参数释义 参数类型
待保存的要素数据集 待保存的要素数据集(FeatureRDD)。 FeatureRDD
连接信息 指定数据源的连接信息,需要包含数据源类型、连接参数、数据集名字等信息。使用’—key=value’的方式设置,多个值使用’ ‘空格分隔。例如:
1. 连接 HBase 数据:
—providerType=hbase —hbase.zookeepers=127.0.0.1:2181 —hbase.catalog=testdata —dataset=DLTB
或者:
hbase —hbase.zookeepers=127.0.0.1:2181 —hbase.catalog=testdata —dataset=DLTB
2. 连接 DSF 数据(HDFS目录):
—providerType=dsf —path=hdfs://127.0.0.1:2181/data/vector/DLTB
或者:
dsf —path=hdfs://127.0.0.1:2181/data/vector/DLTB
3. 连接 DSF 数据(本地目录):
Linux系统下:
—providerType=dsf —path=file:////home/data/vector/Zoopt 或者 dsf —path=file:////home/data/vector/Zoopt
Windows系统下:
—providerType=dsf —path=file:///E:/data/vectordata/Zoopt 或者 dsf —path=file:///E:/data/vectordata/Zoopt
4.连接 OracleSpatial 数据源:
—providerType=jdbc :
jdbc —host=127.0.0.1 —port=1521 —schema=testosp —database=orcl —user=testosp —password=testosp —dbtype=oracle —table=SMDTV(需要注意的是:有时数据集名称与数据集表名称不一致,此处需要填写数据集表名称。)
—providerType=sdx :
—providerType=sdx —server=127.0.0.1:1521/orcl —user=testosp —password=testosp —maxConnPoolNum=1 —dataset=SMDTV —dbType=ORACLESPATIAL
5.连接 PostGIS 数据:
—providerType=jdbc :
—providerType=jdbc —host=127.0.0.1 —port=5432 —schema=postgres —database=uitest —user=postgres —password=uitest —dbtype=postgis —dataset=DLTB
—providerType=sdx :
—providerType=sdx —server=127.0.0.1 —database=postgis —user=postgres —password=uitest —maxConnPoolNum=10 —dataset=DLTB —dbType=PGGIS
6.连接 UDB/UDBX 数据:
sdx —server=F:\data\landuse2k\UDB\landuse.udb —dataset=DLTB —dbType=udb
7.连接 ShapeFile 数据:
shape-file —path=file:///F:/data/landuse2k/shp
8.连接 Elasticsearch 数据:
—providerType=elastic —index=test —table=test —nodes=localhost —port=9200
String
是否分块写入
(可选)
true 该参数值有两种:true,表示分块写数据,对于大数据,避免出现写出时内存不足;false,表示不进行分块写入。 Boolean

输出结果

保存矢量数据工具的输出结果为数据源的连接信息。

数据源连接信息的详细释义

—providerType=hbase

参数名 参数释义
—hbase.catalog, —catalog, -C
(必填)
Hbase 目录表名
—dataset, —output-name, -O
(必填)
结果数据集名称
—hbase.zookeepers, —zookeepers, -Z
(必填)
HBase zookeepers 地址
—hbase.config.paths, —config-paths 指定 hbase-site.xml,core-site.xml 等路径(可以是多个路径,以逗号分隔)
—geomesa.z.bounds, —z-bounds 数据范围,仅用于非经纬度投影数据 eg.(minx,maxx,miny,maxy)
—geomesa.z.splits, —z-splits z 索引、xz 索引分区数,需要大于等于4,默认为6
—geomesa.index.names, —index-names 字段索引数组名称集合,用于创建字段索引
—geomesa.attr.splits, —attribute-splits 字段分区数,本参数只有制定 index-names 且大于值大于4才有效,默认为6
—geomesa.ignore.dtg, —ignore-dtg-index 是否忽略时间字段索引,默认为 false
—table.splitter.options, —table-splitter-opts ID分区策略。例如:8分区,id.pattern:[0-02-24-46-68-8a-ac-ce-e],16分区,id.pattern:[0-9a-f],32分区,id.pattern:[0-9a-f][0-08-8],64分区,id.pattern:[0-9a-f][0-04-48-8c-c],128分区,id.pattern:[0-9a-f][0-02-24-46-68-8a-ac-ce-e],256分区,id.pattern:[0-9a-f][0-9a-f]
—override.reserved.words, —override-reserved-words 是否允许和系统字段同名,默认 false
—hbase.coprocessor.url, —hbase-coprocessor-url 协处理器路径, eg. /tmp/lib/geomesa-hbase-distributed-runtime_version.jar

—providerType=sdx

参数名 参数释义
—server, -S
(必填)
数据库引擎服务地址或文件路径
—type, -T, —db-type
(必填)
数据库引擎类型,可填 udb 或 udbx
—output-name, -O
(必填)
结果数据集名称
—driver 数据源连接所需的驱动名称
—database, —db 数据源连接的数据库名
—alias, -A 数据源别名
—user, -U 数据源连接的数据库名
—password, —pwd 登录数据库的密码
—is-blocking-write, —block 分块写数据,对于大数据,可以有效提高性能,默认为 true

—providerType=simplejson

参数名 参数释义
—path, -P, —url Simple Json 文件或目录地址,本地目录前需要加 file://

—providerType=DSF

参数名 参数释义
—path, —url, —P
(必填)
DSF 目录地址
—bounds, —B 查询范围,主要用于范围查询,相比使用 Query 中的 box 查询,queryBounds 会利用一级索引进行一次过滤,性能更高效
—fields, —result-fields 需要读取的字段名,以逗号分隔

—providerType=elasticsearch

参数名 参数释义
—providerType
(必填)
参数类型,必须设置为 elastic 或者 elasticsearch
—dataset, —table
(必填)
指定要读取的数据表名
—index
(必填)
索引名称
—es.nodes, —nodes
(必填)
ES 服务器地址
—es.port, —port
(必填)
端口
—es.batch.size.bytes, —batch-size-bytes, —BSB 批量写入的大小,默认为1mb
—es.batch.size.entries, —batch-size-entries, —BSE 与 es.batch.size.bytes 相匹配,执行批量更新,默认为1000
—es.mapping.id 待写入的字段、属性,其名称包含es.mapping.id
—es.internal.es.cluster.name, —cluster-name, CN 集群名,集群版本为5.x和6.x读写需要设置,7.x版本可设置可以不设置
—numberofshards 分片数,默认为5
—numberofreplicas 副本数,默认为1