使用说明
保存矢量数据工具将要素数据集(FeatureRDD)保存到指定数据源中。目前,支持将要素数据集(FeatureRDD)保存到以下几种数据源中:
- 文件型数据源:UDB/UDBX、SimpleJson、DSF。
- 数据库型数据源:达梦、华为云PostgreSQL、瀚高、神舟通用、禹贡、空天、人大金仓、Oracle 、PostGIS 、PostgreSQL、SQLSpatial、SQLPlus、MySQL、MongoDB、Hbase 、ElasticSearch 。
参数说明
参数名 | 默认值 | 参数释义 | 参数类型 |
---|---|---|---|
待保存的要素数据集 | 待保存的要素数据集(FeatureRDD)。 | FeatureRDD | |
连接信息 | 指定数据源的连接信息,需要包含数据源类型、连接参数、数据集名字等信息。使用’—key=value’的方式设置,多个值使用’ ‘空格分隔。例如: 1. 连接 HBase 数据: —providerType=hbase —hbase.zookeepers=127.0.0.1:2181 —hbase.catalog=testdata —dataset=DLTB 或者: hbase —hbase.zookeepers=127.0.0.1:2181 —hbase.catalog=testdata —dataset=DLTB 2. 连接 DSF 数据(HDFS目录): —providerType=dsf —path=hdfs://127.0.0.1:2181/data/vector/DLTB 或者: dsf —path=hdfs://127.0.0.1:2181/data/vector/DLTB 3. 连接 DSF 数据(本地目录): Linux系统下: —providerType=dsf —path=file:////home/data/vector/Zoopt 或者 dsf —path=file:////home/data/vector/Zoopt Windows系统下: —providerType=dsf —path=file:///E:/data/vectordata/Zoopt 或者 dsf —path=file:///E:/data/vectordata/Zoopt 4.连接 OracleSpatial 数据源: —providerType=jdbc : jdbc —host=127.0.0.1 —port=1521 —schema=testosp —database=orcl —user=testosp —password=testosp —dbtype=oracle —table=SMDTV(需要注意的是:有时数据集名称与数据集表名称不一致,此处需要填写数据集表名称。) —providerType=sdx : —providerType=sdx —server=127.0.0.1:1521/orcl —user=testosp —password=testosp —maxConnPoolNum=1 —dataset=SMDTV —dbType=ORACLESPATIAL 5.连接 PostGIS 数据: —providerType=jdbc : —providerType=jdbc —host=127.0.0.1 —port=5432 —schema=postgres —database=uitest —user=postgres —password=uitest —dbtype=postgis —dataset=DLTB —providerType=sdx : —providerType=sdx —server=127.0.0.1 —database=postgis —user=postgres —password=uitest —maxConnPoolNum=10 —dataset=DLTB —dbType=PGGIS 6.连接 UDB/UDBX 数据: sdx —server=F:\data\landuse2k\UDB\landuse.udb —dataset=DLTB —dbType=udb 7.连接 ShapeFile 数据: shape-file —path=file:///F:/data/landuse2k/shp 8.连接 Elasticsearch 数据: —providerType=elastic —index=test —table=test —nodes=localhost —port=9200 |
String | |
是否分块写入 (可选) |
true | 该参数值有两种:true,表示分块写数据,对于大数据,避免出现写出时内存不足;false,表示不进行分块写入。 | Boolean |
输出结果
保存矢量数据工具的输出结果为数据源的连接信息。
数据源连接信息的详细释义
—providerType=hbase
参数名 | 参数释义 |
---|---|
—hbase.catalog, —catalog, -C (必填) |
Hbase 目录表名 |
—dataset, —output-name, -O (必填) |
结果数据集名称 |
—hbase.zookeepers, —zookeepers, -Z (必填) |
HBase zookeepers 地址 |
—hbase.config.paths, —config-paths | 指定 hbase-site.xml,core-site.xml 等路径(可以是多个路径,以逗号分隔) |
—geomesa.z.bounds, —z-bounds | 数据范围,仅用于非经纬度投影数据 eg.(minx,maxx,miny,maxy) |
—geomesa.z.splits, —z-splits | z 索引、xz 索引分区数,需要大于等于4,默认为6 |
—geomesa.index.names, —index-names | 字段索引数组名称集合,用于创建字段索引 |
—geomesa.attr.splits, —attribute-splits | 字段分区数,本参数只有制定 index-names 且大于值大于4才有效,默认为6 |
—geomesa.ignore.dtg, —ignore-dtg-index | 是否忽略时间字段索引,默认为 false |
—table.splitter.options, —table-splitter-opts | ID分区策略。例如:8分区,id.pattern:[0-02-24-46-68-8a-ac-ce-e],16分区,id.pattern:[0-9a-f],32分区,id.pattern:[0-9a-f][0-08-8],64分区,id.pattern:[0-9a-f][0-04-48-8c-c],128分区,id.pattern:[0-9a-f][0-02-24-46-68-8a-ac-ce-e],256分区,id.pattern:[0-9a-f][0-9a-f] |
—override.reserved.words, —override-reserved-words | 是否允许和系统字段同名,默认 false |
—hbase.coprocessor.url, —hbase-coprocessor-url | 协处理器路径, eg. /tmp/lib/geomesa-hbase-distributed-runtime_version.jar |
—providerType=sdx
参数名 | 参数释义 |
---|---|
—server, -S (必填) |
数据库引擎服务地址或文件路径 |
—type, -T, —db-type (必填) |
数据库引擎类型,可填 udb 或 udbx |
—output-name, -O (必填) |
结果数据集名称 |
—driver | 数据源连接所需的驱动名称 |
—database, —db | 数据源连接的数据库名 |
—alias, -A | 数据源别名 |
—user, -U | 数据源连接的数据库名 |
—password, —pwd | 登录数据库的密码 |
—is-blocking-write, —block | 分块写数据,对于大数据,可以有效提高性能,默认为 true |
—providerType=simplejson
参数名 | 参数释义 |
---|---|
—path, -P, —url | Simple Json 文件或目录地址,本地目录前需要加 file:// |
—providerType=DSF
参数名 | 参数释义 |
---|---|
—path, —url, —P (必填) |
DSF 目录地址 |
—bounds, —B | 查询范围,主要用于范围查询,相比使用 Query 中的 box 查询,queryBounds 会利用一级索引进行一次过滤,性能更高效 |
—fields, —result-fields | 需要读取的字段名,以逗号分隔 |
—providerType=elasticsearch
参数名 | 参数释义 |
---|---|
—providerType (必填) |
参数类型,必须设置为 elastic 或者 elasticsearch |
—dataset, —table (必填) |
指定要读取的数据表名 |
—index (必填) |
索引名称 |
—es.nodes, —nodes (必填) |
ES 服务器地址 |
—es.port, —port (必填) |
端口 |
—es.batch.size.bytes, —batch-size-bytes, —BSB | 批量写入的大小,默认为1mb |
—es.batch.size.entries, —batch-size-entries, —BSE | 与 es.batch.size.bytes 相匹配,执行批量更新,默认为1000 |
—es.mapping.id | 待写入的字段、属性,其名称包含es.mapping.id |
—es.internal.es.cluster.name, —cluster-name, CN | 集群名,集群版本为5.x和6.x读写需要设置,7.x版本可设置可以不设置 |
—numberofshards | 分片数,默认为5 |
—numberofreplicas | 副本数,默认为1 |