使用说明
将S3MB格式的倾斜数据压缩上传到hadoop文件系统上,根据scp文件找到每个切片,先将切片压缩然后上传,上传完成后将压缩文件删除。
倾斜摄影文件特别碎而且特别大,上传到hadoop特别耗时;使用该工具将大大缩短倾斜摄影文件上传时间。倾斜摄影文件上传到hadoop系统后,将充分发挥分布式文件系统优势,倾斜入库将大大减少文件IO时间,加快效率。
功能入口
“工具箱”->“大数据倾斜数据处理工具”->“上传数据到HDFS”项
参数说明
scp文件路径:输入S3MB格式倾斜摄影数据的配置文件。
Hadoop地址:上传目标hadoop地址,如 hdfs://192.167.1.10:9000/data/。
压缩级别:输入0~9的整数作为文件压缩等级,值越大压缩文件越小,耗时越长。
副本数:输入正整数作为hadoop文件副本数。
参数设置:不需要单独设置,与其他功能链接到一起时会自动设置。