SuperMap iPortal内置了处理自动化建模 App,用于可视化构建处理自动化模型。在 iPortal 首页,点击“资源中心”>“GPA 模型”进入GPA模型资源页面,右侧点击“创建 GPA 模型”按钮(需登录)进入处理自动化建模 App页面; 通过该 WebApp 您可以: 可视化拖拽和连接工具,构建符合您工作需求的模型,分步运行模型,运行至您所选的工具,以检验处理自动化流程的正确性,运行整个模型实现空间数据的自动化处理与分析流程。
在使用处理自动化建模之前,需要管理员在iPortal的“管理”>“服务器”>“服务器列表”页面进行添加服务器操作,并指定服务器为托管服务器。添加托管服务器完成后,需要管理员配置GPA共享存储,为数据指定存储路径。
处理自动化建模中的数据目录能够接入门户中的数据,可直接拖拽数据到建模流程中参与运算,具体配置请参见:拖拽数据。
构建模型
-
添加工具
可以通过以下方式添加处理自动化工具:
- 进入处理自动化建模页面,在左侧的处理自动化工具列表中选择想要用于构建模型的工具,将其拖拽至页面中间的画布中,工具及其各节点将会显示在画布中。
- 通过处理自动化工具列表上方的搜索框查询所需的工具,然后将其拖拽至画布中进行建模。
- 添加到画布上的工具,支持框选多个工具,在当前画布和跨画布进行复制(Ctrl+C)和粘贴(Ctrl+V)。
-
移动工具
拖拽至画布中的处理自动化工具支持移动和操作:
- 工具整体移动:用鼠标左键选中工具的功能节点进行移动。
-
连接工具
一个模型通常需要由多个处理自动化工具构成,而工具之间需要建立连接,绘制连接的主要操作为:
- 将光标移动至前置工具输出节点的连接点上,连接点显示高亮。
- 按住鼠标左键不放,光标移动至待连接工具输入节点的连接点上,该连接点高亮后释放鼠标,连接线即绘制成功。为保证模型的正常运行,需要保证前置节点的输出参数与后续节点的输入参数相同。
- 单击选中工具或连接线后,在右键菜单中选择删除,或者,使用键盘上的Delete键将其删除。
- 如果误删了工具无需重新拖拽,建模画布的所有操作均支持快捷键撤销(Ctrl+Z)和恢复(Ctrl+Y)。
-
重命名工具
当模型包含多个同名工具或者工具名称不符合使用场景时,您可以单击鼠标左键选中工具节点,在右键菜单中选择“重命名”对工具进行重新命名。
-
简化显示工具
工具参数过多或者工具过多时,可视化建模页面会显得杂乱,您可以右键画布空白区域,选择“全部折叠”按钮,即可收起工具参数。折叠后的工具同样支持移动。
同时,还可以在画布右侧菜单中选择“水平自动布局”或“垂直自动布局”,以整齐画布排版。通过这些操作即可优化可视化建模的显示。
-
添加标注
当模型较为复杂时,业务流程不易理解,您可以对模型元素添加标注以提升模型的易读性。对模型添加标注,只需右键画布空白区域,选择“创建标注”即可。另外,您也可以对单个工具节点添加标注,单击鼠标左键选中工具节点,在右键菜单中选择“创建标注”即可。对工具节点添加的标注,在移动工具节点时可随之一起移动。
另外,也可以通过文件->导入模型将可视化建模的xml模板导入画布中进行建模。
设置参数
设置模型参数
要为模型中的工具指定参数设置,需要通过鼠标左键点击输入节点,此时在页面右侧的参数栏会出现参数填写注释,根据注释要求输入符合格式的参数值即可。当前工具所有必填参数填写完毕后,工具的功能节点框线会由灰色变为蓝色,由此,您可根据节点的外框颜色情况快速检查模型参数填写情况。
- 文件路径:需要导入的数据路径信息,来源包含本地上传、从资源中心添加、我的文件夹。 我的文件夹数据来源于GPA共享存储指定存储路径下 “personalDir/{userid}” 的文件夹,您可以将所需数据拷贝至我的文件夹,无需上传便可直接使用。
如果您不想使用算子参数的默认配置,那么可以根据需求自定义算子参数。具体请参见: 自定义算子参数。
设置集群环境
使用Apache Spark进行空间大数据分布式分析,在运行模型前可以通过以下两种方式配置集群环境参数:
- 配置单模型集群环境参数
处理自动化服务建模页面中使用大数据工具时,点击工具节点可以在参数面板切换"spark 环境设置"选项,设置好对应参数,在运行模型时将连接集群并提交处理自动化任务。
- 配置全局集群环境参数
为了方便复用集群环境参数, 提供了全局Spark环境参数的配置。具体步骤如下:
1. 在处理自动化建模页面,点击右上角的”设置“项,进行 Spark全局环境参数的设置;
2. 在环境设置页面,可以点击"添加模式"按钮来配置环境参数。支持将添加的一组环境参数设置为默认模式,勾选“Spark集群默认部署模式”后,当新增带有大数据工具的模型时,将自动填充该环境参数;
3. 在模型的参数面板中,Spark环境设置新增“环境参数类型”参数,通过下拉菜单可以方便的配置和切换全局环境参数,也可以按需修改默认填充的全局环境参数。
集群环境参数主要包括以下四部分:
- 部署模式:包括 local(单进程),local(多进程),client,cluster。
- 集群master地址:必填参数,如 spark://172.16.16.8:7077。
- 自定义应用程序的名称:必填参数,如 geoprocessing。
- Spark属性参数设置:集群配置的参数设置,选填参数。如 spark.cores.max=4,spark.executor.memory=16g,spark.driver.host=192.168.17.43。
运行模型
在建模器中可以运行部分模型或者整个模型。
- 运行部分模型:鼠标右键单击一个工具,点击“执行到此节点”按钮,即可运行处理自动化流程至所选工具。该操作可以用于验证工具参数是否正确。
- 运行整个模型:点击页面右上角的“执行”按钮,即可按顺序运行模型至完成整个处理自动化流程。
运行成功的工具将会在工具节点右上角出现绿色的成功提示,反之会在工具节点右上角出现红色的失败提示。在模型执行过程中,可以通过页面下方的执行日志窗口,实时查看模型的执行日志信息。另外,还可以通过执行日志窗口来过滤不同级别的信息,以便快速诊断模型错误。
模型的复用
处理自动化建模支持将自定义的模型发布至服务端和导入导出模型,以支持模型的复用。
将自定义的模型发布为工具
处理自动化建模可以将处理自动化模型以工具形式保存在服务器端的处理自动化工具列表中,由此可以多次使用该模型进行空间大数据的处理而不必重复建模的工作,发布的主要操作如下:
- 点击页面菜单栏的“发布”模型按钮,设置工具信息,包括模型分组、工具名称。
- 检查工具信息过后点击确定,即可将构建好的模型发布为自定义工具。
注:为了确保工具使用的安全性,发布为自定义工具的模型必须成功运行过。
添加成功后,点击“模型”,添加的工具即可在工具列表中的自定义工具列表下显示,用鼠标拖拽至画布中即可开始复用,具体使用方法可参考前面的步骤。
导入或导出模板
您也可以通过文件->导出模型将可视化建模模板导出至本地,在需要再次使用和编辑的时候通过导入模型即可将可视化建模再次加载至画布中。
编辑工具参数
将模型发布为自定义工具后,您可对其参数进行编辑,使参数更加直观、贴合工具的使用场景。
- 在处理自动化建模左侧的“模型”列表中找到您想要编辑的自定义工具,点击该工具“编辑参数”。
- 您可以修改自定义工具参数的描述和隐藏部分不需要进行展示的参数。编辑完毕后,点击确定 。
- 将编辑成功的自定义处理自动化工具拖拽至画布中,您可以看到编辑过后的工具。
模型元数据
模型元数据,是对模型进行描述的重要信息,用来说明模型的使用方法。详细的模型元数据可使他人充分了解模型的应用范围,以减少知识共享和应用共享的障碍。模型元数据的内容包括:
- 名称:对模型进行概括性的标题;
- 作者:可填写建模人员姓名;
- 创建及更新时间:系统自动生成创建和修改模型元数据的时间;
- 摘要:用于概述模型应用的项目背景;
- 描述:用于介绍模型的使用方法,和适用范围;
- 标签:用于添加关键字;
- 缩略图:可自动生成模型缩略图;
可以通过以下步骤查看和编辑模型元数据:
- 在画布空白区域单击鼠标右键,选择“查看元数据”,即可弹出查看元数据的窗口。
- 如果您需要编辑元数据信息,则在查看元数据窗口继续点击“编辑元数据”按钮,即可在编辑元数据窗口中编辑模型的标题、作者、摘要、描述和标签,还可以一键生成模型缩略图,编辑完成后点击确定,模型元数据将会保存至模型文件中。
- 将模型发布至模型列表后,点击该工具“查看元数据”,即可弹出查看元数据的窗口。
保存、共享模型
创建好模型之后,点击右上角“保存”按钮,就可以将创建的模型保存。
点击右上角“共享”按钮,可以对创建的GPA模型进行共享设置,支持的共享范围有:私有、公开、指定部门、指定群组和指定用户可检索、可下载\执行或可编辑。
任务中心
点击右上角的”任务中心“按钮,可以查询到当前用户数据分析任务列表,实时追踪模型执行情况,查看历史任务的执行进度、耗时、详情和日志信息。
主题设置
点击右上角的”皮肤“按钮,可以进行主题切换。系统默认提供了四种主题:蓝色主题、橙色主题、暗橙主题和暗红主题。