模型评估

要了解变化检测模型的效果,除了人工可视化对比,还可以通过量化模型推理得到的结果和真实标签(Ground Truth)的差异,借助一些评估指标结果辅助判断。常用的指标有F1、IOU、Recall和Precision等。在实际应用中,根据检测任务和指标含义的不同,通常需要结合多种评估指标综合判断模型效果。

SuperMap iDesktopX提供模型评估功能,支持对影像目标检测、二元分类、地物分类、通用变化检测模型进行评估。

主要参数

  1. 功能入口工具箱->机器学习->影像分析->模型评估工具。
  2. 推理结果:选择需要进行模型评估的矢量结果。该推理结果可为使用目标检测、通用变化检测得到的结果,或二元分类和地物分类得到的栅格结果转化生成的矢量数据。
  3. 真实标签:与推理结果进行对比的真实标签矢量数据集(Ground Truth)。
  4. 模型类型:支持目标检测、二元分类、地物分类、普通变化检测
  5. 推理结果类别字段:读取推理结果矢量数据集中字段,‘模型类型’为二元分类和通用变化检测时此参数不生效。如果未指定字段名称(None),则 value 字段将被使用。 如果这些字段都不存在,则会将所有记录标识为一类。
  6. 真实标签类别字段:读取真实标签矢量数据集中字段,‘模型类型’为二元分类和通用变化检测时此参数不生效。如果未指定字段名称(None),则 value 字段将被使用。 如果这些字段都不存在,则会将所有记录标识为一类。
  7. 重叠阈值:判断目标检测推理结果框是否正确的阈值,大于该阈值则判定推理结果正确,其值应在0到1范围内。IoU是一个比值,其分子是推理边界框和真实边界框的交集,分母是两个边界框的并集。此参数只在‘精度评价用途’为目标检测时生效,默认值为0.5。
  8. 结果数据:即模型评估的结果属性表,设置结果数据集保存的数据源和保存名称。
  9. 运行:单击对话框中的运行按钮,即可执行模型评估操作,此时,Python 窗口会显示功能执行的进度信息。
  10. 下图为对影像中的飞机进行目标检测后,利用模型评估工具进行模型推理结果进行精度评估的结果。

相关内容

机器学习环境配置

生成训练数据

模型训练

目标检测

二元分类

地物分类

场景分类

对象提取

通用变化检测