使用说明
要了解变化检测模型的效果，除了人工可视化对比，还可以通过量化模型推理得到的结果和真实标签（Ground Truth）的差异，借助一些评估指标结果辅助判断。常用的指标有F1、IOU、Recall和Precision等。在实际应用中，根据检测任务和指标含义的不同，通常需要结合多种评估指标综合判断模型效果。
SuperMap iDesktopX提供模型评估功能，支持对影像目标检测、二元分类、地物分类、通用变化检测模型进行评估。
模型评估可输出的精度指标如下：
| 解译任务 | 精确率Precision | 召回率Recall | F1-score | Kappa | IoU | mAP | OA |
|---|---|---|---|---|---|---|---|
| 目标检测 | √ | √ | √ | √ | |||
| 二元分类 | √ | √ | √ | √ | √ | √ | |
| 地物分类 | √ | √ | √ | √ | √ | √ | |
| 通用变化检测 | √ | √ | √ | √ | √ | √ |
参数说明
-
推理结果：选择需要进行模型评估的矢量解译成果。
-
真实标签：与推理结果进行对比的真实标签矢量数据集。
-
模型类型：支持目标检测、二元分类、地物分类和通用变化检测。
-
推理结果类别字段：读取推理结果矢量数据集中标识不同地物类型或目标类型的字段，“模型类型”为二元分类和通用变化检测时此参数不生效。如果未指定字段名称（None），则value字段将被使用。如果这些字段都不存在，则会将所有记录标识为一类。
-
真实标签类别字段：读取真实标签矢量数据集中标识不同地物类型或目标类型的字段，“模型类型”为二元分类和通用变化检测时此参数不生效。如果未指定字段名称（None），则value字段将被使用。如果这些字段都不存在，则会将所有记录标识为一类。
-
评估范围数据源/数据集：填写矢量面数据集，用于限定模型评估的范围。评估范围内，必须有完整的推理结果和真实标签，以保证评估结果真实可靠。
-
是否拓扑检查：只在“模型类型”为地物分类时生效。在对地物分类解译结果进行评估时，若真实标签存在拓扑错误，会影响评估结果准确性。勾选该选项，将输出地物分类真实标签数据集的拓扑检查结果，可根据拓扑检查结果对真实标签进行修正后再次进行模型评估。进行拓扑检查会增加模型评估耗时。
-
重叠阈值：判断目标检测推理结果框是否正确的阈值，大于该阈值则判定推理结果正确，其值应在0到1范围内。重叠阈值是一个比值，其分子是推理边界框和真实边界框的交集，分母是两个边界框的并集。此参数只在“模型类型”为目标检测时生效，默认值为0.5。
-
结果数据：即保存模型评估结果的表格，需要设置其保存的数据源和保存名称。