Imagenet-A
ImageNet-A 数据集包含由 ResNet 模型错误分类的真实世界、未经修改和自然发生的示例。该数据集包含 7,500 张经过对抗性过滤的图像,很容易导致机器学习模型的性能显著下降。
Imagenet-C
对ImageNet 1K添加了一些常见的图像损坏(如模糊和噪声),以评估分类器在面对这些损坏时的性能。这样的评估可以帮助研究人员更全面地了解模型的鲁棒性和泛化能力
ImageNet-O
ImageNet-O 包含来自在 ImageNet-1k 数据集中未发现的类别的图像。它用于测试视觉模型对于分布之外样本的鲁棒性。其评估结果使用 AUPR 指标报告。
mCE:用于评估模型在面对不同类型的图像扭曲、噪声或其他损坏时的鲁棒性
计算mCE时,通常使用以下步骤:
对于每个图像,通过对其应用一种或多种损坏类型生成扰动后的图像。
使用模型对这些扰动图像进行分类。
计算每个扰动下的分类错误率。
对所有损坏类型的错误率取平均值,得到 mCE。
常用来测试模型的鲁棒性。