【持续学习系列(六)】《iCaRL》

一、论文信息

1 标题

iCaRL: Incremental Classifier and Representation Learning

2 作者

Sylvestre-Alvise Rebuffi, Alexander Kolesnikov, Georg Sperl, Christoph H. Lampert

3 研究机构

University of Oxford/IST Austria

二、主要内容

论文主要探讨了如何开发能够随着时间推移从数据流中学习更多概念的增量学习系统。作者提出了一种新的训练策略iCaRL，它允许以类增量的方式学习：同时只需要少量类别的训练数据，并且可以逐步添加新类别。iCaRL同时学习强大的分类器和数据表示。这与早期作品不同，后者基本上局限于固定的数据表示，因此与深度学习架构不兼容。通过在CIFAR-100和ImageNet ILSVRC 2012数据集上的实验，作者展示了iCaRL可以在长时间内增量学习许多类别，而其他策略很快就会失败。

三、相关研究

论文提到了自然视觉系统是增量的，例如孩子在参观动物园时会学习到许多新动物，而不会忘记家里的宠物。相比之下，大多数人工对象识别系统只能在批量设置中进行训练，其中所有对象类别在训练前已知，并且所有类别的训练数据可以同时访问。随着计算机视觉领域越来越接近人工智能，显然需要更灵活的策略来处理现实世界对象分类情况的大规模和动态特性。至少，一个视觉对象分类系统应该能够增量学习新类别，当训练数据可用时。这被称为类增量学习。

四、解决方案

iCaRL通过以下三个主要组件来解决上述问题：

1. 使用最近均值样本规则进行分类。
2. 基于放牧的优先样本选择。
3. 使用知识蒸馏和原型排练进行表示学习。

五、实验环节

论文在CIFAR-100和ImageNet ILSVRC 2012数据集上进行了实验，以展示iCaRL在长时间内增量学习多个类别的能力，而其他方法很快就会失败。实验结果表明，iCaRL在类增量学习设置中明显优于其他方法，尤其是在同时处理较少类别的情况下。

六、进一步探索点：

论文指出，尽管iCaRL的结果很有前景，但类增量分类远未解决。特别是，iCaRL的性能仍然低于在批量设置中训练的系统，即所有类别的训练示例同时可用。作者计划在未来的工作中更详细地分析这一问题，并研究相关场景，例如出于隐私原因，分类器不能以原始形式存储任何训练数据。

七、总结

iCaRL是一种新的训练策略，它允许在类增量学习环境中同时学习分类器和数据表示。通过使用最近均值样本规则、基于放牧的优先样本选择和知识蒸馏，iCaRL能够在长时间内增量学习多个类别，而其他方法很快就会失败。尽管如此，作者认为类增量分类仍然是一个开放的研究领域，特别是在提高性能和探索隐私敏感的应用方面。