【持续学习系列(三)】《Less-forgetting Learning in Deep Neural Networks》

一、论文信息

1 标题

Less-forgetting Learning in Deep Neural Networks

2 作者

Heechul Jung, Jeongwoo Ju, Minju Jung, Junmo Kim

3 研究机构

Korea Advanced Institute of Science and Technology, Republic of Korea

二、主要内容

这篇论文主要探讨了深度神经网络（DNNs）在学习新数据时出现的灾难性遗忘问题，即网络在适应新环境（如不同传感器或光照条件）收集的数据时，会忘记之前学到的信息。作者提出了一种新的方法来缓解这个问题，该方法不依赖于源域的任何信息，并且通过实验表明，这种方法能够有效地减少对源域信息的遗忘。

三、相关研究

相关研究包括Srivastava等人提出的局部赢家通吃（LWTA）激活函数，以及Goodrich等人提出的无监督方法。这些方法旨在防止灾难性遗忘，但并不保证能够恢复之前学到的信息。

四、解决方案

作者提出了一种名为“少遗忘学习”（Less-forgetting Learning）的方法，该方法旨在通过同时最小化两个损失函数来缓解深度神经网络中的灾难性遗忘问题。

解决方案的核心思想

1. 保持决策边界不变（Property 1）：通过冻结softmax层的权重来实现，这样可以保持分类器的决策边界不变。
2. 源域特征的接近性（Property 2）：即使在没有源域数据的情况下，也要确保目标网络提取的特征与源网络提取的特征在空间中的位置相近。

数学上，总损失函数$Lt(x;\theta (s),\theta (t))$由两个部分组成：交叉熵损失 $Lc(x;\theta (t))$和欧几里得损失$Le(x;\theta (s),\theta (t))$。这两个损失函数的权重由参数${\lambda }_c$和 ${\lambda }_e$ 控制，通常${\lambda }_e$的值小于${\lambda }_c$。

总损失函数$Lt$的定义如下：
$$Lt(x;\theta (s),\theta (t))={\lambda }_{c}Lc(x;\theta (t))+{\lambda }_{e}Le(x;\theta (s),\theta (t))$$
其中，交叉熵损失$Lc$定义为：
$$Lc(x;\theta (t))=?\sum _{i=1}^C{t}_i\log (o_i(x;\theta (t)))$$
这里，$t_i$ 是真实标签的第i个值，$o_i(x;\theta (t))$是目标网络softmax输出的第i个值，C是类别总数。

欧几里得损失$Le$ 定义为：
$$Le(x;\theta (s),\theta (t))=\frac{1}{2}||f_{L?1}(x;\theta (s))?f_{L?1}(x;\theta (t))|{|}^2$$
这里，$f_{L?1}$ 是第$L?1$层的特征表示。

在训练过程中，目标网络的权重$\theta (t)$会通过反向传播算法更新，以最小化总损失函数$Lt$。

实现步骤

1. 使用源网络的权重$\theta (s)$作为目标网络的初始权重$\theta (t)$。
2. 冻结softmax层的权重。
3. 在训练过程中，交替执行以下步骤：
   • 选择一个mini-batch $B$ 从目标数据集 $D(t)$。
   • 使用反向传播更新$\theta (t)$以最小化总损失$Lt$。

这种方法通过保持源域的决策边界和确保目标网络提取的特征与源网络提取的特征在空间中的位置相近，从而减少了遗忘现象。

五、实验环节

论文进行了两种实验：

1. 遗忘测试：通过手动设置源域和目标域，使用CIFAR-10数据集，并考虑两个不同的数字识别数据集（MNIST和SVHN）分别作为源域和目标域。
2. 泛化测试：使用CIFAR-10数据集，并在对象识别上应用算法2，以观察少遗忘学习在提高网络泛化能力方面的表现。

六、进一步探索点：

论文指出，尽管提出了缓解灾难性遗忘问题的方法，但仍然存在一些可以进一步探索的点，例如如何更有效地在不访问源数据的情况下保持源域的特征空间，以及如何在不同的学习场景中调整和优化这种方法。

七、总结

这篇论文提出了一种新的学习策略，旨在减少深度神经网络在学习新数据时对之前学到的信息的遗忘。通过实验验证，这种方法在保持源域特征空间方面比传统的迁移学习方法更有效，并且能够提高网络的泛化性能。