Progressive Neural Networks
Andrei A. Rusu*, Neil C. Rabinowitz*, Guillaume Desjardins*, Hubert Soyer, James Kirkpatrick, Koray Kavukcuoglu, Razvan Pascanu, Raia Hadsell
Google DeepMind, London, UK
论文旨在解决如何在学习复杂任务序列时，利用迁移学习的同时避免灾难性遗忘的问题。提出的渐进式神经网络（Progressive Neural Networks）是一种新的模型架构，它通过侧向连接到之前学习的特征来保留预训练模型的池，并从中提取新任务的有用特征。这种网络设计使得知识不再是瞬态的，而是可以在特征层次结构的每个层级中整合。此外，通过在预训练网络旁边添加新容量，这些模型具有重用旧计算和学习新计算的灵活性。
论文提到了迁移学习中的微调（finetuning）方法，这是一种在源域预训练模型，然后调整输出层以适应目标域，并通过网络反向传播进行微调的方法。此外，还提到了蒸馏（distillation）作为多任务学习的潜在解决方案，但这种方法需要为所有任务提供持续的训练数据。论文还提到了增量和构造性架构，如级联相关学习架构和自编码器。
渐进式神经网络通过为每个任务实例化一个新的神经网络（一列），并保留之前任务的参数来解决灾难性遗忘问题。在训练新任务时，新列的权重是随机初始化的，并且通过侧向连接从之前学习的列中接收输入。这种架构允许网络在不干扰之前任务的情况下，通过组合之前学习的特征来实现更丰富的组合性。
冻结先前层的参数：在转向新任务时，先前任务的网络层（或列）的参数被冻结，这意味着它们的权重不会被更新。这样，新任务的学习不会影响之前任务的解决方案。
侧向连接：新任务的网络层通过侧向连接接收来自之前任务层的输出。这些侧向连接允许信息在不同任务之间流动，使得新任务可以从之前任务中提取有用的特征。
随机初始化新任务的权重：新任务的网络层（或列）的权重是随机初始化的，这允许新任务在保持之前任务知识的同时，学习新的特征和策略。
层次化特征提取：每个任务的网络层（或列）都负责提取不同层次的特征。通过侧向连接，新任务可以访问之前任务提取的低级和高级特征，这有助于构建一个更复杂的特征表示。
避免灾难性遗忘：由于之前任务的参数被冻结，新任务的学习不会覆盖或破坏之前任务的知识。这使得网络可以在保持之前任务性能的同时，学习新任务。
灵活性和可扩展性：随着新任务的加入，网络可以增加新的容量（即新的列），这些新列可以学习新的特征，同时也可以利用之前任务的侧向连接来重用有用的特征。这种结构允许网络在不同任务之间进行有效的知识迁移。
特征重用与学习：新任务不仅可以重用之前任务的特征，还可以学习新的特征来适应当前任务。这种组合性允许网络在不同任务之间进行更精细的调整，从而提高整体性能。
综上所述，渐进式神经网络通过其独特的架构设计，实现了在不干扰之前任务的情况下，通过组合之前学习的特征来实现更丰富的组合性，从而在多任务学习中取得了显著的优势。
论文在多个强化学习领域进行了广泛的评估，包括Atari游戏和3D迷宫游戏。实验结果表明，渐进式网络在多种任务中的表现优于基于预训练和微调的常见基线。此外，论文还开发了一种基于Fisher信息和扰动的新敏感性度量方法，以详细分析任务间转移的发生方式和位置。
论文指出，尽管渐进式网络在序列任务学习中包含了必要的成分，但它们仍然是完全持续学习代理的垫脚石。其中一个缺点是随着任务数量的增加，参数数量的增长。论文分析表明，只有一部分新容量被实际利用，并且这种趋势随着更多列的增加而增加。这表明可以通过添加较少的层或较少的容量、修剪或在线压缩来解决增长问题。此外，尽管渐进式网络在测试时保留了解决所有K个任务的能力，但选择哪个列用于推理需要知道任务标签，这也是未来工作的一个方向。
渐进式神经网络是一种新型的模型架构，它通过保留预训练模型的池并通过侧向连接提取新任务的有用特征来解决灾难性遗忘问题。这种网络在多个强化学习领域进行了广泛的评估，并显示出在不破坏之前学习的功能的情况下进行有效迁移学习的能力。论文还提出了一种新的分析方法，用于详细分析任务间转移的发生方式和位置。尽管存在参数数量增长的问题，但论文提出了可能的解决方案，并指出了未来工作的方向。