生成式知识蒸馏MGD详解(含源码)

文章目录

• • 1.序言
  • • 1.1 简介
    • 1.2 MGD蒸馏的创新点
  • 2. 整体框架
  • • 2.1 MGD 算法框架
    • 2.2 Loss 定义
    • • 2.2.1 蒸馏损失distillation loss
      • 2.2.2 总损失Tatol Loss
      • 2.2.3 算法的实现流程
  • 3. 蒸馏实验效果
  • • 3.1 Classification
    • 3.2 Object Detection
    • 3.3 Semantic Segment