KL散度、CrossEntropy详解

文章目录

• • 0. 概述
  • 1. 信息量
  • • 1.1 定义
    • 1.2 性质
    • 1.3 例子
  • 2. 熵 Entropy
  • • 2.1 定义
    • 2.2 公式
    • 2.3 例子
  • 3. 交叉熵 Cross Entropy
  • • 3.1 定义
    • 3.2 公式
    • 3.3 例子
  • 4. KL 散度（相对熵）
  • • 4.1 公式