Pinsker’s inequality 与 Kullback-Leibler (KL) divergence / KL散度

Pinsker’s inequality

Pinsker’s Inequality是信息论中的一个不等式，通常用于量化两个概率分布之间的差异。这个不等式是由苏联数学家Mark Pinsker于1964年提出的。

考虑两个概率分布 (P) 和 (Q) 在同一样本空间上的概率密度函数，Pinsker’s Inequality可以表示为：

[ $D_{\text{KL}}(P\parallel Q)\ge \frac{1}{2}{\left(\int {\left(\sqrt{p(x)}?\sqrt{q(x)}\right)}^{2}dx\right)}^2$ ]

其中：

• ($D_{\text{KL}}(P\parallel Q)$) 是P和Q之间的$Kullback?Leibler$散度，表示两个概率分布之间的差异。
• ($p(x)$) 和 ($q(x)$) 分别是P和Q在样本点 ($x$) 处的概率密度函数。

Pinsker’s Inequality表明，KL散度的平方根下界是两个概率分布在L2范数（平方积分的平方根）上的差异。这个不等式在信息论和统计学中有广泛的应用，用于量化概率分布之间的距离。

Kullback-Leibler (KL) divergence

KL散度（Kullback-Leibler散度），也称为相对熵，是一种用于衡量两个概率分布之间差异的指标。给定两个概率分布 ($P$) 和 ($Q$)，KL散度的定义如下：

[ $D_{\text{KL}}(P\parallel Q)=\int P(x)\log \left(\frac{P(x)}{Q(x)}\right)dx$ ]

这个积分表示在样本空间上对 (P) 的每个事件的概率进行加权，权重是 ($P$) 对应事件的概率，然后乘以 ($P$) 和 ($Q$) 概率比的自然对数。

KL散度有一些重要的性质：

1. 非负性：($D_{\text{KL}}(P\parallel Q)\ge 0$)，等号成立当且仅当 ($P$) 和 ($Q$) 在所有点上都相等。
2. 不对称性：一般情况下，($D_{\text{KL}}(P\parallel Q)\ne D_{\text{KL}}(Q\parallel P)$)。它衡量了从 ($Q$) 到 ($P$) 的信息损失，和从 ($P$) 到 ($Q$) 的信息损失是不同的。
3. 不满足三角不等式：($D_{\text{KL}}(P\parallel R)?D_{\text{KL}}(P\parallel Q)+D_{\text{KL}}(Q\parallel R)$)。这意味着KL散度不满足三角不等式，因此不能被解释为标准的距离度量。

KL散度的应用广泛，包括在信息论、统计学、机器学习等领域，例如在变分推断、最大似然估计和生成模型中。