变分贝叶斯估计：Wishart分布

在变分贝叶斯框架中，Wishart分布和逆Wishart分布通常被用作先验分布来建模协方差矩阵的不确定性。在变分推断中，这些分布的使用有助于对后验分布进行有效的近似。

Wishart分布：

Wishart分布是对于协方差矩阵的分布进行建模的一种多元统计分布。如果X是一个p×n 的矩阵，其中每一列是一个p-维的随机向量，那么X′X 的分布就是Wishart分布。

Wishart分布的概率密度函数如下：

其中：

• V 是自由度（degree of freedom）参数。
• S 是 p×p 的正定对称矩阵，称为尺度矩阵（scale matrix）。
• Γp?(?) 是多元Gamma函数。
• tr(?)表示矩阵的迹。

逆Wishart分布：

逆Wishart分布是Wishart分布的逆，通常用于建模协方差矩阵的逆。如果 W 是一个正定对称矩阵，其逆 W?的分布就是逆Wishart分布。

逆Wishart分布的概率密度函数如下：

其中：

• ν 是自由度（degree of freedom）参数。
• Σ是正定对称矩阵，称为逆尺度矩阵。

Wishart分布及逆Wishart的应用：

Wishart分布和逆Wishart分布在多个领域都有广泛的应用，主要涉及到协方差矩阵和逆协方差矩阵的建模，以及与多元正态分布相关的统计和贝叶斯分析。以下是一些主要的应用领域：

1. 多元统计分析： Wishart分布和逆Wishart分布用于建模多元正态分布的协方差矩阵。在多元统计分析中，它们常常被用于处理多变量数据的协方差结构。

2. 贝叶斯统计学： 这两个分布在贝叶斯统计学中被广泛应用，尤其是在贝叶斯推断中，用于建模参数的不确定性。逆Wishart分布常被用作协方差矩阵的先验分布，结合观测数据来获得后验分布。

3. 金融领域： 在金融风险建模中，Wishart分布和逆Wishart分布被用于描述资产收益的协方差结构，特别是在投资组合理论和风险管理中。

4. 图像处理： 在图像处理领域，这些分布有时用于建模图像的协方差矩阵，尤其是在涉及多个像素的高维数据集时。

5. 信号处理： 在信号处理中，Wishart分布和逆Wishart分布有时用于建模传感器测量之间的相关性和协方差结构。

变分贝叶斯估计：逆Wishart分布

在变分贝叶斯中，逆Wishart分布（Inverse Wishart Distribution）通常被用作协方差矩阵逆的先验分布，特别是在高斯分布的协方差矩阵的建模中。通过最大化变分推断的证据下界（ELBO），可以优化逆Wishart分布的参数，使其接近真实的后验分布。逆Wishart分布在贝叶斯推断框架下提供了一种对逆协方差矩阵的不确定性进行建模的方式。

使用逆Wishart分布的一般步骤如下：

1. 选择逆Wishart分布作为先验： 在贝叶斯模型中，首先选择逆Wishart分布作为协方差矩阵逆的先验分布。逆Wishart分布的参数（ν 和 Σ）需要根据先验知识或经验进行设定。

2. 建模观测数据： 观测数据通过高斯分布的协方差矩阵逆的形式与逆Wishart分布相联系。这样，观测数据提供了对于逆协方差矩阵的信息。

3. 变分推断： 使用变分推断技术来近似后验分布。这涉及到选择一个近似分布族（例如，高斯分布族）和优化其参数，使得变分推断的证据下界最大化。

4. 后验分布的表示： 通过优化后，得到的近似后验分布可以用于对逆协方差矩阵的估计。这样就可以获得对协方差矩阵不确定性的更精确估计。

变分贝叶斯估计：逆Wishart分布与Wishart分布的对比

在变分贝叶斯中对协方差矩阵进行估计时，选择逆Wishart分布相比Wishart分布有一些优势，尤其是在处理高维数据或者样本量较小的情况下：

1. 处理不适定性： 逆Wishart分布更适合处理协方差矩阵估计的不适定问题。当样本量较小或者数据维度较高时，Wishart分布的自由度可能过高，导致先验对于协方差矩阵的估计过于确定性。逆Wishart分布通过逆尺度矩阵的引入，对高维空间的不确定性提供了更灵活的建模。

2. 更灵活的不确定性建模： 逆Wishart分布对协方差矩阵逆的不确定性进行建模时，通过逆尺度矩阵的设定，可以更灵活地表示先验的不确定性。逆Wishart分布的逆尺度矩阵允许在不同方向上对不确定性进行加权，这对于真实世界中协方差矩阵可能存在的异方向性很有帮助。

3. 数值稳定性： 在数值计算中，逆Wishart分布通常更稳定。当数据的维度很高时，Wishart分布的计算可能涉及到高阶的行列式和矩阵逆运算，这可能导致数值不稳定性。逆Wishart分布的参数化形式通常更容易处理，从而提高了数值计算的稳定性。

4. 更通用的先验分布： 逆Wishart分布的参数化形式允许更广泛的先验选择，可以更好地适应不同问题的需求。通过逆尺度矩阵的设定，可以更直观地调整先验信念，使之更符合实际问题。

总体而言，逆Wishart分布在协方差矩阵估计的变分贝叶斯框架中提供了更灵活、更适应不确定性、更稳定的选择，特别是在面对高维度或者小样本问题时。