高斯混合模型

高斯混合模型

假设有k个簇，每一个簇服从高斯分布，以概率${\pi }_k$随机选择一个簇k ，从其分布中采样出一个样本点，如此得到观测数据
$$p\left(\mathbf{x}\right)=\sum _{k=1}^K{\pi }_{k}N(\mathbf{x}|{\mathbf{\mu }}_k,{\mathbf{\Sigma }}_k)\text{?其中}\sum _{k=1}^K{\pi }_k=1,0\le {\pi }_k\le 1$$
其中模型参数为:$\theta =({\pi }_1,\dots ,{\pi }_K,{\mu }_1,\dots ,{\mu }_K,{\Sigma }_1,\dots ,{\Sigma }_K{)}^{\mathrm{T}}$

若样本$x$关联K维的隐含变量为$z=(z_1,z_2,\dots ,z_K)$，其对应的随机向量用大写字母Z表示
$$P(Z_k=1)={\pi }_k$$
若$x$属于第$k$簇，则
$$p(x|Z_k=1)=N(x|{\mu }_k,{\Sigma }_k)$$

$$\begin{array}{c}p(x)=\sum _{\mathbf{z}}p(x,\mathbf{z})=\sum _{\mathbf{z}}p(x|\mathbf{z})p(\mathbf{z})=\sum _{k=1}^{K}p(x|Z_k=1)P(Z_k=1)\\ =\sum _{k=1}^K{\pi }_{k}N(x|{\mu }_k,{\Sigma }_k)\end{array}$$

采用EM算法求解

Е步:基于当前参数值 ${\theta }^{old}$,推断隐含变量$z_i$的信息(后验概率/期望)
$$\begin{array}{c}{r}_{i,k}=\mathbb{E}\left(Z_{i,k}\right)=P(Z_{i,k}=1|x^i,{\mathbf{\theta }}^{\mathbf{old}})=\frac{P(Z_{i,k}=1)p({\mathbf{x}}^{\mathbf{i}}|Z_{i,k}=1)}{{\sum }_{k^{\prime }=1}^{K}P(Z_{i,k^{\prime }}=1)p({\mathbf{x}}^{\mathbf{i}}|Z_{i,k^{\prime }}=1)}\\ =\frac{{\pi }_k^{old}\mathcal{N}(x^i|{\mathbf{\mu }}_k^{old},{\mathbf{\Sigma }}_k^{old})}{{\sum }_{k^{\prime }=1}^K{\pi }_{k^{\prime }}^{old}\mathcal{N}({\mathbf{x}}^i|{\mathbf{\mu }}_{k^{\prime }}^{old},{\mathbf{\Sigma }}_{k^{\prime }}^{old})}\end{array}$$
$r_{i,k}$可以看做是对$x^i$从属于第$k$个簇的一种估计
M步：基于当前的期望$r_{i,k}$重新估计参数的值${\pi }_k$、 ${\mu }_k$、${\Sigma }_k$

$${\pi }_k^{new}=\frac{{\sum }_i{r}_{i,k}}{N},{\mu }_k^{new}=\frac{{\sum }_i{r}_{i,k}{\mathbf{x}}^i}{{\sum }_i{r}_{i,k}},{\Sigma }_k^{new}=\frac{{\sum }_i{r}_{i,k}({\mathbf{x}}^i?{\mathbf{\mu }}_k)({\mathbf{x}}^i?{\mathbf{\mu }}_k{)}^{\mathrm{T}}}{{\sum }_i{r}_{i,k}}$$