EM算法的核心分为两步
因为在最大化过程中存在两个参量 r , θ r,\theta r,θ,其中若知道 r r r,则知道 θ \theta θ;若知道 θ \theta θ,则知道 r r r。且两个量未存在明显的关系,但又互相依存可以采用EM算法
其中主要思想为:
如下图所示存在A,B两种硬币,其中抛出正反面的概率未知,其中H
表示正面,F
表示反面
根据统计可得
可得
P
(
H
∣
X
=
A
)
=
24
24
+
6
=
0.8
P
(
H
∣
X
=
B
)
=
9
9
+
11
=
0.45
P(H|X=A)=\frac{24}{24+6}=0.8\\ P(H|X=B)=\frac{9}{9+11}=0.45
P(H∣X=A)=24+624?=0.8P(H∣X=B)=9+119?=0.45
若更改条件,不知道此时抛出是哪一枚硬币,只知道抛出的结果,即
首先初始化,设
P
(
H
∣
X
=
A
)
=
0.6
P
(
H
∣
X
=
B
)
=
0.5
P(H|X=A)=0.6\\ P(H|X=B)=0.5
P(H∣X=A)=0.6P(H∣X=B)=0.5
若当抛出的第一枚硬币为A时
此时的出现该情况的概率为 P 1 ( A ) = 0. 6 5 ? ( 1 ? 0.6 ) 5 = 0.0007962624 P_1(A)=0.6^5*(1-0.6)^5=0.0007962624 P1?(A)=0.65?(1?0.6)5=0.0007962624
若当抛出的第一枚硬币为B时
此时的出现该情况的概率为 P 1 ( B ) = 0. 5 5 ? ( 1 ? 0.5 ) 5 = 0.0009765625 P_1(B)=0.5^5*(1-0.5)^5=0.0009765625 P1?(B)=0.55?(1?0.5)5=0.0009765625
其中
P
1
(
A
)
=
P
1
(
A
)
P
1
(
A
)
+
P
1
(
B
)
≈
0.45
P
1
(
B
)
=
P
1
(
B
)
P
1
(
A
)
+
P
1
(
B
)
≈
0.55
P^1(A)=\frac{P_1(A)}{P_1(A)+P_1(B)}\approx0.45\\ P^1(B)=\frac{P_1(B)}{P_1(A)+P_1(B)}\approx0.55
P1(A)=P1?(A)+P1?(B)P1?(A)?≈0.45P1(B)=P1?(A)+P1?(B)P1?(B)?≈0.55
同理可得
P
2
(
A
)
≈
0.80
,
P
2
(
B
)
≈
0.20
P
3
(
A
)
≈
0.73
,
P
3
(
B
)
≈
0.27
P
4
(
A
)
≈
0.35
,
P
4
(
B
)
≈
0.65
P
5
(
A
)
≈
0.65
,
P
5
(
B
)
≈
0.35
P^2(A)\approx0.80,P^2(B)\approx0.20\\ P^3(A)\approx0.73,P^3(B)\approx0.27\\ P^4(A)\approx0.35,P^4(B)\approx0.65\\ P^5(A)\approx0.65,P^5(B)\approx0.35
P2(A)≈0.80,P2(B)≈0.20P3(A)≈0.73,P3(B)≈0.27P4(A)≈0.35,P4(B)≈0.65P5(A)≈0.65,P5(B)≈0.35
设第2,3,5轮抛出的为硬币A,第1,4轮抛出的为硬币B,可得
P
(
H
∣
X
=
A
)
=
9
+
8
+
7
30
=
24
30
=
0.8
P
(
H
∣
X
=
B
)
=
5
+
4
20
=
9
20
=
0.45
P(H|X=A)=\frac{9+8+7}{30}=\frac{24}{30}=0.8\\ P(H|X=B)=\frac{5+4}{20}=\frac{9}{20}=0.45
P(H∣X=A)=309+8+7?=3024?=0.8P(H∣X=B)=205+4?=209?=0.45
由此循环直至收敛