看到一个图介绍互信息,条件熵,联合熵,还不错,做个记录:
图上的红色和黄色圈分别代表X,Y原始的信息量H(X)/H(Y)/熵值。 (注意信息量度量的是一个具体事件发生了所带来的信息,而熵则是在结果出来之前对可能产生的信息量的期望)
I(X;Y) : 表示互信息, 知道X,Y损失了多少信息量(知道Y,X损失了多少信息量)。
H(X|Y)或H(Y|X): 表示条件熵, 知道X,Y还剩多少信息量(H(Y|X))。或者知道Y后,X还剩多少信息量(H(X|Y))。
H(XY): 联合熵,XY联合起来有多少信息量(H(XY))。
图上可以看出:
I(X;Y) = H(X)-H(X|Y)
I(X;Y) = H(Y)-H(Y|X)
I(X;Y) = H(X)+H(Y)-H(XY)
参考:
https://blog.csdn.net/class_brick/article/details/79651173
https://www.cnblogs.com/wqbin/p/12752610.html