交叉熵数学公式推导（含熵和KL散度数学公式）

第一章 熵

物理学概念：一个系统的混乱程度，信息熵就是熵的另一种名称。

????? ?????????? n

??H(x)=??? ∑ P(xi?)log(P(xi?)))(X=x1?,x2?,x3?...,xn?)

???? ????????? i=1

第二章 KL散度（相对熵）

??????????????????????? n

DKL?(p∣∣q)=∑p(xi?)log(q(xi?)/p(xi?)?)

??????????????????????? i=1

n:表示随机变量可能的取值数

x:表示随机变量

P（x）:表示随机变量x的概率函数

??????????????????????????????? n????????????????????????????????????????? n

特性：1.非对称性： ∑p(xi?)log(q(xi?)/p(xi?)?) 不等于?∑p(xi?)log(p(xi?)/q(xi?)?)

??????????????????????????????? i=1 ??????????????????????????????????????? i=1

???????????????????????????? n

?????????? 2.非负性：?∑p(xi?)log(q(xi?)/p(xi?)?)>=0仅在p=q时等于0

???????????????????????????? i=1

第三章 交叉熵

??????????????????????? n

DKL?(p∣∣q)=∑p(xi?)log(q(xi?)/p(xi?)?)

??????????????????????? i=1

? n? ?????????????????????? n

=∑p(xi?)log(p(xi?))?∑?p(xi?)log(q(xi?))

i=1?????????????????????? i=1

????????????????????? n

=?H(p(x))+[?∑p(xi?)log(q(xi?))]

??????????????????? i=1

KL散度 = 交叉熵-信息熵

实现代码和定义在另一篇文章里深度学习损失函数（含公式和代码）-CSDN博客文章浏览阅读892次，点赞29次，收藏6次。深度学习，机器学习，损失函数，losshttps://blog.csdn.net/New___dream/article/details/134761927?spm=1001.2014.3001.5501