信息量，（香农）熵，交叉熵，KL散度学习记录

熵和交叉熵

了解香农熵，交叉熵和KL散度

背景

主要参考上面的B站视频（了解香农熵，交叉熵和KL散度），但作者在介绍交叉熵讲的太快，我没跟上，所以看了知乎博主介绍（熵和交叉熵），顺便做了笔记

笔记

笔记记在本子上了，但担心以后想查没法儿很快定位，所以在这里记一下。
顺便学到一个有意思的词组：概率分布函数（probability distribution function），简称为pdf，哈哈哈，我这奇怪的笑点。