最大熵原理

发布时间：2024年01月23日

  1. 最大熵原理

    最大熵原理是概率模型学习的一个准则，其认为学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。

    通常用约束条件来确定概率模型的集合，然后在集合中选择熵最大的模型。

    直观地，最大熵原理认为要选择的概率模型首先必须满足已有的事实，即约束条件。在没有更多信息的情况下，那些不确定的部分都是等可能的。最大熵原理通过熵的最大化来表示等可能性，因为当X服从均匀分布时熵最大。

  2. 最大熵模型

    最大熵原理应用到分类得到最大熵模型。

    给定训练集 T = ( x 1 , y 1 ) , ( x

文章来源:https://blog.csdn.net/Runnymmede/article/details/135648520
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章