机器学习-贝叶斯网络

贝叶斯分类器

贝叶斯网络是通过假设数据的先验分布，利用贝叶斯公式计算后验概率，将样本根据概率进行分类。

常用贝叶斯网络：1.朴素贝叶斯分类器；2.半朴素贝叶斯分类器；3.贝叶斯网；4.EM算法

朴素贝叶斯分类器：

纯粹贝叶斯公式进行后验分布计算，从而完成对样本的分类

半朴素贝叶斯分类器：

为了降低贝叶斯公式中估计后验概率的困难，朴素贝叶斯分类器中采用的是属性条件独立的假设，但是在现实中往往很难成立。而半朴素贝叶斯分类器的基本想法是适当考虑一部分属性之间的相互依赖信息，从而不需要进行完全联合概率计算，又不至于彻底忽略比较强的属性依赖关系。
常用依赖关系有：独依赖（假设每个属性在类别之外最多依赖一个其他属性）

贝叶斯网：

使用有向无环图对属性关系刻画依赖关系，并使用条件概率来描述联合概率分布。

学习：
若已知网络，只需学习参数就可以，然后估计出条件概率表即可。但是现实中并不知道网络结构，所以需要找到一个最佳的贝叶斯网络结构。常用“评分搜索”的方法来进行结构好坏的评判。
但是从所有的网络结构空间进行搜索最优网络结构是一个NP问题，难以快速求解，一般有两种常用的方法快速求解：贪心算法：假设现有结构为最优，每次调整一条边（增加、删除、改变方向）直到评分函数值最低为止；第二种直接通过网络结构增加约束来减少搜索空间，例如将网络结构限定为树形结构等。

EM算法：

是常用的估计参数隐变量的利器。
EM算法包含两个步骤：E步骤（通过训练数据推算出最优隐变量Z），M步骤（通过已知的最优隐变量Z，对参数Θ进行极大似然估计，完成迭代）
EM算法使用两个步骤交替计算：第一步是期望（E）步，利用当前估计的参数值来计算对数似然函数的期望值；第二步是最大化（M）步，利用当前能使E步产生的似然期望最大化的参数值。然后新得到的参数值重新被利用E步，。。。直至收敛到局部最优解。