机器学习---集成学习的初步理解

加权平均法：

其中wi是个体学习器hi的权重，通常有wi≥0，

②投票法：对于分类问题的预测

思想：多个基本分类器都进行分类预测，然后根据分类结果用某种投票的原则进行投票表决，按照

投票原则使用不同投票法：一票否决? 、阈值表决 、 少数服从多数。

阈值表决：首先统计出把实例x划分为Ci和不划分为Ci的分类器数目分别是多少，然后当这两者比

例超过某个阈值的时候把x划分到Ci。

③学习法：之前的方法都是对弱学习器的结果做平均或者投票，相对比较简单，但是可能学习误差

较大。代表方法是Stacking。

思想：不是对弱学习器的结果做简单的逻辑处理，而是再加上一层学习器，分为2层。第一层是用

不同的算法形成T个弱分类器，同时产生一个与原数据集大小相同的新数据集，利用这个新数据集

和一个新算法构成第二层的分类器。

4. 集成学习方法

根据个体学习器的生成方式，目前的集成学习方法大致可分为两类：

Boosting：个体学习器间存在强依赖关系，必须串行生成的序列化方法；串行：下一个分类器只

在前一个分类器预测不够准的实例上进行训练或检验。

Bagging：个体学习器间不存在强依赖关系，可同时生成的并行化方法。并行：所有的弱分类器都

给出各自的预测结果，通过组合把这些预测结果转化为最终结果。

4.1?Boosting

重赋权法：即在训练过程的每一轮中，根据样本分布为每一个训练样本重新赋予一个权重。对无法

接受带权样本的基学习算法，则可以通过重采样法来处理，即在每一轮的学习中，根据样本分布对

训练集重新进行采样，在用重采样而来的样本集对基学习器进行训练。

代表算法：

Adboost，决策树+adboost=提升树

GBDT（Gradient BoostDecision Tree）梯度提升决策树，决策树+Gradient Boosting=GBDT

其他叫法： Gradient Tree Boosting，GBRT (Gradient BoostRegression Tree) 梯度提升回归树

??????????????????? MART (MultipleAdditive Regression Tree) 多决策回归树，Tree Net决策树网络

4.2?Bagging (bootstrap aggregation )

从样本集中用Bootstrap采样选出n个样本，在所有属性上，对这n个样本建立分类器（CART or

SVM or ...），重复以上两步m次，i.e.build m个分类器（CART or SVM or ...）。将数据放在这m

个分类器上跑，最后vote看到底分到哪一类。

Bootstrap方法是非常有用的一种统计学上的估计方法。 Bootstrap是对观测信息进行再抽样，进而

对总体的分布特性进行统计推断。Bootstrap是一种有放回的重复抽样方法，抽样策略就是简单的

随机抽样。

随机森林：决策树+bagging=随机森林

4.3 两者的区别

从偏差-方差分解的角度：

偏差(bias) ：描述的是预测值的期望与真实值之间的差距。偏差越大，越偏离真实数据。

方差(variance) ：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。

方差越大，数据的分布越分散。

Boosting主要关注降低偏差：偏差刻画了学习算法本身的拟合能力，Boosting思想，对判断错误的

样本不停的加大权重，为了更好地拟合当前数据，所以降低了偏差，因此Boosting能基于泛化性能

相当弱的学习器构建出很强的集成。Boosting是把许多弱的分类器组合成一个强的分类器。

Bagging主要是降低方差：度量了同样大小的数据集的变动所导致的学习性能的变化。刻画了数据

扰动所造成的影响。 Bagging思想，随机选择部分样本来训练处理不同的模型，再综合来减小方

差，因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效果更明显。Bagging是对许多

强（甚至过强）的分类器求平均。?