工智能基础知识总结--随机森林

什么是随机森林

• 自助法（Bootstrap Method，Bootstrapping，或自助抽样法、拔靴法）是一种从给定训练集中有放回的均匀抽样，也就是说，每当选中一个样本，它等可能地被再次选中并被再次添加到训练集中。

• Bagging思想

  Bagging(bootstrap aggregating)，就是从总体样本当中随机取一部分样本、随机取一部分属性进行训练，通过多次这样的操作获得多个模型。通常对分类任务使用简单投票法，对回归任务使用简单平均法。这样极大可能的避免了不好的样本数据、不好的属性，从而提高准确度。因为不好的样本、不好的属性相当于噪声，模型学入噪声后会使准确度不高。

• 随机森林

  随机森林(Random Forest)是一种以决策树为基础模型的Bagging模型。

  每棵树的按照如下规则生成：

  1. 如果训练集大小为N，对于每棵树而言，随机且有放回地从训练集中的抽取N个训练样本，作为该树的训练集；
  2. 如果每个样本的特征维度为M，指定一个常数m<<M，随机地从M个特征中选取m个特征子集，每次树进行分裂时，从这m个特征中选择最优的；
  3. 每棵树都尽最大程度的生长，并且没有剪枝过程。（因为随机森林中的每一棵树都只是对原数据集的一个子集进行学习，我们需要它在某一片的数据中有非常好的拟合性而不需要担心在全数据集上的过拟合。）