机器学习-决策树

1、什么是决策树？

一种描述概念空间的有效的归纳推理办法。基于决策树的学习方法可以进行不相关的多概念学习，具有简单快捷的优势，已经在各个领域取得广泛应用。
决策树是一种树型结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输出，每个叶结点代表一种类别。

2、决策树示意图

3、决策树的思想

决策树学习是以实例为基础的归纳学习。
决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶节点中的实例都属于同一类。
决策树学习算法的最大优点是，它可以自学习。在学习的过程中，不需要使用者了解过多背景知识，只需要对训练例子进行较好的标注，就能够进行学习。
显然，属于有监督学习。
从一类无序、无规则的事物(概念)中推理出决策树表示的分类规则。

3.1、信息熵

3.2、联合熵和条件熵

3.3、信息增益

3.4、信息增益比

4、决策树学习的生成算法

4.1、ID3生成算法

4.2、决策树的例子

4.3 决策树的剪枝