2. 回归树

目录

1. 回归树的数学表达式

1.1 公式

1.2 举例

2. 如何构建回归树

2.1 树的深度如何决定

2.1.1 第一种（确定叶子节点个数或者树的深度）

2.1.2?第二种（子节点所包含样本数）

2.1.3?第三种（给定精度）

2.2?划分的节点如何选取

2.3 叶子节点代表的值Cm如何决定

3.损失函数

3.1 公式

3.2? ?优化

3.2.1 结论

3.2.2 推导过程

---

1. 回归树的数学表达式

1.1 公式

,?

• m就是叶子结点中的序号
• Rm是第m个叶子结点
• Cm是第m个叶子节点的预测值
• I指的是当后面括号里面条件满足时,为1
• 括号中的是，x属于那个结点
• 每个叶子节点，都会输出一个预测值
• 预测值一般是该 叶子 所含训练样本 在该节点上的输出的均值

1.2 举例

假设有数据集如下,? ?x 代表房屋面积，y代表租金

D = {(75, 1000), (90, 2000), (105, 4000)}

# 75 平的，月租1000块钱
# 90 平的 2000块钱
# 105 平的，4000块钱

????????根据图中的划分， R1（第一个叶子结点）和 R2（第二个节点）就是公式中的Rm

????????C1，C2就是公式中的Cm, 指的不是类别，是一个数，这个数和 Y的含义是一样的，即租金是多少也即是说当C1和C2这些叶子结点所代表的一些值确定的时候，当再来一个未知的样本的时候，比如说，给出房屋面积100平方，那这个房屋面积为100的样本输入进来之后，这颗树的一些路径，最后判断从那个叶子结点输出， 比如上图，102平方的房屋最后判断的是C2这个叶子结点的输出，那C2这个值就可能是5000，4500等，即就是最终预测的值。图中只是做了一次划分，而在实际中会有很多的划分。

2. 如何构建回归树

2.1 树的深度如何决定

大多数是由我们自己定义

2.1.1 第一种（确定叶子节点个数或者树的深度）

无法控制精确度

2.1.2?第二种（子节点所包含样本数）

子节点划分到多少个的时候，就不继续划分了

2.1.3?第三种（给定精度）

计算的总体的损失小于给定的精度的时候，不再划分

2.2?划分的节点如何选取

根据可以定的取值，构建出来的树，每个都计算一下对应损失，然后选损失最小的节点构建出来的数的值。

2.3 叶子节点代表的值Cm如何决定

具体可看，3.2.2的推导过程

每当叶子节点的Cm取值，为该节点所有样本yi的平均值时，得到损失最小，即最优的回归树

3.损失函数

3.1 公式

• n 代表样本的数量
• i 代表第几个样本

3.2? ?优化

3.2.1 结论

• 的含义：第m个节点中，叶子节点所包含的样本的个数

当每个叶子节点的Cm取值，为该节点所有样本yi 的平均值是，得到损失最小，即最优的回归树

3.2.2 推导过程

即： 每当叶子节点的Cm取值，为该节点所有样本yi的平均值时，得到损失最小，即最优的回归树

未完待续