# ---数据分析师---

#  🔸决策树算法原理

## 决策树
 - 一个树形的结构
 - 内部节点上选用一个属性进行分裂（决策节点）
 - 每个分叉都是分裂的一个部分
 - 叶子节点表示一个分布
 - 节点的子节点个数跟算法相关

## 决策树原理
- **决策树的输入**
 - 一组带有类别标签的样本（训练集）
- **决策树的构造**
 - 采用自上而下的递归构造
- **决策树的输出**
 - 一棵二叉或多叉树
- **决策树的测试评估**
 - 一组带有类别标记的样本（测试集）

## 生成决策树示意

![image.png](https://cdn.hashnode.com/res/hashnode/image/upload/v1653637561665/Pan6Qq9m0.png align="left")

## 决策树等价于一组关联规则
- 用IF-THEN这种形式来表现规则
- 每个叶子节点都创建一条规则
- 每个分割都成为一个规则中的一个条件
- 叶子节点中的类别就是THEN的内容
- 规则对于人来说更容易理解
- 例子
 - IF age = "青年" AND 学生 = "否"  THEN buys_computer = "不买"
 - IF age = "青年" AND 学生 = "是"  THEN buys_computer = "买"
 - IF age = "中年"    THEN buys_computer = "不买"
 - IF age = "老年" AND 信誉 = "优"  THEN buys_computer = "不买"
 - IF age = "老年" AND 信誉 = "良"  THEN buys_computer = "买"
## 决策树分类的特点
- **优点**
 - 容易生成可以理解的规则
 - 计算量相对来说不大
 - 可以处理离散和连续字段
 - 可以清晰显示那些字段比较重要
- **缺点**
 - 对连续性的字段难以预测
 - 类别太多的时候，错误的可能性会加大
 - 一般情况下，标签属性的个数有限

#  🔸决策树剪枝
## 决策树规模越大效果越好吗？
- 不对，一般情况下，树越小则树的预测能力越强。要构造尽可能小的决策树，关键在于选择恰当的逻辑判断或属性。
- 另外，过于茂盛的树可能导致过拟合（OVERFITTING），即对训练数据的完全拟合反而不具有很好的预测性能。
## 决策树的剪枝
- **剪枝技术**
 - 是一种克服噪声的技术，同时它也能使树得到简化而变得更容易理解。
- **剪枝的类型**
 - 前剪枝（forward pruning）在生成树的同时进行剪枝。
 - 后剪枝（backward pruning）先生成决策树，然后从树叶逐步向根的方向剪枝。
- **剪枝注意事项**
 - 对于小树或稀疏数据，防止过渡剪枝


--END--