4.1 基本流程
定义：决策树是布顿根据某属性进行划分的过程，，最终得出一套有效的判断逻辑，就是学到的模型。
决策过程的最终结论对应了我们所希望的判定结果。决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树，其基本流程遵循简单且直观的“分而治之”策略。导致递归返回的三种情形：
（1）当前结点包含的样本全属于同以类别，无需划分；
（2）当前属性为空，或是所有样本所有属性上取值相同，无法划分，这时我们要把当前结点标记为叶结点，并将其类别设定为该家电所含样本最多的类别；（note：与3不同，这里是利用当前结点的后验分布）
（3）当前结点包含的样本集合为空，不能划分，这时我们要把当前结点标记为叶结点，但将其类别设定为其父结点所含样本最多的类别。（note：不同于2，此处是把父节点的样本分布作为当前结点的先验分布。）
4.2 划分选择
决策树学习的关键是选择最优划分属性，
一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的“纯度”越来越高。
4.2.1 信息增益
note：“信息熵”是度量样本集合纯度最常用的一种指标。
4.3 剪枝处理
定义：是决策树学习算法对付“过拟合”的主要手段：主动去掉一些分支来降低过拟合的风险。
4.3.1 预剪枝
在决策树生成过程中，崔每个节点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分并将当前结点标记为叶结点。
4.3.2 后剪枝
生成一颗完整的决策树，然后自底向上地对非叶结点进行考察没人哟将该结点对应的子树替换为叶结点能带来决策树泛化性能提升，则将该子树替换为叶结点。
一般情况下，后剪枝的欠拟合风险小，泛化能力往往由于预剪枝决策树，但其训练时间开销比为剪枝决策树和预剪枝决策树都要大得多。
浙ICP备19012682号