简单介绍随机森林

多次随机取样，多次随机取属性，选取最优分割点，构建多个(CART)分类器，投票表决

算法流程：

  • 输入为样本集随机森林 - 图1%EF%BC%8C(x_2%EF%BC%8Cy_2)%20%5Cdots%20(x_m%EF%BC%8Cy_m)%5C%7D#card=math&code=D%3D%5C%7B%28x%EF%BC%8Cy_1%29%EF%BC%8C%28x_2%EF%BC%8Cy_2%29%20%5Cdots%20%28x_m%EF%BC%8Cy_m%29%5C%7D&id=BHRE2)，弱分类器迭代次数随机森林 - 图2。
  • 输出为最终的强分类器随机森林 - 图3#card=math&code=f%28x%29&id=ipr2K)
  • 对于随机森林 - 图4
    • 对训练集进行第随机森林 - 图5次随机采样，共采集随机森林 - 图6次，得到包含随机森林 - 图7个样本的采样集随机森林 - 图8
    • 用采样集随机森林 - 图9训练第随机森林 - 图10个决策树模型随机森林 - 图11#card=math&code=G_t%28x%29&id=rqU2p)，在训练决策树模型的节点的时候，在节点上所有的样本特征中选择一部分样本特征，在这些随机选择的部分样本特征中选择一个最优的特征来做决策树的左右子树划分
  • 如果是分类算法预测，则随机森林 - 图12个弱学习器投出最多票数的类别或者类别之一为最终类别。如果是回归算法，随机森林 - 图13个弱学习器得到的回归结果进行算术平均得到的值为最终的模型输出。

随机森林的随机性体现在哪里？

多次有放回的随机取样，多次随机选择特征

随机森林为什么不容易过拟合？

  • 随机森林中的每一颗树都是过拟合的，拟合到非常小的细节上
  • 随机森林通过引入随机性，使每一颗树拟合的细节不同
  • 所有树组合在一起，过拟合的部分就会自动被消除掉。

因此随机森林出现过拟合的概率相对低。

为什么不用全样本训练？

全样本训练忽视了局部样本的规律（各个决策树趋于相同），对于模型的泛化能力是有害的，使随机森林算法失去了随机性。

为什么要随机特征？

随机特征保证基分类器的多样性（差异性），最终集成的泛化性能可通过个体学习器之间的差异度而进一步提升，从而提高泛化能力和抗噪能力。

你已经建了一个有10000棵树的随机森林模型。在得到0.00的训练误差后，你非常高兴。但是，验证错误是34.23。到底是怎么回事？你还没有训练好你的模型吗？

  • 模型过拟合十分严重
  • 新的测试集与训练集的数据分布不一致

可否将随机森林中的基分类器，由决策树替换为线性分类器或K-近邻？请解释为什么？

不能：

  • Bagging的主要好处是集成后的分类器的方差，比基分类器的方差小。
  • 随机森林属于Bagging类的集成学习，对样本分布较为敏感的分类器更适用于Bagging。
  • 线性分类器或者K-近邻都是较为稳定的分类器，本身方差就不大。
  • 线性分类器或者K-近邻可能会由于Bagging的采样，导致在训练中更难收敛，增大偏差。

？如何使用随机森林对特征重要性进行评估？

袋外数据(OOB)： 大约有1/3的训练实例没有参与第k棵树的生成，它们称为第随机森林 - 图14棵树的袋外数据样本。

在随机森林中某个特征随机森林 - 图15的重要性的计算方法如下：

  • 对于随机森林中的每一颗决策树，使用相应的OOB(袋外数据)来计算它的袋外数据误差，记为随机森林 - 图16。
  • 随机地对袋外数据OOB所有样本的特征随机森林 - 图17加入噪声干扰(就可以随机的改变样本在特征X处的值)，再次计算它的袋外数据误差，记为随机森林 - 图18。
  • 假设随机森林中有随机森林 - 图19棵树，那么对于特征随机森林 - 图20的重要性为随机森林 - 图21#card=math&code=%28err%7BOOB2%7D-err%7BOOB1%7D%2FN%29&id=P0xQp)，之所以可以用这个表达式来作为相应特征的重要性的度量值是因为：若给某个特征随机加入噪声之后，袋外的准确率大幅度降低，则说明这个特征对于样本的分类结果影响很大，也就是说它的重要程度比较高。

随机森林算法训练时主要需要调整哪些参数？

  • n_estimators:随机森林建立子树的数量。
    较多的子树一般可以让模型有更好的性能，但同时让你的代码变慢。需要选择最佳的随机森林子树数量
  • max_features：随机森林允许单个决策树使用特征的最大数量。
    增加max_features一般能提高模型的性能，因为在每个节点上，我们有更多的选择可以考虑。然而，这未必完全是对的，因为它降低了单个树的多样性，而这正是随机森林独特的优点。但是，可以肯定，你通过增加max_features会降低算法的速度。因此，你需要适当的平衡和选择最佳max_features。
  • max_depth： 决策树最大深度
    默认决策树在建立子树的时候不会限制子树的深度
  • min_samples_split：内部节点再划分所需最小样本数
    内部节点再划分所需最小样本数，如果某节点的样本数少于min_samples_split，则不会继续再尝试选择最优特征来进行划分。
  • min_samples_leaf： 叶子节点最少样本
    这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝。
  • max_leaf_nodes： 最大叶子节点数
    通过限制最大叶子节点数，可以防止过拟合，默认是”None”，即不限制最大的叶子节点数。如果加了限制，算法会建立在最大叶子节点数内最优的决策树。
  • min_impurity_split： 节点划分最小不纯度
    这个值限制了决策树的增长，如果某节点的不纯度（基于基尼系数，均方差）小于这个阈值，则该节点不再生成子节点。即为叶子节点。一般不推荐改动默认值1e-7。

随机森林为什么不用分训练集和测试集？

知乎回答：用袋外误差

随机森林的优缺点

  • 优点
    • 训练可以高度并行化，对于大数据时代的大样本训练速度有优势。个人觉得这是的最主要的优点。
    • 由于可以随机选择决策树节点划分特征，这样在样本特征维度很高的时候，仍然能高效的训练模型。
    • 在训练后，可以给出各个特征对于输出的重要性
    • 由于采用了随机采样，训练出的模型的方差小，泛化能力强。
    • 相对于Boosting系列的Adaboost和GBDT， RF实现比较简单。
    • 对部分特征缺失不敏感，如果有很大一部分的特征遗失，仍可以维持准确度。

  • 缺点

    • 在某些噪音比较大的样本集上，RF模型容易陷入过拟合。
    • 取值划分比较多的特征容易对RF的决策产生更大的影响，从而影响拟合的模型的效果。

      GBDT和RF如何计算特征重要性

  • RF有两种方法：

    • 通过计算Gini系数的减少量VIm=GI−(GIL+GIR)判断特征重要性，越大越重要。
    • 对于一颗树，先使用袋外错误率(OOB)样本计算测试误差a，再随机打乱OOB样本中第i个特征（上下打乱特征矩阵第i列的顺序）后计算测试误差b，a与b差距越大特征i越重要。

  • GBDT计算方法：

    • 所有回归树中通过特征i分裂后平方损失的减少值的和/回归树数量 得到特征重要性。 在sklearn中，GBDT和RF的特征重要性计算方法是相同的，都是基于单棵树计算每个特征的重要性，探究每个特征在每棵树上做了多少的贡献，再取个平均值。
  • Xgb主要有三种计算方法：
    • importance_type=weight（默认值），特征重要性使用特征在所有树中作为划分属性的次数。
    • mportance_type=gain，特征重要性使用特征在作为划分属性时loss平均的降低量。
    • importance_type=cover，特征重要性使用特征在作为划分属性时对样本的覆盖度。

？随机森林需要剪枝吗？

不需要，后剪枝是为了避免过拟合，随机森林随机选择变量与树的数量，已经避免了过拟合，没必要去剪枝了。一般rf要控制的是树的规模，而不是树的置信度，剩下的每棵树需要做的就是尽可能的在自己所对应的数据(特征)集情况下尽可能的做到最好的预测结果。剪枝的作用其实被集成方法消解了，所以用处不大

随机森林如何处理缺失值（偏

根据随机森林创建和训练的特点，随机森林对缺失值的处理还是比较特殊的。

  • 首先，给缺失值预设一些估计值，比如数值型特征，选择其余数据的中位数或众数作为当前的估计值。
  • 然后，根据估计的数值，建立随机森林，把所有的数据放进随机森林里面跑一遍。记录每一组数据在决策树中一步一步分类的路径。
  • 判断哪组数据和缺失数据路径最相似，引入一个相似度矩阵，来记录数据之间的相似度，比如有N组数据，相似度矩阵大小就是N*N。
  • 如果缺失值是类别变量，通过权重投票得到新估计值，如果是数值型变量，通过加权平均得到新的估计值，如此迭代，直到得到稳定的估计值。

RF为什么比Bagging效率高？

因为在个体决策树的构建过程中，Bagging使用的是“确定型”决策树，bagging在选择划分属性时要对每棵树是对所有特征进行考察；而随机森林仅仅考虑一个特征子集。