1. bagging的思路

与投票法不同的是，Bagging不仅仅集成模型最后的预测结果，同时采用一定策略来影响基模型训练，保证基模型可以服从一定的假设。在上一章中我们提到，希望各个模型之间具有较大的差异性，而在实际操作中的模型却往往是同质的，因此一个简单的思路是通过不同的采样增加模型的差异性。

2. bagging的原理分析

Bagging的核心在于自助采样(bootstrap)这一概念，即有放回的从数据集中进行采样，也就是说，同样的一个样本可能被多次进行采样。一个自助采样的小例子是我们希望估计全国所有人口年龄的平均值，那么我们可以在全国所有人口中随机抽取不同的集合（这些集合可能存在交集），计算每个集合的平均值，然后将所有平均值的均值作为估计值。

集成学习算法08——bagging - 图1

从概念上看，我们可以这样理解自助法：将原始样本复制成千上万次，得到一个假想的总体，其中包括了原始样本中的全部信息，只是规模更大。然后我们从这一假想总体中抽取样本，用于估计抽样分布。自助法的理念如图2-7所示。

——图文引用自《数据科学家的实用统计学》

首先我们随机取出一个样本放入采样集合中，再把这个样本放回初始数据集，重复K次采样，最终我们可以获得一个大小为K的样本集合。同样的方法， 我们可以采样出T个含K个样本的采样集合，然后基于每个采样集合训练出一个基学习器，再将这些基学习器进行结合，这就是Bagging的基本流程。

对回归问题的预测是通过预测取平均值来进行的。对于分类问题的预测是通过对预测取多数票预测来进行的。Bagging方法之所以有效，是因为每个模型都是在略微不同的训练数据集上拟合完成的，这又使得每个基模型之间存在略微的差异，使每个基模型拥有略微不同的训练能力。

Bagging同样是一种降低方差的技术，因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效果更加明显。在实际的使用中，加入列采样的Bagging技术对高维小样本往往有神奇的效果。

集成学习算法08——bagging - 图2

自助法也可用于多变量数据。这时该方法使用数据行作为抽样单元，如图2-8所示，进而可在自助数据上运行模型，估计模型参数的稳定性（或变异性），或是改进模型的预测能力。我们也可以使用分类和回归树（也称决策树）在自助数据上运行多个树模型，并平均多个树给出的预测值（或是使用分类，并选取多数人的投票），这通常要比使用单个树的预测性能更好。这一过程被称为Bagging方法。Bagging一词是bootstrap aggregating（自助法聚合）的缩写，参见6.3节：bagging和随机森林。

自助法并不补偿小规模样本。它不创建新的数据，也不会填补已有数据集中的缺口。它只会告知我们，在从原始样本这样的总体中做抽取时，大量额外的样本所具有的行为。

——图文引用自《数据科学家的实用统计学》

3. bagging的案例分析

基于sklearn，介绍随机森林的相关理论以及实例。

Sklearn为我们提供了 BaggingRegressor 与 BaggingClassifier 两种Bagging方法的API，我们在这里通过一个完整的例子演示Bagging在分类问题上的具体应用。这里两种方法的默认基模型是树模型。

我们创建一个含有1000个样本20维特征的随机分类数据集。
我们将使用重复的分层k-fold交叉验证来评估该模型，一共重复3次，每次有10个fold。我们将评估该模型在所有重复交叉验证中性能的平均值和标准差。

  1. # evaluate bagging algorithm for classification
  2. from numpy import mean
  3. from numpy import std
  4. from sklearn.datasets import make_classification
  5. from sklearn.model_selection import cross_val_score
  6. from sklearn.model_selection import RepeatedStratifiedKFold
  7. from sklearn.ensemble import BaggingClassifier
  10. # define dataset
  11. X, y = make_classification(n_samples=1000, n_features=20,
  12.                            n_informative=15, n_redundant=5, random_state=5)
  13. # define the model
  14. model = BaggingClassifier()
  15. # evaluate the model
  16. cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
  17. n_scores = cross_val_score(model, X, y, scoring='accuracy',
  18.                            cv=cv, n_jobs=-1, error_score='raise')
  19. # report performance
  20. print('Accuracy: %.3f (%.3f)' % (mean(n_scores), std(n_scores)))

Accuracy: 0.859 (0.041)

最终模型的效果是Accuracy: 0.859 标准差0.041。