1. 机器学习中调参的基本思想

调参的目的就是为了提升模型的准确率。在机器学习中，我们用来衡量模型在未知数据上的准确率的指标，叫做泛化误差（Genelization error）。

泛化误差

当模型在未知数据（测试集或者袋外数据）上表现糟糕时，我们说模型的泛化程度不够，泛化误差大，模型的效果不好。看下面这张图，它准确地描绘了泛化误差与模型复杂度的关系，当模型太复杂，模型就会过拟合，泛化能力就不够，所以泛化误差大。当模型太简单，模型就会欠拟合，拟合能力就不够，所以误差也会大。只有当模型的复杂度刚刚好的才能够达到泛化误差最小的目标。
机器学习：06--机器学习中调参的基本思想 - 图1
所以调参之前，我们要先判断，模型现在究竟处于图像的哪一边。
调参最重要的四点：
1）模型太复杂或者太简单，都会让泛化误差高，追求的是位于中间的平衡点
2）模型太复杂就会过拟合，模型太简单就会欠拟合
3）对树模型和树的集成模型来说，树的深度越深，枝叶越多，模型越复杂
4）树模型和树的集成模型的目标，都是减少模型复杂度，把模型往图像的左边移动
机器学习：06--机器学习中调参的基本思想 - 图2
可以看到，n_estimators对模型的影响最大，所以先调整n_estimators，确定最佳n_estimators后，再用网格搜索对其他参数进行调整。
同时，可以看到只有max_features参数是位于中间复杂度，调整这个参数要考虑准备调参的方向；而另外三个参数都是默认最高复杂度，调整都是降低复杂度，将模型向图像的左边移动。

2 随机森林再乳腺癌数据上的调参

1 导入库

  1. from sklearn.datasets import load_breast_cancer
  2. from sklearn.ensemble import RandomForestClassifier
  3. from sklearn.model_selection import GridSearchCV #网格搜索
  4. from sklearn.model_selection import cross_val_score
  5. import matplotlib.pyplot as plt
  6. import pandas as pd
  7. import numpy as np

2 导入数据集，探索数据

  1. data = load_breast_cancer()
  2. data
  3. data.data.shape
  4. data.target
  5. #可以看到，乳腺癌数据集有569条记录，30个特征，单看维度虽然不算太高,但是样本量非常少。过拟合的情况可能存在。

3 进行一次简单的建模，看看模型本身在数据集上的效果

  1. rfc = RandomForestClassifier(n_estimators=100,random_state=90) #实例化
  2. score_pre = cross_val_score(rfc,data.data,data.target,cv=10).mean() #交叉验证
  3. score_pre
  4. #0.9648809523809524
  5. #这里可以看到，随机森林在乳腺癌数据上的表现本就还不错，在现实数据集上，基本上不可能什么都不调就看到96%以上的准确率

4 随机森林第一步，先调n_estimators

  1. #先画n_estimators的学习曲线，第一次的学习曲线，可以先用来帮助我们划定范围.
  2. scorel = []
  3. for i in range(0,200,10):#我们取每十个数作为一个阶段，来观察n_estimators的变化如何引起模型整体准确率的变化
  4.     rfc = RandomForestClassifier(n_estimators=i+1, #因为n_estimators最小是1，所以这里是i+1
  5.                                 n_jobs=-1,
  6.                                 random_state=90) #实例化
  7.     score = cross_val_score(rfc,data.data,data.target,cv=10).mean() #交叉验证
  8.     scorel.append(score) #将score保存到scorel
  10. print(max(scorel),(scorel.index(max(scorel))*10)+1) #打印最大值和对应的索引
  11. plt.figure(figsize=[20,5])
  12. plt.plot(range(1,201,10),scorel)
  13. plt.show()
  15. #list.index([object])
  16. #返回这个object在列表list中的索引

机器学习：06--机器学习中调参的基本思想 - 图3

5. 在确定好的范围内，进一步细化学习曲线

  1. scorel = []
  2. for i in range(65,75): #所以在上面71的基础上，继续在附近寻找最佳的n_estimators
  3.     rfc = RandomForestClassifier(n_estimators=i,
  4.                                     n_jobs=-1,
  5.                                     random_state=90)
  6.     score = cross_val_score(rfc,data.data,data.target,cv=10).mean()
  7.     scorel.append(score)
  8. print(max(scorel),([*range(65,75)][scorel.index(max(scorel))]))
  9. plt.figure(figsize=[20,5])
  10. plt.plot(range(65,75),scorel)
  11. plt.show()

机器学习：06--机器学习中调参的基本思想 - 图4

6 为网格搜索做准备，书写网格搜索的参数

  1. """
  2. 有一些参数是没有参照的，很难说清一个范围，这种情况下我们使用学习曲线，看趋势
  3. 从曲线跑出的结果中选取一个更小的区间，再跑曲线
  5. param_grid = {'n_estimators':np.arange(0, 200, 10)}
  6. param_grid = {'max_depth':np.arange(1, 20, 1)}
  7. param_grid = {'max_leaf_nodes':np.arange(25,50,1)}
  8. 对于大型数据集，可以尝试从1000来构建，先输入1000，每100个叶子一个区间，再逐渐缩小范围
  9. 有一些参数是可以找到一个范围的，或者说我们知道他们的取值和随着他们的取值，模型的整体准确率会如何变化，这
  10. 样的参数我们就可以直接跑网格搜索
  11. param_grid = {'criterion':['gini', 'entropy']}
  12. param_grid = {'min_samples_split':np.arange(2, 2+20, 1)}
  13. param_grid = {'min_samples_leaf':np.arange(1, 1+10, 1)}
  14. param_grid = {'max_features':np.arange(5,30,1)}
  15. """

7 首先调整max_depth

  1. param_grid = {'max_depth':np.arange(1, 20, 1)}
  2. # 一般根据数据的大小来进行一个试探，乳腺癌数据很小，所以可以采用1~10，或者1~20这样的试探
  3. # 但对于像digit recognition那样的大型数据来说，我们应该尝试30~50层深度（或许还不足够更应该画出学习曲线，来观察深度对模型的影响）
  5. rfc = RandomForestClassifier(n_estimators=73
  6.                             ,random_state=90
  7.                             ) #实例化
  8. GS = GridSearchCV(rfc,param_grid,cv=10) #网格搜索GridSearchCV(实例化模型，网格搜索的参数，交叉验证次数)
  9. GS.fit(data.data,data.target) #训练
  11. GS.best_params_ #显示调整出来的最佳参数
  12. GS.best_score_ #返回调整好的最佳参数对应的准确率

机器学习：06--机器学习中调参的基本思想 - 图5
这里可以看到，模型准确率没有太大变化，可能已经接近模型的上限。max_depth，min_samples_leaf和min_samples_split是剪枝参数，是减小复杂度的参数。而max_features则是可以增加模型复杂度的参数，接下来主要是看下max_features的调参是怎么实现的。

8 调整max_features，默认值是sqrt(n_features)

  1. param_grid = {'max_features':np.arange(5,30,1)} #这里就是将max_features往大的调整，从默认值向最大特征值30进行调整
  3. """
  4. max_features是唯一一个即能够将模型往左（低方差高偏差）推，也能够将模型往右（高方差低偏差）推的参数。我们需要根据调参前，模型所在的位置（在泛化误差最低点的左边还是右边）来决定我们要将max_features往哪边调。现在模型位于图像左侧，我们需要的是更高的复杂度，因此我们应该把max_features往更大的方向调整，可用的特征越多，模型才会越复杂。max_features的默认值是sqrt(n_features)，因此我们使用这个值作为调参范围的最小值。
  5. """
  6. rfc = RandomForestClassifier(n_estimators=73
  7.                             ,random_state=90
  8.                             )
  9. GS = GridSearchCV(rfc,param_grid,cv=10)
  10. GS.fit(data.data,data.target)

机器学习：06--机器学习中调参的基本思想 - 图6

9 调整min_samples_leaf

  1. param_grid={'min_samples_leaf':np.arange(1, 1+10, 1)}
  2. #对于min_samples_split和min_samples_leaf,一般是从他们的最小值开始向上增加10或20
  3. #面对高维度高样本量数据，如果不放心，也可以直接+50，对于大型数据，可能需要200~300的范围
  4. #如果调整的时候发现准确率无论如何都上不来，那可以放心大胆调一个很大的数据，大力限制模型的复杂度
  5. rfc = RandomForestClassifier(n_estimators=73
  6. ,random_state=90
  7. )
  8. GS = GridSearchCV(rfc,param_grid,cv=10)
  9. GS.fit(data.data,data.target)

机器学习：06--机器学习中调参的基本思想 - 图7

10 调整min_samples_split

  1. param_grid={'min_samples_split':np.arange(2, 2+20, 1)}
  2. rfc = RandomForestClassifier(n_estimators=73
  3. ,random_state=90
  4. )
  5. GS = GridSearchCV(rfc,param_grid,cv=10)
  6. GS.fit(data.data,data.target)

机器学习：06--机器学习中调参的基本思想 - 图8

11 调整criterion

  1. param_grid = {'criterion':['gini', 'entropy']} #默认是gini
  2. rfc = RandomForestClassifier(n_estimators=73,random_state=90)
  3. GS = GridSearchCV(rfc,param_grid,cv=10)
  4. GS.fit(data.data,data.target)

12 调整完毕，总结出模型的最佳参数

  1. rfc = RandomForestClassifier(n_estimators=73,random_state=90)
  2. score = cross_val_score(rfc,data.data,data.target,cv=10).mean()
  3. score
  4. score - score_pre
  5. #0.0017543859649122862

在整个调参过程之中，我们首先调整了n_estimators，然后调整max_depth，通过max_depth产生的结果，来判断模型位于复杂度-泛化误差图像的哪一边，从而选择我们应该调整的参数和调参的方向。

参考菜菜的sklearn