1.使用sklearn构建完整的回归项目

1.1 收集数据集并选择合适的特征

1.2 选择度量模型性能的指标

1.3 选择具体的模型并进行训练

上文内容详见：https://www.yuque.com/u8039732/dfqrpz/cixfev


1.4 优化基础模型

上文内容详见：https://www.yuque.com/u8039732/dfqrpz/kzlrq4

1.5 对模型超参数进行调优(Hyper Parameter Tuning)

在前面的讨论中，我们似乎对模型的优化都是对模型算法本身的改进，比如：岭回归对线性回归的优化在于在线性回归的损失函数中加入L2正则化项从而牺牲无偏性降低方差。但是，大家是否想过这样的问题：在L2正则化中参数 机器学习基础模型04——sklearn实战03 - 图1 应该选择多少？是0.01、0.1、还是1？到目前为止，我们只能凭经验或者瞎猜，能不能找到一种方法找到最优的参数 机器学习基础模型04——sklearn实战03 - 图2 ？事实上，找到最佳参数的问题本质上属于最优化的内容，因为从一个参数集合中找到最佳的值本身就是最优化的任务之一，我们脑海中浮现出来的算法无非就是：梯度下降法、牛顿法等无约束优化算法或者约束优化算法，但是在具体验证这个想法是否可行之前，我们必须先认识两个最本质概念的区别。

1.5.1 参数与超参数

我们很自然的问题就是岭回归中的参数 机器学习基础模型04——sklearn实战03 - 图3 和参数 机器学习基础模型04——sklearn实战03 - 图4 之间有什么不一样？事实上，参数 机器学习基础模型04——sklearn实战03 - 图5 是我们通过设定某一个具体的 机器学习基础模型04——sklearn实战03 - 图6 后使用类似于最小二乘法、梯度下降法等方式优化出来的，我们总是设定了 机器学习基础模型04——sklearn实战03 - 图7 是多少后才优化出来的参数w。因此，类似于参数 机器学习基础模型04——sklearn实战03 - 图8 一样，使用最小二乘法或者梯度下降法等最优化算法优化出来的数称为参数，类似于 机器学习基础模型04——sklearn实战03 - 图9 一样，我们无法使用最小二乘法或者梯度下降法等最优化算法优化出来的数称为超参数。

  • 模型参数是模型内部的配置变量，其值可以根据数据进行估计。
  • 进行预测时需要参数。
  • 参数定义了可使用的模型。
  • 参数是从数据中估计或获悉的。
  • 参数通常不由编程者手动设置。
  • 参数通常被保存为学习模型的一部分。
  • 参数是机器学习算法的关键，它们通常由过去的训练数据中总结得出 。
  • 模型超参数是模型外部的配置，其值无法从数据中估计。
  • 超参数通常用于帮助估计模型参数。
  • 超参数通常由人工指定。
  • 超参数通常可以使用启发式设置。
  • 超参数经常被调整为给定的预测建模问题。
  • 我们前面(4)部分的优化都是基于模型本身的具体形式的优化，那本次(5)调整的内容是超参数，也就是取不同的超参数的值对于模型的性能有不同的影响。

1.5.2 常用的2种超参数调优方法

网格搜索的思想非常简单，比如你有2个超参数需要去选择，那你就把所有的超参数选择列出来分别做排列组合。举个例子： 𝜆=0.01,0.1,1.0 和 𝛼=0.01,0.1,1.0 ,你可以做一个排列组合，即：{[0.01,0.01],[0.01,0.1],[0.01,1],[0.1,0.01],[0.1,0.1],[0.1,1.0],[1,0.01],[1,0.1],[1,1]} ，然后针对每组超参数分别建立一个模型，最后选择测试误差最小的那组超参数。换句话说，我们需要从超参数空间中寻找最优的超参数，很像一个网格中找到一个最优的节点，因此叫网格搜索。

网格搜索相当于暴力地从参数空间中每个都尝试一遍，然后选择最优的那组参数，这样的方法显然是不够高效的，因为随着参数类别个数的增加，需要尝试的次数呈指数级增长。有没有一种更加高效的调优方式呢？那就是使用随机搜索的方式，这种方式不仅仅高校，而且实验证明，随机搜索法结果比稀疏化网格法稍好(有时候也会极差，需要权衡)。参数的随机搜索中的每个参数都是从可能的参数值的分布中采样的。
与网格搜索相比，这有两个主要优点：

  • 可以独立于参数数量和可能的值来选择计算成本。
  • 添加不影响性能的参数不会降低效率。

其他的超参数调优的方法还有：考虑了上一次超参数的信息，从而更好的调整当前参数的贝叶斯调参（Bayesian optimization）；从最关键超参数开始调优，再对次关键超参数调优，依次类推调整完所有超参数的贪心策略调参法。

1.5.3 SVR模型的超参数调优实例

①我们先来对未调参的SVR进行评价

  1. from sklearn.svm import SVR     # 引入SVR类
  2. from sklearn.pipeline import make_pipeline   # 引入管道简化学习流程
  3. from sklearn.preprocessing import StandardScaler # 由于SVR基于距离计算，引入对数据进行标准化的类
  4. from sklearn.model_selection import GridSearchCV  # 引入网格搜索调优
  5. from sklearn.model_selection import cross_val_score # 引入K折交叉验证
  6. from sklearn import datasets
  7. import numpy as np
  10. boston = datasets.load_boston()     # 返回一个类似于字典的类
  11. X = boston.data
  12. y = boston.target
  13. features = boston.feature_names
  14. pipe_SVR = make_pipeline(StandardScaler(), SVR())
  15. score1 = cross_val_score(estimator=pipe_SVR, X = X, y = y, scoring = 'r2', cv = 10)  # 10折交叉验证
  16. print("CV accuracy: %.3f +/- %.3f" % ((np.mean(score1)),np.std(score1)))

CV accuracy: 0.187 +/- 0.649

②下面我们使用网格搜索来对SVR调参：

  1. from sklearn.pipeline import Pipeline
  2. pipe_svr = Pipeline([("StandardScaler",StandardScaler()), ("svr",SVR())])
  3. param_range = [0.0001,0.001,0.01,0.1,1.0,10.0,100.0,1000.0]
  4. param_grid = [{"svr__C":param_range,"svr__kernel":["linear"]},  # 注意__是指两个下划线，一个下划线会报错的
  5.                             {"svr__C":param_range,"svr__gamma":param_range,"svr__kernel":["rbf"]}]
  6. gs = GridSearchCV(estimator=pipe_svr,
  7.                                                      param_grid = param_grid,
  8.                                                      scoring = 'r2',
  9.                                                       cv = 10)       # 10折交叉验证
  10. gs = gs.fit(X,y)
  11. print("网格搜索最优得分：",gs.best_score_)
  12. print("网格搜索最优参数组合：\n",gs.best_params_)

网格搜索最优得分： 0.6096834373642628 网格搜索最优参数组合： {‘svrC’: 1000.0, ‘svrgamma’: 0.001, ‘svr__kernel’: ‘rbf’}

③ 下面我们使用随机搜索来对SVR调参：

  1. from sklearn.model_selection import RandomizedSearchCV
  2. from scipy.stats import uniform  # 引入均匀分布设置参数
  3. pipe_svr = Pipeline([("StandardScaler",StandardScaler()),
  4.                                                          ("svr",SVR())])
  5. distributions = dict(svr__C=uniform(loc=1.0, scale=4),    # 构建连续参数的分布
  6.                      svr__kernel=["linear","rbf"],                                   # 离散参数的集合
  7.                     svr__gamma=uniform(loc=0, scale=4))
  9. rs = RandomizedSearchCV(estimator=pipe_svr,
  10.                                                      param_distributions = distributions,
  11.                                                      scoring = 'r2',
  12.                                                       cv = 10)       # 10折交叉验证
  13. rs = rs.fit(X,y)
  14. print("随机搜索最优得分：",rs.best_score_)
  15. print("随机搜索最优参数组合：\n",rs.best_params_)

随机搜索最优得分： 0.30170795188282734 随机搜索最优参数组合： {‘svrC’: 1.5239372125640624, ‘svrgamma’: 2.618933797320082, ‘svr__kernel’: ‘linear’}

经过我们不懈的努力，从收集数据集并选择合适的特征、选择度量模型性能的指标、选择具体的模型并进行训练以优化模型到评估模型的性能并调参，我们认识到了如何使用sklearn构建简单回归模型。在本章的最后，我们会给出一个具体的案例，整合回归的内容。下面我们来看看机器学习另外一类大问题：分类。与回归一样，分类问题在机器学习的地位非常重要，甚至有的地方用的比回归问题还要多，因此分类问题是十分重要的！