二.线性回归(Linear Regression) - 图1

2.1 概述

二.线性回归(Linear Regression) - 图2

2.2 线性回归API

sklearn.linear_model.LinearRegression()

  • LinearRegression.coef_：回归系数

    2.3 数学:求导

    1 常见函数的导数

    image.png

    2 导数的四则运算

    image.png

    3 矩阵（向量）求导 [了解]

    矩阵求导.png

    2.4 损失和优化

    1 损失函数

    二.线性回归(Linear Regression) - 图6

    2 优化算法

    如何去求模型当中的W，使得损失最小？（目的是找到最小损失对应的W值）
    线性回归经常使用的两种优化算法

    2.1 正规方程

    2.1.1 什么是正规方程

    二.线性回归(Linear Regression) - 图7

    2.1.2 正规方程的推导

  • 推导方式一：

把该损失函数转换成矩阵写法：
二.线性回归(Linear Regression) - 图8

  • 推导方式二【拓展】：

https://www.jianshu.com/p/2b6633bd4d47

2.2 梯度下降(Gradient Descent)

2.2.1 什么是梯度下降

梯度下降法的基本思想可以类比为一个下山的过程。

2.2.2 梯度的概念

在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向。

2.2.3 梯度下降举例

  • 1. 单变量函数的梯度下降**

我们假设有一个单变量的函数 :J(θ) = θ
函数的微分:J(θ) = 2θ
初始化，起点为： θ = 1
学习率：α = 0.4
我们开始进行梯度下降的迭代计算过程:
二.线性回归(Linear Regression) - 图9

  • 2.多变量函数的梯度下降

我们假设有一个目标函数 ：:J(θ) = θ + θ
初始的学习率为:α = 0.1
函数的梯度为:▽:J(θ) =< 2θ ,2θ>
进行多次迭代:
image.png

2.2.4 公式

二.线性回归(Linear Regression) - 图11

2.3 梯度下降和正规方程的对比

梯度下降 正规方程
需要选择学习率 不需要
需要迭代求解 一次运算得出
特征数量较大可以使用 需要计算方程，时间复杂度高O(n3)

  • 选择：

    • 小规模数据：
      • LinearRegression(不能解决拟合问题)
      • 岭回归
    • 大规模数据：SGDRegressor

      2.5 梯度下降法介绍

      2.6 线性回归api再介绍

  • sklearn.linear_model.LinearRegression(fit_intercept=True)

    • 通过正规方程优化
    • fit_intercept：是否计算偏置
    • LinearRegression.coef_：回归系数
    • LinearRegression.intercept_：偏置
  • sklearn.linear_model.SGDRegressor(loss=”squared_loss”, fit_intercept=True, learning_rate =’invscaling’, eta0=0.01)
    • SGDRegressor类实现了随机梯度下降学习，它支持不同的loss函数和正则化惩罚项来拟合线性回归模型。
    • loss:损失类型
      • loss=”squared_loss”: 普通最小二乘法
    • fit_intercept：是否计算偏置
    • learning_rate : string, optional
      • 学习率填充
      • ‘constant’: eta = eta0
      • ‘optimal’: eta = 1.0 / (alpha * (t + t0)) [default]
      • ‘invscaling’: eta = eta0 / pow(t, power_t)
        • power_t=0.25:存在父类当中
      • 对于一个常数值的学习率来说，可以使用learning_rate=’constant’ ，并使用eta0来指定学习率。
    • SGDRegressor.coef_：回归系数
    • SGDRegressor.intercept_：偏置

      sklearn提供给我们两种实现的API， 可以根据选择使用

2.7 案例：波士顿房价预测

3 代码

  1. def linear_model1():
  2.     """
  3.     线性回归:正规方程
  4.     :return:None
  5.     """
  6.     # 1.获取数据
  7.     data = load_boston()
  8.     # 2.数据集划分
  9.     x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)
  10.     # 3.特征工程-标准化
  11.     transfer = StandardScaler()
  12.     x_train = transfer.fit_transform(x_train)
  13.     x_test = transfer.fit_transform(x_test)
  14.     # 4.机器学习-线性回归(正规方程)
  15.     estimator = LinearRegression()
  16.     estimator.fit(x_train, y_train)
  17.     # 5.模型评估
  18.     # 5.1 获取系数等值
  19.     y_predict = estimator.predict(x_test)
  20.     print("预测值为:\n", y_predict)
  21.     print("模型中的系数为:\n", estimator.coef_)
  22.     print("模型中的偏置为:\n", estimator.intercept_)
  23.     # 5.2 评价
  24.     # 均方误差
  25.     error = mean_squared_error(y_test, y_predict)
  26.     print("误差为:\n", error)
  28. def linear_model2():
  29.     """
  30.     线性回归:梯度下降法
  31.     :return:None
  32.     """
  33.     # 1.获取数据
  34.     data = load_boston()
  35.     # 2.数据集划分
  36.     x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)
  37.     # 3.特征工程-标准化
  38.     transfer = StandardScaler()
  39.     x_train = transfer.fit_transform(x_train)
  40.     x_test = transfer.fit_transform(x_test)
  41.     # 4.机器学习-线性回归(特征方程)
  42.     estimator = SGDRegressor(max_iter=1000)
  43.     estimator.fit(x_train, y_train)
  44.     # 5.模型评估
  45.     # 5.1 获取系数等值
  46.     y_predict = estimator.predict(x_test)
  47.     print("预测值为:\n", y_predict)
  48.     print("模型中的系数为:\n", estimator.coef_)
  49.     print("模型中的偏置为:\n", estimator.intercept_)
  50.     # 5.2 评价
  51.     # 均方误差
  52.     error = mean_squared_error(y_test, y_predict)
  53.     print("误差为:\n", error)

我们也可以尝试去修改学习率

  1. estimator = SGDRegressor(max_iter=1000,learning_rate="constant",eta0=0.1)

此时我们可以通过调参数，找到学习率效果更好的值。

2.8 欠拟合和过拟合