1 API

  • sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver=”auto”, normalize=False)
    • 具有l2正则化的线性回归
    • alpha:正则化力度，也叫 λ
      • λ取值：0~1 1~10
    • solver:会根据数据自动选择优化方法
      • sag:如果数据集、特征都比较大，选择该随机梯度下降优化
    • normalize:数据是否进行标准化
      • normalize=False:可以在fit之前调用preprocessing.StandardScaler标准化数据
    • Ridge.coef_:回归权重
    • Ridge.intercept_:回归偏置

Ridge方法相当于SGDRegressor(penalty=’l2’, loss=”squared_loss”),只不过SGDRegressor实现了一个普通的随机梯度下降学习，推荐使用Ridge(实现了SAG)

  • sklearn.linear_model.RidgeCV(_BaseRidgeCV, RegressorMixin)

    • 具有l2正则化的线性回归，可以进行交叉验证
    • coef_:回归系数
      1. class _BaseRidgeCV(LinearModel):
      2. def __init__(self, alphas=(0.1, 1.0, 10.0),
      3.             fit_intercept=True, normalize=False,scoring=None,
      4.             cv=None, gcv_mode=None,
      5.             store_cv_values=False):

      2 观察正则化程度的变化，对结果的影响？正则化力度.png

  • 正则化力度越大，权重系数会越小

  • 正则化力度越小，权重系数会越大

    3 波士顿房价预测

    1. def linear_model3():
    2.   """
    3.   线性回归:岭回归
    4.   :return:
    5.   """
    6.   # 1.获取数据
    7.   data = load_boston()
    9.   # 2.数据集划分
    10.   x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)
    12.   # 3.特征工程-标准化
    13.   transfer = StandardScaler()
    14.   x_train = transfer.fit_transform(x_train)
    15.   x_test = transfer.fit_transform(x_test)
    17.   # 4.机器学习-线性回归(岭回归)
    18.   estimator = Ridge(alpha=1)
    19.   # estimator = RidgeCV(alphas=(0.1, 1, 10))
    20.   estimator.fit(x_train, y_train)
    22.   # 5.模型评估
    23.   # 5.1 获取系数等值
    24.   y_predict = estimator.predict(x_test)
    25.   print("预测值为:\n", y_predict)
    26.   print("模型中的系数为:\n", estimator.coef_)
    27.   print("模型中的偏置为:\n", estimator.intercept_)
    29.   # 5.2 评价
    30.   # 均方误差
    31.   error = mean_squared_error(y_test, y_predict)
    32.   print("误差为:\n", error)