使用比较简单，直接调用库就好了。

教程目录 - sklearn中文文档
sklearn 快速入门教程 - 郭峰g - 博客园
Python之Sklearn使用入门教程python脚本之家

代码 D:\00000py\1\mcm 2020bq3_0008own.py
# 定义模型 训练
models_str = [‘LinearRegression’, # 普通最小二乘法 （线性回归）
‘MLPRegressor’, # 多层感知器（MLP） （神经网络） # 训练异常 可能本身有问题
‘DecisionTree’, # 决策树
‘SVR’, # 支持向量机
‘GBDT’, # 梯度提升决策树
‘lightGBM’, # 轻型梯度提升机
‘RandomForest’ # 随机森林
_]

2020B 0027：XGBoost LightGBM 随机森林 SVM BP神经网络
2020B 0089：随机森林（用于确定重要性）
2020B 0036：随机森林（用于确定重要性/回归） GBR（GBDT）
2020B 0008：各模型对比 LR LightGBM GBDT SVR DT（DecisionTree） 神经网络
2020B 0116：随机森林 决策树 SVM GBDT
2020B 0031：。。。

随机森林

回归 预测

文章 D:\00000MCM\0 研究生数学建模竞赛历年真题和优秀论文集锦\研究生数学建模-优秀论文\2020年优秀论文\B题\B20102470089.pdf

回归预测
见后面代码

选择重要变量 重要性排序

  1. importances = models[6].feature_importances_  # 获取重要性  选择定义的模型
  2. print(importances)
  3. print(sorted(importances, reverse=True))  # 排序

其他

回归 预测

  1.           **'LinearRegression'**,  _# 普通最小二乘法 （线性回归）<br />              _**'MLPRegressor'**,  _# 多层感知器（MLP） （神经网络）  # 训练异常  可能本身有问题<br />              _**'DecisionTree'**,  _# 决策树<br />              _**'SVR'**,  _# 支持向量机<br />              _**'GBDT'**,  _# 梯度提升决策树<br />              _**'lightGBM'**,  _# 轻型梯度提升机_

代码

D:\00000py\1\mcm 2020b_q3_0008own.py

  1. import numpy as np
  2. import matplotlib.pyplot as plt
  3. import lightgbm as lgb
  4. from sklearn.linear_model import LinearRegression
  5. from sklearn.svm import SVR
  6. from sklearn.neural_network import MLPRegressor
  7. from sklearn.tree import DecisionTreeRegressor
  8. from sklearn.ensemble import RandomForestRegressor
  9. from sklearn.ensemble import GradientBoostingRegressor
  10. from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score
  11. from sklearn.model_selection import cross_val_score # 交叉验证
  12. from sklearn.datasets import load_iris
  13. import time
  14. import csv
  15. import re
  16. from openpyxl import load_workbook # 读取xlsx 类型的文件需要专门的读取程序
  17. import xlrd
  18. import warnings
  19. # filter warnings
  20. warnings.filterwarnings('ignore')
  21. # 正常显示中文
  22. from pylab import mpl
  23. mpl.rcParams['font.sans-serif'] = ['SimHei']
  24. # 正常显示符号
  25. from matplotlib import rcParams
  26. rcParams['axes.unicode_minus']=False
  31. def normalization(data): # normalization 和normalization1 是对所有数据进行归一化，不太合理。而normalization2 可以对列进行归一化
  32.     _range = np.max(data) - np.min(data)
  33.     return (data - np.min(data)) / _range
  35. def standardization(data):
  36.     mu = np.mean(data, axis=0)
  37.     sigma = np.std(data, axis=0)
  38.     return (data - mu) / sigma
  40. # 如果归一化后的范围是[-1, 1]的话，可以将normalization()函数改为：
  41. def normalization1(data):
  42.     _range = np.max(abs(data))
  43.     return data / _range
  45. def normalization2(data):
  46.     minVals = data.min(0)
  47.     maxVals = data.max(0)
  48.     ranges = maxVals - minVals
  49.     m = data.shape[0]
  50.     normData = data - np.tile(minVals, (m, 1))
  51.     normData = normData/np.tile(ranges, (m, 1))
  52.     return normData, ranges, minVals
  54. def draw(x_train_label, x_test_label, x_label, train_y, test_y, original_y, picture_path, model_name):
  55.     plt.title(model_name, fontsize=22)
  56.     plt.xlabel('样本编号')
  57.     plt.ylabel('RON 损失值')
  58.     # plt.xlim(xmax=9, xmin=0)
  59.     # plt.ylim(ymax=9, ymin=0)
  60.     # 画两条（0-9）的坐标轴并设置轴标签x，y
  61.     colors1 = '#FFA500' # 点的颜色     '#C0504D'ori    '训练集'     橘黄
  62.     colors2 = '#FF4500' #'#2894FF'   '#00EEEE'ori     '测试集'     橘红
  63.     colors3 = '#1E90FF' #            '#FF6600'ori     '原始数据'   浅蓝
  65.     # 画散点图
  66.     area1 = np.pi * 2 ** 2 # 点面积
  67.     area2 = np.pi * 3 ** 2 # 点面积
  68.     area3 = np.pi * 4 ** 2 # 点面积
  69.     # plt.scatter(x_train_label, train_y, marker='^', s=area2, c=colors1, alpha=1, label='训练集')
  70.     # plt.scatter(x_test_label, test_y, marker='*', s=area3, c=colors2, alpha=1, label='测试集')
  71.     # plt.scatter(x_label, original_y, marker='o', s=area1, c=colors3, alpha=1, label='原始数据')
  72.     # # # plt.plot([0, 9.5], [9.5, 0], linewidth='0.5', color='#000000')
  74.     # 画折线图
  75.     plt.plot(x_train_label, train_y, c=colors1, linewidth=0.9, label='训练集')
  76.     plt.plot(x_test_label, test_y, c=colors2, linewidth=0.9, label='测试集')
  77.     plt.plot(x_label, original_y, c=colors3, linewidth=0.9, label='原始数据')
  79.     plt.legend()
  80.     plt.savefig(picture_path, dpi=300)  # 重新运行 保存的图像可能不刷新
  81.     plt.show()
  83. def p_words(string):
  84.     string_list = re.findall(r"\d+\.\d+", string)
  85.     return string_list[0]
  87. plt.rcParams['font.sans-serif'] = ['SimHei']
  88. plt.rcParams['axes.unicode_minus'] = False
  89. # matplotlib 画图中中文显示会有问题，需要这两行设置默认字体
  93. # 读取数据
  94. # all_data = []
  95. # with open("fina_30_samples.csv", "r", encoding="utf-8") as f: # 数据已放附录
  96. # # with open("325 个样本数据888.csv", "r", encoding="utf-8") as f:
  97. #     # 遇到编码问题，可以考虑把xlsx 文件转化为utf-8 格式的csv 文件
  98. #     f_csv = csv.reader(f)
  99. #     for row in f_csv:
  100. #         row = [float(p_words(item)) for item in row]
  101. #         # 在进行正则匹配时，一定要先把csv 里面存储的数据转化为数值格式，并设置小数点
  102. #         all_data.append(row)
  103. # 读取数据 转为ndarray
  104. data = xlrd.open_workbook(r'D:\00000MCM\0 codes\2020B\q3forml.xlsx')  # datas q2xxhg
  105. table = data.sheet_by_index(0) #按索引获取工作表，0就是工作表1
  106. all_data = []
  107. for i in range(1, table.nrows): #table.nrows表示总行数   去除第一行
  108.     line=table.row_values(i) #读取每行数据，保存在line里面，line是list
  109.     all_data.append(line) #将line加入到resArray中，resArray是二维list
  110. all_data = np.array(all_data) #将resArray从二维list变成数组
  113. # 分割数据
  114. data_label = all_data[:, 0]  # 第0列 数据标签 1-n 用于画图
  115. target = all_data[:, -1]  # 最后一列 目标值
  116. # target = normalization(all_data[:, -1])
  117. data, _, _ = normalization2(all_data[:, 1:-1]) # normalization 和normalization1 是对所有数据进行归一化，不太合理。而normalization2 可以对列进行归一化
  118. print(data[0])
  119. print(len(data[0]))
  120. print(target[0])
  121. print()
  124. # 分割训练集 测试集
  125. train_size = int(len(data)*0.7)
  126. x_train = data[:train_size]
  127. x_test = data[train_size:]
  128. y_train = target[:train_size]
  129. y_test = target[train_size:]
  130. x_train_label = data_label[:train_size]
  131. x_test_label = data_label[train_size:]
  132. # x_train, x_test, y_train, y_test = train_test_split(data, target, test_size=0.3, random_state=20)
  133. # x_train_label, x_test_label = train_test_split(data_label, test_size=0.3, random_state=20)
  134. x_label = data_label
  137. # 定义模型 训练
  138. models_str = ['LinearRegression',  # 普通最小二乘法 （线性回归）
  139.               'MLPRegressor',  # 多层感知器（MLP） （神经网络）  # 训练异常 可能是输出y数据没有归一化 可能本身有问题
  140.               'DecisionTree',  # 决策树
  141.               'SVR',  # 支持向量机
  142.               'GBDT',  # 梯度提升决策树
  143.               'lightGBM',  # 轻型梯度提升机
  144.               'RandomForest'  # 随机森林
  145.               ]
  146. models = [LinearRegression(normalize=True),
  147.           MLPRegressor(alpha=0.01),  # MLPRegressor(hidden_layer_sizes=50, solver='sgd', alpha=0.0001, learning_rate_init=0.0003)
  148.           DecisionTreeRegressor(),
  149.           SVR(),
  150.           GradientBoostingRegressor(),
  151.           lgb.LGBMRegressor(objective='regression', num_leaves=31, learning_rate=0.05, n_estimators=20),
  152.           RandomForestRegressor()
  153.           ]
  155. MSE_lists = []
  156. MAE_lists = []
  157. R2_lists = []
  158. Run_Time_lists = []
  159. cv_jiaocha_flag = False  # 交叉验证开关   True   False
  160. n_folds = 5  # 交叉验证
  161. Cross_val_lists = []
  163. for name, model in zip(models_str, models):
  164.     print('开始训练模型：' + name)
  165.     model = model  # 建立模型
  166.     model.fit(x_train, y_train)  # 训练
  167.     startTime = time.time()
  168.     y_train_pred = model.predict(x_train)  # 预测
  169.     y_test_pred = model.predict(x_test)  # 预测
  170.     stopTime = time.time()
  172.     if cv_jiaocha_flag:  # 交叉验证
  173.         Cross_val = cross_val_score(model, x_train, y_train, cv=n_folds)  # 交叉验证
  175.     if name == 'LinearRegression':  # 输出线性回归系数
  176.         print('截距: ',end=''); print(model.intercept_)  #截距
  177.         print('回归系数: ',end=''); print(model.coef_) #回归系数
  179.     # 可视化 图片保存
  180.     # save_path = ".\\\\画图数据\\" + name + ".tif"
  181.     save_path = '.\\datasets\\ml\\' + name + '.jpg'  # 重新运行 保存的图像可能不刷新
  182.     draw(x_train_label, x_test_label, x_label, y_train_pred, y_test_pred, target, save_path, name)
  184.     # 指标评估
  185.     MSE = mean_squared_error(y_test, y_test_pred) ** 0.5
  186.     MAE = mean_absolute_error(y_test, y_test_pred)
  187.     R2 = r2_score(y_test, y_test_pred)
  188.     Run_Time = stopTime - startTime
  189.     MSE_lists.append(MSE)
  190.     MAE_lists.append(MAE)
  191.     R2_lists.append(R2)
  192.     Run_Time_lists.append(Run_Time)
  193.     if cv_jiaocha_flag:  # 交叉验证
  194.         Cross_val_lists.append(Cross_val)
  195.     print('The rmse of prediction is:', MSE)
  196.     print('The mae of prediction is:', MAE)
  197.     print('The r2 of prediction is:', R2)
  198.     print('The Run_Time of prediction is:', Run_Time)
  199.     print()
  201. print('models: ', end='')
  202. print(models_str)
  203. print('MSE_lists: ', end='')
  204. print(MSE_lists)
  205. print('MAE_lists: ', end='')
  206. print(MAE_lists)
  207. print('R2_lists: ', end='')
  208. print(R2_lists)
  209. print('Run_Time_lists: ', end='')
  210. print(Run_Time_lists)
  211. if cv_jiaocha_flag:  # 交叉验证
  212.     print('Cross_val_lists: ', end='')
  213.     print(Cross_val_lists)
  217. print('finish')
  222. importances = models[6].feature_importances_  # 获取重要性  选择定义的模型
  223. print(importances)
  224. print(sorted(importances, reverse=True))  # 排序