具体结果都在Word里面，以下是简要目录

1.默认参数简单探索

先用老师的代码和默认参数跑一遍，五折验证；

2.对max_depth和num_leaves调参

3.对min_data_in_leaf和max_bin调参

4.对min_data_in_leaf和max_bin细化区间调参

5.对feature_fraction, bagging_fraction,bagging_freq调参

6.对lambda_l1, lambda_l2调参

7.对min_split_gain调参

8.最后降低学习率，增加迭代次数

最终结果：

最优参数如下，对验证集的预测错误率为0.07938，应用此参数预测测试集的错误率为0.08826。

{'min_split_gain': 0.0, 'lambda_l1': 1e-05, 'lambda_l2': 0.001, 'feature_fraction': 0.7, 'bagging_fraction': 0.7, 'bagging_freq': 10, 'max_bin': 65, 'min_data_in_leaf': 21, 'num_thread': 4, 'num_leaves': 12, 'metric': 'binary', 'objective': 'binary', 'max_depth': 5, 'num_round': 5000, 'learning_rate': 0.003}

详细调参记录：

调参记录.docx