• 集成算法

• 一个分类器表现比较好，多个分类器结合

  算法原理

  

• 不是随便添加分类器，而是要保证每添加一个，分类结果要更好一点

• 决策树的叶子节点树越多，越容易过拟合，因此需要通过惩罚项抑制

• 解释了在模型中如何添加一棵树

  目标函数

  
  
  
  
  
  
  
  Gain增益，选取最大增益点切割

  xgboost安装

  pip install xgboost

• 外部安装

• http://www.lfd.uci.edu/-gohlke/pythonlibs/#xgboost

• 搜索 xgboost

• 下载,whl文件
• 使用AnacondaPrompt进入安装包所在目录

pip install xgboost....whl

Python实现

单次预测

重复预测

• 使用eval_set函数每加入一个模型就进行测试
• early_stopping_rounds指定停止条件（连续10次没有提升就停下训练）
• eval_metric指定目标的评估标准
• eval_set指定测试集
• verbose设置每加入模型都要在测试集中测试

特征重要性

• 需要导入plot_importance模块

参数调节

• 常用参数