XGBOOST算法详解

公式推导:



泰勒公式:




第j个叶子节点上的所有样本


最优解的位置：

分支前损失

分支后损失

XGboost首先直接学习出第一棵树，然后第二棵树根据GAIN进行分支学习出来，最终学得N棵树。