XGBoost对于第一棵树如何构造有如下问题:

  1. XGBOOST的第一棵树如何产生?
    1. XGBOOST的第一棵树一般是直接学出来的。
  2. 如果损失函数为MSE,那么二阶梯度恒为2;在候选切分点选取的时候,二阶梯度还有什么意义?
    1. 增加模型精度。
  3. 对于分类问题,XGBoost的损失函数应该如何选取?
    1. 二分类问题,先训练一个GBDT模型,然后使用Sigmoid函数进行预测,使用交叉熵作为损失函数。
    2. 多分类问题,同时训练对应类个数地GBDT模型,最后使用Softmax函数进行预测,使用交叉熵作为损失函数,标签是one-hot编码。其中,每轮中训练对应类个数的树,对于属于第k类地样本x,在第k个树的时候,样本标签为1;其它树时标签为0。

参考文献

  1. 深入理解GBDT多分类算法
  2. 深入理解GBDT二分类算法