民主协商 Ensemble
使用多个分类器,最后再做协商判断。
群策群议 bagging (随机森林)
但通常还是用一样的分类器,但使用不同的训练集、不同初始值、不同的特征
有放回的采样
1/n是被选中的概率,(1-1/n)没有被选中的概率,的n次方选了n次
大约剩下1/e的没有被取到的用来做测试集。
给每个分类器加权重,再学习, (感知机)
环环相扣 boosting
C2学习C1分错的(错误的样本加权重),C3学习C1C2分类不一致的东西(用来解决争端)
bagging 和 boosting 的区分
集成之美 AdaBoost 推导(十大算法之一)
https://www.bilibili.com/video/BV1mt411a7FT?p=4
误差递减:
(不会过学习)