image.png

民主协商 Ensemble

使用多个分类器,最后再做协商判断。
image.png

群策群议 bagging (随机森林)

image.png
但通常还是用一样的分类器,但使用不同的训练集、不同初始值、不同的特征
有放回的采样
image.png
image.pngimage.png
1/n是被选中的概率,(1-1/n)没有被选中的概率,的n次方选了n次
大约剩下1/e的没有被取到的用来做测试集。
image.png
给每个分类器加权重,再学习, (感知机)
image.png

环环相扣 boosting

C2学习C1分错的(错误的样本加权重),C3学习C1C2分类不一致的东西(用来解决争端)
image.png
image.png
image.png

bagging 和 boosting 的区分

image.png

集成之美 AdaBoost 推导(十大算法之一)

https://www.bilibili.com/video/BV1mt411a7FT?p=4
image.png
image.png
image.png
误差递减:
image.png(不会过学习)

RegionBoost 动态权重

image.png
image.png
image.png