3.5 多分类学习
拆解法：将多分类任务拆分为若干个二分类任务
一对一：OvO
一对其余：OvR
多对多：MvM
类别很多时，OvO的训练时间开销一般比OvR少
纠错输出码 ECOC 对分类器的错误有一定的容忍和修正能力
没有必要获得最优的理论编码
第六章 支持向量机SVM 二分类
6.1 间隔和支持向量机
6.2对偶问题
第七章 贝叶斯分类器
在所有相关概率都已知的理想情形下，考虑如何基于这些概率和无盘损失来选择最优的类别标记
为最小化总体风险，只需要在每个样本上都选择能使条件风险最小的类别标记就好了
h 贝叶斯最优分类器
R(h*) 贝叶斯风险
>为使分类错误率最小，需要使后验概率最大>基于有限的训练样本尽可能准确地估计后验概率
7.2 极大似然估计
7.3 朴素贝叶斯分类器
估计后验概率p(c|x)很难，所以采用属性条件独立性假设（假设每个属性独立地对分类结果发生影响）
*训练过程实质：基于训练集D来估计类先验概率，并为每个属性估计条件概率
平滑处理—(拉普拉斯修正)
懒惰学习
增量学习
7.4 半朴素贝叶斯分类器
独依赖估计
SPODE 超父独依赖
TAN
AODE 基于集成学习机制
7.5 贝叶斯网
7.6 EM算法
第八章 集成学习
8.1
同质学习
异质学习
*结合多个学习器，一般可以获得比单一学习器更显著优越的泛化性能(对弱学习器尤为明显)
为了获得好的集成，个体学习器应好而不同，有多样性
假设：基学习器的误差相互独立==》随着个体分类器数目T的增大，集成的错误率将指数级下降，最终趋向于零
现有的集成学习方法：可以分为两类
1、个体学习器间有强依赖关系，必须串行生成的序列化方法—>Boosting
2、不存在强依赖关系，可同时生成的并行化方法Bagging和随机森林 Random Forest
8.2 Boosting
AdaBoost
LightGBM 微软DMTK
GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，
其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。
GBDT在工业界应用广泛，通常被用于点击率预测，搜索排序等任务。
GBDT也是各种数据挖掘竞赛的致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。
LightGBM （Light Gradient Boosting Machine）是一个实现GBDT算法的框架，支持高效率的并行训练，并且具有以下优点：
● 更快的训练速度
● 更低的内存消耗
● 更好的准确率
● 分布式支持，可以快速处理海量数据
onehot 独热码
编码
第十六章 强化学习
16.1 任务与奖赏
强化学习任务的四元组E=[X,A,P,R]
X 状态空间
A 动作
P 状态转移概率
R 奖赏
某种意义上，强化学习可以认为是具有“延迟标记信息”的监督学习问题
若有收获，就点个赞吧
0 人点赞
