一、基本分类

监督学习

监督学习是指从标注数据中学习预测模型的机器学习问题。标注数据表示输入和输出的对应关系，监督学习的本质是学习输入到输出的映射的统计规律。

输入空间：输入的所有可能的集合
输出空间：输出的所有可能的集合
输入的一个实例用特征向量表示，所有的特征向量构成特征空间，特征空间可以和输入空间相同。

强化学习是指智能系统在与环境的连续互动中学习最优行为策略的机器学习问题。

概率模型：决策树、朴素贝叶斯、隐马尔科夫模型、条件随机场、概率潜在语义分析、潜在狄利克雷分配、高斯混合模型
非概率模型：感知机、支持向量机、K近邻、AdaBoot、k均值、潜在语义分析、神经网络