定义

给定有限数据出发，假设数据（X,Y）是独立同分布的
假设模型属于某个假设空间
应用某一评价准则，从假设空间中选一个最优模型
使得对已给训练数据和未知数据在给定评价准则下有最准确预测。

任务

学习一个模型，应用这个模型对于给定输入预测相应的输出。

有监督和无监督的区别

1. 有监督学习方法必须要有训练集与测试样本。在训练集中找规律，而对测试样本使用这种规律。而非监督学习没有训练集，只有一组数据，在该组数据集内寻找规律。
   2. 有监督学习的方法就是识别事物，识别的结果表现在给待识别数据加上了标签。因此训练样本集必须由带标签的样本组成。