• 归纳：从特殊到一般的泛化
    • 演绎：从一般到特殊的特化

    现实问题中常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的假设集合。
    版本空间是与训练集一致的所有假设所构成的集合，也就是假设空间的一个最大子集，该子集内的每一个元素都不与训练集相冲突。

    • 归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好

    奥卡姆剃刀原则，即若有多个假设与观察一致，则选择最简单的那个。
    学习算法自身的归纳偏好与问题是否相配，往往会起到决定性的作用