没有免费的午餐

假设空间：所有假设组成的空间。
学习可以看作是在所有假设组成的空间进行搜索的过程，搜索目标是找到与训练集“匹配”的假设。
归纳偏好：任何一个有效的学习器算法必有其归纳偏好。可以看作是学习算法自身在假设空间中进行选择的启发式或“价值观”。

NFL：如果所有可能的真实目标函数都可能出现，假设服从均匀分布，那么任何一个有效的学习器产生的平均学习效果是一样的，与算法无关。

现实任务中，真实的目标函数不可能均匀出现，本身就有自己的特征。