Hoeffding 不等式描述了训练误差和泛化误差之间的近似关系；提高估计的精度，最本质的方法还是增加样本容量。反过来说，只要样本的容量足够大，估计值与真实值的差值将会以较大的概率被限定在较小的常数 ϵ 之内
    PAC 学习理论的核心在于学习出来的模型会以较大概率接近于最优模型；
    假设空间的 VC 维是对无限假设空间复杂度的度量，体现了复杂性和性能的折中；Rademacher 复杂度是结合了先验信息的对函数空间复杂度的度量。