训练误差和泛化误差

我们关心的实际上是泛化误差

如何计算这两种误差？

一般将训练数据集分成一半一半，前一半用于训练模型，另一半用于验证模型，测一下精度和误差
验证数据集一定不能和训练数据集混在一起
测试数据集理论上只能用一次

一般情况下我们没有足够多的数据可以使用，一般数据仅用于验证不参与训练的话是有点亏的
解决这个问题常用的方法为K-则交叉验证

过拟合和欠拟合

要更具数据的复杂程度来选择模型容量


关于泛化误差，到最优过后上升的原因是模型过于关注细节导致对新的数据无关细节所困扰
整个深度学习最核心的一个精度：模型足够大的情况下，通过各种手段控制模型容量使得泛化误差往下降

估计模型容量

模型容量是可以估计的

线性模型参数个数d+1

单层隐藏层