1、定义

under-fitting, over-fitting
对过拟合和欠拟合,简单的解释就是:
欠拟合的网络,对训练集本身的准确率就不高,更别说测试集,所以有优化空间;
过拟合的网络,对训练集本身的准确率极高,但是往往在测试集表现不佳。
它们的定义和泛化能力很相似。

2、为什么会出现过拟合?

3、判断方法

3.1 学习曲线(learning curves)

3.2 交叉验证(cross-validation)

4、解决办法

4.1 欠拟合

4.2 过拟合

4.2.1 更多的数据

4.2.2 采用合适的模型

4.2.3 降低特征的数量

4.2.4 正则化

线性回归使用正则化
梯度下降法
正规方程
逻辑回归使用正则化

4.2.5 dropout(删除隐藏层结点个数)

4.2.6 early stopping 提前终止

4.2.7 还有其他办法在以下链接里

看过的博客or文章

https://blog.csdn.net/willduan1/article/details/53070777

https://zhuanlan.zhihu.com/p/72038532

https://blog.csdn.net/chenguolinblog/article/details/52404765?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.add_param_isCf&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.add_param_isCf

https://zhuanlan.zhihu.com/p/29707029