1. 过拟合

过度拟合的意思，意味着模型训练过程中，对训练集的模拟和学习过度贴合；
过拟合带来的影响：模型训练时的检测率很高效果很好，但是用于实际检验时，效果很差，模型不能很准确地预测，即泛化能力差。

2. 欠拟合

和过拟合相对，欠拟合是指模型和数据集间的拟合程度不够，学习不足。
欠拟合的影响：和过拟合相对，欠拟合是指模型和数据集间的拟合程度不够，可能是学习轮数不够、数据集特征不规则、模型选择有问题等。欠拟合时，模型的泛化能力同样会很差。

3. 泛化能力（generalization ability）

是指一个机器学习算法对于没有见过的样本的识别能力。泛化能力自然是越高越好。

分类问题和回归问题中都可能存在过拟合的问题，见下图：

4. 解决或改善？

1.丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如 PCA）
2.正则化。 保留所有的特征，但是减少参数的大小（magnitude）。