模型在训练集表现好,但是在测试机表现差?

过拟合,模型拟合能力太强。简化模型,正则化等。

模型在训练集表现正常,在验证集准确率不停波动?

?

模型验证集准确率发生突变?

模型准确率统计?

事实上,由于参数的随机性,在训练集不是很大的情况下,可能由于模型参数初始化不同而造成最终模型效果差异巨大。统计模型准确率时,可以多次实验取平均,或者取效果最好的。值得注意的是,如果每次训练集和验证集划分不同,模型的准确率评估结果同样可能差异比较大。(这些现象,可能表明数据集不够充足,或者模型没有提取到最核心的特征)