深度学习推荐系统之离线评估

Holdout检验

含义：将原始的样本集合随机划分为训练集和测试集两部分，关键是“随机”。
优点：简单实用。
缺点：评估的结果有一定随机性，因为训练集和验证集的划分是随机的，所以如果只进行少量的 Holdout 检验，得到的评估指标会存在一定的波动。

交叉验证

动机：改善Holdout检验的不足。
含义：先将全部样本划分成 k 个大小相等的样本子集，然后依次遍历这 k 个子集，每次把当前遍历到的子集作为验证集，其余所有的子集作为训练集，这样依次进行 k 次模型的训练和评估。最后，我们再将所有 k 次评估指标的平均值作为最终的评估指标。
缺点：当样本规模比较小时，将样本集进行划分会让训练集进一步减小，这往往会影响模型的训练效果。

自助法

含义：基于自助采样的检验方法。对于总数为 n 的样本集合，我们先进行 n 次有放回地随机抽样，得到大小为 n 的训练集。在 n 次采样过程中，有的样本会被重复采样，有的样本没有被抽出过，我们再将这些没有被抽出的样本作为验证集进行模型验证。
缺点：改变了原有数据的分布，有可能让模型产生一定程度的偏差。

时间切割