实验测试

用一个 “测试集 “ (testing set)来测试学习器对新样本的判别能力,
然后 以测试集上的”测试误差” (testing error)作为泛化误差的近似

测试样本要求

1.从样本真实分布 中独立同分布采样而得
2.测试集应该尽可能与训练集互斥, 即测试样本尽量不在训练集中出现、未在训练过程中使用过.

举例

你是一个老师,教了学生10道题,你对他们进行考核时,肯定考不是这10道题,才能体现他们“举一反三”的能力。
但是,我们只有一个包含m个样例的数据集2.2 评估方法 - 图1
如何做到既要训练,又要测试?

对D适当处理,产生训练集S和测试机T