实验测试
用一个 “测试集 “ (testing set)来测试学习器对新样本的判别能力,
然后 以测试集上的”测试误差” (testing error)作为泛化误差的近似
测试样本要求
1.从样本真实分布 中独立同分布采样而得
2.测试集应该尽可能与训练集互斥, 即测试样本尽量不在训练集中出现、未在训练过程中使用过.
举例
你是一个老师,教了学生10道题,你对他们进行考核时,肯定考不是这10道题,才能体现他们“举一反三”的能力。
但是,我们只有一个包含m个样例的数据集
如何做到既要训练,又要测试?
