1.2 基本术语

数据 data， 数据集dataset。 示例instance，样本sample。属性attribute或者特征feature。属性值 attribute value。 属性空间attribute space，样本空间sample space，输入空间。 特征向量。

,

第2章 模型评估与选择

这章主要是讲解评判模型的好坏还有怎么选择模型

2.1 经验误差与过拟合

错误率

精度

误差

训练误差或者经验误差

泛化误差

过拟合

欠拟合

模型选择：选用那种学习算法以及那种参数配置

2.2 评估方法

这时候就需要测试集来评估模型。

举个例子，就是考试。模拟题跟考试真题不一样。

2.2.1 留出法

留出法的意思是，把数据分成两部分，一部分用作训练，一部分用作测试。它俩相加是全部数据，它俩交叉为零。数据测采集应该正负相等，采样的比例也相等。

测试集跟训练集比例差别过大会出问题。

当测试集小的时候，评估结果的方差会比较大

当训练集小的时候，评估结果的偏差会比较大

常见的方法是2/3~4/5用于训练，剩下的用于测试

2.2.2 交叉验证法

把数据均匀地分成k份，然后做k次实验，就叫k折交叉验证，k通常取10，也有其他常用的k值，5或者20。

p折k折交叉验证。

假设k就是数据集数量，就得到留一法（Leave-One-Out）

留一法的数据集相当于D，就少一个，所以训练出的模型很准确。但是也有缺点，就是当数据集很大的时候，很耗费时间。

2.2.3 自助法

有放回采样

2.2.4 调参与最终模型

调超参数

验证集。分为训练集，验证集，测试集。

2.3 性能度量

不同的度量方式会导致不同的评判结果，所以模型的好坏不仅去取决于算法，模型还取决于任务需求。

回归任务最常见的性能度量方式

%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%20%5Csum%5Em%7Bi%3D1%7D(f(x_i)%20-y_i)%5E2%0A#card=math&code=E%28f%3BD%29%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%20%5Csum%5Em%7Bi%3D1%7D%28f%28x_i%29%20-y_i%29%5E2%0A)

更一般的情况，数据分布 和概率密度函数#card=math&code=p%28%5Ccdot%29)，均方误差可以描述为

%20%3D%20%5Cint%7B%5CBbb%20x%20%5Csim%20D%7D(f(%5Cmathbf%20x)%20-%20y)%5E2p(%5Cmathbf%20x)d%5Cmathbf%20x%0A#card=math&code=E%28f%3BD%29%20%3D%20%5Cint%7B%5CBbb%20x%20%5Csim%20D%7D%28f%28%5Cmathbf%20x%29%20-%20y%29%5E2p%28%5Cmathbf%20x%29d%5Cmathbf%20x%0A)

2.3.1 错误率与精度

错误率： 分类错误的样本数占样本总数的比例

精度： 分类正确的样本数占样本总数的比例

错误率公式：

%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%20%5Csum%5Em%7Bi%3D1%7D%5CBbb%20I(f(%5CBbb%20x_i%20%5Cne%20y_i))%0A#card=math&code=E%28f%3BD%29%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%20%5Csum%5Em%7Bi%3D1%7D%5CBbb%20I%28f%28%5CBbb%20x_i%20%5Cne%20y_i%29%29%0A)

正确率公式：

%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%20%5Csum%5Em%7Bi%3D1%7D%5CBbb%20I(f(%5CBbb%20x_i%20%3D%20y_i))%20%5C%5C%0A%3D%201%20-%20E(f%3BD)%0A#card=math&code=acc%28f%3BD%29%20%3D%20%5Cfrac%7B1%7D%7Bm%7D%20%5Csum%5Em%7Bi%3D1%7D%5CBbb%20I%28f%28%5CBbb%20x_i%20%3D%20y_i%29%29%20%5C%5C%0A%3D%201%20-%20E%28f%3BD%29%0A)

更一般情况，知道数据分布 和概率密度函数#card=math&code=p%28%5Ccdot%29),错误率和精度可以分别描述

%20%3D%20%5Cint%7B%5CBbb%20x%20%5Csim%20D%7D(f(%5Cmathbf%20x)%20%5Cne%20y)p(%5Cmathbf%20x)d%5Cmathbf%20x%0A#card=math&code=E%28f%3BD%29%20%3D%20%5Cint%7B%5CBbb%20x%20%5Csim%20D%7D%28f%28%5Cmathbf%20x%29%20%5Cne%20y%29p%28%5Cmathbf%20x%29d%5Cmathbf%20x%0A)

%20%3D%20%5Cint%7B%5CBbb%20x%20%5Csim%20D%7D(f(%5Cmathbf%20x)%20%3D%20y)%20p(%5Cmathbf%20x)d%5Cmathbf%20x%5C%5C%3D%201%20-%20E(f%3BD)%0A#card=math&code=acc%28f%3BD%29%20%3D%20%5Cint%7B%5CBbb%20x%20%5Csim%20D%7D%28f%28%5Cmathbf%20x%29%20%3D%20y%29%20p%28%5Cmathbf%20x%29d%5Cmathbf%20x%5C%5C%3D%201%20-%20E%28f%3BD%29%0A)

2.3.2 查准率、查全率与F1

跳出来的有多少好瓜，有多少好瓜被挑出来。

查准率又叫准确率 precision

查全率又叫召回率 recall