基本概念

机器学习定义（Tom Mitchell）

假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得性能改善，则说关于T和P，该程序对E进行了学习。
E = 经验
T = 任务
P = 性能

监督学习

在监督学习中，我们得到了一个数据集，并且已经知道我们正确的输出应该是什么样子，并且认为输入和输出之间存在关系。
分为：

• 回归问题：预测结果连续
• 分类问题：预测结果离散

非监督学习

无监督学习，使我们几乎或根本不了解结果应该是什么样的情况下解决问题。 我们可以从数据中获得结构，而不必知道变量的影响。基于数据中变量之间的关系对数据进行聚类来推导此结构。

线性回归模型

代价函数（cost function）

成本函数来衡量假设函数的准确性。
_

梯度下降

所有变量同时赋值。
参数α确定步长。

• α较小，步长较小，可能误以为收敛。
• α较大，步长较大，可能会发散。

步的方向由偏导确定。不同的起始位置可能会在不同的点结束。

平方差代价函数除以2m的原因

除以m是使得误差平均到每个样本，除以2是一个微积分技巧，用于消除计算偏导数时出现的2。