损失函数

最小二乘法

yi = wxi + b 我们得到损失函数的形式之后，我们是通过迭代的方法来迭代计算w和b的，每一次求梯度之后，我们都会更新w和b，然后再用新的w和b去求损失函数，再计算梯度，这样就形成了一种反向传播的实现。

利用概率的方法，来寻找哪种系统结构使事件发生的情况最接近当前已经发生的事实。

似然：
通过概率模型输出的，二项分布的值就是似然值。

这里的三个值就是似然值，最大似然估计就是求最大的那种情况。
最接近真实情况的概率模型

判断那种模型会使最后输出的结果最接近现实世界已经发生的情况。

我们可以利用条件概率来判断，输入和输出与现实世界的一种偏差。
如果只是这样的公式是理论上可行，但是是没有操作性的。

这里的xi只有两个取值0或者1，yi输出的范围也在0到1之间，yi其实是一种概率，因为激活函数为sigmoid

计算之后会得到一个新的w和b再回代就会得到一个新的公式，再计算就好了。