统计基础—-随机性

随机性会改变数据拟合的本质（比如身高一个因素没办法准确预测体重）

• 噪音 无法消除
• 拟合函数的随机性（可以提升）
• 过拟合、欠拟合

数据本质上来讲是什么样的

神经网络

传统优化求解方法：便利所有的观测

优化器：
SGD
SGD+Momentum
Adagrad:梯度下降的时候，步长除以当前梯度的模——越陡峭，走的步长越小
Adam：根据这个batch和上一个batch做一个平均，类似于momentum的概念。

• 梯度爆炸和梯度消失

组成部分

损失函数

L2-Loss：针对连续变量
cross-entropy：针对y值为离散（分类）
softmax变换：将输出的值映射到0-1之间

全连接层

线性

激活函数

• sigmoid：容易出现梯度消失
• tanh：容易出现梯度下降
• ReLU

  Dropout

  模型训练的过程中随机丢掉一些结点，逼迫着模型考虑所有的情况，防止过拟合

  Batch Normalization