调参

批量大小（batch size）和学习率（learning rate）的值通常是手动预先指定，而不是通过模型训练得到的。这些可以调整但不在训练过程中更新的参数称为 超参数（hyperparameter）。 调参（hyperparameter tuning） 是选择超参数的过程。超参数通常是我们根据训练迭代结果来调整的，而训练迭代结果是在独立的验证数据集（validation dataset）上评估得到的。

线性回归中：在高斯噪声的假设下，最小化均方误差等价于对线性模型的最大似然估计。
**
在神经网络中，计算层数时通常忽略输入层。例如，线性回归可以看作单层神经网络。