epoch

翻译：时代，世代
当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次epoch。
在神经网络中传递完整的数据集一次是不够的，而且我们需要将完整的数据集在同样的神经网络中传递多次。

iteration（iter）

翻译：迭代
然而，当一个epoch对于计算机而言太庞大的时候，就需要把它分成多个小块。
当一个小块数据集通过了神经网络一次并且返回了一次，这个过程称为一次iter。
1个iteration使用batchsize个样本训练一次,更新一次模型参数

batch与batch size

每次迭代时使用的一批样本就叫做一个Batch，样本的数量称为Batch Size。

举个例子

有一个2000个训练样本的数据集。将2000个样本分成大小为500的batch,batchsize=500,那么完成一个epoch需要4个iteration。

深度学习的优化算法，说白了就是梯度下降。每次的参数更新有3种方式。

第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。
另一种，每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为随机梯度下降，stochastic gradient descent。这个方法速度比较快，但是收敛性能不太好，可能在最优点附近晃来晃去，hit不到最优点。两次参数的更新也有可能互相抵消掉，造成目标函数震荡的比较剧烈。
为了克服两种方法的缺点，现在一般采用一种折中手段，mini-batch gradient decent，小批的梯度下降，这种方法把数据分为若干个批，按批来更新参数，这样，一个批中的一组数据共同决定了本次梯度的方向，下降起来就不容易跑偏，减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多，计算量也不是很大。