李宏毅老师讲的RNN

2018 RNN

李沐老师RNN

57 - 长短期记忆网络(LSTM)
56 - 门控循环单元(GRU)
depth堆叠
每个蓝色块都是LSTM单元

多层循环神经网络是由多个循环神经网络层堆叠而成的，每个神经元的状态除了传递到下一个时间步，还会传递给下一层的神经元（最后一层除外）。
多层循环神经网络按时间展开后，每一层的参数和基本的循环神经网络结构一样，参数共享，而不同层的参数则一般不会共享（类比CNN 网络结构）。和基本结构的循环神经网络相比，多层循环神经网络的泛化能力更强，不过随着网络层数的增加，训练的时间复杂度和空间复杂度也更高，过拟合的风险也更大。