RNN

Simple RNN

1.将上一步的状态向量ht-1 与当前输入向量xt 做concat操作，得到一个更长的向量X。
2.将向量X与矩阵A相乘，等到一个向量。矩阵A是RNN的模型参数，参数矩阵A唯一。
A的维度：shpe（h）×[shape（h）+shape（x）]。
3.把tanh用在上步所得向量的每一个元素上。tanh是双曲正切函数。
4激活函数的输出就是ht .ht 是当前step输出的状态向量。
由于使用了激活函数tanh，所以ht的每一个元素都在（-1,1）之间
SimpleRNN的缺点：记忆能力比较差，会遗忘之前的状态信息。

LSTM

LSTM共有四个参数矩阵：#rows：shape（h） #cols：shape（h）+shape（x）
总的参数个数：4×shape（h）×[shape（h）+shape（x）]
遗忘门：


sigmoid函数把向量的每一个元素压到（0,1）之间。
输入门：

输出门：