输入门、忘记门和输出门

计算公式

image.png

候选记忆元

计算方法与RNN中的H计算方法类似
image.png
注意C的取值范围为(-1,1)
image.png

记忆元

状态里有C,这里解释为什么实现状态时为Tuple.
image.png
公式解释:F为1表示记住上一次,I为0表示丢到候选记忆元,
F,I 是独立的
长短期神经网络(LSTM) - 图5的取值范围为(-2,2)

隐状态

image.png
这里的tanh为了保证H为(-1,1),长短期神经网络(LSTM) - 图7是输出门,是否需要重置长短期神经网络(LSTM) - 图8
image.png