门控
观察到一个序列,不是每个观察值都是同等重要
Ht-1 — 上一时刻的隐藏状态
Rt — 重置门
Zt — 更新门
候选隐状态
Rt靠近0,Rt·Ht-1点乘后的结果接近为0,相当于将上一个时刻的隐藏状态忘掉
Rt有值说明有状态,全部设为0是初始状态,相当于这个时刻开始前面的信息全部不要
Rt全是1,表示前面的隐藏状态全部拿过来更新
隐状态
Ht = Zt·Ht-1 + (1-Zt)·H~t
Zt按元素点乘上一次的隐藏状态,(1-Zt)点乘候选隐藏状态
Zt都为1, Ht = Ht-1, 不更新
Zt都为0,看候选隐藏状态