门控

    观察到一个序列,不是每个观察值都是同等重要

    image.png
    Ht-1 — 上一时刻的隐藏状态
    Rt — 重置门
    Zt — 更新门

    image.png
    候选隐状态

    Rt靠近0,Rt·Ht-1点乘后的结果接近为0,相当于将上一个时刻的隐藏状态忘掉
    Rt有值说明有状态,全部设为0是初始状态,相当于这个时刻开始前面的信息全部不要
    Rt全是1,表示前面的隐藏状态全部拿过来更新

    image.png

    隐状态
    image.png
    Ht = Zt·Ht-1 + (1-Zt)·H~t
    Zt按元素点乘上一次的隐藏状态,(1-Zt)点乘候选隐藏状态
    Zt都为1, Ht = Ht-1, 不更新
    Zt都为0,看候选隐藏状态

    image.png

    part-3_4.pdf