自由式学习
1152人加入学习
(0人评价)
Pytorch学习
价格 免费
该课程属于 1458-Hayden-算法方向-计算机视觉-就业:是 请加入后再学习

2、输入门

it作为一个开度,将多少信息传入到下一个时间点,有算法决定这个开度;新信息同样也是由ht-1和当前点的xt共同决定的。it是对当前信息的过滤系数,当前信息与开度相乘之后就是经过过滤后输入下一个点的新信息。

输入门的值

ct是memory,ht是隐藏层的输出

3、输出值

同样是由开度和ct共同决定的,ot作为开度也是由算法决定的

LSTM如何解决梯度离散的问题呢?

由于存在忘记门、输入门和输出门三个门

当前隐藏层对前一个隐藏层求导时,出现三个值相加的情况,不容易出现都是大或都是小的情况,数值相对可靠,所以效果相对来说更好一些。

[展开全文]