激活函数及其梯度
为了解决激活函数不可导的情况，提出了sigmoid/logistic：光滑可导的函数，且把无穷的值域压缩到[0, 1]的范围内
但是会出现梯度离散的情况，参数无法得到更新，因为越往后，导数值与接近于0
sigmoid函数求导之后如下：
Tanh在RNN里面用得比较多
求导：
Relu使用最多的激活函数
计算导数的时候非常简单，导数为1。不会放大也不会缩小，很大程度上减少了梯度爆炸和梯度离散发生的可能性
1151人加入学习
(0人评价)
该课程属于 1446-肖同学-算法方向-计算机视觉-就业：否 请加入后再学习
课程特色
考试(9)
图文(1)
视频(151)
最新学员
学员动态
3873辜
开始学习 课时63 卷积神经网络-1.m...
王一
完成了 Pytorch课程学习课件
王一
开始学习 Pytorch课程学习课件
3456
开始学习 课时1 深度学习框架简介.mp...