1. 首页
  2. 前沿技术
  3. 人工智能
  4. 机器学习
  5. Pytorch学习
自由式学习
1152人加入学习
(0人评价)
Pytorch学习
价格 免费
教学计划
该课程属于 1458-Hayden-算法方向-计算机视觉-就业：是 请加入后再学习

激活函数及其梯度

为了解决激活函数不可导的情况，提出了sigmoid/logistic：光滑可导的函数，且把无穷的值域压缩到[0, 1]的范围内

但是会出现梯度离散的情况，参数无法得到更新，因为越往后，导数值与接近于0

sigmoid函数求导之后如下：

Tanh在RNN里面用得比较多

求导：

Relu使用最多的激活函数

计算导数的时候非常简单，导数为1。不会放大也不会缩小，很大程度上减少了梯度爆炸和梯度离散发生的可能性

 

 

[展开全文]
1512_N_小星星 · 2021-06-02 · 课时37 激活函数与Loss的梯度-1.mp4 0

授课教师

森陌夏栀
高级算法工程师
teacher03
teacher02
teacher01
老师

课程特色

考试(9)
图文(1)
视频(151)

最新学员

学员动态

3873辜 开始学习 课时63 卷积神经网络-1.m...
王一 完成了 Pytorch课程学习课件
王一 开始学习 Pytorch课程学习课件
3456 开始学习 课时1 深度学习框架简介.mp...
3689_Y_朱育林 完成了 课时35 什么是梯度-2.mp...