自由式学习
1152人加入学习
(0人评价)
Pytorch学习
价格 免费
该课程属于 1458-Hayden-算法方向-计算机视觉-就业:是 请加入后再学习

Entropy——熵,指不确定性

熵大则信息量量比较小,越稳定,越没有惊喜度

Cross Entropy

Dkl表示的是两个概率分布的距离,当两个概率分布完全相同的时候,距离为0,Dkl=0

当P=Q时:corss Entropy=Entropy

即H(p,q)=H(p)

且在0ne—hot编码规则下H(p)=0, 那我们优化的目标是:

[展开全文]