sigmoid函数特性

人走茶凉 提交于 2020-01-29 01:32:58

sigmoid函数特性

(1)定义域为R
(2)值域为(0,1)
(3)函数在定义域内为连续和光滑的函数
(4)处处可导,且导函数满足S’(x)=S(x)(1-S(x))
(5)S形函数,中间梯度大,越趋近于两端梯度越小,容易梯度消失。
(6)导数值域为(0,0.25]

Sigmoid函数由下列公式定义
在这里插入图片描述

图形如下:
在这里插入图片描述
优点:平滑、易于求导。
缺点:激活函数计算量大,反向传播求误差梯度时,求导涉及除法;反向传播时,很容易就会出现梯度消失的情况,从而无法完成深层网络的训练。

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!