sigmoid函数特性
(1)定义域为R
(2)值域为(0,1)
(3)函数在定义域内为连续和光滑的函数
(4)处处可导,且导函数满足S’(x)=S(x)(1-S(x))
(5)S形函数,中间梯度大,越趋近于两端梯度越小,容易梯度消失。
(6)导数值域为(0,0.25]
Sigmoid函数由下列公式定义
图形如下:
优点:平滑、易于求导。
缺点:激活函数计算量大,反向传播求误差梯度时,求导涉及除法;反向传播时,很容易就会出现梯度消失的情况,从而无法完成深层网络的训练。
来源:CSDN
作者:数据挖掘爱好者_123
链接:https://blog.csdn.net/qq_34506762/article/details/103980152