深度学习——最常见的三种激活函数

深度学习——最常见的三种激活函数

1 tanh激活函数

1.1 函数原型

$tanh(x) = \frac{e^x-e^{-x}}{e^x+e^{-x}}$

1.2 函数图像

1.3 函数导数

$tanh'(x) = 1 - tanh^2(x)$

1.4 代码实现

import numpy as np
def tanh(x):
    return (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))

2 Sigmoid激活函数

2.1 函数原型

$sigmoid(x) = \frac{1}{1+e^{-x}}$

2.2 函数图像

图像来源：https://www.jianshu.com/p/ebde8a644e25

2.3 函数导数

$sigmoid'(x)= sigmoid(x)*(1-sigmoid(x))$

2.4 代码实现

def sigmoid(x):
	return 1/(1+exp(-x))

3 Relu激活函数

3.1 函数原型

$Relu(x)=max(0,x)$

3.2 函数图像

3.3 函数导数

$Relu'(x)=\{ \begin{matrix} 0，x<= 0\\ 1，x > 0 \end{matrix}$

3.4 代码实现

def relu(x):
	return (np.abs(x) + x) / 2.0

来源：CSDN

作者：隔壁的NLP小哥

链接：https://blog.csdn.net/hei653779919/article/details/104195210