激活函数的介绍与对比
- 神经网络与感知机
- 激活函数
- 阶跃函数(step_function)
- sigmoid函数
- tanh函数
- relu函数
- mish函数
- softmax函数
- 函数图像对比
神经网络与感知机
感知机即阈值逻辑单元,通过阈值来进行判断类别,神经网络则是多个感知机的集合,可以应用于处理更复杂的问题
激活函数
首先我们来介绍在神经网络网络中的激活函数,激活函数相当于在感知机中设置的阈值,不过感知机中的激活函数使用的是阶跃函数,而在神经网络中这样的激活函数明显是不够的
阶跃函数(step_function)
特征
- 这是一种类似于感知机中阈值的函数,如果大于0则返回1,小于0则返回0。
- 取值范围为0或1。由于阶跃函数非0即1。
- 没有斜率,容易出现梯度消失
sigmoid函数
特征
- sigmoid的曲线更为平滑,取值返回为0-1。
- sigmoid函数可以将较大的值放大,较小的值缩小。
- 值越大放大的越慢,值越小缩小的越慢。
- 可以同时存在若干较大的值,所以可以用于多标签不互斥分类的输出层
- 两端斜率越来越小,都存在梯度消失的情况。
tanh函数
特征
- 输出范围为-1~1,特征有正负。
- 与softmax相似,但tanh常用于隐藏层,而 sigmoid 函数常用于输出层。
relu函数
特征
- 小于等于0时返回0,否则返回原值,取值大于等于0。
- relu只存在线性关系,因此计算速度比sigmoid和tanh更快。
- 输入为负,梯度消失。真实场景里,更多是学习正特征。
- 难以解决分类问题,常用于作为中间层(隐藏层)用于提高学习速度。
- 如果用于输出层则是用于回归问题。
mish函数
特征
- mish与relu的图像很相似(注意,这里的类似是基于图像的,与实际的函数无关)
- 相对于relu函数更加平滑,同时可以取到负值
softmax函数
- softmax函数产生的数值之和为1,常用来表示概率。
- 将所有输入归一化到0-1之间,不存在负值,同时放大最大的值,抑制最小的值。
- 常用作互斥多分类的输出层
函数图像对比
画图代码实现如下
import matplotlib.pyplot as plt
import numpy as np
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
def step_function(x):
return np.array(x > 0, dtype=np.int)
def sigmoid(x):
return 1 / (1 + np.e ** (-x))
def relu(x):
x[x<=0] = 0
return x
def softmax(x):
return np.e ** x / np.sum(np.e ** x)
def mish(x):
return x * np.tanh(np.log(1+np.e ** x))
def tanh(x):
return 2 / (1 + np.exp(-2 * x)) - 1
x = np.linspace(-10, 10, 100)
plt.plot(x, step_function(x.copy()), label='step_function')
plt.plot(x, sigmoid(x.copy()), label='sigmoid')
plt.plot(x, relu(x.copy()), label='relu')
plt.plot(x, softmax(x.copy()), label='softmax')
plt.plot(x, mish(x.copy()), label='mish')
plt.plot(x, tanh(x.copy()), label='tanh')
plt.title("激活函数")
plt.legend()
plt.savefig("激活函数.png")
plt.show()