激活函数的介绍与对比

  • 神经网络与感知机
  • 激活函数
  • 阶跃函数(step_function)
  • sigmoid函数
  • tanh函数
  • relu函数
  • mish函数
  • softmax函数
  • 函数图像对比


神经网络与感知机

感知机即阈值逻辑单元,通过阈值来进行判断类别,神经网络则是多个感知机的集合,可以应用于处理更复杂的问题

激活函数

首先我们来介绍在神经网络网络中的激活函数,激活函数相当于在感知机中设置的阈值,不过感知机中的激活函数使用的是阶跃函数,而在神经网络中这样的激活函数明显是不够的

阶跃函数(step_function)

特征

  • 这是一种类似于感知机中阈值的函数,如果大于0则返回1,小于0则返回0。
  • 取值范围为0或1。由于阶跃函数非0即1。
  • 没有斜率,容易出现梯度消失

sigmoid函数

pytorch histogram函数 pytorch sigmoid函数_pytorch histogram函数
特征

  • sigmoid的曲线更为平滑,取值返回为0-1。
  • sigmoid函数可以将较大的值放大,较小的值缩小。
  • 值越大放大的越慢,值越小缩小的越慢。
  • 可以同时存在若干较大的值,所以可以用于多标签不互斥分类的输出层
  • 两端斜率越来越小,都存在梯度消失的情况。

tanh函数

pytorch histogram函数 pytorch sigmoid函数_python_02
特征

  • 输出范围为-1~1,特征有正负。
  • 与softmax相似,但tanh常用于隐藏层,而 sigmoid 函数常用于输出层。

relu函数

特征

  • 小于等于0时返回0,否则返回原值,取值大于等于0。
  • relu只存在线性关系,因此计算速度比sigmoid和tanh更快。
  • 输入为负,梯度消失。真实场景里,更多是学习正特征。
  • 难以解决分类问题,常用于作为中间层(隐藏层)用于提高学习速度。
  • 如果用于输出层则是用于回归问题。

mish函数

pytorch histogram函数 pytorch sigmoid函数_python_03
特征

  • mish与relu的图像很相似(注意,这里的类似是基于图像的,与实际的函数无关)
  • 相对于relu函数更加平滑,同时可以取到负值

pytorch histogram函数 pytorch sigmoid函数_激活函数_04

softmax函数

pytorch histogram函数 pytorch sigmoid函数_pytorch histogram函数_05

  • softmax函数产生的数值之和为1,常用来表示概率。
  • 将所有输入归一化到0-1之间,不存在负值,同时放大最大的值,抑制最小的值。
  • 常用作互斥多分类的输出层

pytorch histogram函数 pytorch sigmoid函数_激活函数_06

函数图像对比

pytorch histogram函数 pytorch sigmoid函数_激活函数_07

画图代码实现如下

import matplotlib.pyplot as plt
import numpy as np

plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

def step_function(x):
    return np.array(x > 0, dtype=np.int)

def sigmoid(x):
    return 1 / (1 + np.e ** (-x))

def relu(x):
    x[x<=0] = 0
    return x
def softmax(x):
    return np.e ** x / np.sum(np.e ** x)

def mish(x):
    return x * np.tanh(np.log(1+np.e ** x))

def tanh(x):
    return 2 / (1 + np.exp(-2 * x)) - 1

x = np.linspace(-10, 10, 100)
plt.plot(x, step_function(x.copy()), label='step_function')
plt.plot(x, sigmoid(x.copy()), label='sigmoid')
plt.plot(x, relu(x.copy()), label='relu')
plt.plot(x, softmax(x.copy()), label='softmax')
plt.plot(x, mish(x.copy()), label='mish')
plt.plot(x, tanh(x.copy()), label='tanh')
plt.title("激活函数")
plt.legend()
plt.savefig("激活函数.png")
plt.show()