Module: tf.keras.activations

　　activations类保存了各种激活函数

　　activations类的方法：

　　　　elu(): 指数线性单位；

　　　　exponential(): 指数激活函数；

　　　　get()

　　　　hard_sigmoid(): Hard sigmoid 激活函数；

　　　　linear(): 线性激活函数；

　　　　relu(): relu激活函数；

　　　　selu(): SELU激活函数；

　　　　serialize()

　　　　sigmoid(): Sigmoid 激活函数；

　　　　softmax(): softmax 激活函数；

　　　　softplus(): Softplus 激活函数。

　　　　softsign()：

　　　　tanh()：

1 tf.keras.activations.deserialize(
2     name,
3     custom_objects=None
4 )
1 tf.keras.activations.elu(
2     x,
3     alpha=1.0
4 )
5 参数：
6     x: Input tensor.
7     alpha: 一个标量，负截面的斜率.
备注：
　　if x>0:
　　　　x
　　else:
       alpha*(exp(x)-1)
1 tf.keras.activations.exponential(x)
1 tf.keras.activations.get(identifier)
1 tf.keras.activations.hard_sigmoid(x)
备注：
　　if x<-2.5:
　　　　0
　　elif x>2.5:
　　　　1
　　else:
　　　　-0.2*x + 0.5
1 tf.keras.activations.linear(x)
 1 tf.keras.activations.relu(
 2     x,
 3     alpha=0.0,
 4     max_value=None,
 5     threshold=0
 6 )
 7 参数：
 8 　　x: 变量、张量；
 9 　　alpha: 一个标量，负截面的坡度（默认值为0）；
10 　　max_value: 浮点值，饱和阈值；
11 　　threshold：阈值激活的阈值，浮点值。
1 tf.keras.activations.selu(x)
备注：调用方法
　　n_classes = 10 #10_class problem
　　model = models.Sequential()
　　model.add(Dense(64, kernel_initializer='lecun_normal', activation='selu',
　　input_shape=(28, 28, 1))))
　　model.add(Dense(32, kernel_initializer='lecun_normal', activation='selu'))
　　model.add(Dense(16, kernel_initializer='lecun_normal', activation='selu'))
　　model.add(Dense(n_classes, activation='softmax'))
1 tf.keras.activations.serialize(activation)
1 tf.keras.activations.sigmoid(x)
备注：
　　(1.0 / (1.0 + exp(-x)))
1 tf.keras.activations.softmax(
2     x,
3     axis=-1
4 )
5 参数：
6     x：输入张量；
7     axis: 应用SoftMax规范化的轴，整数。

tf.keras模型——activations激活函数_IT业界

1 tf.keras.activations.softplus(x)
备注：
　　log(exp(x) + 1)
1 tf.keras.activations.softsign(x)
备注：
　　x / (abs(x) + 1)
1 tf.keras.activations.tanh(x)
备注：
　　tanh(x) = sinh(x)/cosh(x) = ((exp(x) - exp(-x))/(exp(x) + exp(-x)))

 

清澈的爱，只为中国