命名空间:tf.nn

函数

作用

说明

sigmoid_cross_entropy_with_logits

计算 给定 logits 的S函数 交叉熵。

测量每个类别独立且不相互排斥的离散分类任务中的概率。(可以执行多标签分类,其中图片可以同时包含大象和狗。)

weighted_cross_entropy_with_logits

计算加权交叉熵。

softmax_cross_entropy_with_logits

计算 logits 和 labels 之间的 softmax 交叉熵。

测量类别相互排斥的离散分类任务中的概率(每个条目恰好在一个类别中)。(有一个且只有一个标签:图像可以是狗或卡车,但不能同时为两个。)

注意: 每行labels[i]必须是有效的概率分布。如果不是,梯度的计算将是不正确的。

警告此操作期望未缩放的logits,因为它softmax 在logits内部执行效率。不要用这个输出来调用这个op softmax,因为它会产生不正确的结果。

lables的数据必须经过One-Hot Encodingtf.one_hot)

sparse_softmax_cross_entropy_with_logits

计算 logits 和 labels 之间的 稀疏softmax

测量类别相互排斥的离散分类任务中的概率(每个条目恰好在一个类别中)。(有一个且只有一个标签:图像可以是狗或卡车,但不能同时为两个。)

注意: 对于此操作,给定标签的概率被认为是独占的。也就是说,不允许使用软类,并且labels向量必须为每个logits(每个minibatch条目)的每一行的真类提供单个特定索引 。对于每个条目的概率分布的软softmax分类,

警告此操作期望未缩放的logits,因为它softmax 在logits内部执行效率。不要用这个输出来调用这个op softmax,因为它会产生不正确的结果。

softmax

计算 softmax 激活。

相当于 softmax = tf.exp(logits) / tf.reduce_sum(tf.exp(logits), dim)

log_softmax

计算 对数 softmax 激活。

logsoftmax = logits - log(reduce_sum(exp(logits), dim))


tf.nn.sigmoid_cross_entropy_with_logits

该函数计算的是 logits 与 lables 的每一个对应维度上对应元素的损失值。数值越小,表示损失值越小。

import tensorflow as tf

_logits = [[0.5, 0.7, 0.3], [0.8, 0.2, 0.9]]
_one_labels = tf.ones_like(_logits)
_zero_labels = tf.zeros_like(_logits)
with tf.Session() as sess:
	loss = tf.nn.sigmoid_cross_entropy_with_logits(logits=_logits, labels=_one_labels)
	# [[0.47407699  0.40318602  0.5543552]
	#  [0.37110069  0.59813887  0.34115386]]
	print(sess.run(loss))

	loss = tf.nn.sigmoid_cross_entropy_with_logits(logits=_logits, labels=_zero_labels)
	# [[0.97407699  1.10318601  0.85435522]
	#  [1.17110074  0.79813886  1.24115384]]
	print(sess.run(loss))

weighted_cross_entropy_with_logits

weighted_cross_entropy_with_logits 是 sigmoid_cross_entropy_with_logits 的拓展版,输入参数和实现和后者差不多,可以多支持一个 pos_weight 参数,目的是可以增加或者减小正样本在算 Cross Entropy 时的 Loss 。

通常的交叉熵成本定义为:targets * -log(sigmoid(logits)) + (1 - targets) * -log(1 - sigmoid(logits))

这个 pos_weight 被用作积极目标的乘数:targets * -log(sigmoid(logits)) * pos_weight + (1 - targets) * -log(1 - sigmoid(logits))


tf.nn.softmax_cross_entropy_with_logits

该函数与 sigmoid_cross_entropy_with_logits 的区别在于,sigmoid_cross_entropy_with_logits 中的labels 中每一维可以包含多个 1 ,而 softmax_cross_entropy_with_logits ,只能包含一个 1

用 mnist 数据举例,如果是目标值是3,那么 label 就是[0,0,0,1,0,0,0,0,0,0],除了第4个值为1,其他全为0。(数据必须经过 One-Hot Encoding 编码

该函数把一个维度上的 labels 作为一个整体判断,结果给出整个维度的损失值。(而 sigmoid_cross_entropy_with_logits 是每一个元素都有一个损失值)

如果是多目标问题,经过softmax就不会得到多个和为1的概率,而且label有多个1也无法计算交叉熵,因此这个函数只适合单目标的二分类或者多分类问题。

这个函数传入的 logits 是 unscaled 的,既不做 sigmoid 也不做 softmax ,因为函数实现会在内部更高效得使用 softmax 。

import tensorflow as tf

_logits = [[0.3, 0.2, 0.2], [0.5, 0.7, 0.3], [0.1, 0.2, 0.3]]

_labels = [0, 1, 2]
with tf.Session() as sess:
	# Softmax本身的算法很简单,就是把所有值用e的n次方计算出来,求和后算每个值占的比率,保证总和为1,一般我们可以认为Softmax出来的就是confidence也就是概率
	# [[0.35591307  0.32204348  0.32204348]
	#  [0.32893291  0.40175956  0.26930749]
	#  [0.30060959  0.33222499  0.36716539]]
	print(sess.run(tf.nn.softmax(_logits)))
	# 对 _logits 进行降维处理,返回每一维的合计
	# [1.  1.  0.99999994]
	print(sess.run(tf.reduce_sum(tf.nn.softmax(_logits), 1)))

	# 传入的 lables 需要先进行 独热编码 处理。
	loss = tf.nn.softmax_cross_entropy_with_logits(logits=_logits, labels=tf.one_hot(_labels,depth=len(_labels)))
	# [ 1.03306878  0.91190147  1.00194287]
	print(sess.run(loss))

tf.one_hot

独热编码

import tensorflow as tf
with tf.Session() as sess:
    _v = tuple(range(0, 5))
	# [[ 1.  0.  0.  0.  0.]
	#  [ 0.  1.  0.  0.  0.]
	#  [ 0.  0.  1.  0.  0.]
	#  [ 0.  0.  0.  1.  0.]
	#  [ 0.  0.  0.  0.  1.]]
    print(sess.run(tf.one_hot(_v, len(_v))))

sparse_softmax_cross_entropy_with_logits

sparse_softmax_cross_entropy_with_logits 是 softmax_cross_entropy_with_logits 的易用版本,除了输入参数不同,作用和算法实现都是一样的。

区别是:softmax_cross_entropy_with_logits 要求传入的 labels 是经过 one_hot encoding 的数据,而 sparse_softmax_cross_entropy_with_logits 不需要。

import tensorflow as tf
_logits = [[0.3, 0.2, 0.2], [0.5, 0.7, 0.3], [0.1, 0.2, 0.3]]
_labels = [0, 1, 2]
with tf.Session() as sess:
    # 
    loss = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=_logits, labels=_labels)
    # 结果与 softmax_cross_entropy_with_logits 相同,区别就是 labels 传入参数时不需要做 one_hot encoding。
    # [ 1.03306878  0.91190147  1.00194287]
    print(sess.run(loss))

softmax

softmax 公式:

交叉熵权重改成python_Soft

Softmax本身的算法很简单,就是把所有值用e的n次方计算出来,求和后算每个值占的比率,保证总和为1,一般我们可以认为Softmax出来的就是confidence也就是概率

该功能执行相当于 softmax = tf.exp(logits) / tf.reduce_sum(tf.exp(logits), dim)

import tensorflow as tf
with tf.Session() as sess:
    _v = tf.Variable(tf.random_normal([1, 5], seed=1.0))
    sess.run(tf.global_variables_initializer())
    # [[-0.81131822  1.48459876  0.06532937 -2.4427042   0.0992484]]
    print(sess.run(_v))
    # [[0.06243069  0.6201579   0.15001042  0.01221508  0.15518591]]
    print(sess.run(tf.nn.softmax(_v)))
    # 1.0
    print(sess.run(tf.reduce_sum(tf.nn.softmax(_v))))

log_softmax

该功能执行相当于 logsoftmax = logits - log(reduce_sum(exp(logits), dim))