损失函数（loss function）对机器学习来讲是非常重要的。它度量模型输出值与目标值（target）间的差值。回归算法的损失函数创建预测序列和目标序列作为张量，预测序列是-1和1之间的等差数列。x_vals = tf.linspace(-1.0, 1.0, 500)
target = tf.constant(0.0)1、L2正则损失函数（欧拉损失函数）。L2损失函数是预测值和目标值差值的平方
转载
2024-05-01 17:22:06
90阅读
本文还是以MNIST的CNN分析为例loss函数一般有MSE均方差函数、交叉熵损失函数，说明见 另外一部分为正则化部分，这里实际上了解图像的会理解较深，就是防止过拟合的一些方式，符合图像先验的正则化项会给图像恢复带来很大的效果，简单讲神经网络常见的正则化则是1.对权重加入L2-norm或L1-norm2.dropout3.训练数据扩增可以看 见修改的代码：#tf可以认为是全局变量，从该变量为类
转载
2024-04-15 19:43:28
216阅读
def adversarial_loss(embedded, loss, loss_fn):
原创
2022-07-19 19:44:37
83阅读
目录均方误差损失函数 mean_squared_error手写代码平均绝对误差 mean_absolute_error手写代码Huber损失 huber_loss手写代码softmax损失函数-交叉熵tf.losses.binary_crossentropy待续 在tensorflow2.0 中，使用模块model.compile时，使用loss选择损失函数。均方误差损失函数 mean_squa
神经网络的步骤1.准备数据：采集大量的“特征/标签”数据 2.搭建网络：搭建神经网络的结构 3.优化参数：训练网络获取最佳参数（反传） 4.应用网络：将网络保存为模型，输入新数据，输出分类或回归的预测结构（前传）损失函数：loss function 预测值y与标准答案y_的差距，差距越小越好 损失函数可以定量判断W,b的优劣，当损失函数输出最小时，W，b会出现最优值 均方误差：训练神经网络就是想找
转载
2024-03-28 23:00:31
213阅读
背景最近一直在总结Pytorch中Loss的各种用法，交叉熵是深度学习中最常用的计算方法，写这个稿子把交叉熵的来龙去脉做一个总结。什么是交叉熵信息量引用百度百科中信息量的例子来看，在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。
一、二分类与多分类交叉熵损失函数的理解交叉熵是分类任务中的常用损失函数，在不同的分类任务情况下，交叉熵形式上有很大的差别，二分类任务交叉熵损失函数： 多分类任务交叉熵损失函数： 这两个交叉熵损失函数对应神经网络不同的最后一层输出，二分类对应 sigmoid，多分类对应 softmax。它们的交叉熵本质上是一样的：（1）在信息论中，交叉熵是用来描
TensorFlow 中的 Loss 函数介绍前言TensorFlow 提供了很多计算 Loss 的 API, 很多时候容易忘记这些 API 的输入
原创
2022-05-30 12:42:02
470阅读
def virtual_adversarial_loss(logits, embedded, i
原创
2022-07-19 19:44:19
66阅读
TensorFlow的Cross_Entropy实现tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=None, logits=None, name=None)sigmoid_cross_entropy_with_logits是TensorFlow最早实现的交叉熵算法。这个函数的输入是logits和labels，logits
摘要 2015年11月9日，Google发布深度学习框架TensorFlow并宣布开源，并迅速得到广泛关注，在图形分类、音频处理、推荐系统和自然语言处理等场景下都被大面积推广。TensorFlow系统更新快速，官方文档教程齐全，上手快速且简单易用，支持Python和C++接口。本文依据对Tensorflow（简称TF）白皮书[1]、TF Github[2]和TF官方教程[3]的理解，从系统和代码
转载
2024-06-24 20:41:38
45阅读
本文通过K均值算法作为例子研究数据聚类分析一、无监督学习概念无监督学习可以从给定的数据集中找到感兴趣的模式。无监督学习，一般不给出模式的相关信息。所以，无监督学习算法需要自动探索信息是怎样组成的，并识别数据中的不同结构。二、什么是聚类聚类就是对大量未知标注的数据集，按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大而类别间的数据相似度较小。 聚类中没有任何指导信息，完全按
转载
2024-03-18 08:13:56
62阅读
前一节介绍了一些最基本的概念和使用方法。因为我个人的最终目的还是在深度学习上，所以一些深度学习和机器学习模块是必须要了解的，这其中包括了tf.train 、tf.contrib.learn、还有如训练神经网络必备的tf.nn等API。这里准备把常用的API和使用方法按照使用频次进行一个排列，可以当做一个以后使用参考。这一节介绍的内容可以有选择的看
转载
2024-08-06 14:20:28
57阅读
损失降低方法损失降低方法迭代方法梯度下降方法学习速率优化随机速率随机梯度下降方法 损失降低方法Reducing loss 主要有几种常用的方法：迭代法梯度下降法学习速率优化随机速率随机梯度下降方法迭代方法迭代方法就是将模型预测值与实际值之间的误差值反馈给模型，让模型不断改进，误差值会越来越小，即模型预测的会越来越精确。就是一个不断尝试的过程梯度下降方法一种快速找到损失函数收敛点的方法。回归问题所
转载
2024-04-22 10:43:22
52阅读
导语: 在使用tensorflow的过程中，我们经常需要使用工具来监测模型的运行性能。我们将通过一系列文章来介绍他们。本系列的前两篇文章主要介绍了nvidia提供的用于监测gpu的工具，本篇将介绍tensorflow原生的工具。
注意：下面的示例默认为TF 2.0。下面所有from tensorflow_core.python均为TF 2.0下使用方法，在TF.1x使用时请转为from
转载
2024-06-20 07:58:34
73阅读
tensorflow中的损失函数介绍本文参考借鉴了：损失函数loss大大总结，地址： 并参考官方文档整理而成。一. 分类损失函数1.二分类交叉熵损失sigmoid_cross_entropy：Aliases:tf.losses.sigmoid_cross_entropy(…)： 使用tf.nn.sigmoid_cross_entropy_with_logits创建交叉熵loss.tf.losses
转载
2024-03-18 08:33:41
249阅读
import osimport cv2import numpy as npimport tensorflow as tfh_pool2_flat = 12288n_classes = 1# 设置路径data_home = 'data/imgdat
原创
2022-05-17 12:48:44
80阅读
把kl_compute = tf.keras.losses.KLDivergence(reduction
原创
2022-07-19 19:46:15
129阅读
from tensorflow.python.keras.utils import losses_ut
原创
2022-07-19 19:40:01
203阅读
引言： 对于二分类问题，一般会将预测结果经过一个非线性变换缩小到0到1之间，并设置一个阀值，比如0.5，小于0.5便是0，大于0.5便是1。但是这种做法对于多分类是不适用的。交叉熵： 通过神经网络解决多分类的方法是设置n个输出节点，n代表类别数。对于每一个样例，神经网络会得到一个n维数组做为输出结果。数组中
