一、二分类与多分类交叉熵损失函数的理解交叉熵是分类任务中的常用损失函数，在不同的分类任务情况下，交叉熵形式上有很大的差别，二分类任务交叉熵损失函数： 多分类任务交叉熵损失函数： 这两个交叉熵损失函数对应神经网络不同的最后一层输出，二分类对应 sigmoid，多分类对应 softmax。它们的交叉熵本质上是一样的：（1）在信息论中，交叉熵是用来描
在构建loss时pytorch常用的包中有最常见的MSE、cross entropy（logsoftmax+NLLLoss）、KL散度Loss、BCE、HingeLoss等等，详见：https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#loss-functions这里主要讲解一种考虑类间距离的Center
转载
2024-03-06 09:58:54
217阅读
from tensorflow.python.keras.utils import losses_ut
原创
2022-07-19 19:40:01
203阅读
索引、切片和变换维度索引和切片通过index使用tensorflow方法tf.gathertf.gather_ndtf.boolean_mask数据维度变换reshapetranspose增加和减少维度 索引和切片通过index与大家熟悉的编程语言的索引方式一致：一维数组用a[index]，二维数组用a[index1][index2]，以此类推。numpy风格的索引，用一个[]符号索引，例如：a
文章目录1、CrossEntropyLoss-CE 交叉熵损失1.1 是什么？1.2 物理含义1.2 怎么代码实现和代码使用？1.2* 怎么代码实现和代码使用？1.3 应用场景1.3.1 多分类1.3.1 数值的回归参考 1、CrossEntropyLoss-CE 交叉熵损失1.1 是什么？一个损失函数，虽然说的是交叉熵，但是和《信息论》的交叉熵不一样。首先输入是size是(minibatch,
转载
2023-11-12 13:09:20
188阅读
损失函数（loss function）对机器学习来讲是非常重要的。它度量模型输出值与目标值（target）间的差值。回归算法的损失函数创建预测序列和目标序列作为张量，预测序列是-1和1之间的等差数列。x_vals = tf.linspace(-1.0, 1.0, 500)
target = tf.constant(0.0)1、L2正则损失函数（欧拉损失函数）。L2损失函数是预测值和目标值差值的平方
转载
2024-05-01 17:22:06
90阅读
本文还是以MNIST的CNN分析为例loss函数一般有MSE均方差函数、交叉熵损失函数，说明见 另外一部分为正则化部分，这里实际上了解图像的会理解较深，就是防止过拟合的一些方式，符合图像先验的正则化项会给图像恢复带来很大的效果，简单讲神经网络常见的正则化则是1.对权重加入L2-norm或L1-norm2.dropout3.训练数据扩增可以看 见修改的代码：#tf可以认为是全局变量，从该变量为类
转载
2024-04-15 19:43:28
216阅读
目录均方误差损失函数 mean_squared_error手写代码平均绝对误差 mean_absolute_error手写代码Huber损失 huber_loss手写代码softmax损失函数-交叉熵tf.losses.binary_crossentropy待续 在tensorflow2.0 中，使用模块model.compile时，使用loss选择损失函数。均方误差损失函数 mean_squa
背景最近一直在总结Pytorch中Loss的各种用法，交叉熵是深度学习中最常用的计算方法，写这个稿子把交叉熵的来龙去脉做一个总结。什么是交叉熵信息量引用百度百科中信息量的例子来看，在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。
Focal loss 出自何恺明团队Focal Loss for Dense Object Detection一文，用于解决分类问题中数据类别不平衡以及判别难易程度差别的问题。文章中因用于目标检测区分前景和背景的二分类问题，公式以二分类问题为例。项目需要，解决Focal loss在多分类上的实现，用此博客以记录过程中的疑惑、细节和个人理解，Keras实现代码链接放在最后。框架：Keras（tens
转载
2024-04-26 06:55:03
113阅读
本文通过K均值算法作为例子研究数据聚类分析一、无监督学习概念无监督学习可以从给定的数据集中找到感兴趣的模式。无监督学习，一般不给出模式的相关信息。所以，无监督学习算法需要自动探索信息是怎样组成的，并识别数据中的不同结构。二、什么是聚类聚类就是对大量未知标注的数据集，按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大而类别间的数据相似度较小。 聚类中没有任何指导信息，完全按
转载
2024-03-18 08:13:56
62阅读
前一节介绍了一些最基本的概念和使用方法。因为我个人的最终目的还是在深度学习上，所以一些深度学习和机器学习模块是必须要了解的，这其中包括了tf.train 、tf.contrib.learn、还有如训练神经网络必备的tf.nn等API。这里准备把常用的API和使用方法按照使用频次进行一个排列，可以当做一个以后使用参考。这一节介绍的内容可以有选择的看
转载
2024-08-06 14:20:28
57阅读
损失降低方法损失降低方法迭代方法梯度下降方法学习速率优化随机速率随机梯度下降方法 损失降低方法Reducing loss 主要有几种常用的方法：迭代法梯度下降法学习速率优化随机速率随机梯度下降方法迭代方法迭代方法就是将模型预测值与实际值之间的误差值反馈给模型，让模型不断改进，误差值会越来越小，即模型预测的会越来越精确。就是一个不断尝试的过程梯度下降方法一种快速找到损失函数收敛点的方法。回归问题所
转载
2024-04-22 10:43:22
52阅读
神经网络的步骤1.准备数据：采集大量的“特征/标签”数据 2.搭建网络：搭建神经网络的结构 3.优化参数：训练网络获取最佳参数（反传） 4.应用网络：将网络保存为模型，输入新数据，输出分类或回归的预测结构（前传）损失函数：loss function 预测值y与标准答案y_的差距，差距越小越好 损失函数可以定量判断W,b的优劣，当损失函数输出最小时，W，b会出现最优值 均方误差：训练神经网络就是想找
转载
2024-03-28 23:00:31
213阅读
import osimport cv2import numpy as npimport tensorflow as tfh_pool2_flat = 12288n_classes = 1# 设置路径data_home = 'data/imgdat
原创
2022-05-17 12:48:44
80阅读
def adversarial_loss(embedded, loss, loss_fn):
原创
2022-07-19 19:44:37
83阅读
把kl_compute = tf.keras.losses.KLDivergence(reduction
原创
2022-07-19 19:46:15
129阅读
引言： 对于二分类问题，一般会将预测结果经过一个非线性变换缩小到0到1之间，并设置一个阀值，比如0.5，小于0.5便是0，大于0.5便是1。但是这种做法对于多分类是不适用的。交叉熵： 通过神经网络解决多分类的方法是设置n个输出节点，n代表类别数。对于每一个样例，神经网络会得到一个n维数组做为输出结果。数组中
SSD的损失函数包含用于分类的log loss 和用于回归的smooth L1，并对正负样本比例进行了控制，可以提高优化速度和训练结果的稳定性。
总的损失函数是分类和回归的误差的带权加和。α表示两者的权重，N表示匹配到default box的数量
1 loc的损失函数：smooth L1
y_true：shape: (batch_
由于在tensorflow最初时一直用的就是最经典的mnist手写字符识别中的数据集了，而且在tensorflow中直接封装好的是mnist手写字符的数据集类，方便直接用input_data.*中的方法调用其读取数据，读取数据标签，以及对数据feed时的next_batch()等操作，但是涉及后面进一步深入时，如果想要训练和测试自己的数据集时没有封装好的数据类方法，此时就需要自己来进行制作数据集。
转载
2024-04-16 10:44:01
49阅读
