初学阶段，当开始接触，这里记录一些自己的理解，如有不对的地欢迎各位大佬批评指正～～K折交叉验证k交叉验证可以用于模型好坏的评估，也可用于调参，使模型达到最优。 KFold(n_splits=’warn’, shuffle=False, random_state=None)n_splits 表示划分为几块（至少是2）shuffle 表示是否打乱划分，默认False，即不打乱random_state
转载
2024-10-05 14:52:26
14阅读
最近在做交叉熵的魔改，所以需要好好了解下交叉熵，遂有此文。关于交叉熵的定义请自行百度，相信点进来的你对其基本概念不陌生。本文将结合PyTorch，介绍离散形式的交叉熵在二分类以及多分类中的应用。注意，本文出现的二分类交叉熵和多分类交叉熵，本质上都是一个东西，二分类交叉熵可以看作是多分类交叉熵的一个特例，只不过在PyTorch中对应方法的实现方式不同（不同之处将在正文详细讲解）。好了，废话少叙，正文
转载
2023-08-11 14:18:11
264阅读
# 使用 Keras 实现加权交叉熵
在深度学习的许多应用中，数据集往往是不平衡的。这种情况下，常规的交叉熵损失函数可能会导致模型偏向于预测更常见的类别，而忽略较不常见的类别。为了解决这个问题，我们可以使用加权交叉熵（Weighted Cross-Entropy），它通过为不同类别分配不同的权重来平衡损失。
本文将介绍如何在 Keras 中实现加权交叉熵，并提供代码示例。最后，我们会用流程图和
原创
2024-10-10 03:55:31
292阅读
pytorch之交叉熵损失函数一、交叉熵Pytorch中计算的交叉熵并不是采用 而是它是交叉熵的另外一种方式。 Pytorch中CrossEntropyLoss()函数的主要是将softmax-log-NLLLoss合并到一块得到的结果。 实际等同于： CrossEntropyLoss()=log_softmax() + NLLLoss() 交叉熵损失函数是常常用来来解决C分类问题的，需要给函数提
转载
2024-02-04 22:27:20
219阅读
声明1，本文整体偏向小白风。
2，尽量少贴公式，就讲下原理。我觉得讲清交叉熵根本不需要一堆公式和各种术语。前言交叉熵损失常用于分类任务。
优点是误差较大时，学习速度较快。
本文以pytorch中自带的实现函数为依据，解释下交叉熵损失的计算过程。二分类任务单样本以minst数据集识别为例，就是一个典型的多分类任务。 经过网上搜索，一通复制黏贴，网络计算，最终输出维度应该是10（对应十分类，下文用ou
转载
2023-12-18 23:05:56
262阅读
背景最近一直在总结Pytorch中Loss的各种用法，交叉熵是深度学习中最常用的计算方法，写这个稿子把交叉熵的来龙去脉做一个总结。什么是交叉熵信息量引用百度百科中信息量的例子来看，在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。
https://blog.csdn.net/tsyccnh/article/details/79163834（转自上面的博客，讲得太好了，保存一下，方便以后复习） 关于交叉熵在loss函数中使用的理解交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始...
原创
2021-07-12 11:48:07
713阅读
交叉熵loss function, 多么熟悉的名字! 做过机器学习中分类任务的炼丹师应该随口就能说出这两种loss函数: categorical cross entropy 和 binary cross entropy,以下简称CE和BCE. 关于这两个函数, 想必大家听得最多的俗语或忠告就是:"CE用于多分类, BCE适用于二分类, 千万别用混了." 对于BCE前边的那个bina
目录1、softmax / log_softmax2、NLL_Loss3、 class CrossEntropyLoss（） 主要是搞不清在使用CrossEntropyLoss是的输入大小size。于是分析了softmax，Nll_loss，crossentropyloss三个函数。因为 crossentropyloss = softmax + Nll_loss。 （这点参考@小风的文章[PyT
转载
2024-10-09 15:03:54
22阅读
Cross-Entropy Loss假设是一对训练样本，是训练数据，是对于分类的one hot向量（该向量只有真实分类的参数为1，其余位数均为0）。假设通过softmax算得预测值，则损失表示如下：很明显的我们看到这个损失涉及到了哪些参数，只有两个，那就预测值和真实值。这里的真实值采用one hot encoding，预测值则必须是概率分布。例如在这里我们只需要关注y的1数位，因为其他位数都为0，
在分类的时候，一般采用交叉熵损失函数，然而今天用tensorflow做分类的时候，发现采用tensorflow的自用函数，和自己写的，计算出来的结果不一样。而且采用自己实现时，我出现了loss为nan的情况# tensorflow自带loss = tf.reduce_mean( tf.nn.softmax_cross_entropy_with_logits(labels=y, logit...
原创
2021-09-07 11:37:37
1109阅读
前言：pytorch中有几个非常容易搞混淆的函数，它们是softmax和log_softmax，CrossEntropyLoss()和NLLLoss()，为了更加彻底的弄清楚，本文将分为两篇文章来说明，第一篇说明原理，第二篇说明用法。一、二分类损失函数1.1 从一个简单的实例说起对于一个二分类问题，比如我们有一个样本，有两个不同的模型对他进行分类，那么它们的输出都应该是一个二维向量,比如：模型一的
转载
2023-12-27 20:34:19
234阅读
进行二分类或多分类问题时，在众多损失函数中交叉熵损失函数较为常用。下面的内容将以这三个问题来展开什么是交叉熵损失以图片分类问题为例，理解交叉熵损失函数从0开始实现交叉熵损失函数1，什么是交叉熵损失交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性p(x)表示样本的真实分布，q(x)表示模型所预测的分布**交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示
转载
2023-11-26 19:45:29
525阅读
# -*- coding:utf-8 -*- import tensorflow as tf import numpy as np y_ = np.array([[1, 0, 0], [0, 1, 0], [0, 0, 1], [1, 0, 0], [0, 1, 0]]) y = np.array( ...
转载
2021-08-16 07:13:00
337阅读
2评论
1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+b 】。在训练神经网络过程中，我们通过梯度下降算法来更新w和b，因此需要计算代价函数对w和b的导数：然后更新w、b：w <—— w - η ∂C/∂w
转载
2024-08-18 10:57:18
60阅读
交叉熵 二次代价函数 原理 缺陷 假如我们目标是收敛到0。A点为0.82离目标比较近,梯度比较大，权值调整比较大。B点为0.98离目标比较远,梯度比较小,权值调整比较小。调整方案不合理。 交叉熵代价函数(cross-entropy) 换一个思路，我们不改变激活函数，而是改变代价函数，改用交叉熵代价函
原创
2022-09-23 18:15:39
53阅读
交叉熵损失是深度学习中应用最广泛的损失函数之...
转载
2020-01-12 15:27:00
264阅读
2评论
eep learning：五十一(CNN的反向求导及练习)
前言： CNN作为DL中最成功的模型之一，有必要对其更进一步研究它。虽然在前面的博文Stacked CNN简单介绍中有大概介绍过CNN的使用，不过那是有个前提的：CNN中的参数必须已提前学习好。而本文的主要目的是介绍CNN参数在使用bp算法时该怎么训练，毕竟CNN中有卷积层和下采样层，虽然和MLP的bp算法本质上相同，但
转载
2023-08-22 12:08:30
149阅读
文章目录CE loss负对数似然KL散度BCE lossCOSINEEMBEDDINGLOSS CE losstorch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=- 100, reduce=None, reduction='mean', label_smoothing=0.0)weight：权重，对不同类别
转载
2024-01-29 00:22:56
470阅读
交叉熵（Cross Entropy）交叉熵（Cross Entropy）是Loss函数的一种（也称为损失函数或代价函数），用于描述模型预测值与真实值的差距大小，常见的Loss函数就是均方平方差（Mean Squared Error），定义如下。image.png注意：tensorflow交叉熵计算函数输入中的logits都不是softmax或sigmoid的输出，而是softmax或sigmoid函数的输入，因为它在函数内部进行sigmoid或softmax操作Tensor.
原创
2021-08-12 22:36:06
548阅读
