ROC-AUC值题目：ROC-AUC是一种常见的模型评价指标，它是ROC曲线下的面积。现在已经知道样本数据的真实值（1是正样本，0是负样本）和某个二分类起在样本数据集的预测值（属于正样本的概率，并且各不相同），求ROC-AUC,精确到小数点后两位。第一行输入样本数N，然后输入N行，每行输入样本类别和预测概率值，空格隔开（1为正样例，0为负样例），计算AUC的值。 输入：10
1 0.9
0 0.7
转载
2023-09-26 18:54:08
46阅读
最近看了下 PyTorch 的损失函数文档，整理了下自己的理解，重新格式化了公式如下，以便以后查阅。注意下面的损失函数都是在单个样本上计算的，粗体表示向量，否则是标量。向量的维度用 Nnn.L1Loss loss(x,y)=1N∑i=1N|x−y| nn.SmoothL1Loss也叫作 Huber Loss，误差在 (-1,1) 上是平方损失，其他情况是 L1 损失。 loss(
转载
2024-08-16 18:12:45
46阅读
# NLP的loss函数实现
## 1. 流程概述
在自然语言处理（Natural Language Processing，NLP）中，loss函数是非常重要的一个组成部分，用于衡量训练模型的预测结果与实际标签之间的误差。下面是实现NLP的loss函数的主要步骤：
| 步骤 | 描述 |
| ---- | ---- |
| 1. 数据预处理 | 对原始文本进行清洗、分词、构建词向量等预处理工
原创
2023-08-12 07:55:00
144阅读
HL越来越火，常用的HL软件也有好几个，而我 Deepfacelab 就是一种基于深度学习的软件，它可以把视频中的L替换成你想要的L。想想就很爽吧，但是这种对电脑的硬件依赖比较大，如显卡。而最近显卡价格的波动比较大，主要买不起，所以就拿游戏笔记本（GTX1060）做一个简单的样例。AI 换脸就是采用生成式对抗网络（GAN, Generative Adversarial Networks ）的人工智
转载
2024-07-08 15:15:45
136阅读
1前言训练深度学习模型，就像“炼丹”，模型可能需要训练很多天。我们不可能像「太上老君」那样，拿着浮尘，24 小时全天守在「八卦炉」前，更何况人家还有炼丹童、天兵天将，轮流值守。人手不够，“法宝”来凑。本文就盘点一下，我们可以使用的「炼丹法宝」。2初级“法宝”，sys.stdout训练模型，最常看的指标就是 Loss。我们可以根据 Loss 的收敛情况，初步判断模型训练的好坏。如果，Loss 值突然
转载
2023-10-07 19:04:33
1009阅读
写这篇博客的原因主要是为了总结下在深度学习中我们常会遇到的一些问题，以及不知道如何解决，我准备把这个部分作为一个系列，为了让大家少走一些坑，对于本博客有什么错误，欢迎大家指出，下面切入正题吧。1. 深度学习，一个令人头疼的问题就是如何调参?简而言之，如果数据集复杂的话，那么就要增加网络的层数，模型欠拟合了，加节点。2. 关于验证集的loss曲线和acc曲线
转载
2024-05-21 06:43:09
53阅读
SpaCy 是一个免费的开源库，用于 Python 中的高级自然语言处理包括但不限于词性标注、dependency parsing、NER和相似度计算。 它可帮助构建处理和理解大量文本的应用程序可用于多种方向，例如信息提取、自然语言理解或为深度学习提供文本预处理。SpaCy 诞生于2014年年中（并且到现在这么多年了，它依然保持着持续的更新），号称“Industrial-Strength Natu
转载
2023-10-14 22:29:17
74阅读
Original url:Loss曲线震荡:分析原因: 1:训练的batch_size太小1. 当数据量足够大的时候可以适当的减小batch_size,由于数据量太大，内存不够。但盲目减少会导致无法收敛，batch_size=1时为在线学习。2. batch的选择，首先决定的是下降方向，如果数
转载
2024-03-14 15:03:31
287阅读
第一种方法：重定向训练日志文件 我们在训练的时候会用到caffe/buile/tools/caffe 这个里面的train这个选项。在输入之后，正常会显示训练日志的详细信息。想要画出这里面显示的loss和accuracy图，就可以把这些输出的日志内容重定向到一个文件内，然后利用shell命令检索出其中的loss和accuracy值，再将其画出就行了。 这里需要注意的是，重定向的方式是在命令的后面
转载
2024-05-31 02:09:52
578阅读
【学习笔记】Pytorch深度学习—损失函数（一）损失函数概念交叉熵损失函数其他损失函数NLL、BCE、BCEWithLogits Loss 前面学习了如何构建模型、模型初始化，本章学习损失函数。本章从3个方面学习，（1）损失函数的概念以及作用；（2）学习交叉熵损失函数；（3）学习其他损失函数NLL、BCE、BCEWithLogits Loss损失函数概念损失函数：衡量模型输出与真实标签的差异。
转载
2023-10-08 21:26:27
702阅读
Neural machine Translation of Rare Words with Subword Units动机和创新点BPE算法BPE算法应用BPE改进算法 前面的两篇facebook的文章都提到了BPE（Byte Pair Encoding，双字节编码）算法，可能大家不太了解，今天通过这篇文章介绍一下BPE的具体原理。这是2016ACL关于NLP分词操作的论文，许多论文方法（例如B
Hao Wang, Yitong Wang, Zheng Zhou, Xing Ji, Dihong Gong, Jingchao Zhou, Zhifeng Li∗, and Wei Liu∗Tencent AI Lab{hawelwang,yitongwang,encorezhou,denisji,sagazhou,michaelzfli}@tencent.comgongdihong@gmai
转载
2024-02-04 20:48:22
243阅读
不要每次去2>&1 \tee out.log，好多模型本身会生成日子文件在experiment/log下
转载
2017-09-23 17:22:00
236阅读
2评论
过拟合欠拟合
原创
2022-01-06 15:09:34
1322阅读
如何在window下绘制caffe的loss和accuracy曲线其大概方法都是要先生成log文件，然后通过其来绘制这两条曲线。生产log文件基本有两种方法。方法一通过命令行来进行生成，其使用bat文件时的配置为：h:
cd H:\VCproject\dd
caffe.exe train --solver=H:/VCproject/dd/solver.prototxt --weights=H:
转载
2024-01-17 07:42:51
400阅读
Python 绘制 loss 曲线、准确率曲线使用 python 绘制网络训练过程中的的 loss 曲线以及准确率变化曲线，这里的主要思想就时先把想要的损失值以及准确率值保存下来，保存到 .txt 文件中，待网络训练结束，我们再拿这存储的数据绘制各种曲线。其大致步骤为：数据读取与存储 - > loss曲线绘制 - > 准确率曲线绘制一、数据读取与存储部分我们首先要得到训练时的数据，以损
转载
2023-10-14 18:26:47
1106阅读
前言pytorch 中的损失函数：CrossEntropyLossLogSoftmaxNLLLossSoftmax在多分类的时候，我们希望输出是符合概率分布的，所以利用Softmax做了归一化的处理。这个过程非常好理解，将所有的项相加得到分母，各项在作为分子，只不过这里加了一个e为底的指数函数，确保值都大于0。多分类的神经网络的最后一层，一般就会用到Softmax，所以最后一层一般不用
转载
2023-10-12 09:21:41
470阅读
pytorch实现的loss function1.均方损失函数2. 交叉熵损失函数3、自定义损失函数1、关于nn.Module与nn.Functional的区别2、自定义损失函数 神经网络主要实现分类以及回归预测两类问题对于分类，主要讲述二分类交叉熵和多分类交叉熵函数,对于回归问题，主要讲述均方损失函数，而对于一些回归问题，需要根据特殊情况自定义损失函数。1、所有的loss的基类是Module，
转载
2024-06-07 14:28:12
123阅读
Caffe自带工具包---绘制loss和accuracy曲线 为什么要绘制loss和accuracy曲线？在训练过程中画出accuracy 和loss曲线能够更直观的观察网络训练的状态，以便更好的优化网络的训练。本文主要介绍在基于caffe框架训练网络时，利用caffe自带的工具包来绘制曲线。caffe中自带小工具： caffe-master/tools/extra/parse_log.sh，
转载
2023-12-14 21:39:56
548阅读
过拟合欠拟合
原创
2021-12-29 18:22:22
1053阅读
