一、训练背景模型采用简单的四层linear以及Relu、Sigmoid，实现二分类问题loss采用的是交叉熵和Focal loss(测试Focal loss性能)优化方式采用的是Adam+StepLR二、LOSS不变的原因1. 背景：训练集和测试集的loss都不变了或者训练集的loss完全不变(是严格的不变了)2.loss不变的处理办法1. 首先参考网上的策略-1. 数据本身的问题：可以尝试使用其
转载
2023-11-18 15:21:20
135阅读
TensorFlow 2.0中有多处更改，以使TensorFlow用户使用更高效。TensorFlow 2.0删除冗余 APIs,使API更加一致(统一 RNNs,统一优化器),并通过Eager execution模式更好地与Python运行时集成许多RFCs已经解释了TensorFlow 2.0所带来的变化。本指南介绍了TensorFlow 2.0应该是什么样的开发，假设您对Tenso
label为[batch_size, num_class]logits为[batch_size, num_class]每个label为比如[0,0,1,0,0,0,1,0,1,0]，就是10类有
原创
2022-07-19 16:32:33
106阅读
目录1、 Nan 和 INF2、出现 Nan 和 INF 常见原因汇总3、原因分析与解决方法3.1、输入数据有误3.2、学习率过高 --> 梯度爆炸进 --> Nan3.3、损失函数有误3.4、Pooling层的步长(stride)大于核(kernel)的尺寸 3.5、batchNorm可能捣鬼3.6、Shuffle设置有没有乱动3.7、设置远距离的Label会得到NAN4、
转载
2023-10-11 19:44:47
401阅读
背景在服务器上训练用keras写的Lenet5的CNN分类模型过程中，发现训练一开始训练的loss值、测试的loss值都在不断增大。如下图：（值大到吐血） 于是乎，开始心酸找bug历程（暴哭）解决过程1.通常先查看数据集。图像和标签是否对应。没问题（√） 2.模型结构问题，特别是最后输出时种类个数对不对。没问题（√） 3.权重初始化问题。训练之前模型自动初始化。没问题（√） 4.选择合适的激活函数
转载
2023-12-14 06:54:02
400阅读
因为softmax_cross_entropy_with_logits传入的labels要是one-hot的，labels和logits的shape相同转化方法
原创
2022-07-19 11:47:37
87阅读
最近阅读了《A Theory on Adam Instability in Large-Scale Machine Learning 》这篇论文。比较全面的阐述了100B以上的大模型预训练中出现loss spike的原因(loss 突然大幅度上涨)，并介绍了一些可能的解决办法。论文写的非常精彩，但整体上有点散和深，我尝试着站在工业立场上把它串一下突刺是什么首先介绍一下什么是loss spike：l
转载
2024-06-21 18:46:07
162阅读
很多人拿到一台笔记本或者主机，就会想知道它的配置是什么，尤其关心它选择了什么CPU、主板以及显卡，极少人关注到内存以及硬盘参数。事实上，内存与硬盘对电脑整体性能的影响是相当大的。DDR3和DDR4内存的性能差距大，不同容量带来的应用限制也很明显。同样的，硬盘的选择在消费者体验中更是感受明显，SSD速度至少比机械硬盘提升两倍，容量小了存储空间不足更是尴尬。所以，今天我们就一起来聊聊那些提升电脑存储速
转载
2024-03-27 16:32:51
113阅读
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP，神经网络个人主页丨kexue.fm 前言今天在 QQ 群里的讨论中看到了 Focal Loss，经搜索它是 Kaiming 大神团队在他们的论文 Focal Loss for Dense Object Detection 提出来的损失函数，利用它改善了图像物体检测的效果。不过我很少做图像任务，不怎么关心图像方面的应
转载
2024-05-07 11:42:37
627阅读
目录一、cross entropy loss二、weighted loss三、focal loss四、dice soft loss五、soft IoU loss总结：一、cross entropy loss用于图像语素对应的损失
原创
2024-04-11 14:29:28
471阅读
import cv2 from random import shuffleimport numpy as npimport torchimport torch.
原创
2021-08-02 14:20:39
686阅读
损失函数在之前写期望风险的时候其实已经提过这个概念了，再补充一下损失函数定义：损失函数就一个具体的样本而言，模型预测的值与真实值之间的差距。对于一个样本（xi,yi）其中yi为真实值，而f（xi）为我们的预测值。使用损失函数L（f(xi),yi）来表示真实值和预测值之间的差距。两者差距越小越好，最理想的情况是预测值刚好等于真实值。进入正题~categorical_cross...
原创
2021-08-13 09:42:53
1204阅读
021-07-23 09:43:04.902503: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Li ...
转载
2021-07-23 09:51:00
1589阅读
2评论
概述课标要求的压强十分简单，初联引入了非自由液面和多种液体，较为困难固体压强公式主要公式：$p=\frac{F}{S}$柱体有$p=\rho g h$切割问题叠罗汉注意接触面永远取小液体压强公式主要公式：$p=\rho g h$柱形容器有$p=\frac{F}{S}$烧杯中的玻璃管帽子刚好脱落：压强平衡，液体继续保持原状态，可计算两种液体密度的比值释放：无论放多少液体都无法使盖片脱落，
转载
2023-09-12 16:42:40
44阅读
train loss 不断下降，test loss不断下降，说明网络仍在学习;（最好的）train loss 不断下降，test loss趋于不变，说明网络过拟合;（max pool或者正则化）train loss 趋于不变，test loss不断下降，说明数据集100%有问题;（检查dataset
转载
2019-07-30 15:35:00
310阅读
2评论
# MySQL 增大 Buffer 的方法与实践
在数据库的性能调优中，内存的利用和配置是一个非常重要的方面。MySQL 是一种流行的开源数据库，它的性能受到许多因素的影响，其中包括缓存（Buffer）的大小。本文将探讨如何增大 MySQL 的 Buffer，并提供一些代码示例和使用工具的有效方法。
## 什么是 Buffer？
Buffer 是用于在内存中缓存数据的区域，目的是为了提高访问
JDK1.8对HashMap底层的实现进行了优化，例如引入红黑树的数据结构和扩容的优化等。本文结合JDK1.7和JDK1.8的区别，深入探讨HashMap的结构实现和功能原理，文章末尾附有HashMap的put方法和resize方法的源码解析。简介Java为数据结构中的映射定义了一个接口java.util.Map，此接口主要有四个常用的实现类，分别是HashMap、Hashtable、
转载
2024-09-15 15:26:52
46阅读
Linux中扩展/增加LVM大小主要步骤：将物理磁盘转换为物理卷（PV）扩展卷组（VG）增加逻辑卷大小（LV）扩展文件系统（ext4，xfs等）检查扩展的文件系统大小如果逻辑卷（LV）所在卷组中有未分配的磁盘空间，可以使用这些空间来扩展逻辑卷。一、将磁盘/分区 初始化为物理卷（PV）使用pvcreate命令创建LVM物理卷下面将整个磁盘创建为物理卷（PV）[root@xuexi ~]# pvcre
Linux 增大Swap
原创
2013-04-19 13:59:26
1009阅读
1.题目链接。这个题目的意思是让你删去最少的数字，使得剩下的数据
原创
2022-07-01 10:37:29
31阅读
