使用递归神经网络（RNN）序列建模业务已有很长时间了。 但是RNN很慢因为他们一次处理一个令牌无法并行化处理。 此外，循环体系结构增加了完整序列的固定长度编码向量的限制。 为了克服这些问题，诸如CNN-LSTM，Transformer，QRNNs之类的架构蓬勃发展。在本文中，我们将讨论论文“拟递归神经网络”（https://arxiv.org/abs/1611.01576）中提出的QRNN模型。
转载
2024-03-19 22:31:46
95阅读
ImageNet 是一个大的图片数据集。包含大约 1500万张图片，22000种类别。从2010年起，每年举办的图片分类比赛 ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)是 ImageNet 的一个子集，包含大约 120 万张训练集，5 万张验证集，15 万张训练集，共约140万张图片。2010和2011年的比赛，Top-5 错
转载
2024-06-24 04:13:45
112阅读
目录：1、感受野2、优化函数 3、激活函数 4、loss 函数。前言文章有点长，内容有点丰富，基本涵盖整个深度卷积神经网络，涉及网络中的感受野、激活函数、loss函数以及各种相关知识。 Part 一、 感受野 receptive fieldreceptive filed 中文叫感受野，是卷积神经网络中最重要的概念之一，各类目标检测任务都是基于不同的感受野而
转载
2024-08-08 12:00:59
36阅读
论文地址：https://arxiv.org/abs/1910.00950，2019 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2019解决的问题CNN 分割网络常见的两个问题：在池化过程中，特征图分辨率降低对小物体不敏感对于上述两个问题的常见解决方法：使用 dense CRF 作为后处理，参考论
转载
2024-06-14 20:21:05
44阅读
软件测试藏宝图和我的软件测试全景图（如：基于过程的软件测试全景图）差异挺大，内容要丰富得多，覆盖了所有的知识点。而我的全景图，忽略细节和一般知识的具体内容，强调内涵和测试各环节的内在关系，逻辑清晰、实践性强，各有千秋。
结合性能测试来描述软件测试工程师的三个层次，这种描述更形象生动、具体，容易让团队接受和理解。 软件测试藏宝图是由韩国STA Consulting Inc. CEO Woni
train loss 不断下降，test loss不断下降，说明网络仍在学习;（最好的）train loss 不断下降，test loss趋于不变，说明网络过拟合;（max pool或者正则化）train loss 趋于不变，test loss不断下降，说明数据集100%有问题;（检查dataset
转载
2019-07-30 15:35:00
310阅读
2评论
模型搭建好后，训练，发现loss不下降，精度不上升…我枯了。。iter[110]: accuracy = 0.8114 loss = 899.3430
iter[120]: accuracy = 0.8013 loss = 917.3421
iter[130]: accuracy = 0.8103 loss = 901.3432
iter[14
train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; train loss 趋于不变，test loss趋于
转载
2022-03-08 10:19:23
430阅读
Vali Loss: nan Test Loss: nan Training loss is decreasing while validation loss is NaN https://discuss.pytorch.org/t/training-loss-is-decreasing-while
原创
2023-10-31 14:21:02
108阅读
学了一段时间，这篇博客是在我重新快速地看了一些b站的总结视频而参考着写出来的。（列出一些有被我截图的视频链接）1. 基本概念 卷积神经网络（Convolutional Neural Network，CNN）是深度学习领域中一种重要而强大的模型，特别适用于图像处理和计算机视觉任务。1.1 卷积操作 
转载
2024-10-11 14:37:54
87阅读
机器学习作为一种优化方法，最重要的一点是找到优化的目标函数——损失函数和正则项的组合；有了目标函数的“正确的打开方式”，才能通过合适的机器学习算法求解优化。通俗来讲Loss函数是一种关于fitness的测度（关于数据是否合适模型的匹配度），或者是对于预测是否准确的一种判断，如果预测和判断没有错误，则损失函数的值为0；如果有错误则会进行一些“惩罚”措施，也可以称之为代价（风险）函数。借助文献中的原话
本周主要学习内容包括上次blog未尽部分以及对经典文章的精读总结和思考。CNN中对损失函数（Loss function）的选择因问题类型的不同而有各异的合适选择。应用的比较多的包括S Softmax loss，Hinge loss和Contrastive loss。还有一些比较常用的正则化方法，诸如dropout/dropconnect以及学习连接的重要性等方法。dropout是在全连接层随机dr
转载
2024-04-08 10:35:43
114阅读
###一. 损失函数(loss):预测值y与已知答案y_的差距 神经网络优化目标即找到适合的w以减小loss, 有三种减小loss的方法1. 均方误差mse(Mean Squared Error)
2. 自定义损失函数
3. 交叉熵ce(Cross Entropy)1. 均方误差mse 模型 : 使用:loss_mse = tf.reduce_mean(tf.square(y-y_)) **默认
转载
2023-09-02 07:15:46
244阅读
目录前言1、均方差损失——MSE 2、交叉熵损失——CrossEntropyLoss前言 一直使用的Pytorch这个框架，关于损失函数的内容，可以在Pytorch的官方文档torch.nn — PyTorch 1.10 documentation里找到，介绍的还是比较详细的，在torch.nn的Loss Functions模块中，在学习的时候最忌讳的是眼高手低，关于这些基础知
转载
2024-06-05 10:14:02
167阅读
一 十七个损失函数(前三个貌似常用些，后面的没怎么见过)1）L1loss功能：计算输出与输入之差的绝对值，可返回一个标量或者一个tensor类型；class torch.nn.L1Loss(size_average=None,reduce=None)
# reduce:填写bool型，当为True时：返回值为标量；反之，返回tensor类型
#当size_average=True时，返回loss的
转载
2023-11-09 05:15:34
382阅读
构建CNN网络需要注意问题数据预处理（均值，方差， 人脸归一化。。。）， 数据增强【放射变换、运动模糊、高斯滤波模糊类，增加噪声类， 色彩/饱和度/亮度调整类、 Flip类，Crop类】 这些都是根据实际的应用场景选择。 1.参数多少问题 [卷积核大小，通道数，卷积方式:conv / depthwiseconv / 空洞卷积 激活函数 PRelu]2.Flops计算量问题 【
转载
2024-08-08 11:47:25
33阅读
train loss 不断下降，test loss不断下降，说明网络仍在学习;train loss 不断下降，test loss趋于不变，说明网络过拟合;train loss 趋于不变，test loss不断下降，说明数据集100%有问题;train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;train loss 不断上升，test
原创
2021-07-12 11:23:16
1009阅读
采用二值判断如果确认是噪声，用该点上面一个灰度进行替换。噪声点处理：对原点周围的八个点进行扫描，比较。当该点像素值与周围8个点的值小于N时，此点为噪点 。处理后的文件大小只有原文件小的三分之一，前后的图片内容肉眼几乎无法察觉。但是这样处理后图片放入CNN中在其他条件不变的情况下，模型loss无法下降，二分类图片，loss一直在8-9之间。准确率维持在0.5,同时，测试集的训练误差持续下降，但是准确
转载
2024-04-26 16:10:22
313阅读
目录写在前面梯度下降Learing Rate(学习率)Learing Rate(学习率)的影响Learing Rate比较小Learing Rate较大 写在前面当初在学习梯度下降和Learning Rate的时候，怎么理解都没有理解透这两个是一个什么样的过程，疑惑了很久很久，直到最近开始看李宏毅老师的深度学习的课程视频的第一节，给了我一种豁然开朗的感觉，因此记录下来梯度下降我们在进行模型训练的
转载
2024-09-28 23:08:55
37阅读
首先回顾下特征损失(Feature loss)或者感知损失(Perceptual Loss)的初衷：许多损失函数，如L1 loss、L2 loss、BCE loss，他们都是通过逐像素比较差异，从而对误差进行计算。然而，有的时候看起来十分相似的两个图像(比如图A相对于图B只是整体移动了一个像素)，此时对人来说是几乎看不出区别的，但是其像素级损失(pixel-wise loss)将会变的巨大。对于这
