损失函数（loss function）对机器学习来讲是非常重要的。它度量模型输出值与目标值（target）间的差值。回归算法的损失函数创建预测序列和目标序列作为张量，预测序列是-1和1之间的等差数列。x_vals = tf.linspace(-1.0, 1.0, 500)
target = tf.constant(0.0)1、L2正则损失函数（欧拉损失函数）。L2损失函数是预测值和目标值差值的平方
转载
2024-05-01 17:22:06
90阅读
本文通过K均值算法作为例子研究数据聚类分析一、无监督学习概念无监督学习可以从给定的数据集中找到感兴趣的模式。无监督学习，一般不给出模式的相关信息。所以，无监督学习算法需要自动探索信息是怎样组成的，并识别数据中的不同结构。二、什么是聚类聚类就是对大量未知标注的数据集，按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大而类别间的数据相似度较小。 聚类中没有任何指导信息，完全按
转载
2024-03-18 08:13:56
62阅读
本文还是以MNIST的CNN分析为例loss函数一般有MSE均方差函数、交叉熵损失函数，说明见 另外一部分为正则化部分，这里实际上了解图像的会理解较深，就是防止过拟合的一些方式，符合图像先验的正则化项会给图像恢复带来很大的效果，简单讲神经网络常见的正则化则是1.对权重加入L2-norm或L1-norm2.dropout3.训练数据扩增可以看 见修改的代码：#tf可以认为是全局变量，从该变量为类
转载
2024-04-15 19:43:28
216阅读
TensorFlow 中的 Loss 函数介绍前言TensorFlow 提供了很多计算 Loss 的 API, 很多时候容易忘记这些 API 的输入
原创
2022-05-30 12:42:02
470阅读
损失降低方法损失降低方法迭代方法梯度下降方法学习速率优化随机速率随机梯度下降方法 损失降低方法Reducing loss 主要有几种常用的方法：迭代法梯度下降法学习速率优化随机速率随机梯度下降方法迭代方法迭代方法就是将模型预测值与实际值之间的误差值反馈给模型，让模型不断改进，误差值会越来越小，即模型预测的会越来越精确。就是一个不断尝试的过程梯度下降方法一种快速找到损失函数收敛点的方法。回归问题所
转载
2024-04-22 10:43:22
52阅读
tensorflow中的损失函数介绍本文参考借鉴了：损失函数loss大大总结，地址： 并参考官方文档整理而成。一. 分类损失函数1.二分类交叉熵损失sigmoid_cross_entropy：Aliases:tf.losses.sigmoid_cross_entropy(…)： 使用tf.nn.sigmoid_cross_entropy_with_logits创建交叉熵loss.tf.losses
转载
2024-03-18 08:33:41
249阅读
1 前言2 收集数据3 探索数据4 选择模型5 准备数据6 模型-构建训练评估机器学习主要包括模型构建、模型训练、模型评估，在选择模型章节中已经对如何根据S/W的比率进行模型的选择，其包括n-gram模型或者序列模型，本章节内容主要描述如何运行分类算法进行模型训练，这也是机器学习的核心内容，主要是使用TensorFlow的tf.keras
转载
2024-03-22 14:08:04
81阅读
分类器classifier之前的回归问题，预测的结果是数值型的，分类器预测出的数据是标称型一个手写数字识别的分类器import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
#number 1 to 10 data
#如果没有这个数据包，会自动从网上帮你下载下来
mnist = input_
转载
2024-03-21 20:05:20
33阅读
本文主要介绍一下如何使用 PyTorch 实现一个简单的基于self-attention机制的LSTM文本分类模型。 目录LSTMself-attention机制准备数据集数据集处理设置输入数据参数训练模型训练模型效果测试模型测试模型效果 LSTMLSTM是RNN的一种变种，可以有效地解决RNN的梯度爆炸或者消失问题。self-attention机制总的来说self-attention机制分为三步
转载
2023-08-10 22:16:40
428阅读
def adversarial_loss(embedded, loss, loss_fn):
原创
2022-07-19 19:44:37
83阅读
目录均方误差损失函数 mean_squared_error手写代码平均绝对误差 mean_absolute_error手写代码Huber损失 huber_loss手写代码softmax损失函数-交叉熵tf.losses.binary_crossentropy待续 在tensorflow2.0 中，使用模块model.compile时，使用loss选择损失函数。均方误差损失函数 mean_squa
神经网络的步骤1.准备数据：采集大量的“特征/标签”数据 2.搭建网络：搭建神经网络的结构 3.优化参数：训练网络获取最佳参数（反传） 4.应用网络：将网络保存为模型，输入新数据，输出分类或回归的预测结构（前传）损失函数：loss function 预测值y与标准答案y_的差距，差距越小越好 损失函数可以定量判断W,b的优劣，当损失函数输出最小时，W，b会出现最优值 均方误差：训练神经网络就是想找
转载
2024-03-28 23:00:31
213阅读
Focal loss 出自何恺明团队Focal Loss for Dense Object Detection一文，用于解决分类问题中数据类别不平衡以及判别难易程度差别的问题。文章中因用于目标检测区分前景和背景的二分类问题，公式以二分类问题为例。项目需要，解决Focal loss在多分类上的实现，用此博客以记录过程中的疑惑、细节和个人理解，Keras实现代码链接放在最后。框架：Keras（tens
转载
2024-04-26 06:55:03
113阅读
本质上讲，Focal Loss 就是一个解决分类问题中类别不平衡、分类难度差异的一个 loss，总之这个工作一片好评就是了。看到这个 loss，开始感觉很神奇，感觉大有用途。因为在 NLP 中，也存在大量的类别不平衡的任务。最经典的就是序列标注任务中类别是严重不平衡的，比如在命名实体识别中，显然一句话里边实体是比非实体要少得多，这就是一个类别严重不平衡的情况。硬截断整篇文章都是从二分类问题出发，同
转载
2023-07-25 08:09:54
87阅读
图像处理三大任务人工智能大概分为两个方向:CV(图像处理)和NLP(自然语言处理)图像处理cv方向在图像处理中可分为三大任务,即图像分类,目标检测和图像分割图像分类把多种图像分类识别出来最优的代表网络:resnet网络和VGG系列网络例如把猫狗进行二分类目标检测把目标图像用回归框框出进行类别识别,对目标检测的网络可以分为两大派:一次检测和两次检测两次检测的最优的代表网络是faster rcnn系列
转载
2024-07-22 19:31:56
41阅读
一、二分类与多分类交叉熵损失函数的理解交叉熵是分类任务中的常用损失函数，在不同的分类任务情况下，交叉熵形式上有很大的差别，二分类任务交叉熵损失函数： 多分类任务交叉熵损失函数： 这两个交叉熵损失函数对应神经网络不同的最后一层输出，二分类对应 sigmoid，多分类对应 softmax。它们的交叉熵本质上是一样的：（1）在信息论中，交叉熵是用来描
背景最近一直在总结Pytorch中Loss的各种用法，交叉熵是深度学习中最常用的计算方法，写这个稿子把交叉熵的来龙去脉做一个总结。什么是交叉熵信息量引用百度百科中信息量的例子来看，在日常生活中，极少发生的事件一旦发生是容易引起人们关注的，而司空见惯的事不会引起注意，也就是说，极少见的事件所带来的信息量多。如果用统计学的术语来描述，就是出现概率小的事件信息量多。因此，事件出现得概率越小，信息量愈大。
前言在监督式机器学习中，无论是回归问题还是分类问题，都少不了使用损失函数（Loss Function）。**损失函数（Loss Function）**是用来估量模型的预测值 f(x) 与真实值 y 的不一致程度。若损失函数很小，表明机器学习模型与数据真实分布很接近，则模型性能良好；若损失函数很大，表明机器学习模型与数据真实分布差别较大，则模型性能不佳。我们训练模型的主要任务就是使用优化
转载
2024-04-26 14:30:21
157阅读
def virtual_adversarial_loss(logits, embedded, i
原创
2022-07-19 19:44:19
66阅读
TensorFlow的Cross_Entropy实现tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=None, logits=None, name=None)sigmoid_cross_entropy_with_logits是TensorFlow最早实现的交叉熵算法。这个函数的输入是logits和labels，logits
