前言一、已具备的loss曲线图二、AI助力1.为图像建立矩形遮板2.绘制趋势曲线 前言俗话说，一图胜千言，在一篇文章里，图是最吸引人的，画得好便会如虎添翼，让读者对文章主要方法的理解更加容易。今日分享和记录一下绘制损失(loss)函数图时发现的一个事后补救、锦上添花的小小小小~小技巧。看一下成品： 一、已具备的loss曲线图之前通过python的matplotlib或者plotly绘制好部分的l
转载
2023-11-28 06:39:15
605阅读
在随机森林和决策树中，存在两种模型表现：训练集上和测试集上的表现。在建模过程中，追求模型在测试集上表现最优，因此模型的评价指标往往是用来衡量模型在测试集上的表现。然而逻辑回归有着基于训练数据求解参数的需求，并且希望训练出来的模型能够尽可能的拟合训练数据，即模型在训练集上的预测准确率越靠近100%越好。因此使用“损失函数”这个评估指标，来衡量参数的优劣，即这一参数能否是模型在训练集上表现优异。 如果
激活函数定义: 就是在神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。常见的激活函数包括：SigmoidTanHyperbolic(tanh)ReLusoftplussoftmax 这些函数有一个共同的特点那就是他们都是非线性的函数。那么我们为什么要在神经网络中引入非线性的激活函数呢？ 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都
转载
2024-04-06 09:26:37
341阅读
前情提要。
原创
2024-03-02 00:53:37
657阅读
交叉熵采用真实标签的预测概率的负对数似然。这里我们不使用Python的for循环迭代预测（这往往是低效的），而是通过一个选择所有元素。下面，我们创
原创
2022-11-17 00:40:58
563阅读
大话深度学习（三）：损失函数 文章目录大话深度学习（三）：损失函数损失函数交叉熵损失函数L1损失函数和L2损失函数 损失函数为了解决分类问题或者回归问题，我们通常会定义一个损失函数来描述对问题的求解精度（用数学的方法描述预测答案和真实答案之间的距离）。损失函数越小，就代表所建立的模型越好。交叉熵损失函数在深度学习领域，交叉熵主要刻画两个概率分布之间的距离，是分类问题中使用比较广的一种损失函数。P，
1、前向传播 搭建网络结构，反向传播 训练网络参数。2、激活函数 提高了模型的表达里，使模型更具有表达力。3、神经网络的层数，通常用神经网络的层数和神经网络待优化的参数的个数 来表示，层数 = 隐藏层的层数 + 1个输出层，总参数 = 总W + 总b4、神经网络的优化四个方面：损失函数loss、学习率learning_rate、滑动平均ema、正则化regularization(1)损失函数（loss）:预测值（y）与已知答案（y_）的差距。（即前向传播计算出的结果 与 已知标准答案的 差
原创
2021-08-13 09:37:20
480阅读
作为函数，并且可以使用上述公式计算梯度，以便进行反向传播和模型参数。综上所述，我们可以使用交叉熵损失函数和。，给出损失函数定义，并且给出损失函数。, 用交叉熵作为损失函数。那么根据链式法则，损失。表示模型的预测输出，
原创
2023-04-19 17:22:01
491阅读
分类交叉熵是一种用于多类分类任务的损失函数。在这些任务中，一个示例只能属于许多可能类别中的一个，模型必须决定哪个类别。 形式上，它旨在量化两种概率分布之间的差异。 分类交叉熵的数学计算方式： 交叉熵损失函数通过计算以下和来计算示例的损失： 根据公式我们可以发现，因为yi,要么是0，要么是1。而当yi等于0时，结果就是0，当且仅当yi等
NLP常用损失函数代码实现 NLP常用的损失函数主要包括多类分类（SoftMax + CrossEntropy）、对比学习（Contrastive Learning）、三元组损失（Triplet Loss）和文本相似度（Sentence Similarity）。其中分类和文本相似度是非常常用的两个损失函数，对比学习和三元组损失则是近两年比较新颖的自监督损失函数。 本文不是对损失函数的理论讲解，
原创
2022-12-22 03:17:25
309阅读
在数学，尤其是概率论和相关领域中，Softmax函数，或称归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量 “压缩”到另一个K维实向量 中，使得每一个元素的范围都在 之间，并且所有元素的和为1。 该函数的形式通常按下面的式子给出：
转载
2018-10-08 15:05:00
675阅读
2评论
这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！一、softmax函数softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是更形象的如下图表示： softmax直白来说就是将原来输出是3,1,-3通过softmax
转载
2021-04-18 21:09:00
1203阅读
2评论
softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为(0,
转载
2020-09-08 09:08:00
999阅读
2评论
文章目录一、softmax二、损失函数loss1、均值平方差2、交叉熵3、损失函数的选取三、softmax 算法与损失函数的综合应用1 验证softmax_cross_entropy_with_logits包含softmax函数2 验证非标准one_hot的交叉熵 结果对于错误分类不明显3 验证labels = [2 , 1] 即
原创
2022-11-25 09:19:21
575阅读
损失函数在机器学习中的模型非常重要的一部分，它代表了评价模型的好坏程度的标准，最终的优化目标就是通过调整参数去使得损失函数尽可能的小，如果损失函数定义错误或者不符合实际意义的话，训练模型只是在浪费时间。 所以先来了解一下常用的几个损失函数hinge loss(合页损失)、softmax loss、c
原创
2021-05-24 11:12:18
1854阅读
其实整个推导，上面这个图片已经介绍得十分清楚了，但是仍有很多小步骤被省略掉了，我会补上详细的softmax求导的过程： (1)softmax函数
\quad
首先再来明确一下softmax函数，一般softmax函数是用来做分类任务的输出层。softmax的形式为:
原创
2022-04-19 10:11:15
7249阅读
在机器学习和深度学习的应用中，softmax函数是一个常用的激活函数，尤其是在多类分类任务中。softmax函数将输出值转换为概率分布，使每个值的范围在0到1之间，并且所有输出之和为1。本文将详细探讨如何在Python中实现softmax函数，涵盖其背后的逻辑、代码示例以及与其他激活函数的对比。
```python
import numpy as np
def softmax(x):
# 如何实现Softmax函数
## 流程图
```mermaid
graph TD
A(输入向量) --> B(计算指数)
B --> C(计算和)
C --> D(计算概率)
```
## 步骤
| 步骤 | 操作 |
|-----|-----|
| 1 | 计算输入向量中每个元素的指数 |
| 2 | 求所有指数的和 |
| 3 | 计算每个元素的概率值 |
原创
2024-05-10 04:51:10
45阅读
# PyTorch中的Softmax函数：简单易懂的指南
在深度学习领域，激活函数扮演着重要的角色。其中，Softmax函数是分类问题中常用的一种激活函数。本文将深入探讨PyTorch中的Softmax函数，包括其原理、应用场景和代码示例。
## Softmax函数的原理
Softmax函数的主要作用是将一个向量中的元素转换为概率分布。给定一个向量$\mathbf{z} = [z_1, z_
原创
2024-09-01 04:02:32
331阅读
重载： 同一类定义中的同名成员函数才存在重载关系 ，主要特点是
函数的参数类型和数目有所不同 ，但
不能出现函数参数的个数和类型均相同覆盖： 在
派生类中覆盖基类中的同名函数，要求两个函数的
参数个数、参数类型、返回类型都相同，且基类函数必须是虚函数。
隐藏：  
转载
2024-07-15 22:37:18
41阅读
