在本文中，你将学习到以下内容：GBDT算法实现模型保存模型加载及预测前言GBDT属于Boosting算法，它是利用损失函数的负梯度方向在当前模型的值作为残差的近似值，进而拟合一棵CART回归树。GBDT的会累加所有树的结果，而这种累加是无法通过分类完成的，因此GBDT的树都是CART回归树，而不是分类树（尽管GBDT调整后也可以用于分类但不代表GBDT的树为分类树）。本文就是利用GBDT算法实现一
转载
2023-07-21 23:46:08
86阅读
目录1. Pytorch 学习2.损失函数 Loss Functions2.1 torch.nn.L1Loss2.1.1 python代码例子2.1.1.1 上边的例子复现代码2.2 torch.nn.MSELoss2.2.1 python代码例子2.2.1.1 上边的例子复现代码2.3 torch.nn.CrossEntropyLoss2.3.1 信息熵，交叉熵和相对熵2.3.2 参数解析2.
深度学习兴起，带动一批编程语言和深度学习框架。深度学习框架真可谓是“百花齐放、百家争鸣”之态势。有TensorFlow（包括TFLearn）、Keras、Caffe（Caffe2）、Microsoft Cognitive Toolkit（以前叫做CNTK）、PyTorch、Apache MXnet、DeepLearning4J、Theano（包括Lasagne）、Torch、PaddlePaddl
# 自定义 Loss 函数及其可视化
在机器学习与深度学习领域，Loss 函数是模型优化的重要组成部分。它用于衡量模型预测值与真实值之间的差异，从而指导模型的训练过程。对于某些特定任务，标准的 Loss 函数可能无法有效地捕捉损失，因而我们需要自定义 Loss 函数。本文将以 Python 为例，详细介绍如何自定义 Loss 函数并通过可视化手段展示其效果。
## 什么是 Loss 函数？
原创
2024-08-30 08:25:22
43阅读
博主在学习三值神经网络时，使用了LeNet-5模型，编程代码，需要对LeNet-5模型中的卷积层与全连接层进行自定义，搜索他人方法后，博主产生了一个疑问，绝大多数提供的自定义层方法都是继承 nn.Module 模型，而这方法据说是官方提供，自定义线性层代码如下：class Linear(nn.Module):
def __init__(self, input_features, outpu
转载
2023-08-10 20:41:07
178阅读
PyTorch进阶训练技巧import torch
import numpy as np
import torch.nn as nn
import torch.nn.functional as F1. 自定义损失函数# 以函数的方式定义损失函数,通过输出值和目标值进行计算，返回损失值
def my_loss(output,target):
loss = torch.mean((output
转载
2023-11-03 12:05:13
143阅读
学习网站在此：https://datawhalechina.github.io/thorough-pytorch/以下是对知识的记录（都记下来）一、自定义损失函数许多损失函数并未出现在官方库中，需要我们自己来实现，尤其在日新月异的ai领域，模型与相关算法的更新很快，同时，在科学研究领域，当提出全新的损失函数时，这也要求我们自行定义，以验证其在数据集上的好坏1.1函数方式def my_loss(ou
转载
2023-12-18 20:14:56
160阅读
标量反向传播当目标张量为标量时，backward()无需传入参数。例子：假设都是标量， ，对标量调用backward()方法。自动求导的主要步骤import torch1.定义叶子结点，算子节点如果需要对Tensor求导，requires_grad要设置为True。# 定义输入张量x
x = torch.Tensor([2])
# 初始化权重参数w,偏置b,#设置requires_grad为Tru
转载
2024-06-05 16:06:44
173阅读
官网的mnist和cifar10数据之后，笔者尝试着制作自己的数据集，并保存，读入，显示。 TensorFlow可以支持cifar10的数据格式， 也提供了标准的TFRecord 格式，而关于 tensorflow 读取数据， 官网提供了3中方法 1 Feeding： 在tensorflow程序运行的每一步， 用Python代码在线提供数据 2 Reader ： 在一个计算图（
转载
2024-01-30 06:37:52
60阅读
Pytorch实现简单的RNN此内容还未涉及LSTM以及深度RNN定义模型我们使用Pytorch中的nn.RNN来构造循环神经网络。在本节中，我们主要关注nn.RNN的以下几个构造函数参数：
input_size - The number of expected features in the input x (应该是类似于词典大小)
hidden_size – The number of fea
转载
2024-09-12 10:05:56
27阅读
1 cftool 又到了一年一度的西大建模，又想到大一的时候傻乎乎的想着自己什么也不会而什么也不参加。不会是可以学的，来大学的目的就是学会自己喜欢的自己不会的东西，说明那个时候还小呀。岁月沉淀过后留给我的经验就是我当初单纯的错了。现在已非专业的形式来记录点关于matlab cf
前言：前面的系列文章已经详细介绍了使用torch.nn.Module来实现自己定义的模型、自定义层，本文将继续来说明如何自定义损失函数，需要明确一个观点，不管是定义层还是损失函数，方法有很多，但是通过统一的接口nn.Module是最便于查看的，这也是pytorch的优点之一，模型、层、损失函数的定义具有统一性，都是通过Module类来完成，不像tensorflow那样不规范。一、回顾1.1 关于n
转载
2023-11-28 15:12:09
167阅读
本文还是以MNIST的CNN分析为例loss函数一般有MSE均方差函数、交叉熵损失函数，说明见 另外一部分为正则化部分，这里实际上了解图像的会理解较深，就是防止过拟合的一些方式，符合图像先验的正则化项会给图像恢复带来很大的效果，简单讲神经网络常见的正则化则是1.对权重加入L2-norm或L1-norm2.dropout3.训练数据扩增可以看 见修改的代码：#tf可以认为是全局变量，从该变量为类
转载
2024-04-15 19:43:28
216阅读
最近，我向大家介绍了我的 side-project，是个用 C# 写的简单的神经网络项目。正如我在那篇文章中提到的，给出的解决方案离最优方案还差的太远。假如要达到专业化使用的程度，这个解决方案还需要使用更多的数学和矩阵乘法。幸运的是，Google 里有些聪明人创造了一个做这件事情的库——TensorFlow。这是一个广受欢迎的开源库，正如你目前所了解的那样，它擅长于数字计算，这对我们的神经网络计算
转载
2024-10-15 09:58:01
18阅读
本文主要介绍tensorflow的自动训练的相关细节，并把自动训练和基础公式结合起来。如有不足，还请指教。写这个的初衷：有些教程说的比较模糊，没体现出用意和特性或应用场景。面向对象：稍微了解点代码，又因为有限的教程讲解比较模糊而一知半解的初学者。（更多相关内容，比如相关优化算法的分解和手动实现，EMA、BatchNormalization等用法，底部都有链接。）
1.简介接下来应该要介绍分类任务里最常用的CrossEntropyLoss，但是CrossEntropyLoss里面用到了NLLLoss，所以我们先了解NLLLoss是什么。2.NLLlossNLLLoss全名叫做Negative Log Likelihood Loss，顾名思义，输入就是log likelihood，对输入的对应部分取负号就是这个loss的输出了，公式可以表示为：其中是每个类别的
转载
2024-09-10 11:03:53
107阅读
sklearn中LogisticRegression参数说明：sklearn.linear_model.LogisticRegression
LogisticRegression(penalty=‘l2’, dual=False,
tol=0.0001, C=1.0, fit_intercept=True,
intercept_scaling=1, class_weight=None,
r
转载
2024-07-15 17:20:23
82阅读
在使用PyTorch进行深度学习模型的训练时，定义合适的损失函数对于模型的性能至关重要。在某些情况下，可能需要自定义损失函数，并在其中调整不同类别样本的权重，以应对类别不平衡或其他需求。本文将详尽记录如何进行“PyTorch自定义loss调整权重”的过程。
## 问题背景
在进行图像分类任务时，我们发现在数据集中，各类别的样本数量存在显著差异，导致模型在某些类别上表现不佳，影响了整体的业务效果。
# PyTorch自定义Loss函数不更新的解决方案
在深度学习中，Loss函数是模型训练过程中的重要部分。它用于指引模型朝着更优的方向调整权重。如果你在使用PyTorch框架时遇到自定义Loss函数不更新的情况，本文将为你提供详细的解析和解决方案。
## 一、问题描述
当训练模型时，Loss函数如果没有正确地传递梯度信息，训练将无法收敛。这种情况下，Loss的值不会随参数更新而改变，从而导
原创
2024-10-15 05:18:32
300阅读
技巧一：自定义损失函数方式一：直接定义函数def my_loss(output, target):
loss = torch.mean((output - target)**2)
return loss该方法简单。方式二：以类的形式定义class DiceLoss(nn.Module):
def __init__(self,weight=None,size_average=
转载
2023-12-12 13:21:59
26阅读
