TensorRT 部署案例，四部曲将预训练的pytorch模型转为.onnx模型解析onnx到tensorRT network对象---onnx parser对其优化并生成TensorRT推理引擎（根据输入模型、目标 GPU 平台和其他指定的配置参数）---builder在GPU上实施推理PerformTensorRT supports both C++ and Python API吞吐量batc
转载
2024-09-12 20:45:16
90阅读
CIFAR10练习安装anaconda中没有的包可以在anaconda cloud和python中查找。本次主要是对CIFAR10进行分类（只是简单的分类，代码需要优化），实验代码如下：import torch
import torch.nn as nn
import torch.nn.functional as F
import torchvision
import torchvision.tr
目录前言一、Pytorch2ONNX1.1、具体操作1.2、代码二、ONNX2NCNN2.1、下载、编译protobuf2.2、下载编译ncnn2.3、生成ncnn模型2.4、优化ncnn三、VS2019编译NCNN3.1、VS2019环境配置3.2、使用VS2019编译ncnn权重模型四、结果比较四、v5lites.cpp源码：Reference 前言以YOLOv5为例子，在Windows下将
转载
2024-10-11 14:15:56
567阅读
运行代码：import torch
from torch import optim
import torchvision
import matplotlib.pyplot as plt
import numpy as np
from torchvision.utils import make_grid
import time
# 配置参数
DOWNLOAD_CIFAR = True
batch_
探秘LSTM-CRF-PyTorch：深度学习中的序列标注利器在这个链接中，团队提供了一个基于PyTorch实现的LSTM-CRF模型，它是一个强大的工具，用于处理序列标注任务，例如命名实体识别（NER）、词性标注等。本文将深入解析这个项目的技术细节，应用场景和独特之处，以帮助更多的开发者理解并应用到实际项目中。项目简介LSTM-CRF是两种神经网络架构的结合。LSTM（长短期记忆网络）擅长捕捉时
BiLSTM-CRF学习笔记（原理和理解）BiLSTM-CRF 被提出用于NER或者词性标注，效果比单纯的CRF或者lstm或者bilstm效果都要好。根据pytorch官方指南(https://pytorch.org/tutorials/beginner/nlp/advanced_tutorial.html#bi-lstm-conditional-random-field-discussion)
# PyTorch Trainer预训练
在深度学习领域，预训练技术是一种重要的方法，通过在大规模数据集上进行预训练，可以提高模型的泛化能力和效果。PyTorch是一个流行的深度学习框架，提供了方便的Trainer工具，可以帮助用户快速实现模型的预训练和微调。
## 什么是PyTorch Trainer？
PyTorch Trainer是PyTorch官方提供的一个训练工具，它封装了训练过程
原创
2024-06-24 04:37:36
142阅读
作者：LORENZ KUHN编译：ronghuaiyang导读简要介绍在PyTorch中加速深度学习模型训练的一些最小改动、影响最大的方法。我既喜欢效率又喜欢ML，所以我想我也可以把它写下来。比如说，你正在PyTorch中训练一个深度学习模型。你能做些什么让你的训练更快结束？在这篇文章中，我将概述一些在PyTorch中加速深度学习模型训练时改动最小，影响最大的方法。对于每种方法，我会简要总结其思想
转载
2024-04-19 14:49:48
151阅读
pytorch预训练模型包含多个经典网络，比如resnet系列、vgg系列和alexnet等，预训练模型可以提高网络提取特征的能力，提升训练模型的性能。下面介绍一下加载预训练模型的两种方式： 第一种是在线的方法，即在代码中采用在线加载模式，import torch
from torchvision import models
model = models.vgg16(pretrained=Tru
转载
2023-08-25 23:56:39
422阅读
启动程序由于博主目前也只是实践了单机多卡操作，因此主要对单机多卡进行介绍。区别于平时简单的运行python程序，我们
原创
2024-07-30 15:23:21
99阅读
转载
2024-01-12 12:25:11
1441阅读
拿别人家的东西 写写啊 不乐意就忍了 还是先道歉 再发 并无什么好处 多谢 除了研究勿扰pytorch-lightning 是建立在pytorch之上的高层次模型接口。pytorch-lightning 之于 pytorch，就如同keras之于 tensorflow.pytorch-lightning 有以下一些引人注目的功能：可以不必编写自定义循环，只要指定loss计算方法即可。可以通过cal
转载
2024-05-03 13:54:40
163阅读
PyTorch训练加速的17种方法整理了几个现阶段实用的：torch.optim.lr_scheduler.CyclicLR 和 torch.optim.lr_scheduler.OneCycleLR. 传送门：Optim
当使用 torch.utils.data.DataLoader 时，设置 num_workers > 0，而不是默认值 0，同时设置 pin_memory=True，而不
转载
2023-11-04 16:09:13
242阅读
掌握这 17 种方法，用最省力的方式，加速你的 Pytorch 深度学习训练。近日，Reddit 上一个帖子热度爆表。主题内容是关于怎样加速 PyTorch 训练。原文作者是来自苏黎世联邦理工学院的计算机科学硕士生 LORENZ KUHN，文章向我们介绍了在使用 PyTorch 训练深度模型时最省力、最有效的 17 种方法。该文所提方法，都是假设你在 GPU 环境下训练模型。具体内容如下。17
转载
2023-10-13 11:00:42
141阅读
使用不同学习率的schedule；在DataLoader中：使用多个worker&使用pin memory；最大化batch size；使用自动混合精度（AMP）；使用不同的优化器optimizer；打开cudnn benchmark；避免CPU和GPU之间频繁传输数据；使用梯度/激活checkpointing；使用累计梯度；使用DistributedDataParallel进行多GPU训
转载
2024-02-21 08:09:20
60阅读
当属于预训练模型属于下面的情况的时候，可以采用这个加速的技巧：固定前部分的层，只改变网络后面层的参数。比如，使用vgg16的预训练模型，固定特征提取层，改变后面的全连接层。要注意的是，如果固定的是特征提取层+一个全连接层，也可以使用这个技巧，只要固定的是前一部分。具体的做法是： 把所有的数据都输入进去特征层，把得到的输出保存成张量保存在内存（如果太多还可以保存在本地）中，无论有多少批次，
转载
2023-10-14 22:09:15
175阅读
本篇文章主要对训练 LLM 以及部署应用时的精度问题进行了一些探讨和实践，读过后应该会对常用的浮点数 FP16，FP32，BF16 有一个更好的理解~
# PyTorch Lightning Trainer Epoch 使用指南
## 概述
本文将教会你如何使用PyTorch Lightning中的`Trainer`模块来训练机器学习模型的每个epoch。我们将通过以下步骤来实现：
1. 创建模型和数据加载器
2. 配置训练器
3. 定义训练循环
4. 训练模型的每个epoch
首先，让我们来看一下整个过程的流程图：
```mermaid
原创
2024-01-07 11:54:28
381阅读
权重的初始化一般使用nn.init.xavier_uniform_()初始化权重 用nn.init.constant_(i.bias,0)初始化偏置，置为0 具体目前不太懂，先记着for i in model.modules():
# i和nn.Conv2d类型一致
if isinstance(i,nn.Conv2d):
# xavier_uniform 一种初始化
转载
2024-06-07 06:40:02
58阅读
文章目录前言数据Dataset类DataLoader类transform裁剪-Crop翻转和旋转-Flip and Rotation图像变换对transforms操作，使数据增强更灵活模型模型定义权值初始化权值初始化流程常用初始化方法模型Finetune用预训练的模型参数对新模型的权值进行初始化不同层设置不同的学习率损失函数和优化器损失函数L1范数损失 L1Loss均方误差损失 MSELoss交
转载
2023-08-10 14:25:46
319阅读
