教程同济子豪兄 https://space.bilibili.com/1900783代码运行云GPU平台：https://featurize.cn/?s=d7ce99f842414bfcaea5662a97581bd1DFF https://jacobgil.github.io/pytorch-gradcam-book/Deep Feature Factorizations.html可解释性分析方
转载
2024-01-29 21:26:28
53阅读
（给机器学习算法与Python学习加星标，提升AI技能）GPT-3最近又开始火起一阵，关于GPT-3的各种精彩文章现在也很多，其中不光有展示了它生成结果的，也有对结果一些思考的，还有可视化其工作原理的。由于GPT-3各种参数应用太强大，以至于深度学习之父Hinton都发推特表示，从GPT-3惊人的性能可以推测，生命、宇宙和万物的答案，只是4万亿个参数而已。虽然都已经有了这些资料，但文摘菌还是花了很
转载
2024-01-10 23:52:33
190阅读
前言：本人研究领域为交通方面，做科研需要搭建GCN有关的网络，比如GCN-GAN【1】，基于GCN的权值完成网络【2】，以及基于这些网络的新的GCN网络框架。但是搜索了一些网上使用pytorch搭建GCN网络的资料，只有github上面的无解释代码和最近几年发表的论文，有详细讲解的资料很少，这对于快速入门GCN实战，会有很大的门槛，鉴于此，经过几天的探索实战，我将自己的关于使用pytorch搭建G
GPT分区是一种全新的分区结构，它是硬盘分区表结构的升级标准。MBR的分区结构已经不能满足当下科技发展的需求。它和电脑硬件升级是一个道理，所以说软件和硬件是相辅相成的关系，都需要更新换代。只不过软件的更新换代是在硬件的基础之上开发并更新的。GPT分区也是硬件发展的需要，就像鱼儿离不开水一样。MBR分区与GPT分区GPT(GUID Partition Table)中文名称叫做全局唯一标识分区表。它和
转载
2023-09-27 17:10:49
185阅读
生成式建模知识回顾: [1] 生成式建模概述 [2] Transformer I，Transformer II [3] 变分自编码器 [4] 生成对抗网络，高级生成对抗网络 I，高级生成对抗网络 II [5] 自回归模型 [6] 归一化流模型 [7] 基于能量的模型 [8] 扩散模型 I, 扩散模型 II在本文中，我们将使用 PyTorch 构建一个类似于 GPT-3 的简单decoder-onl
# 使用 PyTorch 实现 GPT-2 模型的指南
在本篇文章中，我们将一步一步地学习如何使用 PyTorch 进行 GPT-2 模型的搭建和使用。GPT-2 是 OpenAI 开发的一种语言生成模型，它能够根据输入的文本生成合理的下文。本文将详细介绍实现流程，并提供完整的代码和解释。
## 实现流程概述
在开始之前，我们来看看实现 GPT-2 的主要步骤。以下是步骤的总结：
| 步骤
GPT是自然语言处理领域中最受欢迎的模型之一。GPT全称为Generative Pre-trained Transformer，是一种基于Transformer模型的预训练语言模型。在接下来的文章中，我们将详细介绍GPT的原理。一、前置知识 在了解GPT原理之前，需要了解以下一些基础知识：
转载
2023-08-21 17:09:12
547阅读
这里主要解读transformers中关于GPT2的代码，主要涉及：GPT2Attention，GPT2Block，GPT2MLP以及GPT2Model# transformers安装
conda install transformers
pip install transformers首先创建GPT2模型from transformers import GPT2LMHeadModel
# 该路
转载
2023-11-29 10:25:14
684阅读
自己是计算机方向研一的学生，打算做的方向是图像分割方面，又因为u-net也是做医学图像方面很基础的网络，于是写个文章记录下自己复现别人代码的过程，学习借鉴一下。同时有错误也请各位大佬批评指正。 文章目录整体的文件目录一、一些参数的调整二、训练过程1.训练的结果2.遇到的问题3.验证结果4.总结 整体的文件目录一、一些参数的调整 1、先把action中的默认值设置为train，随后跑完得到模型权重后
转载
2024-03-01 13:45:35
53阅读
Java算法必备（背）之快读快输出总所周知，使用Java在算法中是比别的语言低一等 比使用别的语言更加快乐，你可以wa得更多更莫名其妙 学到更多东西。所以在读入方面，Java理所当然是更加鸡肋 文章目录Java算法必备（背）之快读快输出为什么要使用快读快输出？StreamTokenizer类和PrintWriter类的介绍StreamTokenizer类的使用PrintWriter类的使用来个例子
转载
2024-07-10 10:19:35
24阅读
1 GPT-2 模型结构GPT-2的整体结构如下图，GPT-2是以Transformer为基础构建的，使用字节对编码的方法进行数据预处理，通过预测下一个词任务进行预训练的语言模型。1.1 GPT-2 功能简介GPT-2 就是一个语言模型，能够根据上文预测下一个单词，所以它就可以利用预训练已经学到的知识来生成文本，如生成新闻。也可以使用另一些数据进行微调，生成有特定格式或者主题
转载
2024-01-25 18:22:14
92阅读
向AI转型的程序员都关注了这个号????????????本源码模型主要用了SamLynnEvans Transformer 的源码的解码部分。以及pytorch自带的预训练模
转载
2023-04-07 10:31:03
421阅读
看了网上很多版本叫你安装gpu版本的pytorch后，自己写了一个比较简单的方法！步骤很少，而且不会出什么问题！不仅在虚拟环境，在你的最初的那个环境也可以这样安装！而且下载速度很快！亲测有效！torchvision安装也是同理！注意我的是安装了anaconda！1.知道自己的cuda版本在cmd命令下输入：nvidia-smi 我的版本是11.4.2.查找cuda版本对应的pytorc
2434: [Noi2011]阿狸的打字机Time Limit:10 Sec Memory Limit:128 MBSubmit:544
Solved:300
[
Submit][
Status][
Discuss]
Description阿狸喜欢收藏各种稀奇古怪的东西，最近他淘到一台老式的打字机。打字机上只有28个按键，分别印有26个小写英文字母和'B'、'P'两个字母。
转载
2024-07-28 18:07:40
51阅读
BPE，字节对编码。
原创
2024-07-01 15:16:15
114阅读
GPT分区是一种全新的分区结构，它是硬盘分区表结构的升级标准。MBR的分区结构已经不能满足当下科技发展的需求。它和电脑硬件升级是一个道理，所以说软件和硬件是相辅相成的关系，都需要更新换代。只不过软件的更新换代是在硬件的基础之上开发并更新的。GPT分区也是硬件发展的需要，就像鱼儿离不开水一样。  
转载
2024-01-27 21:05:21
74阅读
先上结论：parameter在反向传播会被optimizer.step更新，buffer在反向传播不会被更新parameter和buffer都被保存在model.state_dict()返回的OrderedDict中（这也是模型保存的对象）模型进行设备移动时，模型中注册的参数(parameter和buffer)，即model.state_dict()中的内容会同时进行移动咱来解释一下！ 文章目录先
转载
2023-07-04 14:06:44
106阅读
文章目录1.PyTorch入门第一步1.1Tensor1.2 Autograd：自动微分1.3 神经网络1.3.1 定义网络1.3.2 损失函数1.3.3 优化器1.3.4 数据加载与预处理1.4 小试牛刀：CIFAR-10分类1.4.1 CIFAR-10数据加载及预处理 操作系统：Win10家庭版 陈老师在介绍里讲不建议只能使用Windows环境的人学习他这本书，可我看了几页发现真的好适合
转载
2023-07-10 23:08:26
126阅读
# 《PyTorch官方教程中文版》， PyTorch之小试牛刀
# PyTorch的核心之一：张量，类似于numpy，但可以在GPU上运行
# 在介绍PyTorch之前，本章节将首先使用numpy实现网络
# 代码解读参考：
import numpy as np
import torch
# N是批大小; D_in是输入维度; H是隐藏的维度; D_out是输出维度。
N, D_in,
转载
2023-11-25 13:26:33
112阅读
pytorch torchvision.transforms.RandomResizedCrop 方法解读1. 包含功能：(1) Crop：随机大小和随机宽高比的裁剪，且随机的范围可以指定。(2) Resize： Resize到指定的大小。先进行随机大小和随机宽高比的Crop操作，再对Crop出来的区域进行Resize操作。2. 参数介绍下面使用的元组不是指的Python的tu
转载
2023-12-04 13:14:36
76阅读
