使用GPU训练模型前言本文是《pytorch-tensorflow-Comparative study》，pytorch和tensorflow对比学习专栏，第五章—— 使用GPU训练模型。虽然说这两个框架在语法和接口的命名上有很多地方是不同的，但是深度学习的建模过程确实基本上都是一个套路的。所以该笔记的笔记方式是：在使用相同的处理功能模块上，对比记录pytorch和tensorflow两者的API
转载
2024-03-07 14:05:54
133阅读
BERT, GPT, ELMo之间的不同点关于特征提取器:
ELMo采用两部分双层双向LSTM进行特征提取, 然后再进行特征拼接来融合语义信息.GPT和BERT采用Transformer进行特征提取. BERT采用的是Transformer架构中的Encoder模块. GPT采用的是Transformer架构中的Decoder模块.很多NLP任务表明Transformer的特征提取能力强于L
转载
2024-07-18 14:23:03
33阅读
TensorBoard（2.x版本）使用入门TensorBoard工具介绍TensorBoard工作原理配套TensorBoard的代码编写一个简单的操作实例TensorFlow代码TensorBoard操作一个稍微复杂的实例TensorFlow代码TensorBoard操作注意事项说明Jupyter环境下的操作其他说明 TensorBoard工具介绍TensorBoard是TensorFlow
转载
2024-04-14 17:09:46
96阅读
本文基于transformers库，调用bert模型，对中文、英文的稠密向量进行探究开始之前还是要说下废话，主要是想吐槽下，为啥写这个东西呢？因为我找了很多文章要么不是不清晰，要么就是基于pytorch，所以特地写了这篇基于tensorflow2.0+的运行环境这个环境没有严格要求，仅供参考 win10 + python 3.8 + tensorflow 2.9.1 + transformers
文章目录前言简介模型、优化器与损失函数选择神经网络的整体结构优化器选择损失函数选择需要导入的包和说明第一部分：搭建整体结构step1: 定义DataSet，加载数据step2:装载dataloader，定义批处理函数step3:生成层--预训练模块，测试word embeddingstep4:生成层--BiLSTM和全连接层，测试forward问题1：使用Cross Entropy Loss到底
关于Tensorflow2.0版本的Bert模型 我在网上找了很久也没找到。大家应该都知道Bert模是用了Transformer模型的Encoder部分。并且我找到了Tensorflow2.0版本下的Transformer模型而且还做了个中英翻译所以我就把Tansformer模型稍微该了下，把Decoder部分去掉只剩下Encoder部分，并找了一些数据做了一个实体命名识别的例子。最后模型训练完准
转载
2024-05-09 13:32:33
82阅读
某某鹏BERT入门总结一、前言二、BERT简介三、准备工作1、下载2、conda换源四、anaconda安装tensorflow1、建立tensorflow虚拟环境2、安装tensorflow五、计算文本相似度1、安装bert-as-servic2、下载模型3、启动bert4、使用预训练词向量（中文测试）六、一些报错1、报错ImportError: cannot import name 'abs
转载
2024-05-10 18:41:52
955阅读
1、transformer 其实transformer最重要的就是，输入的是什莫，输出是什么，主要的组成部分是什么？ 现在明白一点输入和另外一个的输入其实相差一位，output主要是为了训练的时候，让下一个知道之前都发生了什么，让下一个输入知道上一输出的内容，为了充分学习这一句话。output是最主要的就是它具有掩蔽模块就是为了掩盖以后的，从而达到比第一个input少知道一点东西。 2.bert
转载
2023-12-17 13:17:05
400阅读
Tensorflow和Pytorch的区别：PyTorch 和 TensorFlow 都是开源机器学习库，但两者之间存在一些关键差异：1 易用性：PyTorch 被认为更易于使用且具有更直观的界面，而 TensorFlow 更复杂且学习曲线更陡峭。2 动态计算图：PyTorch 使用动态计算图，这允许更大的灵活性和更快的开发，而 TensorFlow 使用需要在模型运行之前定义的静态计算图。3 性
转载
2023-08-10 18:21:48
256阅读
背景使用BERT-TensorFlow解决法研杯要素识别任务，该任务其实是一个多标签文本分类任务。模型的具体不是本文重点，故于此不细细展开说明。本文重点阐述如何部署模型。模型部署官方推荐TensorFlow模型在生产环境中提供服务时使用SavedModel格式。SavedModel格式是一种通用的、语言中立的、密闭的、可恢复的TensorFlow模型序列化格式。SavedModel封装了Tenso
转载
2024-03-28 10:40:30
74阅读
本文你将学到：- 如何将官方ckpt文件转为pytorch.bin以供pytorch/tensorflow使用- 如何在BERT的基础上拼接模型解决下游任务
原创
2021-06-17 16:26:03
3790阅读
Tensorflow2.0—YOLO V4-tiny网络原理及代码解析（三）- 损失函数的构建YOLO V4中的损失函数与V3还是有比较大的区别的，具体的可以看YOLOV4与YOLOV3的区别。 代码是在nets文件夹下面的loss.py文件中，在train.py中引用的是：model_loss = Lambda(yolo_loss, output_shape=(1,), name='yolo_l
转载
2024-05-30 08:53:17
161阅读
1 模型结构论文信息：2018年10月，谷歌，NAACL 论文地址 https://arxiv.org/pdf/1810.04805.pdf 模型和代码地址 https://github.com/google-research/bertBERT自18年10月问世以来，就引起了NLP业界的广泛关注。毫不夸张的说，BERT基本上是近几年来NLP业界意义最大的一个创新，其意义主要包括大幅提高了GLUE任
转载
2024-03-18 16:51:33
86阅读
参考博客：[1] Pytorch 1.8 vs TensorFlow 2.5(2021)[2] PyTorch vs TensorFlow in 2022我第一次接触深度学习的时候，只知道 PyTorch 和 TensorFlow 两种深度学习框架，对于两者的区别，听的最多的一句话就是“PyTorch 支持动态计算图，TensorFlow则是静态计算图”。 但实际上，Google 在2017年十月
转载
2023-08-11 15:54:16
430阅读
Keras对人工智能来说，是一款比较好的入门框架。它是一个高级的Python神经网络框架，已经被添加到TensorFlow中，成为其默认的框架，为TensorFlow提供更高级的API。如果将TensorFlow比喻为编程界的Java或者C++，那么Keras就是编程界的Python，它作为TensorFlow的高层封装，可以与TensorFlow联合使用，用它可以快速搭建模型。并且Keras是T
转载
2024-08-09 16:55:51
99阅读
BERT、RoBerta、ERNIE模型对比和改进点总结1、BERT总结首先BERT是transformers的encoder部分，BERT有两大训练任务分别是：mask lm：给定一句话，随机抹去这句话中的一个或几个词，要求根据剩余词汇预测被抹去的几个词分别是什么。 next sentence prediction：给定一篇文章中的两句话，判断第二句话在文本中是否紧跟在第一句
转载
2023-09-27 19:22:27
146阅读
什么是sklearnSklearn原称是Scikit learn，是机器学习领域中最知名的python模块之一，是基于Python语言的机器学习的工具。他主要建立在NumPy，SciPy，matplotlib之上，提供简单高效，用于数据挖掘，数据分析等的工具，最重要的是，他是开源的，基于BSD许可证，可以商业使用。这样子，就给了我们无限的想象。sklearn与tensorflow优劣势目前，在社区
转载
2024-02-19 17:47:17
119阅读
之前也说过，tf 和 t 的层本质区别就是 tf 的是层函数，调用即可，t 的是类，需要初始化后再调用实例(实例都是callable的) 卷积tensorflow.nn.conv2dimport tensorflow as tf
sess = tf.Session()
input = tf.Variable(tf.random_normal([1,3
转载
2023-08-22 20:52:17
100阅读
1.pytorch和tensorflow的区别？ 1、首先是图的创建和调试 pytorch图结构的创建是动态的，即图是运行时创建的，更容易调试pytorch代码 tensorflow图结构的创建是静态的，即图首先被“编译”，然后再运行。 （一个好的框架应该要具备三点： ——方便实现大计算图； ——可自动求变量的导数； ——可简单的运行在GPU上； pytorch都做到了，但是现在很多公司用的都是
转载
2024-05-09 22:09:52
1072阅读
## TensorFlow和Python的区别
在机器学习和深度学习领域，TensorFlow被广泛应用于构建和训练神经网络模型。然而，有些初学者可能会困惑于TensorFlow和Python之间的区别。本文将详细介绍TensorFlow和Python之间的关系以及它们的区别，并提供一些代码示例帮助读者更好地理解。
### 什么是TensorFlow？
TensorFlow是一个开源的机器学
原创
2023-08-27 12:16:54
232阅读
