TechOnly的博客_深度学习(4)

陈丹琦博士论文里对attention机制的讲解

j

转载 2022-07-19 11:54:38 47 阅读

sh run安装cuda失败，Finished with code: 256

要先禁用nouveau保证lsmod |grep nouveau不显示信息

centos

原创 2022-07-19 11:54:25 1470 阅读

position embedding 代码

第二种实现

h

原创 2022-07-19 11:54:18 108 阅读

rollout的意思

SeqGAN和LeakGAN里都提到这个东西，感觉就是用上一个词的输出作为下一个要生成的词的输

j

原创 2022-07-19 11:53:24 148 阅读

tensor2tensor 添加一个problem

仿照data_generators文件夹里的比如ptb.py写一个新的比如ptb2.py，然后在all_problems.py写上即注册，

文件名

数据预处理

原创 2022-07-19 11:53:18 67 阅读

BERT加速，BERT inference加速，BERT实用加速

从头预训练一个针对的那1个任务的3层BERT，保持预训练和inference时的一致性，速度加速4倍，精度不变。

其它

原创 2022-07-19 11:52:30 123 阅读

sqlova/很多wikisql模型里的 table-aware 的意思

问题和表头都作为BERT的输入，两者的信息在BERT层就有交互，During question encoding sta

sed

原创 2022-07-19 11:52:19 30 阅读

讲LSTM的一篇好文

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

github

转载 2022-07-19 11:52:19 56 阅读

seq2seq attention代码实现 / attention_decoder使用

from tensorflow.contrib.legacy_seq2seq.python.ops import seq2seq as seq2seq_lib # padding的是0 self.sequence_len = tf.reduce_sum(tf.sign(self.inputs), reduction_indices=1) ...

tensorflow

python

原创 2022-07-19 11:51:26 145 阅读

词向量工程化多线程节省内存

如果有N个模型实例在内存，就要有N份词向量在内存，解决方法：在模型外面维护1个词向量库，接口，...

词向量

解决方法

原创 2022-07-19 11:51:13 49 阅读

RNN里门(gate) 的理解

门不是像mask一样造成 0 或 1 的输出，而是限流的作用，控制数值大小，这靠点乘操作实现，（点乘而不求和就没有cosine相似度的含义，）要控制数值大小，点乘是最好的选择。这时再看LSTM的公式，公式里 i f o 明显就是将点乘的另一乘数限流/控制了，

点乘

限流

相似度

原创 2022-07-19 11:51:02 116 阅读

报错 Attempted to pad to a smaller size than the input element

跑BERT的时候报的错，因为准备tfrecord的时候max_seq_length写的512，而训练fine-tune时max_seq_length写的256

j

原创 2022-07-19 11:50:33 107 阅读

没有GPU如何学deep learning，免费云上GPU

https://www.kaggle.com/guotong1988/we-can-use-tensorflow-with-gpu-here-online和 https://worksheets.codalab.org/

tensorflow

原创 2022-07-19 11:49:55 38 阅读

BERT 打印loss

if mode == tf.estimator.ModeKeys.TRAIN: train_op = optimization.create_optimizer( total_loss, lear

github

原创 2022-07-19 11:49:34 152 阅读

BERT fine-tune之后 predict或eval时模型没有加载没有效果

仔细阅读run_classifier.py源码，可能是训练阶段没有成功加载预训练好的模型文件，--ini

加载

原创 2022-07-19 11:49:24 133 阅读

beam search 简单例子实现及讲解

from math import logfrom numpy import arrayfrom numpy import argmax# beam searchdef beam_search_decoder(data, k): sequences = [[list(), 1.0]] # walk over each step in sequence for row

java

原创 2022-07-19 11:49:05 161 阅读

只用TensorFlow的反向传播实现的RNN

rnn.pydef simple_rnn(cell,inputs,init_state=None,batch_size=None,dtype=None): state = init_state if state is None: state = cell.zero_state(batch_size, dtype) outputs = [] f

git

tensorflow

lua

原创 2022-07-19 11:48:54 87 阅读

LSTM，GRU最权威的公式

摘自pytorch官方文档LSTM代码细节：import torch.nn as nnfrom torch.autograd import *import torchbatch_size = 3num_layer = 2hidden_size = 20feature_size = 10rnn = nn.LSTM(feature_size, hidden_size, num

java

原创 2022-07-19 11:48:35 287 阅读

论文公式里的加号结合代码的一些常识

X1是[batch_size,feature_size] X2是[batch_size,feature_size] X1*W1+X2*W2等价于[X1:X2]*W3 其中*是矩阵相乘,:是feature dimension concat W1是[feature_size,feature_size2] W2是[feature_size,feature_size2] W3是[feature

矩阵相乘

原创 2022-07-19 11:48:30 54 阅读

关于MONTE CARLO TREE SEARCH提前应该知道的

The algorithm progressively builds a partial game tree, guided by the results of previous explora

ide

原创 2022-07-19 11:45:34 28 阅读

seqgan 理解2

针对上图的公式，要最大化J(θ)，如何最大化这个（目标函数）？注意θ已是神经网络的参数，y和s是神经网络的输入，而联想到我们一般是要最小化一个神经网络的cost，则综上，只要用梯度下降法最小化负的J(θ)就达到最大化J(θ)的目的了！

神经网络

最小化

梯度下降法

原创 2022-07-19 11:45:02 40 阅读

除了babi之外的文本推理数据集

The Stanford Natural Language Inference (SNLI) CorpusThe Multi-Genre Natural Language Inference (MultiNLI) corpusdeepmind NarrativeQA

java

原创 2022-07-19 11:44:30 54 阅读

不少Gate或Node运算子的反向传播代码

https://github.com/vinhkhuc/MemN2N-babi-python/blob/master/memn2n/nn.py

python

github

转载 2022-07-19 11:41:57 29 阅读

神经网络做regression，模型不收敛

改成最后一层没有激活函数

激活函数

原创 2022-07-19 11:41:25 188 阅读

R-Drop 核心代码

https://github.com/dropreg/R-Drop

github

原创 2022-07-19 11:38:21 39 阅读

seq2seq 预测时 feed 自己的数据（接上文）

def decode(): # 改写这个函数 with tf.Session() as sess: # Create model and load parameters. model = create_model(sess, True) model.batch_size = 1 # We decode one sentence at a time. # Load

git

数据

sed

原创 2022-07-19 11:37:48 42 阅读

seq2seq 做翻译，训练时最终feed的数据的样子（接上文）

50是“但” 76是“等了” 58是 “五年” 之所以有多个50 50 50 50是因为batchsize比数据量大 1是开始 2是句子结束可见竖列前四个也是一样的 76是 “but” 64是 “waited” 100是 “5” 5是 “years” 可见00-09的前4竖列是1，对应decoder_inputs的长度

java

原创 2022-07-19 11:37:37 49 阅读

实测用LSTMcell替换掉最简单的RNNcell的意义

import tensorflow as tffrom tensorflow.contrib import rnnx = tf.constant([[1]], dtype = tf.float32)x2 = tf.constant([[0]], dtype = tf.float32)rnn_cell = rnn.BasicRNNCell(2)lstm_cell = rnn.BasicLSTM

tensorflow

原创 2022-07-19 11:37:18 44 阅读

多标签分类，跑出合理结果的loss设计，以及每个label都有权重

kl_compute = tf.keras.losses.KLDivergence( reduction=losses_utils.ReductionV2.NONE, name='K

深度学习

多标签分类

tensorflow

git

权重

原创 2022-07-19 11:35:36 46 阅读

epoch的定义和 iteration/step的定义

iteration：数据进行一次前向-后向的训练 batchsize：每次迭代训练图片

迭代

数据

原创 2022-07-19 11:35:30 922 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

踏雪至山巅

陈丹琦博士论文里对attention机制的讲解

sh run安装cuda失败，Finished with code: 256

position embedding 代码

rollout的意思

tensor2tensor 添加一个problem

BERT加速，BERT inference加速，BERT实用加速

sqlova/很多wikisql模型里的 table-aware 的意思

讲LSTM的一篇好文

seq2seq attention代码实现 / attention_decoder使用

词向量工程化多线程节省内存

RNN里门(gate) 的理解

报错 Attempted to pad to a smaller size than the input element

没有GPU如何学deep learning，免费云上GPU

BERT 打印loss

BERT fine-tune之后 predict或eval时模型没有加载没有效果

beam search 简单例子实现及讲解

只用TensorFlow的反向传播实现的RNN

LSTM，GRU最权威的公式

论文公式里的加号结合代码的一些常识

关于MONTE CARLO TREE SEARCH提前应该知道的

seqgan 理解2

除了babi之外的文本推理数据集

不少Gate或Node运算子的反向传播代码

神经网络做regression，模型不收敛

R-Drop 核心代码

seq2seq 预测时 feed 自己的数据（接上文）

seq2seq 做翻译，训练时最终feed的数据的样子（接上文）

实测用LSTMcell替换掉最简单的RNNcell的意义

多标签分类，跑出合理结果的loss设计，以及每个label都有权重

epoch的定义和 iteration/step的定义