TechOnly的博客_深度学习(3)

【翻译】End-to-End Reinforcement Learning of Dialogue Agents for Information Access

paper

数据库

聊天机器人

数据

翻译 2022-07-19 12:19:09 73 阅读

LSTM GRU 得到所有的state 而不是最后一个state

def custom_net(cell, inputs, init_state, timesteps, time_major=False, scope='custom_net_0'): # convert to time major format if not time_major: inputs_tm = tf.transpose(inputs, [1, 0, -1

github

原创 2022-07-19 12:18:19 65 阅读

seq2seq里的 attention机制的原理及代码及个人理解

其中其中其中综合可见是所有encoder的输出和 decoder的每个state 进行一个类似score的操作def attention(self, prev_state, enc_outputs): """ Attention model for Neural Machine Translation :param pr

#if

github

原创 2022-07-19 12:17:46 253 阅读

GNN graph neural network 最早的论文

A New Model for Learning in Graph Domainshttps://www.researchgate.net/profile/Franco_Scarselli/publication/4202380_A_new_model_for_earning_in_raph_domains/links/0c9605188cd580504f000000.pdf

.net

原创 2022-07-19 12:14:21 113 阅读

attention matrix 可视化代码

https://stackoverflow.com/questions/40601552/visualizing-attention-activation-in-tensorflow

tensorflow

转载 2022-07-19 12:13:36 160 阅读

GCN graph convolutional networks 详解

首先要充分了解卷积：然后再看graph上

卷积

javascript

原创 2022-07-19 12:13:00 130 阅读

NER 加词典

其它

原创 2022-07-19 12:09:43 67 阅读

一组向量和一组向量的attention计算，pytorch实现

cl

其它

原创 2022-07-19 12:09:01 140 阅读

一些attention的tensorflow实现和使用方法

https://github.com/allenai/document-qa/blob/master/docqa/nn/attention.py 使用方法：self.outputs, _ = rnn.bidirectional_dynamic_rnn( lstm_cell_fw, lstm_cell_bw, self.inp

github

原创 2022-07-19 12:08:52 165 阅读

tensorflow 得到RNN的最后一个非padding 的 hidden state

def collect_final_step_of_lstm(lstm_representation, lengths): # lstm_representation: [batch_size, passsage_length, dim] # lengths: [batch_size] lengths = tf.maximum(lengths, tf.zeros_like(len

tensorflow

python

原创 2022-07-19 12:08:40 28 阅读

adaptive embedding 原理及pytorch代码

就是高频词用比如1024或512维，

其它

原创 2022-07-19 12:08:06 94 阅读

为什么position embedding就是相加一个随机矩阵

position embedding BERT 里的实现：要思考一个问题，什么是position embedding，就是：如果每个position的位置用0,1,2,3,4…来表示的话，怎样像word embedding似的输进模型里呢，就是两种办法： one-hot 或者把position的0,1,2,3,4看成word id一样用embedding_lookup表示成和word

其它

原创 2022-07-19 12:07:58 245 阅读

transformer with encoder and decoder 在翻译任务上的示意动图

http://jalammar.github.io/images/t/transformer_decoding_1.gifhttp://jalammar.github.io/images/t/transformer_decoding_2.gif

github

转载 2022-07-19 12:07:03 117 阅读

一个向量和一组向量的attention计算，mxnet实现

user_input = mx.sy

ubuntu

github

原创 2022-07-19 12:05:43 61 阅读

OpenNMT做端对端的接口使用

安装：其中requirements.txt里

python

git

sed

原创 2022-07-19 12:05:16 187 阅读

pytorch 以cosine为loss训练

其中 rep_a为[batch_size,hidden_dim] rep_b为[batch_size,hidden_dim] labels为[batch_size]摘自https://github.com/UKPLab/sentence-transformers/blob/master/sentence_transformers/models/TransformerModel.py

github

原创 2022-07-19 12:03:12 256 阅读

ngram textcnn

“来一首周杰伦的”，如果n=3：_来一，来一首，一首周，首周杰，周杰伦，杰伦的，伦的_ 这句话分成了7份，分别进入textcnn，再取mean或max，因为是3-gram，所以这些可以提前算好，为inference阶段提速。

其它

原创 2022-07-19 12:02:29 66 阅读

深度学习和 tensorflow 学习资料收集

RT

深度学习

tensorflow

原创 2022-07-19 12:02:18 85 阅读

TextCNN + Attention 代码

https://github.com/tcxdgit/cnn_multilabel_classification/blob/master/cnn_attention_model.py

sed

github

git

原创 2022-07-19 12:01:48 297 阅读

Deep Learning (Yoshua Bengio, Ian Goodfellow, Aaron Courville) 翻译 Part 2 第6章

6.3 hidden unitsRELU是hidden单元很好的默认选择，rectified linear函数在0点不是可微分的，这貌似会使r

深度学习

激活函数

神经网络

最小值

翻译 2022-07-19 12:01:38 66 阅读

BERT如何打印eval信息

BERT目前只有在所有训练结束后才会eval一次，所以要把flags.DEFINE_float("num_train_epochs", 3.0, "Total number of training epochs to perform.")改到比现在已训练步数小时，跑一下就可以看一次。还要改下这个flags.DEFINE_string( "init_che

github

原创 2022-07-19 12:01:11 101 阅读

LSTM GRU tensorflow代码和原理图中的箭头的对应关系

上图为LSTMcell，向上指的箭头h_t是output，向右指的箭头h_t和C_t是state，对于上图的GRU output和

tensorflow

原创 2022-07-19 11:59:36 61 阅读

Pointer Networks 理解

The output of the attention mechanism（也就是整体的输出） is a softmax distribution with dicti

数据

原创 2022-07-19 11:59:30 57 阅读

矩阵相乘的本质

设想一个[30,500]的矩阵和[500,10]的矩阵相乘然后计算的过程是设想我们把500

点乘

相似度

矩阵相乘

原创 2022-07-19 11:58:45 223 阅读

通过理解全连接神经网络理解了attention

以往理解的全连接神经网络的作用，是个memory，是用来分类，而近期发现，全连接神经网络其实是学到了 L层每个输入节点对 L+1层每个输出节点的加权求和贡献比，每个边是一个权重也就是一个输入节点到一个输出节点的贡献其实就是attention回想transformer里的K、V、Q，是可以把attention matrix看成全连接层的，[batch,seq_len1,seq_len2]

全连接

神经网络

权重

原创 2022-07-19 11:58:45 129 阅读

论文里公式P(Y|X)结合代码的一些常识

seq2seq的一问一答， X是输入的一句话，Y是输出的一句话，就要预测P(Y|X)最大的概率，这时，可

神经网络

原创 2022-07-19 11:58:39 84 阅读

销量等大数值特征输入深度模型

一个特征的

决策树

算法

机器学习

离散化

原创 2022-07-19 11:57:07 34 阅读

GNN paper read roadmap

嗯

j

原创 2022-07-19 11:56:18 115 阅读

GPT-2 详解

http://jalammar.github.io/illustrated-gpt2/

深度学习

github

转载 2022-07-19 11:55:07 570 阅读

loss不下降，训不动

可能是学习率太大，但也有可能也是因为数据给错了。。

数据

原创 2022-07-19 11:54:47 163 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

踏雪至山巅

【翻译】End-to-End Reinforcement Learning of Dialogue Agents for Information Access

LSTM GRU 得到所有的state 而不是最后一个state

seq2seq里的 attention机制的原理及代码及个人理解

GNN graph neural network 最早的论文

attention matrix 可视化代码

GCN graph convolutional networks 详解

NER 加词典

一组向量和一组向量的attention计算，pytorch实现

一些attention的tensorflow实现和使用方法

tensorflow 得到RNN的最后一个非padding 的 hidden state

adaptive embedding 原理及pytorch代码

为什么position embedding就是相加一个随机矩阵

transformer with encoder and decoder 在翻译任务上的示意动图

一个向量和一组向量的attention计算，mxnet实现

OpenNMT做端对端的接口使用

pytorch 以cosine为loss训练

ngram textcnn

深度学习和 tensorflow 学习资料收集

TextCNN + Attention 代码

Deep Learning (Yoshua Bengio, Ian Goodfellow, Aaron Courville) 翻译 Part 2 第6章

BERT如何打印eval信息

LSTM GRU tensorflow代码和原理图中的箭头的对应关系

Pointer Networks 理解

矩阵相乘的本质

通过理解全连接神经网络理解了attention

论文里公式P(Y|X)结合代码的一些常识

销量等大数值特征输入深度模型

GNN paper read roadmap

GPT-2 详解

loss不下降，训不动