pytorch DP模式和DDP模式 pytorch dropout参数

一点点总结

回过头看看这三天的模型，从一般LSTM Seq2Seq -> GRU Seq2Seq -> 基于注意力机制的 Seq2Seq

在构建模型的时候，对Encoder和Decoder进行拆分，最后通过Seq2Seq整合，如果含有Attention机制，还需要增加attention模块。

1. 先看三个模型的Encoder部分

Encoder就是处理输入Seq的模块，LSTM 和 GRU Seq2Seq比较类似，区别在于使用的cell类型(LSTM还是GRU)和输出结果(hidden，cell还是只有hidden)，attention机制Seq2Seq复杂一些，因为是双向的。

1.1 LSTM Seq2Seq Encoder

2层LSTM，数据顺序从下往上。

Encoder输入参数：

• input_dim输入encoder的one-hot向量维度，这个和输入词汇大小一致，就是输入字典长度
• emb_dim嵌入层的维度，这一层将one-hot向量转为密度向量,256 词嵌入在 pytorch 中只需要调用 torch.nn.Embedding(m, n) 就可以了，m 表示单词的总数目，n 表示词嵌入的维度，是一种降维，相当于是一个大矩阵，矩阵的每一行表示一个单词。
• hid_dim隐藏和cell的状态维度,512
• n_layers RNN层数，这里就是2
• dropout是要使用的丢失量。这是一个防止过度拟合的正则化参数，0.5

Encoder返回参数：

• hidden，隐藏状态
• cell，单元状态 看一下实现

class Encoder(nn.Module): def __init__(self, input_dim, emb_dim, hid_dim, n_layers, dropout): super(Encoder,self).__init__() self.input_dim=input_dim self.emb_dim=emb_dim self.hid_dim=hid_dim self.n_layers=n_layers self.dropout=dropout self.embedding=nn.Embedding(input_dim,emb_dim) self.rnn=nn.LSTM(emb_dim,hid_dim,n_layers,dropout=dropout) self.dropout=nn.Dropout(dropout) def forward(self, src): embedded=self.dropout(self.embedding(src)) outputs, (hidden,cell)=self.rnn(embedded) return hidden ,cell

1.2 GRU Seq2Seq Encoder

和LSTM比较类似，做了单层GRU，dropout不再作为参数传入GRU，返回结果只有hidden状态 Encoder输入参数：

• input_dim输入encoder的one-hot向量维度，这个和输入词汇大小一致，就是输入字典长度
• emb_dim嵌入层的维度，这一层将one-hot向量转为密度向量,256 词嵌入在 pytorch 中只需要调用 torch.nn.Embedding(m, n) 就可以了，m 表示单词的总数目，n 表示词嵌入的维度，是一种降维，相当于是一个大矩阵，矩阵的每一行表示一个单词。
• hid_dim隐藏和cell的状态维度,512
• dropout是要使用的丢失量。这是一个防止过度拟合的正则化参数，0.5

Encoder返回参数：

• hidden，隐藏状态 看一下实现

class Encoder(nn.Module): def __init__(self, input_dim, emb_dim, hid_dim, dropout): super(Encoder,self).__init__() self.input_dim=input_dim self.emb_dim=emb_dim self.hid_dim=hid_dim self.dropout=dropout self.embedding=nn.Embedding(input_dim,emb_dim) self.rnn=nn.GRU(emb_dim,hid_dim) self.dropout=nn.Dropout(dropout) def forward(self, src): embedded=self.dropout(self.embedding(src)) outputs, hidden=self.rnn(embedded) return hidden

1.3 attention Seq2Seq Encoder

因为attention机制这个差别就比较大，使用单层GRU，通过bidirectional RNN，每层可以有两个RNN网络，这样就可以从左到右，从右到左对输入seq进行观察，得到上下文向量，从某种意义上说，是一种对文本的理解。 Encoder输入参数：

• input_dim输入encoder的one-hot向量维度，这个和输入词汇大小一致，就是输入字典长度
• emb_dim嵌入层的维度，这一层将one-hot向量转为密度向量,256 词嵌入在 pytorch 中只需要调用 torch.nn.Embedding(m, n) 就可以了，m 表示单词的总数目，n 表示词嵌入的维度，是一种降维，相当于是一个大矩阵，矩阵的每一行表示一个单词。
• enchiddim encoder隐藏和cell的状态维度,512
• dechiddim decoder隐藏和cell的状态维度,512
• dropout是要使用的丢失量。这是一个防止过度拟合的正则化参数，0.5

Encoder返回参数：

• outputs的大小为[src长度, batchsize, hiddim numdirections]，其中hiddim是来自前向RNN的隐藏状态。这里可以将(hiddim numdirections)看成是前向、后向隐藏状态的堆叠。$h1 = [h1^ightarrow; h{T}^leftarrow]$, $h2 = [h2^ightarrow; h{T-1}^leftarrow]$ ，我们也可以将所有堆叠的编码器隐藏状态表示为$ H = {h1，h2，…，h_T } $。
• hidden的大小为[nlayers numdirections, batchsize, hiddim]，其中[-2,:,:]是在结束最后时间步(即在看到最后一个单词之后)给出顶层前向RNN隐藏状态。[-1，:，:]是在结束最后时间步之后(即在看到句子中的第一个单词之后)给出顶层后向RNN隐藏状态。

看一下实现

class Encoder(nn.Module): def __init__(self, input_dim, emb_dim, enc_hid_dim, dec_hid_dim, dropout): super(Encoder,self).__init__() self.input_dim=input_dim self.emb_dim=emb_dim self.enc_hid_dim=enc_hid_dim self.dec_hid_dim=dec_hid_dim self.dropout=dropout self.embedding=nn.Embedding(input_dim,emb_dim) self.rnn=nn.GRU(emb_dim,enc_hid_dim,bidirectional=True) self.fc=nn.Linear(enc_hid_dim*2,dec_hid_dim) self.dropout=nn.Dropout(dropout) def forward(self, src): embedded=self.dropout(self.embedding(src)) outputs, hidden=self.rnn(embedded) hidden = torch.tanh(self.fc(torch.cat((hidden[-2,:,:], hidden[-1,:,:]), dim = 1))) return outputs, hidden