引言
众所周知,文本分类是自然语言处理中最常见的任务之一。而TEXTCNN是每一个NLPer入门学习,deeplearning在自然语言处理中应用的首选。相对现在火热得BERT而言,TEXTCNN得结构相对来说更加简单,但其容易被理解,模型更小,训练更快,更易灵活调整得特点,仍然被广泛应用于工业界。现就textCNN使用中的超参数,以及调整超参数的结果做相应的总结。
实验
这里使用的TEXTCNN模型可以参考:中文文本分类项目使用的数据量:85万+(由于是用专有领域的数据,具有隐私性,所以不便于公布) **分类的类别:**1497类(样本间的数据分布表现得极为不均衡) 由于存在样本类别不均衡的情况,因此这里采用了Focal loss来作为损失函数来知道模型的训练,不了解FOCAL LOSS的小伙伴可以参考:何凯明老师的focal loss。简要描述其工作为:focal loss是以预测类别的置信度的大小来约定item奖惩程度的一种方式。
多分类的FOCAL LOSS代码如下:
class MultiCEFocalLoss(torch.nn.Module):
def __init__(self, Config, gamma=2, alpha=None, reduction='mean'):
super(MultiCEFocalLoss, self).__init__()
if alpha is None:
self.alpha = Variable(torch.ones(Config.num_classes, 1))
else:
self.alpha = alpha
self.gamma = gamma
self.reduction = reduction
self.class_num = Config.num_classes
def forward(self, predict, target):
pt = F.softmax(predict, dim=1) # softmmax获取预测概率
class_mask = F.one_hot(target, self.class_num) #获取target的one hot编码
ids = target.view(-1, 1)
alpha = self.alpha[ids.data.view(-1)].cuda() # 注意,这里的alpha是给定的一个list(tensor
#),里面的元素分别是每一个类的权重因子
probs = (pt * class_mask).sum(1).view(-1, 1) # 利用onehot作为mask,提取对应的pt
log_p = probs.log()
# 同样,原始ce上增加一个动态权重衰减因子
loss = -alpha * (torch.pow((1 - probs), self.gamma)) * log_p
if self.reduction == 'mean':
loss = loss.mean()
elif self.reduction == 'sum':
loss = loss.sum()
return loss
实验涉及到超参数如下:
drop out | batch_size | learn rate | pad_size | embedding freeze | epoch |
丢弃神经单元的比例 | 训练时的批大小 | 学习率 | 句子的最大填充长度 | 训练时是否冻结初始向量 | 训练迭代次数 |
实验结果于结论
为了验证每个超参数对实验结果的影响,这里通过贪心算法的思想+控制变量法来实现:
base实现的超参数设计如下(acc=70.09%):
drop out | batch_size | learn rate | pad_size | embedding freeze | epoch |
0.2 | 128 | 1e-4 | 118 | true | 50 |
对比实验一(acc=70.69%):
drop out | batch_size | learn rate | pad_size | embedding freeze | epoch |
0.5 | 128 | 1e-4 | 118 | true | 50 |
结论: 适当的增加drop_out值有助于提升模型效果。
对比实验二:
以实验一的超参数为基准对lr进行调整。
drop out | batch_size | learn rate | pad_size | embedding freeze | epoch |
0.5 | 128 | 1e-3 | 118 | true | 50 |
以上超参数的到的结果:acc=63.13%
drop out | batch_size | learn rate | pad_size | embedding freeze | epoch |
0.5 | 128 | 1e-5 | 118 | true | 50 |
以上超参数的到的结果:acc=69.79%
drop out | batch_size | learn rate | pad_size | embedding freeze | epoch |
0.5 | 128 | 5e-5 | 118 | true | 50 |
以上超参数的到的结果:acc=70.81%
观察可知,lr过大,模型往往很难找到最优点,lr过小模型往往收敛困难。建议: 用少量数据进行多次实验,先现定出lr的最优的取值空间,再取适当的值。
对比实验三:
以实验二的超参数的最优结果为基准对pad_size进行调整。
drop out | batch_size | learn rate | pad_size | embedding freeze | epoch |
0.5 | 128 | 5e-5 | 64 | true | 50 |
以上超参数的到的结果:acc=71.16%
结论: 合理的pad_size可以保留更多有用信息,pad_size过大会填充大量无用信息,pad_size过小会丢失重要信息。这个需要根据实验的语料进行合理的统计和调整。
对比实验四:
以实验三的超参数的最优结果为基准对embedding_freeze进行调整。
drop out | batch_size | learn rate | pad_size | embedding freeze | epoch |
0.5 | 128 | 5e-5 | 64 | flase | 50 |
以上超参数的到的结果:acc=72.21%
结论: 在训练过程中开放预训练词向量的更新,可以有助于提升模型的表达能力。可能你会问,既然如此,那为何不直接为每个词随机生成一个词向量,而言调用预训练好的词向量模型呢,那是因为,预训练好的词向量模型可以有效帮助分类器前期快速收敛。当然如果你的资源特别丰富,又有足够多的时间,也时没有问题的,两种方式都可以,最终都会达到差不多的效果。