文本语义分割语义分割tta

转载

mob64ca13f96cda 2024-03-06 06:31:37

文章标签 文本语义分割机器学习人工智能深度学习 python 文章分类 计算机视觉人工智能

Task1：赛题理解与 baseline（3 天）
– 学习主题：理解赛题内容解题流程
– 学习内容：赛题理解、数据读取、比赛 baseline 构建
– 学习成果：比赛 baseline 提交
Task2：数据扩增方法（3 天）
– 学习主题：语义分割任务中数据扩增方法
– 学习内容：掌握语义分割任务中数据扩增方法的细节和使用
– 学习成果：数据扩增方法的实践
Task3：网络模型结构发展（3 天）
– 学习主题：掌握语义分割模型的发展脉络
– 学习内容： FCN、 Unet、 DeepLab、 SegNet、 PSPNet
– 学习成果：多种网络模型的搭建
Task4：评价函数与损失函数（3 天）
– 学习主题：语义分割模型各种评价函数与损失函数
– 学习内容： Dice、 IoU、 BCE、 Focal Loss、 Lovász-Softmax
– 学习成果：评价/损失函数的实践
Task5：模型训练与验证（3 天）
– 学习主题：数据划分方法
– 学习内容：三种数据划分方法、模型调参过程
– 学习成果：数据划分具体操作
Task6：分割模型模型集成（3 天）
– 学习主题：语义分割模型集成方法
– 学习内容： LookaHead、 SnapShot、 SWA、 TTA
– 学习成果：模型集成思路

Task6：分割模型模型集成

1 学习目标
2 集成学习方法
3 深度学习中的集成学习

3.1 Dropout
3.2 TTA
3.3 Snapshot

4 本章小节

在上一章我们学习了如何构建验证集，如何训练和验证。本章作为本次赛题学习的最后一章，将会讲解如何使用集成学习提高预测精度。

本章讲解的知识点包括：集成学习方法、深度学习中的集成学习和结果后处理思路。

1 学习目标

学习集成学习方法以及交叉验证情况下的模型集成
学会使用深度学习模型的集成学习

2 集成学习方法

在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boosting，同时这些集成学习方法与具体验证集划分联系紧密。

由于深度学习模型一般需要较长的训练周期，如果硬件设备不允许建议选取留出法，如果需要追求精度可以使用交叉验证的方法。

下面假设构建了10折交叉验证，训练得到10个语义分割模型。

文本语义分割语义分割tta_人工智能

那么在10个CNN模型可以使用如下方式进行集成：

对预测的结果的概率值进行平均，然后解码为具体字符；
对预测的字符进行投票，得到最终字符；

3 深度学习中的集成学习

此外在深度学习中本身还有一些集成学习思路的做法，值得借鉴学习：

3.1 Dropout

Dropout可以作为训练深度神经网络的一种技巧。在每个训练批次中，通过随机让一部分的节点停止工作。同时在预测的过程中让所有的节点都起作用。

文本语义分割语义分割tta_python_02

Dropout经常出现在CNN网络中，可以有效的缓解模型过拟合的情况，也可以在预测时增加模型的精度。

3.2 TTA

测试集数据扩增（Test Time Augmentation，简称TTA）也是常用的集成学习技巧，数据扩增不仅可以在训练时候用，而且可以同样在预测时候进行数据扩增，对同一个样本预测三次，然后对三次结果进行平均。

文本语义分割语义分割tta_人工智能_03

for idx, name in enumerate(tqdm_notebook(glob.glob('./test_mask/*.png')[:])):
    image = cv2.imread(name)
    image = trfm(image)
    with torch.no_grad():
        image = image.to(DEVICE)[None]
        score1 = model(image).cpu().numpy()
        
        score2 = model(torch.flip(image, [0, 3]))
        score2 = torch.flip(score2, [3, 0]).cpu().numpy()

        score3 = model(torch.flip(image, [0, 2]))
        score3 = torch.flip(score3, [2, 0]).cpu().numpy()
        
        score = (score1 + score2 + score3) / 3.0
        score_sigmoid = score[0].argmax(0) + 1