pytorch 时序数据处理 pytorch data augmentation

1. 预处理后

CV数据在预处理后应符合以下规范：

• img, mask——两个数组分别储存原图片与切割后图片的路径（str）
• imgs, masks——两个数组分别储存原图片与切割后图片（tensor）
• masks中只有0与1，imgs变量类型为torch.long

2.数据增广

数据增广安排在data generator抓取数据时，对抓取数据进行相应处理再丢入模型中。目前计划做以下增广：随机裁剪（临近插值法）、水平翻转、

torchvision.transforms是pytorch中的图像预处理包。一般用Compose把多个步骤整合到一起：可以用此来进行标准化操作，输入三个图层的标准化与方差。最好不要进行裁剪等增强处理，因为会导致img与seg不同步

tf = transforms.Compose([
            transforms.ToTensor(),
            transforms.Normalize(mean=[0.5, 0.5, 0.5], std=[0.25, 0.25, 0.25])]
            )

裁剪可以由以下代码实现：

def rand_crop(imgs, masks, h, w):
    """随机裁剪img与seg"""
    rect = torchvision.transforms.RandomCrop.get_params(imgs, (h, w))
    imgs = torchvision.transforms.functional.crop(imgs, *rect)
    masks = torchvision.transforms.functional.crop(masks, *rect)
    return imgs, masks

但以上代码的缺点是，本项目中文件为npy文件，由np.load读取后得到numpy文件虽然可以通过Image.formarray(np)或者torch.tensor(np)转化得到，但由于数据已被归一化过（-1 到 1），直接转换行程的PIL话tensor不能被识别，必须加以处理。

因此似乎最佳解决方法是用np自带的方式来实现数据增广：

•         np.flip实现随机翻转（Fate为伪骰子）：

def horiz_flip(imgs, segs, dice):
    Fate = randint(1, 100)
    if dice>=Fate:
        imgs = np.flip(imgs, 1) # 水平翻转
        segs = np.flip(segs, 1)
        # res2 = np.flip(img, 0)  # 垂直翻转
        # res3 = np.flip(img, -1) # 水平垂直翻转
        return imgs, segs
    else: return imgs, segs

•         基于skimage.util实现随机添加噪音：

import skimage

def add_noise(img):
    Fate = randint(1,100)
    if Fate <= 40:
        return img
    elif Fate<=70:
        "高斯噪声"
        img = skimage.util.random_noise(img, mode='gaussian', var=0.01)
        return img
    else:
        "椒盐噪声"
        img = skimage.util.random_noise(img, mode='s&p')
        return img

• 基于np.lib.pad的随机裁剪:

def random_crop(image, seg, crop_shape, padding=None):
    oshape = np.shape(image)

    if padding:
        oshape = (oshape[0] + 2 * padding, oshape[1] + 2 * padding)
        npad = ((padding, padding), (padding, padding),(0, 0))
        npad_seg = ((padding, padding), (padding, padding))
        print(oshape)
        print(npad)
        image_pad = np.lib.pad(image, pad_width=npad, mode='constant', constant_values=0)
        seg_pad = np.lib.pad(seg, pad_width=npad_seg, mode='constant', constant_values=0)

        nh = random.randint(0, oshape[0] - crop_shape[0])
        nw = random.randint(0, oshape[1] - crop_shape[1])

        image_crop = image_pad[nh:nh + crop_shape[0], nw:nw + crop_shape[1]]
        seg_crop = seg_pad[nh:nh + crop_shape[0], nw:nw + crop_shape[1]]
        return image_crop, seg_crop
    else:
        print("WARNING!!! nothing to do!!!")
        return image

plt.figure(figsize=(5,5))
img1 = np.load(img[1145])[:,:,:]
seg1 = np.load(mask[1145])[:,:]
plt.subplot(2,2,1)
plt.imshow(img1, cmap='gray')
plt.subplot(2,2,2)
plt.imshow(seg1, cmap='gray')

img1, seg1 = random_crop(img1, seg1, [224, 224], 16)
plt.subplot(2,2,3)
plt.imshow(img1, cmap='gray')
plt.subplot(2,2,4)
plt.imshow(seg1, cmap='gray')
plt.tight_layout()
plt.show()

• Tips: 以上操作应都可以对3通道（RGB）图像进行裁剪，因为训练模型需要使用3个通道。在使用imshow时可能会出现问题，这里引用另一篇文章：

noisy = np.clip(noisy, 0.0, 1.0)

 

使用噪声的效果对于MRI图像来说可能并不好，要看模型具体效果而定

至此图像预处理以及图像增广部分完成。

补充

• 转换操作中可以看到操作破坏了图像的空间信息，对于想、像卫星、航空或者医学图片我们并不希望破坏它原有的空间结构，所以在旋转图像，最好以90度为倍数旋转
• 在医学影像问题中非刚体装换可以帮助增强数据。albumentations 中主要提供了以下几种非刚体变换类：ElasticTransform（弹性变换）、GridDistortion（网格畸变） 和 OpticalDistortion（光学畸变）。
• 采用albumentations库中的方式可以非常简单的实现数据增强，代码如下图，集成了随机裁剪（100%概率）、随机非破坏性转换（50%随机垂直翻转，50%随机旋转90度）、80%概率随机非刚体转换（弹性变换、网格畸变、光学畸变的概率比为1:1:2）、随机非空间性变换（50%概率对比度均衡，50%概率随机改变亮度与对比度）。噪声添加还用上面的skimage包添加。
• 方法返回一个img，其中img["image"]是图像，img["mask"]为标记

from albumentations import *

def augmentation(img, seg):
    img = Compose([
    # 随机裁剪
    RandomSizedCrop(min_max_height=(224, 224), height=224, width=224, interpolation=cv2.INTER_NEAREST, p=1),

    # 非破坏性转换
    VerticalFlip(p=0.5), # 随机垂直翻转
    RandomRotate90(p=0.5), # 随机旋转90度
    # 非刚体转换
    OneOf([
        ElasticTransform(p=0.5, interpolation=cv2.INTER_NEAREST), # 弹性变换
        GridDistortion(p=0.5, interpolation=cv2.INTER_NEAREST), # 网格畸变
        OpticalDistortion(p=1, distort_limit=2, shift_limit=0.5, interpolation=cv2.INTER_NEAREST) # 光学畸变
        ], p=0.8),
    # 非空间性转换
    RandomBrightnessContrast(p=0.5), # 随机改变亮度对比度
    ])(image=img, mask=seg)
    return img

plt.figure(figsize=(5,5))
img1 = np.load(img[1145])[:,:,:]
seg1 = np.load(mask[1145])[:,:]
plt.subplot(2,2,1)
plt.imshow(img1)
plt.subplot(2,2,2)
plt.imshow(seg1, cmap='gray')

img1 = augmentation(img1, seg1)
plt.subplot(2,2,3)
plt.imshow(img1["image"])
plt.subplot(2,2,4)
plt.imshow(img1["mask"], cmap='gray')
plt.tight_layout()
plt.show()