1、数据加载和处理
#PyTorch提供了许多工具来简化数据加载，使代码更具可读性
"""
1、下载安装包
scikit-image：用于图像的IO和变换
pandas：用于更容易地进行csv解析
"""
from __future__ import print_function,division
import os
import torch
import pandas as pd #用于更容易地进行csv解析
import skimage
from skimage import io, transform #用于图像的IO和变换
import numpy as np
import matplotlib.pyplot as plt
from torch.utils.data import Dataset,DataLoader
from torchvision import transforms,utils
#忽略警告
import warnings
warnings.filterwarnings("ignore")
plt.ion()#打开交互模式
"""
2、下载数据集
https://download.pytorch.org/tutorial/faces.zip
数据存于data/faces的目录下
这个数据集实际上是imagenet数据集标注为face的图片当中在 dlib 面部检测 (dlib’s pose estimation) 表现良好的图片。
我们要处理的是一个面部姿态的数据集
"""
"""
3、读取数据集
将csv中的标注点数据读入（N，2）数组中，其中N是特征点的数量。读取数据代码如下：
"""
landmarks_frame=pd.read_csv('data/faces/face_landmarks.csv')
n=65
#iloc[ : , : ] 前面的冒号就是取行数，后面的冒号是取列数
img_name=landmarks_frame.iloc[n,0]
landmarks=landmarks_frame.iloc[n,1:].values#values转换为矩阵，as_matrix()也可以
#landmarks是二维矩阵
landmarks=landmarks.astype('float').reshape(-1,2)#将标注点数据读入(N,2)数组中，N是特征点的数量=68
print('Image name:{}'.format(img_name))
print('Landmarks shape:{}'.format(landmarks.shape))
print('First 4 Landmarks:{}'.format(landmarks[:4]))#将里面的列表当成landmarks的元素，用分片取前4个特征
"""
4、编写函数
写一个简单的函数来展示一张图片和它对应的标注点作为例子
"""
def show_landmarks(image,landmarks):
#显示带有地标的图片
#plt.imshow()函数负责对图像进行处理，并显示其格式
plt.imshow(image)
#绘制散点图，传入x和y坐标为数组（n,），s为点的大小，marker是点的形状，c是点的颜色
plt.scatter(landmarks[:,0],landmarks[:,1],s=10,marker='.',c='r')
# plt.pause(time)函数也能实现窗口绘图（不需要plt.show）,但窗口只停留time时间便会自动关闭，然后再继续执行后面代码；
# plt.pause()会把它之前的所有绘图都绘制在对应坐标系中，而不仅仅是在当前坐标系中绘图
plt.pause(0.001)
#创建一个新的图形
plt.figure()
#io.imread(img_dir)用于读取图片文件，img_dir是图片路径
#os.path.join()函数用于路径拼接文件路径，可以传入多个参数
#从倒数第一个，以‘/’开头的参数开始拼接，之前的参数全部丢弃。以‘/’结尾的，以及参数中间有‘/’的，斜杠仅作为参数的一部分。
"""
print os.path.join('111','222','/333') #/333
print os.path.join('111','/222','/333') #/333
print os.path.join('/111','/222','/333') #/333
"""
show_landmarks(io.imread(os.path.join('data/faces',img_name)),landmarks)
#plt.show()则是将plt.imshow()处理后的函数显示出来。
plt.show()
"""
5、数据集类
torch.utils.data.Dataset 是表示数据集的抽象类，因此自定义数据集应继承Dataset并覆盖以下
方法 * __len__ 实现 len(dataset) 返还数据集的尺寸。 * __getitem__ 用来获取一些索引数
据，例如 dataset[i] 中的(i)。
"""
"""
5.1 建立数据集类
为面部数据集创建一个数据集类。我们将在 __init__ 中读取csv的文件内容，在 __getitem__ 中读取图片。
这么做是为了节省内存空间。只有在需要用到图片的时候才读取它而不是一开始就把图片全部存进内存里。
我们的数据样本将按这样一个字典 {'image': image, 'landmarks': landmarks} 组织。
我们的数据集类将添加一个可选参数 transform 以方便对样本进行预处理。下一节我们会看到什么时候需要用到 transform 参数。
__init__ 方法如下所示
"""
class FaceLandmarksDataset(Dataset):
"""面部标记数据集."""
def __init__(self, csv_file, root_dir, transform=None):
"""
csv_file（string）：带注释的csv文件的路径。
root_dir（string）：包含所有图像的目录。
transform（callable， optional）：一个样本上的可用的可选变换
"""
self.landmarks_frame = pd.read_csv(csv_file)
self.root_dir = root_dir
self.transform = transform
def __len__(self):
return len(self.landmarks_frame)
def __getitem__(self, idx):
img_name = os.path.join(self.root_dir,self.landmarks_frame.iloc[idx, 0])
image = io.imread(img_name)
landmarks = self.landmarks_frame.iloc[idx, 1:]
landmarks = np.array([landmarks])
landmarks = landmarks.astype('float').reshape(-1, 2)
sample = {'image': image, 'landmarks': landmarks}
if self.transform:
sample = self.transform(sample)
return sample
"""
6、数据可视化
实例化这个类并遍历数据样本。我们将会打印出前四个例子的尺寸并展示标注的特征点。 代码如所示
"""
face_dataset=FaceLandmarksDataset(csv_file='data/faces/face_landmarks.csv',root_dir='data/faces/')
fig=plt.figure()
for i in range(len(face_dataset)):
sample=face_dataset[i]
print(i,sample['image'].shape,sample['landmarks'].shape)
ax=plt.subplot(1,4,i+1)
plt.tight_layout()
ax.set_title('Sample #{}'.format(i))
ax.axis('off')
show_landmarks(**sample)
if i==3:
plt.show()
break
"""
7、数据变换
通过上面的例子我们会发现图片并不是同样的尺寸。绝大多数神经网络都假定图片的尺寸相同。
因此我们需要做一些预处理。让我们创建三个转换: * Rescale ：缩放图片 * RandomCrop ：对图片
进行随机裁剪。这是一种数据增强操作 * ToTensor ：把numpy格式图片转为torch格式图片 (我们
需要交换坐标轴).
我们会把它们写成可调用的类的形式而不是简单的函数，这样就不需要每次调用时传递一遍参
数。我们只需要实现 __call__ 方法，必 要的时候实现 __init__ 方法。我们可以这样调用这些转
换:
tsfm = Transform(params)
transformed_sample = tsfm(sample)
"""
class Rescale(object):
"""
将样本中的图像重新缩放到给定大小
Args：
output_size(tuple或int):
所需的输出大小。如果是元组，则输出为与output_size匹配。
如果是int，则匹配较小的图像边缘到output_size保持纵横比相同
"""
def __init__(self,output_size):
assert isinstance(output_size,(int,tuple))
self.output_size=output_size
def __call__(self, sample):
image,landmarks=sample['image'],sample['landmarks']
h,w=image.shape[:2]
if isinstance(self.output_size,int):
if h>w:
new_h,new_w=self.output_size*h/w,self.output_size
else:
new_h,new_w=self.output_size,self.output_size*w/h
else:
new_h,new_w=self.output_size
new_h,new_w=int(new_h),int(new_w)
#将h和w交换为地标，因为对于图像，x轴和y轴分别为轴1和轴0
img=transform.resize(image,(new_h,new_w))
landmarks=landmarks*[new_w/w,new_h/h]
return {'image':img,'landmarks':landmarks}
class RandomCrop(object):
"""
随机裁剪样本中的图像
Args:
output_size(tuple或int)：所需的输出大小，如果是int，方形裁剪
"""
def __init__(self,output_size):
assert isinstance(output_size,(int,output_size))
if isinstance(output_size,int):
self.output_size=(output_size,output_size)
else:
assert len(output_size)==2
self.output_size=output_size
def __call__(self, sample):
image,landmarks=sample['image'],sample['landmarks']
h,w=image.shape[:2]
new_h,new_w=self.output_size
top=np.random.randint(0,h-new_h)
left=np.random.randint(0,w-new_w)
image=image[top:top+new_h,left:left+new_w]
landmarks=landmarks-[left,top]
return {'image':image,'landmarks':landmarks}
class ToTensor(object):
"""
将样本中的ndarrays转换为Tensors
"""
def __call__(self, sample):
image,landmarks=sample['image'],sample['landmarks']
# 交换颜色轴因为
# numpy包的图片是: H * W * C
# torch包的图片是: C * H * W
image=image.transpose((2,0,1))
return {'image':torch.from_numpy(image),'landmarks':torch.from_numpy(landmarks)}
"""
8、组合转换
接下来我们把这些转换应用到一个例子上。
我们想要把图像的短边调整为256，然后随机裁剪 (randomcrop) 为224大小的正方形。也就是说，
我们打算组合一个 Rescale 和 RandomCrop 的变换。 我们可以调用一个简单的类
torchvision.transforms.Compose 来实现这一操作。具体实现如下：
"""
scale=Rescale(256)
crop=RandomCrop(128)
composed=transforms.Compose([Rescale(256),RandomCrop(224)])
#在样本上应用上述的每个变换
fig=plt.figure()
sample=face_dataset[65]
for i,tsfrm in enumerate([scale,crop,composed]):
transformed_sample=tsfrm(sample)
ax=plt.subplot(1,3,i+1)
plt.tight_layout()
ax.set_title(type(tsfrm).__name__)
show_landmarks(**transformed_sample)
plt.show()
"""
9、迭代数据集
让我们把这些整合起来以创建一个带组合转换的数据集。总结一下，每次这个数据集被采样时: *
及时地从文件中读取图片 * 对读取的图片应用转换 * 由于其中一步操作是随机的 (randomcrop) , 数
据被增强了
我们可以像之前那样使用 for i in range 循环来对所有创建的数据集执行同样的操作
"""
transformed_dataset=FaceLandmarksDataset(csv_file='data/faces/face_landmarks.csv',root_dir='data/faces/',transform=transforms.Compose([Rescale(256),RandomCrop(224),ToTensor()]))
for i in range(len(transformed_dataset)):
sample=transformed_dataset[i]
print(i,sample['image'].size(),sample['landmarks'].size())
if i==3:
break
"""
但是，对所有数据集简单的使用 for 循环牺牲了许多功能，尤其是: * 批量处理数据 * 打乱数据 *
使用多线程 multiprocessingworker 并行加载数据。
torch.utils.data.DataLoader 是一个提供上述所有这些功能的迭代器。下面使用的参数必须是
清楚的。一个值得关注的参数是 collate_fn , 可以通过它来决定如何对数据进行批处理。但是绝
大多数情况下默认值就能运行良好。
"""
dataloader=DataLoader(transformed_dataset,batch_size=4,shuffle=True,num_workers=4)
#辅助功能：显示批次
def show_landmarks_batch(sample_batched):
#为一批样本显示带有地标的图像
images_batch,landmarks_batch=sample_batched['image'],sample_batched['landmarks']
batch_size=len(images_batch)
im_size=images_batch.size(2)
grid_border_size=2
grid=utils.make_grid(images_batch)
plt.imshow(grid.numpy().transpose((1,2,0)))
for i in range(batch_size):
plt.scatter(landmarks_batch[i,:,0].numpy()+i*im_size+(i+1)*grid_border_size,landmarks_batch[i,:,1].numpy()+grid_border_size,s=10,marker='.',c='r')
plt.title('Batch from dataloader')
if __name__=='__main__':
for i_batch,sample_batched in enumerate(dataloader):
print(i_batch,sample_batched['image'].size(),sample_batched['landmarks'].size())
#观察第4批次并停止
if i_batch==3:
plt.figure()
show_landmarks_batch(sample_batched)
plt.axis('off')
plt.ioff()
plt.show()
break
"""
10、后记：torchvision
在这篇教程中我们学习了如何构造和使用数据集类(datasets),转换(transforms)和数据加载器
(dataloader)。 torchvision 包提供了 常用的数据集类(datasets)和转换(transforms)。你可能不需
要自己构造这些类。 torchvision 中还有一个更常用的数据集类 ImageFolder 。 它假定了数据集
是以如下方式构造的:
root/ants/xxx.png
root/ants/xxy.jpeg
root/ants/xxz.png
.
.
.
root/bees/123.jpg
root/bees/nsdf3.png
root/bees/asd932_.png
"""
"""
其中’ants’,bees’等是分类标签。在 PIL.Image 中你也可以使用类似的转换(transforms)例如
RandomHorizontalFlip , Scale 。利 用这些你可以按如下的方式创建一个数据加载器(dataloader)
"""
"""
import torch
from torchvision import transforms, datasets
data_transform = transforms.Compose([
transforms.RandomSizedCrop(224),
transforms.RandomHorizontalFlip(),
transforms.ToTensor(),
transforms.Normalize(mean=[0.485, 0.456, 0.406],
std=[0.229, 0.224, 0.225])
])
hymenoptera_dataset = datasets.ImageFolder(root='hymenoptera_data/train',
transform=data_transform)
dataset_loader = torch.utils.data.DataLoader(hymenoptera_dataset,
batch_size=4, shuffle=True,
num_workers=4)
"""猪猪&&憨憨
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
