安装anaconda
前往anaconda清华镜像站下载最新版本 可参考我的博文anaconda简单入门
创建python3.6环境
非常不建议使用windows,因为学界、工业界tensorflow基本上都是linux环境,windows各种工具bug调试麻烦多多。笔者很早就完成了ubuntu 18.04的教程,windows又花了很多时间解决BUG
linux,macos系统使用terminal,windows用户使用cmd执行下列命令
目前tensorflow1.12版本最高支持到python3.6
conda create -n py3.6 python=3.6 #py3.6是自己为环境起的 名字,可以自己起容易记的
安装TensorFlow
- 如果有nvidia显卡,可安装TensorFlowGPU版本。先行安装nvidia新版本驱动
驱动安装完成后
-1. 进入py3.6环境
conda activate py3.6
-2. 安装TensorFlow-gpu
conda install tensorflow-gpu=1.12
这里我指定安装了最新版的(1.12)tensorflow,conda会自行在py3.6这个虚拟环境中安装cudatoolkit和cudnn等环境,所以不需要像很多教程那样自行安装cuda和cudnn。
- 无nvidia显卡,可安装TensorFlow cpu版本
-1. 进入py3.6环境
conda activate py3.6
-2. 安装Tensorflow
conda intstall tensorflow=1.12
测试TensorFlow是否安装成功
输入
python
在>>>后输入import tensorflow as tf
如果不报错,说明安装成功
下载TensorFlow目标检测api
tensorflow附带了一些样例和示范代码,我们在示范代码的基础上做修改,训练自己的目标检测模型
首先需要电脑安装过git工具,windows用户一般不会自带,前往git官网下载安装成功后即可使用
- 进入自己打算存项目的目录,执行
git clone git@github.com:tensorflow/models.git
可将官方models目录下载下来,但是因为github在国内下载缓慢,官方目录有多处错误,并且需要自己编写很多代码,我在这里将我已经编写好很多脚本的代码上传到国内的coding,输入
git clone https://git.dev.tencent.com/MachinePlay/models.git
安装api
- ubuntu 用户可以提前一键安装后续需要的软件
安装前可以先把源换了
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
sudo apt-get install protobuf-compiler python-pil python-lxml
pip install jupyter,matplotlib,pillow,lxml
进入models/research/目录
linux用户可以直接输入下列命令,将protobuf编译完成
protoc object_detection/protos/*.proto --python_out=.
- windows用户需按下列步骤手动安装(真累啊)
安装前可以先把源换了
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install pillow
pip install lxml
pip install jupyter
pip install matplotlib
进入models/research/目录 ,手动编译.proto文件,共29个,一个一个输入
protoc object_detection/protos/anchor_generator.proto --python_out=.
protoc object_detection/protos/argmax_matcher.proto --python_out=.
protoc object_detection/protos/bipartite_matcher.proto --python_out=.
protoc object_detection/protos/box_coder.proto --python_out=.
protoc object_detection/protos/box_predictor.proto --python_out=.
protoc object_detection/protos/eval.proto --python_out=.
protoc object_detection/protos/faster_rcnn.proto --python_out=.
protoc object_detection/protos/faster_rcnn_box_coder.proto --python_out=.
protoc object_detection/protos/graph_rewriter.proto --python_out=.
protoc object_detection/protos/grid_anchor_generator.proto --python_out=.
protoc object_detection/protos/hyperparams.proto --python_out=.
protoc object_detection/protos/image_resizer.proto --python_out=.
protoc object_detection/protos/input_reader.proto --python_out=.
protoc object_detection/protos/keypoint_box_coder.proto --python_out=.
protoc object_detection/protos/losses.proto --python_out=.
protoc object_detection/protos/matcher.proto --python_out=.
protoc object_detection/protos/mean_stddev_box_coder.proto --python_out=.
protoc object_detection/protos/model.proto --python_out=.
protoc object_detection/protos/multiscale_anchor_generator.proto --python_out=.
protoc object_detection/protos/optimizer.proto --python_out=.
protoc object_detection/protos/pipeline.proto --python_out=.
protoc object_detection/protos/post_processing.proto --python_out=.
protoc object_detection/protos/preprocessor.proto --python_out=.
protoc object_detection/protos/region_similarity_calculator.proto --python_out=.
protoc object_detection/protos/square_box_coder.proto --python_out=.
protoc object_detection/protos/ssd.proto --python_out=.
protoc object_detection/protos/ssd_anchor_generator.proto --python_out=.
protoc object_detection/protos/string_int_label_map.proto --python_out=.
protoc object_detection/protos/train.proto --python_out=.
接下来把装好的object_detection加入系统环境变量
- linux
vim ~/.bashrc 进入环境配置
在最后一行加入
export PYTHONPATH=$PYTHONPATH:pwd:pwd/slim
其中'pwd'替换为当前research路径
关闭终端,重新进入环境即可
- windows
进入models/research文件夹
输入
python setup.py install
进入models/research/slim文件夹
输入
python setup.py install
- 然后按下列步骤将research文件夹和slim文件夹加入系统变量
进入资源管理器,右键点击属性
-
点击高级系统设置
- image.png
点击环境变量设置
- image.png
找到path,点击编辑
将research文件夹路径和slim路径加入后面,路径换成你自己的
- image.png
点击确定,重新打开cmd,进入环境
测试是否安装成功
进入models/research/slim文件夹,输入
python object_detection/builders/model_builder_test.py
显示OK,即安装成功
image.png
到此为止,TensorFlow就安装成功了
数据集制作
使用labelimg制作好pascal voc格式数据集
一般包含这三个文件夹,其父文件夹叫做VOC2007
image.png
请将这三个文件夹拷出,放在models\research\object_detection\voc\VOCdevkit文件夹中
image.png
数据集转换
需要把voc格式数据处理为tensorflow支持的tfrecord格式
Tensorflow对象检测API必须使用TFRecord的档案格式,我用的是2007年的数据集, 目录如下,格式转换脚本我放在了object_detection文件夹内
image.png
首先需要更改 pascal_label_map.pbtxt
文件,该文件样例在目录 models/research/object_detection/data/pascal_label_map.pbtxt
下,存储着标签信息
将标签信息更改为自己制作数据集对应的字符,不要多也不要少,如图所示,这里我要识别分类的是图片内容的含水量百分比,共有四类,0%,20%。60%,100%所以修改了对应的name,id从1开始,有多少类要全部写上,可复制一份到voc/trainfcn中
image.png
在object_detection目录下,输入如下命令制作训练集
python create_pascal-tf_record.py --data_dir=VOCdevkit路径 --year=VOC2007 --set=train --outpath=转换后数据存放路径/文件名.record
其中 create_pascal-tf_record.py
脚本用来将voc格式数据集转换为tfrecord文件,供tensorflow读取,year指定其格式与2007年的voc一致,即上文图所示的结构,set=train表示制作的是训练集,outpath=后面是转换后tfrecord文件存储的位置,出现waring不要紧没关系,不报错就行
例如我的路径如下,我后面会把所有文件存放到voc/trainfcn/文件夹中(注意系统不同路径表示方法不同:斜杠和反斜杠)
python create_pascal_tf_record.py --data_dir=C:/code/project/tfrock/models/research/object_detection/voc/VOCdevkit --year=VOC2007 --set=train --output_path=voc/trainfcn/pascal_val.record
在object_detection目录下,输入如下命令制作测试集
python create_pascal-tf_record.py --data_dir=VOCdevkit路径 --year=VOC2007 --set=val --outpath=转换后数据存放路径/文件名.record
例如我的路径如下
python create_pascal_tf_record.py --data_dir=C:/code/project/tfrock/models/research/object_detection/voc/VOCdevkit --year=VOC2007 --set=val --output_path=voc/trainfcn/pascal_val.record
我一般将训练集命名为train.record,测试集命名为val.record,并且存放在以模型命名的文件夹中。方便以后使用。
选择模型开始训练
接下来可以去网上下载网络模型或者自己编写模型开始训练,我在models/research/object_detection/voc文件夹里预置了Faster-RCNN RESNET101的预训练网络模型,可供使用
可以前往MODEL ZOO下载一些非官方预训练的网络模型,或者在网络自行查找下载
修改模型配置
首先可以看到我将Faster-RCNN RESNET101放在了voc文件夹下并完成解压
image.png
内部结构如下
image.png
其中checkhpoint记录了上一次训练断点位置,.pb文件是训练完成后保存下来供调用的模型,ckpt之类是训练中途保存的断点文件。pipeline.config是该网络的配置,理论上一开始网络模型里只有一个网络配置文件,我们要从头开始训练(参数从随机开始),其他文件都是训练过程中生成的。这里我们下载了别人已经预训练的模型(已经有比较靠谱的参数),并作为初始化。
- 首先从
object_detection/samples/configs/
里找到对应模型的配置文件样例,修改它(给的是样例,如果是自己写的模型或别处下载的模型,配置文件就要全部自己写),例如我们找到faster_rcnn_resnet101_coco.config
,把他复制到voc/trainfcn文件夹中,并修改。 - 文件分成五个部分,
model模型的框架 meta-architecture, feature extractor…
train_config,定义 optimizer (Momentum, Adam, Adagrad…), fine-tune model
eval_config,定义valuation估值指标
train_input_config,定义作为训练数据集与标签映射路径
eval_input_config,定义作为估值数据集的路径与标签映射路径
主要修改这4部分
0.目标种类个数
num_classes: 4,改为自己的目标种类个数
例如我有四种,就改为4
1:自定义路径指定模型位置
fine_tune_checkpoint: “PATH_TO_BE_CONFIGURED/model.ckpt”
通常在进行训练时不会从头开始训练,大部份会利用别人已经训练好的参数来微调以减少训练的时间
fine_tune_checkpoint的数值为:你定义的faster_rcnn_resnet101_coco_2018_01_28位置(例如:"object_detection/voc/faster_rcnn_resnet101_coco_2018_01_28/model.ckpt")
image.png
2:指定训练数据的label和record数据文件
label文件即我们刚刚修改过的标签映射文件,pascal_label_map.pbtxt
record文件:即pascal_train.record转换成tfrecord的训练集
train_input_reader: {
tf_record_input_reader { input_path: "PATH_TO_BE_CONFIGURED/pascal_train.record" }
label_map_path: "PATH_TO_BE_CONFIGURED/pascal_label_map.pbtxt"}
image.png
3:指定测试数据的label和record数据文件
label文件即我们刚刚修改过的标签映射文件pascal_label_map.pbtxt
record文件:即pascal_val.record转换成tfrecord的训练集
eval_input_reader: {
tf_record_input_reader { input_path: "PATH_TO_BE_CONFIGURED/pascal_val.record" }
label_map_path: "PATH_TO_BE_CONFIGURED/pascal_label_map.pbtxt"
}
image.png
另外修改eval_config,即验证集图片张数,可查看数据集中val数量修改
image.png
到此为止模型配置完毕
开始训练
进入object_detection文件夹,输入
python train.py --logtostderr --pipeline_config_path=${定义的网络Config} --train_dir=${训练结果要存放的目录}
例如我的
python train.py --train_dir=voc\trainfcn\ --pipeline_config_path=voc\trainfcn\faster_rcnn_resnet101_voc07. config
开始训练,control+c可中断训练,中断后再次运行将会从最近的自动保存点继续训练,也就是如果训练了一天断电了,第二天在同一traiN_DIR训练时不会损失昨天的训练结果,除非你把train_dir内容全部删除
--logtostderr表示将log输出到stderr,我省略了会默认输出到train_dir中,方便查看
image.png
查看训练过程
打开tensorboard可查看训练结果、损失函数情况等等
进入object_detection文件夹,输入
tensorboard --logdir=voc/trainfcn# 之前存放log的地方
浏览器登录127.0.1.1:6006可打开Tensorboard查看信息如下:
image.png
你的步骤从1开始,损失会高一些。 根据你的 GPU 和你有多少训练数据,这个过程需要不同的时间。 像 1080ti 这样的东西,应该只需要一个小时左右。 如果你有很多训练数据,则可能需要更长的时间。
停止迭代次数或者条件在设置文件里,可自行指定迭代步数或loss降到一定后停止,或强行中断
默认保存最近五次自动保存的训练结果,可以看到随着训练自动保存了到达一定步数的结果。
自动保存步数可自行设置
image.png
还可以查看网络计算图、数据分布、测试结果等
image.png
image.png
image.png
模型验证和模型保存
训练完成或中断后,可使用eval.py模型检验脚本来检验训练结果
首先我们可以看到训练的日志和最终的模型(默认保存了5个不同步数时的模型)都会保存在train_dir中
image.png
这里会报错ModuleNotFoundError: No module named 'pycocotools',因为我们确实没有安装pycocotools
所以我们先安装pycocotools windows和linux安装方法不同
- linux:
pip install pycocotools
- windows安装要费事很多
是因为pycocotools不支持windows。
但是有大神已经修改出了windows版本,https://github.com/philferriere/cocoapi。
执行
pip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI
如图所示即为安装成功
image.png
windows安装完成后仍然会报错 NameError: name 'unicode' is not defined
是因为windows下载的是基于python2的代码,其中unicode在python3中已经升级为str函数,需要修改源码
打开报错位置,我的如下图
image.png
打开该文件,修改213行和352行的unicode修改为str
image.png
image.png
然后在object_detection目录下执行eval.py 检验训练结果
python eval.py
--logdir=${log目录}
--pipeline_config_path=${定义的Config} \
--checkpoint_dir=${训练模型存放的目录} \
--eval_dir=${测试结果要存放的目录}
windows下使用依然会出现报错,但不影响结果,原因还未查明
例如我的命令是,我将检验结果也存放在trainfcn文件夹中(这样做其实容易混淆,建议将检验结果和log放在另一个目录,另外开启Tensorboard查看)
python eval.py --logdir=voc\trainfcn\ --pipeline_config_path=voc\trainfcn\faster_rcnn_resnet101_voc07.conf ig --checkpoint_dir=voc\trainfcn\ --eval_dir=voc\trainfcn\
tensorboard出现image选项,可以查看结果,一般会将多次的checkpoint步数结果供查看
image.png
同时命令行会给出评估结果mAP、AP等等
image.png
最后是保存模型
经过多次训练,预览了一个你觉得最好的迭代次数保存下来的模型后,可以将该训练好的模型导出为pb文件,即Tensorflow的训练好的模型文件,可拷贝至其他机器供编程使用
该脚本名为export_inference_graph.py,脚本放在了object_detection目录下
使用方法:
python export_inference_graph.py --pipeline_config_path=voc\trainfcn\faster_rcnn_resnet101_voc07.config
--trained_checkpoint_prefix=voc\trainfcn\model.ckpt-10324 --output_directory voc\jieguo
其中model.ckpt-10324表示使用第10324步保存的模型。我们需要根据voc/trainfcn中你想要导出的checkpoint步数更改。output表示输出目录,这里我新建了输出目录结果,导出的模型会被存到里面
可以看到,导出的模型结构和我们最早下载的模型内容基本一致其中.pb文件就是模型本身了,该网络就包含了我们训练得出的全部参数