目录
- 环境配置
- 论文总结
- 结果分析
- 遇到的问题
环境配置
Python 3.6
PyTorch
opencv2.4.13
其中需要注意的地方就是python的版本不能太低,因为我是基于pytorch实现的,也可以使用tensorflow。
下载python和相关的库的时候建议使用Anaconda安装,简单方便。
论文总结
先放出别人的github链接: Deep Image Matting-PyTorch.
其实我们需要解决的就是下面等式的问题。透明度alpha,前景fi,背景bi都是未知数,我们所需要求的也就是这三个变量。
传统方法中只有low-level features和缺乏high-level context,所以对于背景复杂,背景和前景重合率高,前景图像透明的情况,传统的抠图算法往往表现不好。本文的核心就在于他利用了图像的纹理信息,并且训练的数据集足够多。
本文训练的数据集上万张,那么它是如何获得的呢?其实很简单,他有几百张前景图片(使用其他工具抠出来的),这里说明一下因为这些前景图片的背景很简单,所以它可以用其他工具(比如PS)抠出来。然后几万张背景图片,随机的对他们进行合成产生新的数据集。如下图:
所以算法在进行测试的时候流程差不多,输入要求是一张需要扣图的原图,一张对应的alpha,和一张背景图。如下图:
整个网络结构如下:
其中主要分为两部分,Matting Encoder-Deconder Stage和Matting Refinement Stage。
Matting Encoder-Deconder:编码阶段是14个卷积层和5个池化层,解码阶段是6个卷积层的小网络。
Matting Refinement Stage:4个卷积层。使用的是是编解码阶段的输出作为输入
结果分析
最后我用他的图片测试,效果很好。其中用的神经网络是直接加载的他给的。但是我用我自己的图片进行测试的时候,效果就没那么好了。这还是因为我输入的alpha图不行。所以我认为这篇论文还是理论上的,毕竟你最终应用的时候是没有alpha图的,顶多自己可以描边生成trimap图。
遇到的问题
安装库的时候有以下问题:
这就是网速问题,,我也挺无语的。所以安装的时候想要快一点,可以使用清华的镜像源而不是像我一样直接网上下载。运行代码的时候:
算了,更无语。是我的电脑垃圾了。所以不要输入太大的图片(如果你的电脑呃呃呃,,,,)