首先说明一下,我这里讲的是Windows64/32位操作系统下的安装教程。其他linux、Ubuntu环境下的安装暂时还未整理。请自行寻找教程。
安装Scrapy主要分为一下九个步骤:
1. 安装python。(相信大家都已经安装好了)
2. 配置python环境变量。(怕大家没有配置,所以这里啰嗦一下)
3. 下载安装pywin32。
4. 下载安装pip和setuptools。(为方便后续使用pip安装scrapy)
5. 安装Twisted。
6. 安装Zope.Interface和pyOpenSSL。
7. 安装lxml。
8. 下载 Microsoft Visual C++库:VCForPython27.msi。
9. 安装scrapy.
接下来我们就来详细讲解每一步。
1.安装python。
- 官网上选择你想要下载的python版本。
- 官网地址:https://www.python.org/downloads/
- 或者我这里有python2.7版本的安装包:
直接下载即可。 - 下载后直接双击进行安装,建议安装到系统目录下,其余默认。
- 比如我安装到C盘,那我安装完后会在C盘下看到C:\python27.
2.配置环境变量
- 将python的安装目录复制到环境变量。右击“我的电脑”-“属性”-“高级系统设置”-“高级”-“环境变量”,找到“系统变量”里的path,然后将
C:\Python27\;C:\Python27\Scripts;
这两个路径添加到后面。 - 验证python是否安装成功。打开cmd,输入python,
若没有报错,则安装成功。 - 报错则说明你的环境变量加错了。请重新检查。
3.安装pywin32。
- 下载地址 https://sourceforge.net/projects/pywin32/files/pywin32/
- 官网上不好找,我这里下载了python2.7的版本的,
- 你可以直接下载。
- 下载后直接双击安装即可,安装完毕之后验证:
在python命令行下输入import win32com
如果没有提示错误,则证明安装成功
4.安装pip和setuptools。
- https://pypi.python.org/pypi/pip#downloads
- 或者直接下载;
- 选择pip-9.0.1.tar.gz,下载后解压,用cmd控制台进入解压目录,输入:
python setup.py install
验证安装成功:
- pip是依赖于setuptools的,安装pip时会自动安装setuptools,所以这里就不赘述了。
5.安装Twisted。
注意:这里Twisted要安装对应版本,Twisted-13.1.0
进入python目录,输入命令
pip install twisted==13.1.0
6.安装Zope.Interface和pyOpenSSL
1.Zope.Interface下载地址:
https://pypi.python.org/pypi/zope.interface#downloads
2.pyOpenSSL下载地址:
https://pypi.python.org/pypi/pyOpenSSL#downloads
选择对应python版本的.egg包进行下载。如果你的Python版本和我的一样是2.7的,那这里有我下载好的两个包,直接去拿:
3.这时候把这两个.egg文件拷贝进入python根目录下的scripts目录,同easy_installs等文件一个目录位置。然后进入cmd模式,在cmd模式下进入这个script目录,执行easy_install.py egg文件名,执行安装这个egg文件。
如图:
安装完以后进行验证:
没有报错说明安装成功。
7.安装lxml
lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML
直接执行如下命令
pip install lxml
就可完成安装,如果提示 Microsoft Visual C++库没安装,则看步骤8.
8.下载 Microsoft Visual C++库:VCForPython27.msi
下载地址:https://www.microsoft.com/en-us/download/details.aspx?id=44266
下载后双击运行即可。
9.安装Scrapy
最后就是激动人心的时刻啦,上面的铺垫做好了,我们终于可以享受到胜利的果实啦!
进入python下的lib目录,执行如下命令
pip install Scrapy
安装完后验证:
如果提示如下命令,就证明安装成功啦,如果失败了,请检查上述步骤有何疏漏。
安装报错
别看我文章写的安装那么顺利,其实在安装的时候踩了不少坑,下面我就来说说:
1.步骤5,在安装Twisted的时候,我是下载Twisted的版本是Twisted 11.1,结果下载后安装完,进行步骤9的时候,提示
……
Requirement already satisfied: Twisted>=13.1.0 in /usr/lib64/python2.7/site-packages (from Scrapy)
……
TLSVersion.TLSv1_1: SSL.OP_NO_TLSv1_1,
AttributeError: ‘module’ object has no attribute ‘OP_NO_TLSv1_1’
网上查了一下,结果是Twisted 的版本不对,需要下载13.1版本的,
这里附上地址https://twistedmatrix.com/Releases/Twisted/13.1/
真的是,内心一万个***在奔腾。好吧,就就用命令下载
pip install twisted==13.1.0
这样就好了。
2.其他的报错我没记住啊,大家遇到了以后要和我分享啊。