报错​:Unable to find vcvarsall.bat

原因​:缺少VC环境

解决​:https://www.microsoft.com/en-us/download/confirmation.aspx?id=44266

下载安装Microsoft Visual C++ Compiler for Python 2.7


报错​:'openssl/opensslv.h': No such file or directory,Visual C++ for Python\\9.0\\VC\\Bin\\cl.exe' failed with exit status 2

原因​:缺少OpenSSL

解决​:https://launchpad.net/pyopenssl   

下载安装OpenSSL


报错​:ImportError: No module named win32api

原因​:缺少Win32环境

解决​:https://sourceforge.net/projects/pywin32/files/pywin32/

下载安装最新版pyWin32


报错​: DEBUG: Forbidden by robots.txt: <GET https://www.baidu.com>

原因​:默认scrapy遵守robot协议(规定站点允许的爬虫机器爬取的范围),所以会先请求这个文件查看自己的权限

解决​:修改setting.py中的ROBOTSTXT_OBEY = False



报错​: ImportError: No module named items

原因​:spiders 目录中的.py文件不能和项目名同名

解决​:修改项目名或Python文件名