报错:Unable to find vcvarsall.bat
原因:缺少VC环境
解决:https://www.microsoft.com/en-us/download/confirmation.aspx?id=44266
下载安装Microsoft Visual C++ Compiler for Python 2.7
报错:'openssl/opensslv.h': No such file or directory,Visual C++ for Python\\9.0\\VC\\Bin\\cl.exe' failed with exit status 2
原因:缺少OpenSSL
解决:https://launchpad.net/pyopenssl
下载安装OpenSSL
报错:ImportError: No module named win32api
原因:缺少Win32环境
解决:https://sourceforge.net/projects/pywin32/files/pywin32/
下载安装最新版pyWin32
报错: DEBUG: Forbidden by robots.txt: <GET https://www.baidu.com>
原因:默认scrapy遵守robot协议(规定站点允许的爬虫机器爬取的范围),所以会先请求这个文件查看自己的权限
解决:修改setting.py中的ROBOTSTXT_OBEY = False
报错: ImportError: No module named items
原因:spiders 目录中的.py文件不能和项目名同名
解决:修改项目名或Python文件名