这两天下载了一个python+mongodb的爬虫程序,需要配置环境,之前未接触过python,作为小白的我一步步安装成功,并把请中遇到的问题做了一些标注,希望能对大家有所帮助!
1、 点击安装包python-2.7.6.amd64.1394777203.msi,下一步至完成;
2、 环境变量配置:系统变量——path——将python路径加入path中;
3、 剩余步骤请参照scrapy64中的步骤
3-1)按照官网的提示,我们先安装pywin32,http://sourceforge.net/projects/pywin32/files/这里点击进去后选择对应的版本(注意要与安装的python版本对应),下载后也是双击运行,直接下一步一路完成。
3-2)安装twisted,在其官网的下载页面中http://twistedmatrix.com/trac/wiki/Downloads可以看到其还依赖几个包
3-2-1) 安装zope.interface, 从这里https://pypi.python.org/pypi/zope.interface#download下载。我选择了4.0.5版本,点击进去后,点击download按钮即可,下载完后也是双击运行,一路下一步即可完成。
3-2-2) 安装pyopenssl, 从这里https://pypi.python.org/pypi/pyOpenSSL下载,注意要选择对应python的版本。
3-2-3) 安装twisted,在下载页面http://twistedmatrix.com/trac/wiki/Downloads中选择对应python的版本下载安装。
3-2-4)安装lxml,在这里https://pypi.python.org/pypi/lxml/下载,本人选择了3.2.3版本
3-3):安装scrapy
在安装前,请先将easytool安装好
在这里http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe下载,安装好后,需要将python安装目录下的Scripts目录路径添加到系统变量中,因为下面就要用到。
下载scrapy,在这里https://pypi.python.org/pypi/Scrapy下载,下载完后,解压出来,运行cmd,cd到该解压目录下,在cmd中输入
T:\Scrapy-0.14.4>pythonsetup.py install
……
Installingeasy_install-2.7-script.py script to D:\Python27\Scripts
Installingeasy_install-2.7.exe script to D:\Python27\Scripts
Installingeasy_install-2.7.exe.manifest script to D:\Python27\Scripts
Usingd:\python27\lib\site-packages
Finishedprocessing dependencies for Scrapy==0.14.4
T:\Scrapy-0.14.4>
完成scrapy的安装,然后在cmd中输入scrapy进行验证,如果出现下图所示,则说明安装成功了
T:\>scrapy
Scrapy0.14.4 - no active project
Usage:
scrapy <command> [options] [args]
Availablecommands:
fetch Fetch a URL using the Scrapy downloader
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
Use"scrapy <command> -h" to see more info about a command
T:\>
3-4)安装service_identity
在安装完scrapy后执行scrapyversion/scrapy list 如果报错:You do not have a working installation of the service_identitymodule(后面省略若干),则需要执行以下操作:
3-4-1)到https://pypi.python.org/pypi/cryptography/0.4#downloads下载cryptography-0.4-cp27-none-win32.whl;
3-4-2)https://pypi.python.org/pypi/cffi/0.8.2下载cffi-0.8.2-cp27-none-win32.whl
3-4-3)到https://pypi.python.org/pypi/service_identity/0.2#downloads下载service_identity-0.2-py2.py3-none-any.whl
3-4-4)把上面这三个文件复制到python_install\Scripts文件中
3-4-5)打开cmd,依次执行以下命令:
G:\python\python_install\Scripts>easy_installpip
G:\python\python_install\Scripts>pip
G:\python\python_install\Scripts>pipinstall wheel
G:\python\python_install\Scripts>pipinstall cryptography-0.4-cp27-none-win_amd64.whl
G:\python\python_install\Scripts>pipinstall cffi-0.8.2-cp27-none-win_amd64.whl
G:\python\python_install\Scripts>pipinstall service_identity-0.2-py2.py3-none-any.whl
最后检验是否还存在异常:
G:\python\python_install\Scripts>scrapyversion
4、 安装pymongo
下载pymongo-3.3.0-py2.7-win-amd64.egg——打开cmd,进入python安装目录,输入:
G:\Python>easy_install pymongo-3.3.0-py2.7-win-amd64.egg
5、 Json:python2.7中已经加入
6、 Base64:python2.7中已经加入
7、 Requests:
下载地址:https://pypi.python.org/pypi/requests#downloads,下载requests-2.8.1.tar.gz (md5)
7-1) 将安装文件requests-2.8.1.tar.gz先解压,放在python2.x安装根目录下
7-2)CMD进入到解压后的requests-2.8.1文件中,执行python setup.py install
7-3)cd..回到python根目录下,>>>python
7-4)D:\ProgramFiles\python2.7>python
Python 2.7.10 (default, May 23 2015,09:40:32) [MSC v.1500 32 bit(Intel)] on win32
Type "help","copyright", "credits" or"license" for moreinformation.
>>>
7-5) >>>import requests (导入时没有报错,说明成功了)
7-6)>>>r = requests.get('http://www.baidu.com') (向百度发送http请求)
7-7) >>>r.status_code
200 (返回200,就说明请求正确)
Python编辑器——Pycharm 5.0.4安装:
汉化步骤:
1、首先在本站下载PyCharm5汉化包
2、将C:\ProgramFiles (x86)\JetBrains\PyCharm 5\lib目录下的resources_en.jar文件复制出来,并更名为resources_cn.jar
3、双击打开resources_cn.jar(注意是打开而不是解压出来),将下载的汉化包zh_CN目录下的所有文件拖到刚才打开的resources_cn.jar文件内的messages目录中,并保存
4、将resources_cn.jar文件复制回C:\ProgramFiles (x86)\JetBrains\PyCharm 5\lib目录
完毕!
如果打开后显示乱码,请先删除resources_cn.jar,然后打开PyCharm 5,在菜单上依次选择
File -> Settings -> Appearance&Behavior -> Appearance -> 选中Overridedefault fonts by(not recommended)
Name: Microsoft YaHei (选择任意中文字体)
然后将resources_cn.jar 复制到 .\lib 目录,重新打开PyCharm5就能正常显示中文了