这两天下载了一个python+mongodb的爬虫程序,需要配置环境,之前未接触过python,作为小白的我一步步安装成功,并把请中遇到的问题做了一些标注,希望能对大家有所帮助!

1、  点击安装包python-2.7.6.amd64.1394777203.msi,下一步至完成;

2、  环境变量配置:系统变量——path——将python路径加入path中;

3、  剩余步骤请参照scrapy64中的步骤

3-1)按照官网的提示,我们先安装pywin32,http://sourceforge.net/projects/pywin32/files/这里点击进去后选择对应的版本(注意要与安装的python版本对应),下载后也是双击运行,直接下一步一路完成。

3-2)安装twisted,在其官网的下载页面中http://twistedmatrix.com/trac/wiki/Downloads可以看到其还依赖几个包

     3-2-1) 安装zope.interface, 从这里https://pypi.python.org/pypi/zope.interface#download下载。我选择了4.0.5版本,点击进去后,点击download按钮即可,下载完后也是双击运行,一路下一步即可完成。

    3-2-2) 安装pyopenssl, 从这里https://pypi.python.org/pypi/pyOpenSSL下载,注意要选择对应python的版本。

    3-2-3) 安装twisted,在下载页面http://twistedmatrix.com/trac/wiki/Downloads中选择对应python的版本下载安装。

    3-2-4)安装lxml,在这里https://pypi.python.org/pypi/lxml/下载,本人选择了3.2.3版本

3-3):安装scrapy

在安装前,请先将easytool安装好

在这里http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe下载,安装好后,需要将python安装目录下的Scripts目录路径添加到系统变量中,因为下面就要用到。

下载scrapy,在这里https://pypi.python.org/pypi/Scrapy下载,下载完后,解压出来,运行cmd,cd到该解压目录下,在cmd中输入

T:\Scrapy-0.14.4>pythonsetup.py install
……
Installingeasy_install-2.7-script.py script to D:\Python27\Scripts
Installingeasy_install-2.7.exe script to D:\Python27\Scripts
Installingeasy_install-2.7.exe.manifest script to D:\Python27\Scripts
 
Usingd:\python27\lib\site-packages
Finishedprocessing dependencies for Scrapy==0.14.4
 
T:\Scrapy-0.14.4>

 

完成scrapy的安装,然后在cmd中输入scrapy进行验证,如果出现下图所示,则说明安装成功了

 

T:\>scrapy
Scrapy0.14.4 - no active project
 
Usage:
  scrapy <command> [options] [args]
 
Availablecommands:
  fetch        Fetch a URL using the Scrapy downloader
  runspider    Run a self-contained spider (without creating a project)
  settings     Get settings values
  shell        Interactive scraping console
  startproject Create new project
  version      Print Scrapy version
  view         Open URL in browser, as seen by Scrapy
 
Use"scrapy <command> -h" to see more info about a command
 
T:\>

3-4)安装service_identity

在安装完scrapy后执行scrapyversion/scrapy list 如果报错:You do not have a working installation of the service_identitymodule(后面省略若干),则需要执行以下操作:

3-4-1)到https://pypi.python.org/pypi/cryptography/0.4#downloads下载cryptography-0.4-cp27-none-win32.whl

3-4-2)https://pypi.python.org/pypi/cffi/0.8.2下载cffi-0.8.2-cp27-none-win32.whl

3-4-3)到https://pypi.python.org/pypi/service_identity/0.2#downloads下载service_identity-0.2-py2.py3-none-any.whl

3-4-4)把上面这三个文件复制到python_install\Scripts文件中

3-4-5)打开cmd,依次执行以下命令:

G:\python\python_install\Scripts>easy_installpip

G:\python\python_install\Scripts>pip

G:\python\python_install\Scripts>pipinstall wheel

G:\python\python_install\Scripts>pipinstall cryptography-0.4-cp27-none-win_amd64.whl

G:\python\python_install\Scripts>pipinstall cffi-0.8.2-cp27-none-win_amd64.whl

G:\python\python_install\Scripts>pipinstall service_identity-0.2-py2.py3-none-any.whl

最后检验是否还存在异常:

G:\python\python_install\Scripts>scrapyversion

4、  安装pymongo

下载pymongo-3.3.0-py2.7-win-amd64.egg——打开cmd,进入python安装目录,输入:

G:\Python>easy_install pymongo-3.3.0-py2.7-win-amd64.egg

5、  Json:python2.7中已经加入

6、  Base64:python2.7中已经加入

7、  Requests:

下载地址:https://pypi.python.org/pypi/requests#downloads,下载requests-2.8.1.tar.gz (md5)

7-1) 将安装文件requests-2.8.1.tar.gz先解压,放在python2.x安装根目录下

7-2)CMD进入到解压后的requests-2.8.1文件中,执行python  setup.py install

7-3)cd..回到python根目录下,>>>python

7-4)D:\ProgramFiles\python2.7>python

Python 2.7.10 (default, May 23 2015,09:40:32) [MSC v.1500 32 bit(Intel)] on win32

Type "help","copyright", "credits" or"license" for moreinformation.

>>> 

7-5) >>>import requests       (导入时没有报错,说明成功了)

7-6)>>>r = requests.get('http://www.baidu.com')     (向百度发送http请求)

7-7) >>>r.status_code  

  200     (返回200,就说明请求正确)

 

Python编辑器——Pycharm 5.0.4安装:

汉化步骤:

1、首先在本站下载PyCharm5汉化包

2、将C:\ProgramFiles (x86)\JetBrains\PyCharm 5\lib目录下的resources_en.jar文件复制出来,并更名为resources_cn.jar

3、双击打开resources_cn.jar(注意是打开而不是解压出来),将下载的汉化包zh_CN目录下的所有文件拖到刚才打开的resources_cn.jar文件内的messages目录中,并保存

4、将resources_cn.jar文件复制回C:\ProgramFiles (x86)\JetBrains\PyCharm 5\lib目录

完毕!

如果打开后显示乱码,请先删除resources_cn.jar,然后打开PyCharm 5,在菜单上依次选择
File -> Settings -> Appearance&Behavior -> Appearance -> 选中Overridedefault fonts by(not recommended)
Name: Microsoft YaHei (选择任意中文字体)
然后将resources_cn.jar 复制到 .\lib 目录,重新打开PyCharm5就能正常显示中文了