一、下载安装python2.7并配置环境变量(64位)

1、下载安装:

1)进入python官网,下载python2.7 网址:https://www.python.org/

Python配置化爬虫 配置爬虫环境_python

 

Python配置化爬虫 配置爬虫环境_python_02

 2)点击安装包,运行

Python配置化爬虫 配置爬虫环境_配置环境变量_03

3)选择自己的安装目录

Python配置化爬虫 配置爬虫环境_python_04

4)一路按照提示进行即可

2、配置环境变量

1)打开系统高级设置,找到系统变量path,在后面加上自己python的安装路径,注意确保安装路径前加上了英文的 ; 

Python配置化爬虫 配置爬虫环境_mongodb_05

2)测试安装是否成功

打开cmd命令,输入python,显示python版本即可

Python配置化爬虫 配置爬虫环境_python_06

 

3、下载安装

在python安装目录中找到 python.exe,双击运行

Python配置化爬虫 配置爬虫环境_python_07

3)下载以下插件

     beautifulsoup

     requests

     lxml    

     pymongo

     scrapy

在打开的 python.exe面板中一个个键入以下内容

pip install BeautifulSoup4
pip install requests
pip install lxml
pip install pymongo
pip install scrapy

  

4)注意:python2.7应该是默认安装了pip,如果以上提示不存在pip命令,则安装pip

安装pip步骤:

首先下载pip,网址为   https://pan.baidu.com/s/1jISfUYE

选择下载

下载在任意一个文件夹,但是建议在python下新建一个文件夹存放并解压

在CMD进入存放解压后的pip目录

键入

python setup.py install

 安装好了以后,配置环境变量

同样在path中添加

 D://python/Scripts

注意,Scripts前是你自己python的安装目录,并且注意要和前面的有英文的 ; 分隔

二、下载代码编辑器pyCharm

1、打开PyCharm官网 http://www.jetbrains.com/pycharm/

2、点击下载

Python配置化爬虫 配置爬虫环境_python_08

 

3、选择下载社区版

Python配置化爬虫 配置爬虫环境_python_09

 

4、选择自己的路径安装好,打开后选择自己python安装目录即可

三、安装MongoDB

1、下载地址:

http://pan.baidu.com/s/1pKQZDaV

 

2、新建一个文件夹(最好是名为mongoDB)

  1)然后将下载的zip文件解压到新建的文件夹,如(d:\mongodb)

    2) 然后创建数据库文件存放位置,如(d:/mongodb/data/db)

  3)打开cmd(windows键+r输入cmd)命令行,进入D:\mongodb\bin目录(先输入 d: 进入d盘;然后输入 cd d:\mongodb\bin),

  4)输入如下的命令启动mongodb服务:

  D:/mongodb/bin>mongod --dbpath D:\mongodb\data\db

Python配置化爬虫 配置爬虫环境_配置环境变量_10

 

  5)打开浏览器(建议安装谷歌浏览器chrome)

  输入http://localhost:27017,显示以下则成功

Python配置化爬虫 配置爬虫环境_mongodb_11

3、设置mongoDB为Windows服务,每次开机自动启动,减少麻烦

1)d:\mongodb\data下新建文件夹log

2)在新建的文件夹log中新建文件mongodb.log

3)在d:\mongodb新建文件mongo.config

4)用记事本打开mongo.config输入:(要具体看自己的文件路径,建议完全和本教程一致)

  dbpath=D:\mongodb\data\db

  logpath=D:\mongodb\data\log\mongo.log 

5)用管理员身份打开cmd命令行,进入D:\mongodb\bin目录,输入如下的命令:

  D:\mongodb\bin>mongod --config D:\mongodb\mongo.config 

  有人提醒改为如下:

  mongod --config D:\mongodb\mongo.config --install --serviceName "MongoDB"

  
  如图结果存放在日志文件中,查看日志发现已经成功。如果失败有可能没有使用管理员身份,遭到拒绝访问。

  

Python配置化爬虫 配置爬虫环境_配置环境变量_12

 

6)打开cmd输入services.msc查看服务可以看到MongoDB服务,点击可以启动

 

Python配置化爬虫 配置爬虫环境_配置环境变量_13

Python配置化爬虫 配置爬虫环境_Python配置化爬虫_14

2)安装mongoDB可视化工具mongoVUE

下载地址: https://pan.baidu.com/s/1o6SWnW2 (或者自己百度上面找,都有的)

注:在此以给定地址(https://pan.baidu.com/s/1o6SWnW2)来说明安装破解

下载后一路安装,注意下图

Python配置化爬虫 配置爬虫环境_Python配置化爬虫_15

一路安装即可,下面说明怎么破解

将解压zip下“破解补丁”文件夹中的“MongoVUE.exe”文件替换到安装文件目录下,如下图:

Python配置化爬虫 配置爬虫环境_Python配置化爬虫_16

 

至此破解完毕

3)下面是连接数据库

打开mongovue

Python配置化爬虫 配置爬虫环境_配置环境变量_17

 

Python配置化爬虫 配置爬虫环境_mongodb_18

Python配置化爬虫 配置爬虫环境_Python配置化爬虫_19

Python配置化爬虫 配置爬虫环境_python_20

Python配置化爬虫 配置爬虫环境_Python配置化爬虫_21

连接完毕