看了python基础几天,在某大佬的怂恿下开始接触 爬虫,原本想用linux虚拟机来执行python代码,奈何虚拟机连不了网,貌似被网管禁止,折腾了一天无果后打算直接在本机搭建Python环境和爬虫的相关插件

安装Python

    

下载安装win版本的Python,我下载的是python2.7

下载成功后安装,记得在 安装界面 多选框  Add Python x.x to Path 上打钩,可以自动添加path,不过在3.x的版本才有这个功能,2.7的版本需要在安装完成后自己手动添加。

python 支持qtquick python 支持win7_Python

我这里的安装路径是在C:\Python27\,把路径直接追加到path变量就行了。

 

安装pip

        我的电脑没有自带pip,所以还得下载pip,用于在线安装Python的扩展

        官网下载地址  https://pypi.python.org/pypi/pip#downloads

python 支持qtquick python 支持win7_python 支持qtquick_02

点击下载,解压到 自己 知道的目录下,接下来要在cmd里面执行安装

python 支持qtquick python 支持win7_Python_03

在cmd切换到pip解压的目录里面

python 支持qtquick python 支持win7_python_04

执行命令

python setup.py install

然后在环境变量的path变量追加 ;C:\Python27\Scripts\

接着在cmd执行 pip 或者 pip list 命令

如果显示有内容并且没有报错,那么就是安装和配置成功了,比如我执行 pip list 命令,会显示

python 支持qtquick python 支持win7_win7环境_05

 

pip安装成功后,就要开始安装爬虫相关的模块

pip install lxml #解析HTML和XML的模块

pip install requests  #用于发送请求

pip install xlwt  #创建、读写Excel文件

.......

在谷歌浏览器里安装相关扩展插件

安装postman

用于获取接口请求后得到的代码数据,如HTML、XML、json,支持多种请求方式,功能十分强大

Postman 4.1.2 下载地址:

下载完后解压到自己指定的目录,然后打开谷歌浏览器  更多工具->扩展程序->加载正在开发的程序

python 支持qtquick python 支持win7_python_06

 

安装xpath

        xpath链接:https://pan.baidu.com/s/1dFgzBSd 密码:zwvb

把下载好的离线插件拖动到这个扩展界面便可以了,如图,它会有提示,松开鼠标即可。

python 支持qtquick python 支持win7_python_07

 

接着会让你确认是否添加,我们当然要添加了,比较我们要用它来编写xpath规则。

python 支持qtquick python 支持win7_Python_08