看了python基础几天,在某大佬的怂恿下开始接触 爬虫,原本想用linux虚拟机来执行python代码,奈何虚拟机连不了网,貌似被网管禁止,折腾了一天无果后打算直接在本机搭建Python环境和爬虫的相关插件
安装Python
下载安装win版本的Python,我下载的是python2.7
下载成功后安装,记得在 安装界面 多选框 Add Python x.x to Path 上打钩,可以自动添加path,不过在3.x的版本才有这个功能,2.7的版本需要在安装完成后自己手动添加。
我这里的安装路径是在C:\Python27\,把路径直接追加到path变量就行了。
安装pip
我的电脑没有自带pip,所以还得下载pip,用于在线安装Python的扩展
官网下载地址 https://pypi.python.org/pypi/pip#downloads
点击下载,解压到 自己 知道的目录下,接下来要在cmd里面执行安装
在cmd切换到pip解压的目录里面
执行命令
python setup.py install
然后在环境变量的path变量追加 ;C:\Python27\Scripts\
接着在cmd执行 pip 或者 pip list 命令
如果显示有内容并且没有报错,那么就是安装和配置成功了,比如我执行 pip list 命令,会显示
pip安装成功后,就要开始安装爬虫相关的模块
pip install lxml #解析HTML和XML的模块
pip install requests #用于发送请求
pip install xlwt #创建、读写Excel文件
.......
在谷歌浏览器里安装相关扩展插件
安装postman
用于获取接口请求后得到的代码数据,如HTML、XML、json,支持多种请求方式,功能十分强大
Postman 4.1.2 下载地址:
下载完后解压到自己指定的目录,然后打开谷歌浏览器 更多工具->扩展程序->加载正在开发的程序
安装xpath
xpath链接:https://pan.baidu.com/s/1dFgzBSd 密码:zwvb
把下载好的离线插件拖动到这个扩展界面便可以了,如图,它会有提示,松开鼠标即可。
接着会让你确认是否添加,我们当然要添加了,比较我们要用它来编写xpath规则。