Python3 网络爬虫(请求库的安装)
爬虫可以简单分为几步:抓取页面,分析页面和存储数据
在页面爬取的过程中我们需要模拟浏览器向服务器发送请求,所以需要用到一些python库来实现HTTP的请求操作,我们用到的第三方库有requests Selenium 和aiohttp
requests 的安装
相关链接:
GitHub :https://github.com/requests/requests
PypI:https://pypi.python.org/pypi/requests
官方文档:http://www.python-requests.org
中文文档:http://docs.python-request.org/zh_CN/latest
安装:
最好用的安装方式:pip 安装
pip3 install requests
验证是否安装成功
打开控制台进入命令行模式,首先输入python3 然后输入import requests 如果什么报错或提示说明安装成功
#!/usr/bin/env python#-*- coding:utf-8 -*-#__author__=v_zhangjunjie02
import requests
Selenium 的安装
selenium是一种自动化测试工具,利用它可以驱动浏览器执行特定的动作,如点击,下拉等操作,对于一些JavaScript 渲染的页面来说,这种抓取方式非常有效,下面来看看selenium 的安装过程
相关链接
官方网站:http://www.seleniumhq.org
GitHub :https://github.com/SeleniumHQ/selenium/tree/master/py
PypI: https://pypi.python.org/pypi/selenium
官方文档:http://selenium-python.readthedocs.io
中文文档:http://selenium-python-zh.readthedocs.io
还是用pip 安装
pip3 install selenium
验证是否安装成功:
打开控制台进入命令行模式,首先输入python3 然后输入import selenium 如果什么报错或提示说明安装成功