Python3 网络爬虫(请求库的安装)

爬虫可以简单分为几步:抓取页面,分析页面和存储数据

在页面爬取的过程中我们需要模拟浏览器向服务器发送请求,所以需要用到一些python库来实现HTTP的请求操作,我们用到的第三方库有requests Selenium 和aiohttp

requests 的安装

相关链接:

GitHub :https://github.com/requests/requests

PypI:https://pypi.python.org/pypi/requests

官方文档:http://www.python-requests.org

中文文档:http://docs.python-request.org/zh_CN/latest

安装:

最好用的安装方式:pip 安装

pip3 install  requests


验证是否安装成功

打开控制台进入命令行模式,首先输入python3 然后输入import requests   如果什么报错或提示说明安装成功

#!/usr/bin/env python#-*- coding:utf-8 -*-#__author__=v_zhangjunjie02

import requests

Selenium 的安装

selenium是一种自动化测试工具,利用它可以驱动浏览器执行特定的动作,如点击,下拉等操作,对于一些JavaScript 渲染的页面来说,这种抓取方式非常有效,下面来看看selenium 的安装过程

相关链接

官方网站:http://www.seleniumhq.org

GitHub :https://github.com/SeleniumHQ/selenium/tree/master/py

PypI: https://pypi.python.org/pypi/selenium

官方文档:http://selenium-python.readthedocs.io

中文文档:http://selenium-python-zh.readthedocs.io

还是用pip 安装

pip3 install selenium


验证是否安装成功:

打开控制台进入命令行模式,首先输入python3 然后输入import selenium   如果什么报错或提示说明安装成功