爬虫模块(从网页上采集数据 数据放置在网页标签里面) 1.requests2.BeautifuSoup3.urllib4.urllib25.scrapy6.lxml 爬取步骤 1.获取标签的内容 数据 ：<div> <title> <a> .... 找到标签里面的内容 soup.div
2.打开网页获取文件的内容 soup.prettify() //打印本地文件的内容
3.html源代码相同标签很多，怎么获取到我想要的那一部分内容 网页名字 class id find：查找标签 e = soup.find("div",class_="a").txt class是关键词 所以要放置下划线
区分点： find() find_all() 都是查找标签里面的内容 python 3.x print后面要加括号 在python3中，urllib2合并到urllib库中
字符串格式化的作用（为真实的值保留一个位置）
* coding:utf-8 *
from bs4 import BeautifulSoup #从网页抓取数据 import urllib3,urllib.request x = 0; urls = ['https://www.buxiuse.com/?page={}'.format(str(i)) for i in range(5,11)] for url in urls: def crawl(url): # 模拟浏览器 加上headers headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"} req = urllib.request.Request(url, headers=headers) # 用地址创建一个request对象 page = urllib.request.urlopen(req, timeout=20) # 打开网页 contents = page.read() # 获取源码 soup = BeautifulSoup(contents, features="lxml") my_girl = soup.find_all('img') for girl in my_girl: link = girl['src'] global x urllib.request.urlretrieve(link, "image%s.jpg" % x) # 下载 print("爬取完第" + str(x) + "张") x += 1 crawl(url)
