美丽汤python 美丽汤爬虫

转载

langrisser 2023-09-21 20:35:26

文章标签 美丽汤python html a标签解析器 文章分类 Python 后端开发

beautifulsoup4

灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页的提取。

使用方法：

案例代码展示可不看

import requests
from bs4 import *
import re
urls='https://www.dbmeinv.com/'  #这是一个urls地址
res=requests.get(urls)   #获取网页内容
t=res.text    #网页 内容以文本形式赋值给t
 
 
 
#匹配图片地址的正则
# needs=r'https://wx.*?jpg'
# pattern = re.compile(needs)
# need= pattern.findall(t)
 
 
 
#获取标签内容和图片的地址的代码
soup = BeautifulSoup(t,'lxml')  # 解析器为lxml
list_img=soup.find('img')  #寻找所有的img 标签
print(type(list_img[0]))    #获取src属性即 图片的唯一地址
print(list_img[0].get('src'))
 
for img_src in list_img:
遍历图片的地址
 
list_url=soup.find_all('a')  #寻找所有的a标签
print(type(list_url[0]))
print(list_url[0].get('href'))
 
for img_url in list_img:
获取a标签中的文本内容
 
 
 
soup=BeautifulSoup(t,'html.parser')
print(soup.find_all('a',class_='sister'))#class是特殊属性，因为class是关键字
print(soup.find_all('a',id='link3'))#用于查找有特定属性的标签
 
 
sibling_soup = BeautifulSoup("<a><b id='bbb'>text1</b><b>text2</b></b></a>", 'html.parser')
 
print(sibling_soup)    
print(sibling_soup.find('b',id='bbb'))  #获取id为bbb的标签
print(sibling_soup.find('b',id='bbb').next_sibling)  #获取id为bbb的标签的下一个b标签
 
****

使用BeatuifulSoup

引用

最常用的引用方式

Ps：B S需要大写

from bs4  import BeatuifulSoup
Soup = BeatuifulSoup(“<p>data</p>” , ‘html.parser’)
#两个参数 一个是需要解析的内容 一个是解析器
Soup=BeautifulSoup( open(path,”html.parser”))

BeatuifulSoup 基本元素

标签的认识可以参考html

属性的应用

Demo是一个respose.text

from bs4  import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.title) 
#打印出页面的title   包含闭合标签的内容
Tag=soup.a
Print(Tag)#打印a标签的内容包括各种属性
 
from bs4  import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Soup.a.name  #获取a标签的名字
Soup.a.parent.name #霸霸
Soup.a.parent.parent.name #霸霸的霸霸
#对于一个标签可以使用.name 的方式获得他的名字 返回的是一个字符串形式
 
 
Tag=soup.a
Print(Tag.attrs)
#返回标签的属性 是一个字典格式 
#对信息的提取
Tag.attrs[‘class’] #获取class的值
Tag.attrs[“href”]# 获取href 属性
#Tag的类型 是一个bs4种的一个内置类型
Soup.a.string  #a标签内容的属性
#可以跨越多个标签层次即：无视标签内容含有的标签
当标签内容中含有注释的时候
Soup.b.string 会正常打印标签内容无视注释效果
可通过类型判断
Print(type(“Soup.b.string”))
Print(type(“Soup.b.string”))
 
 
#基于bs4库中的htm库的遍历方法
 
from bs4  import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.head)获取head标签
print(Soup.head.contents) #head标签中的儿子标签是title标签
#返回的内容是一个列表
print(Soup.body.contents)#获取body的儿子标签
Print(len(Soup.body.contents)) #获取body标签的儿子标签的数量
Ps：子节点不知包括标签 甚至一些’\n’之类的换行符都可以是子节点
可通过列表类型的下表来检索其中的内容
Soup.body.contents[1] #获取第二个元素
#也可以通过for循环遍历
 
 
 
from bs4  import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.title.parent) #打印出title标签的霸霸
print(Soup.html.parent)#html 标签是doc中的最高级标签他的霸霸是他自己包含其中自己的全部内容
print(Soup.parent)#soup本身没

有霸霸

这里插入一个方法

Soup.prettify()
#这个方法就是在每个标签后加入一个\n
打印出来是十分规范的h5代码 一目了然
也可以对某个标签做格式化处理
Print(Soup.a.prettify())

会发现标签内容被漂亮的打印出来

标签树的平行遍历是有条件的

Ps：平行遍历发生在同一父节点的各节点间

from bs4  import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.a.next_sibling) #打印出a标签的下一个平行标签
#这里打印出一个’and’类型于之前提到过的’\n’
Print(Soup.a.next_sibling.next_sibling)#打印出a标签的下一个平行标签的下一个平行标签
print(Soup.a.previous)#打印出的是一段文本解释a标签之前的信息
#同时也可以打印出a标签的前前平行标签的信息
print(Soup.a.previous.previous)
 
 
 
find_all方法
Soup.find_all(“a”) #查找所有的a标签
#同时查找a，b标签
Soup.find_all([“a”，”b”])#作为一个列表形式
 
for tag in Soup.find_all(True):
Print(tag.name)

会打印出所有的标签

Soup.find_all(“p”,”course”) #返回带有 course属性值的所有p标签  （列表）
Soup.find_all(id=link1)  #查找id属性为link1的标签元素 （列表）

如果没有会返回一个空列表

beautifulsoup4

灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页的提取。

使用方法：

案例代码展示可不看

import requests
from bs4 import *
import re
urls='https://www.dbmeinv.com/'  #这是一个urls地址
res=requests.get(urls)   #获取网页内容
t=res.text    #网页 内容以文本形式赋值给t
 
 
 
#匹配图片地址的正则
# needs=r'https://wx.*?jpg'
# pattern = re.compile(needs)
# need= pattern.findall(t)
 
 
 
#获取标签内容和图片的地址的代码
soup = BeautifulSoup(t,'lxml')  # 解析器为lxml
list_img=soup.find('img')  #寻找所有的img 标签
print(type(list_img[0]))    #获取src属性即 图片的唯一地址
print(list_img[0].get('src'))
 
for img_src in list_img:

遍历图片的地址

list_url=soup.find_all('a')  #寻找所有的a标签
print(type(list_url[0]))
print(list_url[0].get('href'))
 
for img_url in list_img:

获取a标签中的文本内容

soup=BeautifulSoup(t,'html.parser')
print(soup.find_all('a',class_='sister'))#class是特殊属性，因为class是关键字
print(soup.find_all('a',id='link3'))#用于查找有特定属性的标签
 
 
sibling_soup = BeautifulSoup("<a><b id='bbb'>text1</b><b>text2</b></b></a>", 'html.parser')
 
print(sibling_soup)    
print(sibling_soup.find('b',id='bbb'))  #获取id为bbb的标签
print(sibling_soup.find('b',id='bbb').next_sibling)  #获取id为bbb的标签的下一个b标签
 
****

使用BeatuifulSoup

引用

最常用的引用方式

Ps：B S需要大写

from bs4 import BeatuifulSoup

Soup = BeatuifulSoup(“<p>data</p>” , ‘html.parser’)

#两个参数一个是需要解析的内容一个是解析器

Soup=BeautifulSoup( open(path,”html.parser”))

BeatuifulSoup 基本元素

标签的认识可以参考html

属性的应用

Demo是一个respose.text

from bs4  import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.title) 
#打印出页面的title   包含闭合标签的内容
Tag=soup.a
Print(Tag)#打印a标签的内容包括各种属性
 
from bs4  import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Soup.a.name  #获取a标签的名字
Soup.a.parent.name #霸霸
Soup.a.parent.parent.name #霸霸的霸霸
#对于一个标签可以使用.name 的方式获得他的名字 返回的是一个字符串形式
 
 
Tag=soup.a
Print(Tag.attrs)
#返回标签的属性 是一个字典格式 
#对信息的提取
Tag.attrs[‘class’] #获取class的值
Tag.attrs[“href”]# 获取href 属性
#Tag的类型 是一个bs4种的一个内置类型
Soup.a.string  #a标签内容的属性
#可以跨越多个标签层次即：无视标签内容含有的标签
当标签内容中含有注释的时候
Soup.b.string 会正常打印标签内容无视注释效果
可通过类型判断
Print(type(“Soup.b.string”))
Print(type(“Soup.b.string”))
 
 
#基于bs4库中的htm库的遍历方法
 
from bs4  import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.head)获取head标签
print(Soup.head.contents) #head标签中的儿子标签是title标签
#返回的内容是一个列表
print(Soup.body.contents)#获取body的儿子标签
Print(len(Soup.body.contents)) #获取body标签的儿子标签的数量
Ps：子节点不知包括标签 甚至一些’\n’之类的换行符都可以是子节点
可通过列表类型的下表来检索其中的内容
Soup.body.contents[1] #获取第二个元素
#也可以通过for循环遍历
 
 
 
from bs4  import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.title.parent) #打印出title标签的霸霸
print(Soup.html.parent)#html 标签是doc中的最高级标签他的霸霸是他自己包含其中自己的全部内容
print(Soup.parent)#soup本身没有霸霸
 
这里插入一个方法
Soup.prettify()
#这个方法就是在每个标签后加入一个\n
打印出来是十分规范的h5代码 一目了然
也可以对某个标签做格式化处理
Print(Soup.a.prettify())
会发现标签内容被漂亮的打印出来
 
 
 
标签树的平行遍历是有条件的
Ps：平行遍历发生在同一父节点的各节点间
from bs4  import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.a.next_sibling) #打印出a标签的下一个平行标签
#这里打印出一个’and’类型于之前提到过的’\n’
Print(Soup.a.next_sibling.next_sibling)#打印出a标签的下一个平行标签的下一个平行标签
print(Soup.a.previous)#打印出的是一段文本解释a标签之前的信息
#同时也可以打印出a标签的前前平行标签的信息
print(Soup.a.previous.previous)
 
 
 
find_all方法
Soup.find_all(“a”) #查找所有的a标签
#同时查找a，b标签
Soup.find_all([“a”，”b”])#作为一个列表形式
 
for tag in Soup.find_all(True):
Print(tag.name)
会打印出所有的标签
 
 
Soup.find_all(“p”,”course”) #返回带有 course属性值的所有p标签  （列表）
Soup.find_all(id=link1)  #查找id属性为link1的标签元素 （列表）

如果没有会返回一个空列表

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。