python爬取最近热播剧paiha python全网爬取内容

Python 网站爬取内容

第一步 所需的引用

import urllib.request  
import re   
import bs4
import time;

第二步获取网页内容

url='https://www.ranzhi.org/book/ranzhi/about-ranzhi-4.html'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0'}#有时候得给它User-Agent,否则会报错
page1=urllib.request.Request(url,headers=headers)
page=urllib.request.urlopen(page1)
contents = page.read()   
soup = bs4.BeautifulSoup(contents.decode("utf-8"), "lxml");
print(soup)

按照条件获取网页内容

#在id为book内的所有数据（包括html标签）
print(soup.find_all(id='book'))
#如果想要只获取内容不获取html标签
for tag in soup.find_all(id='book'):
    print(tag.get_text())
n=0
#获取特定标签下的内容
for tag in soup.find_all('div'):
    n+=1
    print('第{}个span标签，内容为：{}'.format(n,tag.get_text()))
#获取某id或class下的指定标签的内容
for tag in soup.find_all(id='book'):
    for tag2 in tag.find_all('div'):
        print(tag2.get_text())

完整代码

import urllib.request  
import re   
import bs4
import time; 
url='https://www.ranzhi.org/book/ranzhi/about-ranzhi-4.html' 
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0'}#有时候得给它User-Agent,否则会报错
page1=urllib.request.Request(url,headers=headers)
page=urllib.request.urlopen(page1)
contents = page.read()   
soup = bs4.BeautifulSoup(contents.decode("utf-8"), "lxml");
#网页全部内容
print(soup)
#在id为book内的所有数据（包括html标签）
print(soup.find_all(id='book'))
#如果想要只获取内容不获取html标签
for tag in soup.find_all(id='book'):
    print(tag.get_text())
n=0
#获取特定标签下的内容
for tag in soup.find_all('div'):
    n+=1
    print('第{}个span标签，内容为：{}'.format(n,tag.get_text()))
#获取某id或class下的指定标签的内容
for tag in soup.find_all(id='book'):
    for tag2 in tag.find_all('div'):
        print(tag2.get_text())