假设各位老哥已经安装好了bs4 requests这些库了

这个小说是随便挑的，各位也就不用太介意(仅供各位学习)

python3 实现，网上用python2做爬虫的太多了，但用python3的还是比较少

通过步骤四中 寻找到的那些url来对逐步访问，获取txt并写入(这个在之前也都讲过了)


本来代码是会很简单的，但为了不被禁什么的。就加了模拟人的休息(sleep)

代码会自动下载到E:/txt/这个文件夹中(没有的话，会自动添加这个文件夹)

会自动寻找到这个小说的名字(并存储下来，以这个名字作为文件名)

通过步骤四的筛选使得这些链接都是包括有小说内容的(一般会有作者发一些公告的章节，对于这个进行了一定的筛选)

下载过程的效果

import requests
from bs4 import BeautifulSoup
import os
import time
import random
urls = []
title = []
content_url = "http://www.biquge.com.tw/4_4038"
kv = {'user_agent': 'Mozilla/5.0'} # 表示是一个浏览器
root = 'E:/txt/' # 设置根目录，将会把txt文件放到这个文件夹中的
book_name = '1.txt' # 设置一个Default书名(虽然在后来肯定是会找到一个名字的)
count = 0
try:
r = requests.get(content_url, headers=kv) # 表示自己是一个浏览器
r.raise_for_status() # 如果有问题就会raise一个问题
r.encoding = r.apparent_encoding # 根据网页返回的编码 进行调整
soup = BeautifulSoup(r.text, 'html.parser')
content_list = soup.find(id='list')
chapter_list = soup.find_all('dd')
meta = soup.find('head').find(attrs={'property': "og:novel:book_name"})
book_name = meta['content'] + '.txt'
print(book_name[:book_name.index('.txt')] + '写入中')
for chapter in chapter_list: # 整合得到所有跟内容有关的链接(会有哪些跟内容无关的章节的)
if '第' in chapter.find('a').text and '章' in chapter.find('a').text:
title.append(chapter.find('a').text)
urls.append(content_url[:content_url.rindex('/')] + chapter.find('a')['href'])
first = True
for i, url in enumerate(urls):
r = requests.get(url, headers=kv)
r.raise_for_status()
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text, 'html.parser')
content = soup.find(id='content')
string = content.text.replace('\u3000', '').replace('『', '“').replace('』', '”').replace('\ufffd', '').replace('\u30fb', '') # 去除不相关字符
string = string.split('\xa0') # 编码问题解决
string = list(filter(lambda x: x, string))
for ii in range(len(string)):
string[ii] = ' ' + string[ii]
if "本站重要通知" in string[ii]: # 去除文末尾注
t = string[ii].index('本站重要通知')
string[ii] = string[ii][:t]
string = '\n'.join(string)
string = '\n' + title[i] + '\n' + string + '\n'
string = string.replace('\ufffd', '').replace('\u30fb', '').replace('\u3000', '')
if not os.path.exists(root):
os.mkdir(root) # 如果没有这个文件夹，就会创建一个
if first: # 如果是第一次写入的话，会将原来的内容清空，然后再写入
first = False
with open(root + book_name, 'w') as f:
f.write(string)
f.close()
else: # 反之，则直接在文章末尾处添加
with open(root + book_name, 'a') as f:
f.write(string)
f.close()
print(title[i].replace('\ufffd', ''), '写入成功') # 这是因为我担心这个字符是在title中的
ti = random.randint(0, 2)
if ti == 0:
count += 1
else:
count = 0
if count < 3:
time.sleep(ti)
else:
time.sleep(30)
except:
pass