简单爬虫知识

python 爬虫音乐 下载多个_html

 主要分为爬虫调度器，URL管理器，网页下载器，网页解析器，价值数据

爬虫调度器：来开启抓取数据

URL管理器：主要来负责管理访问的URL，包括为了防止重复访问用Set数据结构来保存，已经访问过的URL和未访问过的URL

网页下载器：用来获取网页内容，常用的urllib2和selenium库，其中selenium库可以调用网页交互操作和js加载后的数据，本文用selenium库来获取网页数据

网页解析器：主要从网页内容分解出我们需要的内容，如访问的url，文本内容，常用的库为BeautifulSoup库，也常用re库开正则查找

价值数据：为我们需要的数据

任务

央广或者地方台广播中有许多优秀的作品，比如经济广播中有一个节目《每当夜晚来临的时候》，我们想要获得之前的节目时，幸运的是，央广网主页时提供以往节目，我们手动下载比较多，耗时耗力，我们就可以利用爬虫技术，从网页中解析获得下载URL------->下载文件-------->加载下一页-------->解析下载URL------->.......

python 爬虫音乐 下载多个_数据_02

实现

  1. 网页下载器 采用selenium，使用PhantomJS时需要下载相关的程序，下载地址，然后放在python的Scripts文件夹下 
from selenium import webdriver
driver = webdriver.PhantomJS()
url='http://www.radio.cn/pc-portal/sanji/zhibo_2.html?channelname=2&name=520799&title=radio#'
driver.get(url)
print(driver.page_source)

打印出网页内容，就可以看到html内容

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml" xml:lang="utf-8" lang="utf-8" style="position: relative; height: 100%;"><head><script type="text/javascript" src="http://bdimg.share.baidu.com/static/api/js/view/share_view.js?v=3ae6026d.js"></script><script type="text/javascript" src="http://bdimg.share.baidu.com/static/api/js/share/share_api.js?v=226108fe.js"></script>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
    <title>中国广播Radio.cn</title>
    <meta name="filetype" content="0">
    <meta name="publishedtype" content="1">
    <meta name="pagetype" content="1">
    <meta name="catalogs" content="radio10">
    <meta name="contentid" content="520799">
    <meta name="publishdate" content="">
  1.  网页解析器 主要是来获得下载链接，在网页上选中“下载”右键选择检查，可以得到我们需要的节点 
<a href="#" onclick="downLiveRecord('cnvod.cnr.cn/audio2018/live/jjzs/201903/mdywlldsh_20190322231021jjzs_h.m4a','每当夜晚来临的时候');" style="color:#4876FF">下载</a>

利用 BeautifulSoup来查找该节点

html_cont = driver.page_source
soup = BeautifulSoup(html_cont, 'html.parser', from_encoding='utf-8')
links = soup.find_all('a', onclick=re.compile(r"downLiveRecord"))
html_code = links[0]
print(links[0])

根据上面可以得到结果

<a href="#" onclick="downLiveRecord('cnvod.cnr.cn/audio2018/live/jjzs/201903/mdywlldsh_20190322231021jjzs_h.m4a','每当夜晚来临的时候');" style="color:#4876FF">下载</a>

利用正则查找，找到下载url

results = re.findall(r"cnvod.*m4a",str(html_code))
print(results)
words = results[0].split('/')
folder_name = words[-2]
file_name = words[-1]
print(folder_name, file_name)

可以得到下载链接，以及其他的信息

['cnvod.cnr.cn/audio2018/live/jjzs/201903/mdywlldsh_20190322231021jjzs_h.m4a']
201903 mdywlldsh_20190322231021jjzs_h.m4a
  1. URL管理器   可以将上面的url用set管理起来等操作，这里说一下怎么加载下一页
driver.find_element_by_xpath("//a[contains(text(),'下一页')]").click()# selenium的xpath用法，找到包含“下一页”的a标签去点击
  1. 音频下载
down_url = r"http://"+str(results[0])
r = requests.get(down_url,stream=True) #stream=True #开启时时续续的下载的方式
total_size = int(r.headers['Content-Length'])
temp_size = 0
with open(file_name, 'wb') as f:
    for chunk in r.iter_content(chunk_size=1024): #chunk_size #设置每次下载文件的大小
        temp_size += len(chunk)
        f.write(chunk)  #每一次循环存储一次下载下来的内容
        f.flush()
        done = int(50 * temp_size / total_size)
        sys.stdout.write("\r[%s%s] %d%%" % ('█' * done, ' ' * (50 - done), 100 * temp_size / total_size))
        sys.stdout.flush()

 完整代码

import os
import re
import sys
import time
import requests
from bs4 import BeautifulSoup
from selenium import webdriver

def download(file_name, down_url):
    r = requests.get(down_url,stream=True)
    total_size = int(r.headers['Content-Length'])
    temp_size = 0
    try:
        with open(file_name, 'wb') as f:
            for chunk in r.iter_content(chunk_size=1024): #chunk_size #设置每次下载文件的大小
                temp_size += len(chunk)
                f.write(chunk)  #每一次循环存储一次下载下来的内容
                f.flush()
                done = int(50 * temp_size / total_size)
                sys.stdout.write("\r[%s%s] %d%%" % ('█' * done, ' ' * (50 - done), 100 * temp_size / total_size))
                sys.stdout.flush()   
    except:
        print('download failed') 

def main(url):
	driver = webdriver.PhantomJS()
	#url='http://www.radio.cn/pc-portal/sanji/zhibo_2.html?channelname=2&name=520799&title=radio#'
	driver.get(url)
	page = 0
	while page < 51:
		soup = BeautifulSoup(driver.page_source, "html.parser", from_encoding='utf-8')
		links = soup.find_all('a', onclick=re.compile(r"downLiveRecord"))
		for link in links:
			url = re.findall(r"cnvod.*m4a",str(link))
			print("page = %d, %s" % (page, url[0]))
			words = url[0].split('/')
			folder_name = words[-2]
			file_name = words[-1]
			#下载
			if os.path.exists(folder_name) == False:
				os.makedirs(folder_name)
			file_name = folder_name + r'/'+ file_name
			down_url = r"http://"+str(url[0])
			download(file_name, down_url)
			
		#下一页
		try:
			driver.find_element_by_xpath("//a[contains(text(),'下一页')]").click()# selenium的xpath用法，找到包含“下一页”的a标签去点击
		except:
			print('load next page failed')
		page = page + 1
		time.sleep(2)
	print('finish')

if __name__ == "__main__":
    root_url = "http://www.radio.cn/pc-portal/sanji/zhibo_2.html?channelname=2&name=520799&title=radio#"
    main(root_url)

结果

python 爬虫音乐 下载多个_爬虫_03