前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

开发工具

  • python 3.6.5

  • pycharm

  • requests

确定目标网页

Python爬取全民小视频网站视频，可爬取全站视频_python

选择影视类目

Python爬取全民小视频网站视频，可爬取全站视频_python_02

右键选择检查，开发开发者工具

Python爬取全民小视频网站视频，可爬取全站视频_python_03

选择 Network，网页往下滑，可以看到数据加载

Python爬取全民小视频网站视频，可爬取全站视频_python_04

需要获取如下三种数据：

  • 视频地址

  • 视频名字

  • 视频ID

Python爬取全民小视频网站视频，可爬取全站视频_python_05

Python爬取全民小视频网站视频，可爬取全站视频_python_06

接口数据链接是通过pn的变化，实现翻页效果

如果想要爬取其他分类视频，把参数中tab_name 更改即可

完整代码

#Python学习交流QQ群：778463939
import pprint
import requests

url = 'https://quanmin.baidu.com/wise/growth/api/home/tabmorelist'
for page in range(1, 100):
    params = {
        'rn': '12',
        'pn': '{}'.format(page),
        'timestamp': '1603442730716',
        'session_id': '1603442719704',
        'tab_name': 'movie',
        '_format': 'json',
    }
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
    }
    response = requests.get(url=url, params=params, headers=headers)
    html_data = response.json()
    lis = html_data['data']['list']['video_list']
    for li in lis:
        play_url = li['play_url']
        title = li['title']
        filename = 'D:\\python\\demo\\全民小视频\\视频\\' + title + '.mp4'
        response_2 = requests.get(url=play_url, headers=headers)
        with open(filename, mode='wb') as f:
            f.write(response_2.content)
            print(title, play_url)

效果图：

Python爬取全民小视频网站视频，可爬取全站视频_python_07


Python爬取全民小视频网站视频，可爬取全站视频_python_08

还是挺简单的