首先：分析b站的番剧索引网页：https://www.bilibili.com/anime/index/由图可知我们我们想要的图片是动态加载的，request请求不到。这时我们可以用selenium模块解决，但是该模块爬取速度太慢了，我们这里采用另一种方法。另一种方法则是找出加载出这些数据的文件，有时这些动态的数据会被直接放在js中，有时会向服务器发送请求来得到数据，有一种常用的请求方式就是Aja
转载
2023-12-11 16:37:42
142阅读
前言继接口爬取和网页页面爬取两个练习后，闲着无聊我也四处去找一些合法网站练手，而这次想要爬取的网站是集鬼畜、二次元、学习等元素于一身的b站中的完结动画。废话不多说，开始我们的爬取。步骤1：进入开发者模式通过分析，可以知道我们要爬取的数据没有对应的接口文件，这就说明我们只能通过爬取网页的方法进行。经过分析，我们可以得出我们想要的数据的路径为div[@class=” vd-list-cnt”]/ul/
转载
2023-10-17 19:37:20
116阅读
爬虫流程爬取链接通过链接爬取内容（以爬取b站番剧信息为例，利用requests和bs4等库。） 1.爬取链接 由于每部番都有相应的media_id，简称md。所以只需爬取md后加到链接 https://www.bilibili.com/bangumi/media/md 的后面 即可获得番剧对应的链接。 例如：https://www.bilibili.com/bangumi/media/md1023
转载
2023-11-28 15:14:18
650阅读
B站弹幕爬取并制成词云前言作为一个经济学学生，数据分析和可视化是一定要掌握的，从今天开始进行一些Python项目的记录，就不进行Python基础知识的讲解了！一、B站弹幕的爬取弹幕地址获取import re
import requests
import urllib
import bs4
def main():
url = "你要爬的视频的地址"
datalist = get_html
转载
2023-11-30 13:07:59
237阅读
1. 先看效果图，随便抓的信息2. 解析 ，fiddler抓包工具的配置大家自己百度吧，教程都很详细3. 打开fiddler和模拟器，在模拟器打开哔哩哔哩软件，fiddler我是通过查找分析之后之后过滤的域名4. 我们通过打开b站的相应版块，然后进行往下翻页之后，fiddler就会根据我之前选择过滤的域名给我标黑5. 我们点开其中一条标黑的url，然后和b站软件的进行对比，发现我们需要的信息都可以
该篇文章为"行路难=_="原创期末的Python考试要写一个爬取网站信息的程序，我就选取了b站番剧索引页面作为目标网页（因为感觉番剧主页的信息太杂了。）原本打算魔改老师给的范例使用BeautifulSoup库来解析html获取数据的， 但是在运行的时候发现。好像获取不了数据？原先使用的代码： app.py （主程序）import requests
from bs4 import Beautiful
转载
2023-11-25 13:18:52
366阅读
python爬取b站弹幕并进行数据可视化1.第一步，爬取b站弹幕我们随便打开一个b站视频打开开发者模式，在network下搜索list，可以找到该视频的弹幕文件 打开之后是这个样子的 结构还是比较简单的，我们后续爬取数据也就比较方便 下面是爬取弹幕的代码// An highlighted block
from bs4 import BeautifulSoup#负责解析网页源码
import req
转载
2024-03-14 22:44:42
457阅读
1. B站博人传评论数据爬取简介今天想了半天不知道抓啥，去B站看跳舞的小姐姐，忽然看到了评论，那就抓取一下B站的评论数据，视频动画那么多，也不知道抓取哪个，选了一个博人传跟火影相关的，抓取看看。 在这个网页看到了18560条短评，数据量也不大，抓取看看，使用的还是scrapy。2. B站博人传评论数据案例—获取链接从开发者工具中你能轻易的得到如下链接，有链接之后就好办了，如何创建项目就不在啰嗦了，
转载
2023-12-01 10:47:26
1344阅读
【Python】使用Python根据BV号爬取对应B站视频下的所有评论（包括评论下的回复）本文写于2020-4-27，当你阅读到本文的时候如果因为下列原因导致本文代码无法正常工作，本人概不负责。B站的页面和API接口的变动B站为页面和API加入了反爬虫机制，或者对请求首部有了新的要求Python版本的变动和标准库的调整BeautifulSoup4的变动使用到的库【第三方库】：BeautifulSo
转载
2023-12-21 11:42:34
136阅读
爬虫时遇到很多数据并不在访问网址的返回包里，而是随着用户下拉逐步加载的，也就是用到了Ajax，那么这时我们该如何爬取我们想要的数据呢？这里用爬取b站评论区相关数据为例，练习一下python爬虫异步爬取数据的相关流程，完整程序实例在最后面：准备工作用到的包：import requestsimport time爬虫相关主要还是requests包，练习用脚本本身也并不复杂。根据写一个爬虫脚本的一般流程，
转载
2023-10-16 09:14:17
197阅读
# 使用Java爬取B站视频的完整教程
在这篇文章中，我们将通过Java来爬取B站视频。尽管爬虫技术被广泛使用，但请一定遵循各网站的使用条款。下面是实现这一任务的流程，以及每一步的细节。
## 步骤流程
| 步骤 | 描述 |
|------|------------------------|
| 1 | 确定目标视频的URL |
| 2
原创
2024-08-07 06:47:50
221阅读
大家好，我是老表~这几天一直有小伙伴问B站上的视频数据是怎么获取的，今天就来给大家分享一下批量获取B站视频数据的方式。大家也可以看看前天发的该死！B 站上这些 Python 视频真香！即学即用～01页面分析B站的反爬虫技术是信息校验型反爬虫中的cookie反爬虫，我们需要在爬取数据的时候加上cookie，即可绕过该其反爬虫机制。有不懂怎么绕过的小伙伴可以看看这篇文章学会Cookie，解决登录爬取的
转载
2024-05-11 07:58:26
340阅读
分享几个看番剧的网站和APP
原创
2021-06-24 11:04:14
8194阅读
B站弹幕简单爬虫 功能：获取视频弹幕并保存到txt文档 使用方法：找到b站视频所在的aid，传入到main函数下的av='一串数字，即aid'即可 找aid方法：视频下有个转发按钮，鼠标放上去可以看到有个嵌入代码iframe，那里就有aid。或者检查、network、刷新一下，在Name栏可以找到包 ...
转载
2021-09-16 11:13:00
690阅读
2评论
在现今的互联网时代，获取信息的方式愈发多样化，其中，许多平台（比如B站）提供了丰富的动态内容，吸引了无数用户的关注。有些开发者和研究人员可能会出于分析或个人兴趣的需要，使用Python来爬取B站的动态信息。接下来，这篇博文将详细解析如何使用Python爬取B站动态的整个过程，包括适用场景、核心性能指标、必要功能特性、实战对比、深度原理以及选型指南。
## 适用场景分析
在做这个项目之前，我们首
# 学习如何用 Python 爬取 B 站评论
随着互联网的发展，数据爬取逐渐成为了一个热门话题。在这篇文章中，我将教你如何使用 Python 爬取 B 站（哔哩哔哩）的评论。无论你是编程新手，还是想要了解爬虫技术的开发者，这篇文章都会对你有所帮助。
## 过程概述
在开始之前，我们需要对整个过程有一个清晰的认识。以下是这个任务的具体步骤：
| 步骤 | 描述 |
|------|----
# 使用 Python 爬取 B 站的 CID
B 站（哔哩哔哩）是一家深受年轻人喜爱的弹幕视频网站，每个视频都有对应的 CID（Content ID），它用于唯一标识每个视频的播放数据。本文将介绍如何利用 Python 爬取 B 站视频的 CID，并附上代码示例。
## 了解 CID
CID 是 B 站视频的数据关键参数，通常我们在进行视频下载、解析时，需要获取这个 ID。常规获取方式是通
原创
2024-10-26 03:50:08
710阅读
由于b站爬虫难度较小（url地址主要通过av定位），我第一的爬虫尝试就选择了b站以下为初步的尝试。首先，由于初步统计，b站空视频（已下架或者删除）的比例大概是百分之五十（统计样本基本在前几年的视频中），因此，我觉得使用简单的迭代搜索问题不大（如果为了减少一半的搜索量写大量爬虫逻辑代码比较浪费时间）我使用的是python自带的request获取b站页面源代码，然后本来想直接获取数据。然而，开始的数据
转载
2024-10-28 12:23:04
9阅读
文章目录一．准备工作1．工具二．思路1．整体思路2．爬虫思路三．分析网页1.分析数据加载方式2．分词接口url3.分析用户名（mid）四．撰写爬虫五．得到数据六．总结 上次写了篇 python3网络爬虫–爬取b站视频评论用户信息（附源码） 效果良好，因此再写一篇爬取用户投稿视频的爬虫，思路简单一些。不过本次将数据存储到了MySQL数据库。 本次实现：手动输入用户id，程序根据id爬取此用户的
转载
2024-08-27 20:49:55
340阅读
观察这个页面包含的信息，包括[标题][播放量][视频弹幕数量][up主姓名]…常规操作，F12查看这些数据源码所处的位置 ?日榜100名的list列表 ?每一个item中数据所在位置了解到结构后，就可以开始写爬虫了。首先爬虫需要的几个库，没有的话（pip install ***）BeautifulSoup4（解析html页面）requests（发送请求）datetime（最后在文件中加入日期）j
转载
2023-09-28 11:00:29
323阅读
