端午节除了学习领导要求的蒙特卡洛和VAR建模分析，闲暇时间做了一个小项目，记录在博客上。5月29日，备受关注的季中邀请赛在韩国釜山图书馆结束，代表LPL出战的RNG3比2战胜了韩国的T1，看的那叫一个扬眉吐气，今天做个小项目，爬取下B站比赛视频，看下网友都咋说，然后做个简单的分析。0. 导包## 各个包功能不再赘述，注意后文的高频词汇分析时用jieba.analyse
import re
impo
本文仅用于学习与交流使用，不具有任何商业价值，如有问题，请与我联系，我会即时处理。---Python逐梦者。首先是某果TV。弹幕。以电影《悬崖之上》为例。弹幕数据所在的文件是动态加载的，打开开发者工具，让它加载很多数据，然后搜索某一条数据就看到在哪个包里了，然后就是参数变化不同分析。某果TV的视频播放一分钟它就会更新一个json数据包，里面包含需要的弹幕数据。动手干。1 import csv
2
一．选题背景随着互联网的发展，视频弹幕网站（如bilibili, youtube等）越来越流行，弹幕的信息通过视频在用户间分享流转，使弹幕具有了传播的特点。弹幕的信息包含了用户的主观情感，用户能在文字中加入情感色彩的词藻，使弹幕具有了描述人类主观喜好、赞赏、感觉等情感的特点。弹幕在传播过程中可能会在某个时间节点或者某个用户参与后，其热议程度呈井喷式增长。因此，对弹幕的各项信息进行分析对视频创造者和
转载
2024-10-28 19:54:44
156阅读
# 电影弹幕数据分析项目方案
## 项目背景
随着网络视频平台的迅猛发展，电影弹幕作为一种新兴的观影体验，逐渐被观众所接受和喜爱。弹幕不仅能展示观众的实时反应和评论，还可以为影片分析提供有价值的数据支持。因此，进行电影弹幕数据分析，有助于了解观众的观看习惯、情感倾向以及对影片的评价。
## 项目目标
本项目的主要目标是：
1. **收集和整理弹幕数据**：从网络视频平台获取多部电影的弹幕
原创
2024-09-14 04:34:13
33阅读
一.选题背景1.背景：爬虫是从互联网上抓取对于我们有价值的信息。选择此题正是因为随着信息化的发展，大数据时代对信息的采需求和集量越来越大，相应的处理量也越来越大，正是因为如此，爬虫相应的岗位也开始增多，因此，学好这门课也是为将来就业打下扎实的基础。bilibili在当今众多视频网站中，有许多年轻人都在使用这个软件，通过爬取其中热门视频的弹幕可以了解最近年轻人都在看些什么，可以进一步了解现阶段年轻人
转载
2023-08-10 11:37:31
390阅读
♚
作者：法纳斯特GitHub：https://github.com/Tobby-star/ 01 / 网页分析B站的弹幕数据有现成的接口，只需找到对应视频的cid值即可。从上图可以知道，弹幕一共2719条，视频的cid值为72036817。接下来访问接口，获取数据。网址：http://comment.bilibili.com/72036817.xml接口获取的弹幕数据最多只有1000条。
学习了moocs 慕课的南京大学的网络课程《用python玩转数据》，通过对B站弹幕数据分析，掌握python的爬虫技术，以及对数据的可视化展示。
原创
2017-07-13 17:03:19
9921阅读
4评论
# Python爬取B站弹幕并进行数据分析
## 引言
在这个信息爆炸的时代，弹幕作为一种新兴的互动形式，为观众带来了丰富的观看体验。尤其是在视频网站如B站，弹幕成为了观众表达情感的重要方式。本文将为您介绍如何使用Python爬取B站的弹幕数据，并对这些数据进行简单的分析和可视化。
## 环境准备
在开始之前，请确保您的计算机上安装了以下Python库：
```bash
pip inst
原创
2024-10-17 13:35:17
799阅读
1评论
当我们谈论IT服务管理（ITSM）世界中的大数据时，这里有两个非常不同的概念： • IT为业务提供的大数据工具/服务：对关键的业务运营数据进行数据索引。 • IT运营中的大数据：处理和利用复杂的IT运营数据。大数据中的业务运营服务在竞争日益激烈，数据驱动的世界中，企业管理者都在寻找能够有效管理和解释业务数据（尤其是大数据）的方法。数字化的业务操作，如：电子商务网站和银行移动APP，它们产生了大量的
转载
2023-10-03 08:52:17
206阅读
不用任何公开参考资料，估算今年新生儿出生数量 解答：1）采用两层模型（人群画像人群转化）：新生儿出生数=Σ各年龄层育龄女性数量各年龄层生育比率 2）从数字到数字：如果有前几年新生儿出生数量数据，建立时间序列模型（需要考虑到二胎放开的突变事件）进行预测 3）找先兆指标，如婴儿类用品的新增活跃用户数量X表示新生儿家庭用户。Xn/新生儿n为该年新生儿家庭用户的转化率，如X2007/新生儿2007位为20
转载
2023-08-21 09:13:32
633阅读
1.数据分析方法分类业务数据分析师（对数学建模的要求较低）、数据挖掘（对业务与数学建模的要求较高）、大数据分析（需要一定的编程能力）。层层进阶2.职位进阶3.数据分析结果数据可视化4.数据分析的流程在业务理解中要多问问题，了解需求，知道问题的核心。可以看书籍《学会提问》。5. 围绕数据分析师的三大类工作内容
原创
2022-04-15 21:35:17
1588阅读
利用python数据结构（list, dict, set等）完成简单的文本分析任务。弹幕是现下视频网站，尤其是短视频网站提供的关键功能之一。以B站为例，其有着特殊的弹幕文化，且在视频的不同部分往往会有不同话题的弹幕：比如在视频开头会出 现“来啦”“x小时前”“第一!”;在up主暗示一键三连之后常常会出现“下次一定”或者“你币有 了”;和up主建立默契之后，观众可以判断视频是否有恰饭，往往在广告之前
转载
2023-09-13 11:06:39
198阅读
大数据技术和数据分析有什么关系大数据经过多年发展形成了一个完整的产业链和技术链，大数据的产业链是围绕技术链来打造的，而大数据的技术链则围绕数据价值化这个中心来展开，涉及到数据的采集、存储、安全、分析、呈现和应用，那么大数据技术和数据分析有什么关系呢?1、从大数据的技术链来看：数据分析是其中的重要一环，也是目前大数据价值化的核心环节，所以很多人也把大数据就理解为数据分析了。虽然数据分析比较重要，但是
转载
2024-01-13 20:01:43
252阅读
对视频弹幕进行简单的数据分析与可视化
概述：对B站视频中的弹幕进行数据采集与分析，实现如下目标：（1）分析某一视频的用户情感倾向；（2）从评论文本中挖掘出该视频的精彩片段； 数据采集（1）下载网页源代码（利用request库） 用浏览器打开comments_file.xml文件，如下所示： （2）将抓
转载
2023-09-27 21:53:20
169阅读
目录一、Apache Pig概述二、Apache Pig架构1）架构图2）Apache Pig组件1、Parser（解析器）2、Optimizer（优化器）3、Compiler（编译器）4、Execution engine（执行引擎）三、Apache Pig安装1）下载Apache Pig2）配置环境变量3）修改配置四、Apache Pig执行模式1）本地模式2）Tez 本地模式3）Spark 本
转载
2023-12-20 21:04:58
199阅读
一、什么是AARRR模型，以及为什么它如此受欢迎？让我们深入了解Dave McClure的模型。AARRR代表：用户拉新Acquisition 用户激活Activation 用户留存Retention 用户推荐Referral 商业收入Revenue二 、RARRA模型是托马斯·佩蒂特Thomas Petit和贾博·帕普Gabor Papp对于海盗指标-AARRR模型的优化。RARRA模型突出了用
转载
2023-10-03 11:30:01
222阅读
相关性分析散点图矩阵初判多变量间关系，两两数据之间的，比如说4个数据ABCD，就有12个比较，第一个参数和第二个参数，第一个参数和第三个参数，.......这个图就是正态分布的几个参数，就没有任何的相关性 相关性分析
分析连续变量之间的线性相关程度的强弱
图示初判 / Pearson相关系数（皮尔逊相关系数） / Sperman秩相关系数（斯皮尔曼相关系数）
1
转载
2024-01-11 12:33:35
143阅读
对于一个ML问题，解决思路通常是：拿到数据后怎么了解数据(可视化) 选择最贴切的机器学习算法 定位模型状态(过/欠拟合)以及解决方法 大量极的数据的特征分析与可视化 各种损失函数(loss function)的优缺点及如何选择首先拿到数据要进行***数据分析***数据准备->数据清洗->数据重构->数据分析 典型的重构就是归一化可以利用降维算法来实现数据的处理，用更少的特征描述原
转载
2023-08-31 13:00:09
395阅读
2022年数据与分析有哪些新趋势？今年数据和分析主要趋势：1.激活多样性和活力使用自适应AI系统推动增长和创新同时应对全球市场的波动； 2.增强人员能力和决策以提供由业务模块化组件创建的丰富的、情境驱动的分析； 3.将信任制度化以大规模地实现数据和分析的价值。管理AI风险并实施跨分布式系统、边缘环境和新兴生态系统的互联治理。现在应该根据关键数据和分析技术趋势对于业务优先事项的紧迫性和匹配性来监测、
转载
2024-01-11 13:38:43
94阅读
当所要分析的样本特征过多时，我们可以采用主成分分析即PCA（principal component analysis）对数据进行降维和可视化。代码引自《python机器学习》PCA算法及其实现PCA算法的步骤如下： 1）对原始维数据集做标准化处理。 2）构造样本的协方差矩阵。 3）计算协方差矩阵的特征值和相应的特征向量。 4）选择与前个最大特征值对应的特征向量，其中为新特征空间的维度。 5）通过前
转载
2024-02-03 22:52:10
122阅读
