8月19日，微博十年的内容开始在微信朋友圈集中式刷屏。从发布第一条微博到如今离不开微博，悄然间，微博已经陪伴大家十年。在互联网行业里，能坚持十年还存活的公司不多，能够在十年后稳定增长的公司更是屈指可数，微博恰恰就是这样一家幸运的公司。在微博十年信息刷频的当天，微博发布2019年Q2季度的财务报告。根据微博的财报数据显示，二季度微博营收为4.318亿美元，同比增长1%，超过市场预期4.301亿美元，
转载
2023-09-13 19:39:38
42阅读
项目概述：相信很多小伙伴都有用过新浪微博，因为这是当今很火的一款社交app。正因为这样，我们需要获取新浪微博中每一个用户的信息以及评论、发布时间等来满足公司的需求，获取每日热点、评论量、点赞量等相关信息。如今是一个大数据的时代，得数据者得天下，下面教大家如何抓取新浪微博的数据。首先需要安装python环境（python2.7以及scrapy+selenium+phantomjs+chrome）一、
转载
2023-07-03 20:13:00
347阅读
# 教你使用 Python 爬取抖音用户数据
作为一名刚入行的小白，爬虫技术可能会让你感到无从下手。但是不要担心！本文将为你详细讲解如何使用 Python 爬取抖音用户数据的完整流程。
## 爬虫的基本流程
在开始之前，首先让我们来看一下整个爬虫的基本流程。以下是一个简单的步骤表格，展示了爬取抖音用户数据所需的步骤。
| 步骤 | 描述
存储关系使用数据库最方便，也有利于后期的数据分析，我选择sqlite数据库，因为Python自带sqlite，sqlite在Python中使用起来也非常方便。 数据库中需要2个表，一个表存储用户的相互关注信息，另一个表存储用户的基本信息，在B站的用户体系中，一个用户的mid号是唯一的。 然后我还需要一个列表来存储所以已经爬取的用户，防止重复爬
基于Java爬取微博数据(三) 微博主页用户数据
原创
2024-08-25 14:18:21
124阅读
主要代码如下图from selenium import webdriver
from pyecharts.charts import PictorialBar
from pyecharts.charts import Line
from opdata.opexcel import Operatingexcel
from bs4 import BeautifulSoup
import time
i
转载
2023-11-10 22:06:48
70阅读
功能输出实例运行环境使用说明下载脚本安装依赖程序设置设置数据库（可选）运行脚本按需求修改脚本（可选）如何
原创
2022-12-29 10:24:12
339阅读
“
”
对于做爬虫和数据分析方向的小伙伴来说，对于数据的获取是十分重要的，尤其是关于大数据分析的数据，非常难以获取，最近小编在浏览 Github 时，就发现了一个宝库——gopup。是由一个国内的大神开源的python库，该库包含了大量的大数据分析相关的数据，一起来看看吧。01.神器 GoPup项目的地址为：https://github.com/justinzm/gopup。该库所采
转载
2023-10-19 06:55:47
355阅读
作为爬虫小白，代码偏向简单，大佬勿喷~本次使用语言：Python 本次使用库：requests、wordcloud、jieba思路通过尝试，在网页版微博死活找不出文本url（可能是能力有限），在移动端微博找到了，所以推荐大家爬取移动端微博数据。移动端微博网址：https://m.weibo.cn/ 1.此次爬取的是“方方”的文本，进入开发者模式，找到名为"getIndex…“的接口。可以看到Pre
转载
2024-05-04 14:02:34
72阅读
早上刷空间发现最近好多人过生日诶~仔细想想，好像4月份的时候也是特别多人过生日【比如我那么每个人生日的月份有什么分布规律呢。。。突然想写个小程序统计一下 最简单易得的生日数据库大概就是新浪微博了： 但是电脑版的新浪微博显然是动态网页。。。如果想爬这个应该要解析JS脚本【就像上次爬网易云音乐。。然而并不会解其实有更高效的方法：爬移动版移动版因为手机浏览器的限制大多都做了简化，更有
转载
2024-02-20 17:18:58
108阅读
平台开发3年了，只能算初具雏形。市场坐不住了，这么大投资，需要见效，要着急宣传。我的意见，套用毛主席语录：“把自己的事情办好，就是对外宣传最好的方法”，当前任务还是做好当前几个项目，打磨底层。在做项目过程中，经常性推翻之前的设计，也就是底层还在不断调整过程中。另外还有很多没有想到的问题。 平台的基本理念是一个组织只有一套系统。业务数据库是分布的，不同的业务一
原创
2024-02-05 08:51:20
151阅读
爱尔兰都柏林圣三一大学（Trinity College Dublin）的计算机科学教授进行的一项研究发现，Android手机收集的用户数据是同类iPhone的20倍。据研究员兼学院计算机系统主席道格·莱思（Doug Leith）称，iOS和Android手机都在不断收集数据并将其分别发送回苹果和谷歌。信息手机行为从将SIM卡插入智能手机开始，包含硬件和应用程序的交互等。当用户未登录，在隐私设置中选
转载
2023-09-08 15:38:48
103阅读
记得写数据库营销那篇文章还是在六月底写的，如今已是九月底，时隔三个月，期间收获了很多，也明白了很多，但是我还是想按着最初的想法走下去，无论未来能走多远，我始终愿意追从内心最真实的想法。不说太多，直接进入主题。 记得在上一篇文章中介绍了一下数据库营销的大概，我并没有查看太多官方的说法，完全是根据我自己实践过的经历来叙述我所理解的数据库营销。 何谓抓潜?就是抓取潜在客户信息，那么我们要抓取潜在
转载
2023-11-02 21:35:58
14阅读
用户数据存储在Kubernetes中是一个非常常见且重要的需求，它可以帮助开发者在应用程序中保存和检索用户相关的数据。在本文中，我将向您介绍如何在Kubernetes中实现用户数据存储以及一些实际的代码示例。
整个用户数据存储的流程可以分解为以下步骤：
| 步骤 | 描述 |
| ---- | -------------
原创
2024-05-27 10:16:50
109阅读
# 用户数据挖掘入门指南
用户数据挖掘是分析用户行为和习惯、提取有价值信息的过程。它可以帮助企业提高服务质量、个性化推荐并提高用户忠诚度。本指南旨在帮助刚入行的开发者了解用户数据挖掘的基本流程，并通过代码示例进行详细的介绍。
## 数据挖掘流程
以下是用户数据挖掘的基本步骤：
| 步骤 | 描述 |
|-------
数据库隔离级别如果没有隔离级别会出现的问题脏读意思是读取到了事务正在修改的数据，如果事务回滚，那么拿到的数据就是错误的时间事务A事务B1开始事务2读取quantity为53修改quantity为44开始事务5读取到quantity为46发生错误，回滚，quantity为57提交事务在按照正常逻辑quantity应该为5不可重复读时间事务A事务B1开始事务2读取quantity为53开始事务4修改q
转载
2023-11-21 11:01:16
74阅读
第一次写博客，mark一下。以前没写过技术分享博客也是因为没什么好分享的，现在觉得有些经验和思考过程还是值得记录下来的；一则便于以后查阅，二则如果能给别人带来些许帮助，则无比幸甚。这次是因为工作需要做一些市场声量的分析，需要爬取一些论坛内容，微博内容做数据分析，懒得找其他盈利性的网站购买，就自己研究了一下Python 爬虫，写出来一个小小的爬虫爬虫主要分两大部分：1，下载网页功能（就是把网页内容以
转载
2023-08-20 21:40:25
0阅读
结合水运行业实际需求，智慧港口建设作为我国港口转型升级的重要途径，其所涉及的关键技术就包含港口数据分析与处理。Hadoop技术在互联网行业已广泛应用，但在港口自动化、智能化建设中还未起到关键、核心作用。因此，大数据分析与挖掘技术在港口领域的深度应用，是港口发展的高级阶段。对我国港口而言，通过打造智慧港口，优化提升港口基础设施和管理模式，实现港口功能创新、技术创新和服务创新，已成为我国港口提高国际竞争力，完成转型升级的重要途径。通过对大数据技术在智慧港口中应用研究，是我国港口信息化积累的海量数据发挥其巨大优势，为我国港口管理部门以及港口企业提供决策支撑，具有重要的显示意义。
原创
2017-06-02 11:05:00
2186阅读
应用软件泄露用户数据早已是个屡见不鲜的话题，但每每提起，还是不得不感慨其中难以防范的危险，尤其是当影响范围过大、自己也可能是“受害者”时。昨日，网络安全公司 Check Point Research（以下简称 CPR）发布了一份报告：由于开发者没有正确配置第三方云服务，部分流行的 Android 应用泄露了超过 1 亿用户的个人数据。多种错误配CPR 团队表示，通过对 23 款应用进行测试，他们发
转载
2023-08-31 15:01:56
17阅读
通过微信web开发者工具创建登录，获取用户信息，发送至后台，进行用户数据解密
原创
2023-06-01 09:58:32
558阅读
