在企业经营过程中，及时了解行业相关信息（市场动态、竞品策略、行业数据等等）是非常必要的。通常情况下，商品部门、营销部门、市场部门可能都会安排专门的人员定期进行这些信息的搜集、整理，再进行内部的分享。不过在大数据时代，利用技术手段爬取互联网中的海量数据，再进行筛选分析，提取有用的信息已经是非常常用的手段，但是爬虫技术毕竟还是有点门槛的，好在现在有python这样的胶水语言。利用python+企业微信
转载
2023-08-28 12:02:49
301阅读
最近一个礼拜搞了一个微信自定义菜单的开发，总的来说蛮郁闷的。 先给几个接口做下分析： 1：查询接口；查询接口分为两个，一个是开发模式下的普通查询接口，他只会查询出你通过添加接口创建出来的菜单和个性化的菜单（让公众号的不同用户群体看到不一样的自定义菜单），而不能
原创
2016-06-25 14:25:45
1912阅读
虽然我是不用微博的，但由于某种原因，手机端的微博会时不时地推送几条我必须看的消息过来。微博被看久了，前几天又看到 语亮 - 简书 一年前的的微博爬虫，就有了对某人微博深入挖掘的想法。之前语亮的爬虫不能抓取用户一条微博的多张图片，一年后微博界面也发生了一些变化，决定还是参考语亮爬取手机端界面的方法更新下代码，同时加上一点小小的数据分析。主要想法是抓取指定用户的全部微博原创内容和全部原创图片
转载
2023-06-26 10:18:43
651阅读
参考文章：用Python更加了解微信好友本实验参考网络上的代码，其中遇到很多错误，不过都顺利解决了，这其中的心酸可想而知。写这篇博文的目的也是记载一下这些出错的解决方法，至少在我的环境下解决了。实验环境：UBUNTU14.04 LTS + python3.4有人说，废啥话赶紧上代码。。。好吧，I Tell You#-*- coding: utf-8 -*-
import re
fro
转载
2023-12-25 14:07:15
20阅读
一、爬虫本身不违法，说白了就是用机器自动获取数据。大数据分析爬虫用得多了去了。关键看你弄什么数据，以及是否贩卖敏感数据。百度谷歌说白了就是爬虫，多看些网站的robot协议。二、以下属于违法：1.爬取数据商业化，例如爬取某家公司的内部信息转手卖了，这是不行的，属于侵犯知识产权 2.还有是爬取一些敏感信息，比如机关单位、个人信息（手机号、身份证、邮箱）等。 3.高并发请求导致别人服务器崩溃，属于攻击范
转载
2023-08-03 13:56:19
63阅读
相关github地址：https://github.com/KaguraTyan/web_crawler一般做爬虫爬取网站时，首选的都是m站，其次是wap站，最后考虑PC站，因为PC站的各种验证最多。当然，这不是绝对的，有的时候PC站的信息最全，而你又恰好需要全部的信息，那么PC站是你的首选。一般m站都以m开头后接域名， 我们这次通过m.weibo.cn去分析微博的HTTP请求。准备工作1、环境配
转载
2023-07-29 23:11:01
288阅读
python+appium爬取微信运动数据，并分析好友的日常步数情况 目录python+appium爬取微信运动数据，并分析好友的日常步数情况前言一、准备二、爬取数据思维导图（爬取逻辑）第一步：连接手机第二步：元素定位第三步：编写代码三、数据分析第一步、数据预处理第二步、数据探索性分析第三步、数据可视化第四步、结论写在最后 前言微信运动只能看到前30天的数据，超过的会过期而拿不到，我也是现在才知道
转载
2023-08-14 23:06:56
614阅读
1.selenium模拟登陆 2.定位进入高级搜索页面 3.对高级搜索进行定位，设置。 4.代码实现import time
from selenium import webdriver
from lxml import etree
from selenium.webdriver import ChromeOptions
import requests
fr
转载
2023-07-07 10:30:32
316阅读
目的： 利用python和selenium实现自动化爬虫所需工具： 1、python2.7 2、selenium库（pip install selenium或者easy_install selenium进行安装） 3、火狐浏览器 安装好上述工具之后就可以开始微博爬虫啦！ 首先，打开你的python编辑器（本人使用的是subli
转载
2023-09-11 20:41:44
178阅读
前提：1.手机已root 2.已安装RE文件管理器进入RE文件管理器，找到build.propbuild.prop详解之修改ROM中默认语言，默认铃声，默认时区，版本信息打造个性rom? ? # begin build properties开始设置系统性能
# autogenerated by buildinfo.sh{通过设置形成系统信息}
ro.build.id=MIUI(版本ID
转载
2024-08-15 14:59:16
42阅读
# 爬取微信号的Python实践
在日常生活中，我们经常会遇到需要获取特定微信号的情况，比如想要关注某个公众号或者获取某个微信用户的信息。本文将介绍如何使用Python来爬取微信号的方法，帮助读者实现这一目标。
## 准备工作
在开始爬取微信号之前，我们需要安装一些Python库来帮助我们实现这个功能。其中，最重要的是使用`requests`库来发送网络请求，使用`BeautifulSoup
原创
2024-04-02 06:42:23
330阅读
# 使用Python爬取微信数据的探究
在如今的信息时代，微信作为一个广泛使用的社交平台，承载了大量的用户数据与互动内容。通过编程技术，尤其是使用Python，我们可以对微信数据进行爬取和分析。本文将介绍如何使用Python爬取微信数据的基本方法，并附上代码示例以及状态图的说明。
## 什么是数据爬取？
数据爬取是指通过编程手段，从互联网上自动提取信息的过程。它在数据分析、竞争情报、自然语言
最近在学习网络爬虫，完成了一个比较简单的python网络爬虫。首先为什么要用爬虫爬取信息呢，当然是因为要比人去收集更高效。网络爬虫，可以理解为自动帮你在网络上收集数据的机器人。 网络爬虫简单可以大致分三个步骤： 第一步要获取数据， 第二步对数据进行处理， 第三步要储存数据。 获取数据的时候这里我用到了python的urllib标准库，它是python中非常方便抓取网页内容
转载
2023-05-31 09:39:56
0阅读
一.思路我们通过网页版的微信公众平台的图文消息中的超链接获取到我们需要的接口从接口中我们可以得到对应的微信公众号和对应的所有微信公众号文章。二.接口分析参数：action=search_bizbegin=0count=5query=公众号名称token=每个账号对应的token值lang=zh_CNf=jsonajax=1请求方式：GET所以这个接口中我们只需要得到token即可，而query则是
转载
2023-11-16 11:00:01
117阅读
此次爬虫要实现的是爬取某个微博用户的关注和粉丝的用户公开基本信息，包括用户昵称、id、性别、所在地和其粉丝数量，然后将爬取下来的数据保存在MongoDB数据库中，最后再生成几个图表来简单分析一下我们得到的数据。一、具体步骤：然后查看其关注的用户，打开开发者工具，切换到XHR过滤器，一直下拉列表，就会看到有很多的Ajax请求。这些请求的类型是Get类型，返回结果是Json格式，展开之后就能看到有很多
转载
2023-06-30 22:10:25
543阅读
# Python爬取微博流程
## 介绍
在这篇文章中，我将教会你如何使用Python来爬取微博。作为一名经验丰富的开发者，我将向你展示整个流程，并给出每个步骤所需要的代码，并对代码的含义进行注释。请按照下面的表格中的步骤进行操作，你将成功地实现Python爬取微博。
## 流程图
```flow
st=>start: 开始
e=>end: 结束
op1=>operation: 准备工作
op
原创
2023-08-15 16:24:06
342阅读
此次爬虫要实现的是爬取某个微博用户的关注和粉丝的用户公开基本信息，包括用户昵称、id、性别、所在地和其粉丝数量，然后将爬取下来的数据保存在MongoDB数据库中，最后再生成几个图表来简单分析一下我们得到的数据。一、具体步骤：然后查看其关注的用户，打开开发者工具，切换到XHR过滤器，一直下拉列表，就会看到有很多的Ajax请求。这些请求的类型是Get类型，返回结果是Json格式，展开之后就能看到有很多
转载
2024-03-05 21:13:50
86阅读
最近在复习以前学习的python爬虫内容，就拿微博来练了一下手，这个案例适合学习爬虫到中后期的小伙伴，因为他不是特别简单也不是很难，关键是思路，为什么说不是很难呢？因为还没涉及到js逆向，好了话不多说开干。（1）找到要爬取的页面，如下：（2）点开评论，拉到最下方，如下位置：点击“点击查看”进入另一个页面，如下所示：这里会显示更多评论，但是不是全部，随便复制一条评论的内容，然后到源码里手搜索，发现是
转载
2023-06-07 21:51:23
1926阅读
# **Python爬取微店**
*本文将介绍如何使用Python爬取微店数据的方法，并提供相关代码示例。*
## 引言
随着电商行业的迅速发展，微店已经成为许多小微企业和个人创业者的首选平台之一。然而，对于一些需要对微店数据进行分析和处理的用户来说，手动复制粘贴数据显然是一种效率低下且容易出错的方法。因此，通过编写Python爬虫来自动化这一过程将会是一个不错的选择。
## 准备工作
原创
2023-10-22 13:51:36
729阅读
# Python微博爬取
> 本文介绍了使用Python进行微博爬取的基本原理和代码示例。
## 引言
随着互联网的发展，社交媒体已成为人们获取信息和交流的重要渠道之一。微博作为中国最大的社交媒体平台之一，拥有庞大的用户群体和各种各样的内容。对于一些研究者和数据分析师来说，获取并分析微博数据可能是非常有价值的。本文将介绍如何使用Python进行微博爬取，并提供相应的代码示例。
## 爬
原创
2023-10-17 16:19:53
186阅读
