当下很多网站都有做自己的APP端产品，一个优秀的爬虫工程师，必须能够绕过难爬取点而取捷径，这是皆大欢喜的。但是在网上收罗和查阅了无数文档和资料，本人亲测无数次，均不能正常获取HTTPS数据，究其原因是手机端证书安装不正确所致，故编写文章以帮助后来的小伙伴。当下抓包工具有Fiddler，Charles，wireshark等，手机APP最常用的是Fiddler和Charles，而wireshark适合
转载
2023-08-07 11:58:47
217阅读
前言前段时间喜欢上了几部漫画，发现了一个宝藏网站“拷贝漫画”。上面有很多我想看的漫画，但是访问速度很慢，官方提供的下载又有次数限制。于是就在GITHUB上找了一个大佬写的爬虫。但是爬虫在电脑端运行，而我喜欢在手机平板上看漫画，每次要把文件拷贝过去，挺麻烦的，有一天就想到可以利用Termux直接在手机上运行爬虫。Termux是一个安卓APP，可以在手机上提供一个Linux环境，我们可以在上面安装py
转载
2023-08-28 15:12:03
701阅读
1 系统简介1.1 系统背景随着网络的迅速发展，互联网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。通过平时浏览信息，发现很多数据我们感兴趣，但是数量庞大，我们如果需要分析这些数据，需要我们利用程序去做一个采集，实现数据的价值。当我们购买华为手机时，比较他们的价格，图片，好评数量，好评率等，以便于我们对华为手机进行数据的可视化分析，
转载
2023-12-01 06:49:46
57阅读
一.抓包工具
mitmproxy的使用
Fiddler手机抓包设置
Fiddler抓取内容自动保存本地
fiddler抓包syntaxview窗口乱码
Fiddler显示指定host请求,以及过滤无用的css,js
手机APP无法抓包(无法连接服务器)
python爬虫用drony转发进行抓包转发
VirtualXposed结合justTrustMe 模块傻瓜式破解app没法抓包问题
二.adb
原创
2021-06-04 17:38:25
395阅读
# 手机爬虫 Python
## 介绍
随着互联网的快速发展，大量的信息都集中在网页上。而爬虫就是一种通过程序自动访问网页并抓取数据的技术。在手机领域，爬虫技术同样能够发挥重要的作用，例如通过爬虫可以获取手机商城的商品信息、手机评价等数据。本文将介绍如何使用 Python 编写手机爬虫，并给出一些代码示例。
## 准备工作
在编写手机爬虫之前，需要安装 Python 和相关的库。Pytho
原创
2023-11-29 07:41:13
90阅读
1. 安装Termux在软件市场搜索下载安装即可, 这个软件可以让你把手机当Linux电脑使用, 除了屏幕小点儿. 为了敲命令方便, 建议安装输入法: CodeBoard, 功能键几乎都有了 参考自 安卓手机运行python程序的软件：Termux 注: py是因为用了别名 alias py=‘python’2. 安装环境2.1 安装Pythonpkg update
pkg upgrade
转载
2023-07-07 20:13:23
150阅读
本文作为笔记学习用： 爬百度翻译这个程序进行的并不顺利，我在sign这个参数上卡了很长时间。下面是此参数的分析以及解决过程：【结尾有源码】分析过程： 尝试不同的语句翻译，判断出 sign值是不断改变的：“我爱我的祖国” sign值“爱我中华”sign值“海明威”sign值 （1）猜测sign值是js生成的：全局搜索“sign” 如上图所示，分析得 y(a) 就是我们要找的js代码，设置断点，我们去
转载
2024-04-15 15:55:28
62阅读
作者：数据森麟1. 前言传统的抓包工具， 如：Fiddler、Charles、Wireshark、Tcpdump，相信大家都耳熟能详今天我们聊一款另外一款抓包工具：Jmeter它是 Apache 组织开发基于 JAVA 语言的免费开源测试工具虽然 Jmeter 主要用于压力性能测试，但使用它进行抓包也非常方便！2. 使用步骤2-1 安装 Jmeter首先，我们在本地依次安装好 JDK 和 Jme
转载
2023-12-12 10:53:28
62阅读
豌豆荚爬虫分析一、选题背景智能手机兴起时，出现种类繁多的APP。有日常使用、娱乐类（游戏、音乐、视频），当时手机大厂没有形成稳定的生态圈，人们下载软件都需要去一些平台上下载，如：应用宝、酷安、豌豆荚……如今手机商城有自己的生态圈，下载软件时都在自己厂家的应用商店下载。豌豆荚是一款在PC上使用的Android手机管理软件。把手机和电脑连接上后，即可以将各类应用程序、音乐、视频、电子书等内容传输或者从
#移动端爬虫介绍1.移动端爬虫的思路，怎么爬取APP里面的内容： a.手机和电脑要通信，依靠 fiddler（相当于建立一个数据中转站）； b.访问网页的方式进行数据爬取；2.fiddler及手机需要配置的东西: a.下载并安装fiddler，电脑与手机在 同一网络下 ; b.电脑端fiddler配置见下图：cmd->ipconfig可获得ip地址，用于后面手机端的配置: c.手机端配置（抖
转载
2023-07-24 12:02:02
270阅读
《目录》原理 下网页一样。 只是网页...
原创
2023-06-08 13:18:34
0阅读
注意事项：1 对于爬虫的每一步都要考虑到可能出现的错误，增加代码的可靠性2 爬虫需要分析后再写代码，保证网页在有一定的修改后依然能正确的运行3 要增加代理保证爬虫不被限制4 在有移动端的情况下，最好去模拟手机去爬取移动端爬取步骤1 获取网页内容：getHTMLText()2 提取信息到合适的数据结构：fillUnivList()3 利用数据结构展示内容：printUnivList()爬虫模版imp
转载
2023-12-08 19:24:06
75阅读
目录1. 网站分析2. 示例代码3. 注意事项1. 网站分析本文实现的爬虫是抓取京东商城指定苹果手机的评论信息。使用 requests 抓取手机评论 API 信息，然后通过 json 模块的相应 API 将返回的 JSON 格式的字符串转换为 JSON 对象，并提取其中感兴趣的信息。读者可以点击此处打开 京东商城，如下图所示：URL 是 苹果手机商品 。商品页面如下图所示：在页面的下方是导航条，读
全量抓取是一种常见的抓取方式，针对目标网站进行批量抓取，需要我们进行翻页操作，遍历整个网站。
本章知识点：网页中文编码问题处理翻页，实现全量抓取抽取函数，减少重复代码异常处理处理中文编码我们以手机天堂-新闻资讯为本次项目，分析网页源码写出简单的抓取代码： class PhoneHeavenSpider:
def start(self):
rsp
转载
2024-02-05 00:57:28
44阅读
零基础学习爬虫，坑确实比较多，总结如下：1.环境配置，各种安装包、环境变量，对小白太不友好；2.缺少合理的学习路径，上来 Python、HTML 各种学，极其容易放弃；3.Python有很多包、框架可以选择，但小白不知道哪个更友好；4.遇到问题甚至不知道如何描述，更不用说去寻找解决办法；5.网上的资料非常零散，而且对小白不友好，很多看起来云里雾里；6.有些东西看似懂了，但结果自己写代码还是很困难；
转载
2023-09-23 09:59:14
100阅读
一、主题式网络爬虫设计方案1.主题式网络爬虫名称：App应用数据爬虫。2.要爬取的内容有很多，例如月独立设备使用，月使用次数，月使用时间等等。 数据特征：数据包含面广，可以用分为多组数据进行分析比对。 3.实现思路：通过网站源代码找到要爬取的数据对象，爬取到数据后放入dataframe中再进行绘图和分析。 技术难点：该网站是动态网站，相比
转载
2023-07-31 22:05:42
324阅读
Python爬虫实战，requests+openpyxl模块，爬取手机商品信息数据（附源码）
前言今天给大家介绍的是Python爬取手机商品信息数据，在这里给需要的小伙伴们代码，并且给出一点小心得。首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫，基本的是加请求头，但是这样的纯文本数据爬取的人会很多，所以我们需要考虑更换代理IP和随机更换请求头的方式来对手机信息数据进行爬取
转载
2023-07-06 23:54:56
126阅读
一、Appium工作原理（详情见：） Appium的功能其实很简单：监听一个端口，然后接收由client发送来的command，翻译这些command，把这些command转成移动设备可以理解的形式发送给移动设备，然后移动设备执行完这些command后把执行结果返回给appium server，appium server再把执行结果返回给client。在这里client其实就
转载
2023-08-10 02:13:15
187阅读
导入：虽然目前有些软件还没适配，但是，我发了 Blink 后有一写人留言或者私信找我要源码，不过我还在增加适配的软件，所以还没有时间写这篇博客，今天呢，就先把我目前适配了的代码拿出来，后续还会继续适配的！分平台解释：皮皮虾皮皮虾的话，我之前就已经写过一个单独的博客了，这里就不再赘述：—> Python爬虫：皮皮虾短视频无水印下载皮皮搞笑某皮搞笑与某皮虾很类似，也
转载
2024-02-05 19:52:14
233阅读
# 手机APP爬虫实现流程
## 1. 准备工作
在开始实现手机APP爬虫之前，我们需要做一些准备工作。首先，确保你已经安装了Python，并且熟悉基本的Python编程知识。其次，需要安装一些关键的Python库，用于实现爬虫功能。常用的库包括：
- requests：用于发送HTTP请求并获取网页内容。
- BeautifulSoup：用于解析HTML和XML文档。
- selenium
原创
2023-11-12 03:44:42
187阅读
