当下很多网站都有做自己的APP端产品，一个优秀的爬虫工程师，必须能够绕过难爬取点而取捷径，这是皆大欢喜的。但是在网上收罗和查阅了无数文档和资料，本人亲测无数次，均不能正常获取HTTPS数据，究其原因是手机端证书安装不正确所致，故编写文章以帮助后来的小伙伴。当下抓包工具有Fiddler，Charles，wireshark等，手机APP最常用的是Fiddler和Charles，而wireshark适合
转载
2023-08-07 11:58:47
217阅读
前言前段时间喜欢上了几部漫画，发现了一个宝藏网站“拷贝漫画”。上面有很多我想看的漫画，但是访问速度很慢，官方提供的下载又有次数限制。于是就在GITHUB上找了一个大佬写的爬虫。但是爬虫在电脑端运行，而我喜欢在手机平板上看漫画，每次要把文件拷贝过去，挺麻烦的，有一天就想到可以利用Termux直接在手机上运行爬虫。Termux是一个安卓APP，可以在手机上提供一个Linux环境，我们可以在上面安装py
转载
2023-08-28 15:12:03
701阅读
1 系统简介1.1 系统背景随着网络的迅速发展，互联网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。通过平时浏览信息，发现很多数据我们感兴趣，但是数量庞大，我们如果需要分析这些数据，需要我们利用程序去做一个采集，实现数据的价值。当我们购买华为手机时，比较他们的价格，图片，好评数量，好评率等，以便于我们对华为手机进行数据的可视化分析，
转载
2023-12-01 06:49:46
57阅读
作者：数据森麟1. 前言传统的抓包工具， 如：Fiddler、Charles、Wireshark、Tcpdump，相信大家都耳熟能详今天我们聊一款另外一款抓包工具：Jmeter它是 Apache 组织开发基于 JAVA 语言的免费开源测试工具虽然 Jmeter 主要用于压力性能测试，但使用它进行抓包也非常方便！2. 使用步骤2-1 安装 Jmeter首先，我们在本地依次安装好 JDK 和 Jme
转载
2023-12-12 10:53:28
62阅读
豌豆荚爬虫分析一、选题背景智能手机兴起时，出现种类繁多的APP。有日常使用、娱乐类（游戏、音乐、视频），当时手机大厂没有形成稳定的生态圈，人们下载软件都需要去一些平台上下载，如：应用宝、酷安、豌豆荚……如今手机商城有自己的生态圈，下载软件时都在自己厂家的应用商店下载。豌豆荚是一款在PC上使用的Android手机管理软件。把手机和电脑连接上后，即可以将各类应用程序、音乐、视频、电子书等内容传输或者从
一.抓包工具
mitmproxy的使用
Fiddler手机抓包设置
Fiddler抓取内容自动保存本地
fiddler抓包syntaxview窗口乱码
Fiddler显示指定host请求,以及过滤无用的css,js
手机APP无法抓包(无法连接服务器)
python爬虫用drony转发进行抓包转发
VirtualXposed结合justTrustMe 模块傻瓜式破解app没法抓包问题
二.adb
原创
2021-06-04 17:38:25
395阅读
# 手机爬虫 Python
## 介绍
随着互联网的快速发展，大量的信息都集中在网页上。而爬虫就是一种通过程序自动访问网页并抓取数据的技术。在手机领域，爬虫技术同样能够发挥重要的作用，例如通过爬虫可以获取手机商城的商品信息、手机评价等数据。本文将介绍如何使用 Python 编写手机爬虫，并给出一些代码示例。
## 准备工作
在编写手机爬虫之前，需要安装 Python 和相关的库。Pytho
原创
2023-11-29 07:41:13
90阅读
1. 安装Termux在软件市场搜索下载安装即可, 这个软件可以让你把手机当Linux电脑使用, 除了屏幕小点儿. 为了敲命令方便, 建议安装输入法: CodeBoard, 功能键几乎都有了 参考自 安卓手机运行python程序的软件：Termux 注: py是因为用了别名 alias py=‘python’2. 安装环境2.1 安装Pythonpkg update
pkg upgrade
转载
2023-07-07 20:13:23
150阅读
本文作为笔记学习用： 爬百度翻译这个程序进行的并不顺利，我在sign这个参数上卡了很长时间。下面是此参数的分析以及解决过程：【结尾有源码】分析过程： 尝试不同的语句翻译，判断出 sign值是不断改变的：“我爱我的祖国” sign值“爱我中华”sign值“海明威”sign值 （1）猜测sign值是js生成的：全局搜索“sign” 如上图所示，分析得 y(a) 就是我们要找的js代码，设置断点，我们去
转载
2024-04-15 15:55:28
62阅读
现在大家对爬虫的兴趣不断高涨，R和PYTHON是两个非常有力的爬虫工具。Python倾向于做大型爬虫，与R相比，语法相对复杂，因此Python爬虫的学习曲线会相对陡峭。对于那些时间宝贵，又想从网上获取数据的初学者而言，用R做爬虫是最好的选择，有三个原因：R语法相对直观，规则更加灵活；对于数据量不大的用户来数（小于百万级），R也能够非常自如地处理；先学习R爬虫，等熟悉爬虫的原理之后，在过渡到Pyth
转载
2023-07-06 00:38:18
143阅读
目录1. 网站分析2. 示例代码3. 注意事项1. 网站分析本文实现的爬虫是抓取京东商城指定苹果手机的评论信息。使用 requests 抓取手机评论 API 信息，然后通过 json 模块的相应 API 将返回的 JSON 格式的字符串转换为 JSON 对象，并提取其中感兴趣的信息。读者可以点击此处打开 京东商城，如下图所示：URL 是 苹果手机商品 。商品页面如下图所示：在页面的下方是导航条，读
声明：本次实例不涉及隐私信息，爬取数据全为笔者所能获取的公开信息 python 和 r语言这对黄金搭档，在数据获取，分析和可视化展示方面，各具特色，相互配合，当之无愧成为数据分析领域的两把利剑。该项目分为两个模块：1，数据准备阶段 采用python网络爬虫，实现所需数据的抓取，2，数据处理和数据可视化，采用r语言作为分析工具并作可视化展示。 第一，数据准备模块 数据来源选用笔者所在学校的内网
转载
2023-08-13 21:31:05
120阅读
#移动端爬虫介绍1.移动端爬虫的思路，怎么爬取APP里面的内容： a.手机和电脑要通信，依靠 fiddler（相当于建立一个数据中转站）； b.访问网页的方式进行数据爬取；2.fiddler及手机需要配置的东西: a.下载并安装fiddler，电脑与手机在 同一网络下 ; b.电脑端fiddler配置见下图：cmd->ipconfig可获得ip地址，用于后面手机端的配置: c.手机端配置（抖
转载
2023-07-24 12:02:02
270阅读
《目录》原理 下网页一样。 只是网页...
原创
2023-06-08 13:18:34
0阅读
注意事项：1 对于爬虫的每一步都要考虑到可能出现的错误，增加代码的可靠性2 爬虫需要分析后再写代码，保证网页在有一定的修改后依然能正确的运行3 要增加代理保证爬虫不被限制4 在有移动端的情况下，最好去模拟手机去爬取移动端爬取步骤1 获取网页内容：getHTMLText()2 提取信息到合适的数据结构：fillUnivList()3 利用数据结构展示内容：printUnivList()爬虫模版imp
转载
2023-12-08 19:24:06
75阅读
一、主题式网络爬虫设计方案1.主题式网络爬虫名称：App应用数据爬虫。2.要爬取的内容有很多，例如月独立设备使用，月使用次数，月使用时间等等。 数据特征：数据包含面广，可以用分为多组数据进行分析比对。 3.实现思路：通过网站源代码找到要爬取的数据对象，爬取到数据后放入dataframe中再进行绘图和分析。 技术难点：该网站是动态网站，相比
转载
2023-07-31 22:05:42
324阅读
全量抓取是一种常见的抓取方式，针对目标网站进行批量抓取，需要我们进行翻页操作，遍历整个网站。
本章知识点：网页中文编码问题处理翻页，实现全量抓取抽取函数，减少重复代码异常处理处理中文编码我们以手机天堂-新闻资讯为本次项目，分析网页源码写出简单的抓取代码： class PhoneHeavenSpider:
def start(self):
rsp
转载
2024-02-05 00:57:28
44阅读
零基础学习爬虫，坑确实比较多，总结如下：1.环境配置，各种安装包、环境变量，对小白太不友好；2.缺少合理的学习路径，上来 Python、HTML 各种学，极其容易放弃；3.Python有很多包、框架可以选择，但小白不知道哪个更友好；4.遇到问题甚至不知道如何描述，更不用说去寻找解决办法；5.网上的资料非常零散，而且对小白不友好，很多看起来云里雾里；6.有些东西看似懂了，但结果自己写代码还是很困难；
转载
2023-09-23 09:59:14
100阅读
本文介绍了使用Go语言爬取豆瓣Top250电影信息并存入数据库的全过程。主要内容包括：1）构造HTTP请求，设置请求头模拟浏览器行为；2）使用goquery解析网页DOM树；3）通过CSS选择器定位信息节点，提取电影标题、评分等关键信息；4）使用正则表达式拆分复杂信息；5）定义Movie结构体并通过GORM将数据存入MySQL数据库。文章提供了完整的代码实现，包括数据库连接、爬虫逻辑和数据存储等关键步骤，为Go语言爬虫开发提供了实用参考。
大家好，我是杨小爽，上一篇讲了go语言也可以写爬虫，介绍了go语言的基础语法。 今天我们来学习go语言中的网络请求库，官方标准库net/http，net/http提供了HTTP客户端和服务端的实现，类似python中的urllib3。 下面我们以例子来学习。 1、发送请求先要导入net/http：import (
"net/http"
)然后，使用
转载
2024-01-28 07:18:23
83阅读
