本人接触app这块的爬取,在此记录一点所得,给初入app爬虫这块的一点指引吧(19.10.25修改)1. 抓包, 针对app抓包,网上文章有很多很多,我是使用fiddler挂代理抓包的,具体操作问度娘,能直接抓包就能搞定的app一般都是很小的项目,也不进行加密有些app是抓不到包的,原因大概有这么几个
app固定了自己的代理ip,所以你的请求他抓不到包, -- 
转载
2024-08-19 11:17:25
80阅读
如果是刚接触 web scraper 的，可以看第一篇文章。 web scraper 是一款免费的，适用于普通用户（不需要专业 IT 技术的）的爬虫工具，可以方便的通过鼠标和简单配置获取你所想要数据。例如知乎回答列表、微博热门、微博评论、淘宝、天猫、亚马逊等电商网站商品信息、博客文章列表等等。如果你已经用过这个工具，想必已经用它抓取过一些数据了，是不是很好用呢。也有一些同学在看完文章后，发现有一些
爬虫原理网络连接需要计算机一次Request请求和服务器端的Response回应。爬虫也需要做两件事：模拟计算机对服务器发起Request请求接收服务器端的Response内容并解析、提取所需要的信息。Python第三方库的安装在PyCharm中安装打开PyCharm，在菜单栏中选择File|Default Settings 命令选择左侧的 Project Interpreter选项，在窗口右侧选
转载
2023-09-07 12:00:14
201阅读
python写简单爬虫的大致步骤各位博客你们好！ 这是我第一次使用博客。以后请多关照对于python而言，我只是个，嗯。。。算是马马虎虎入门吧，反正是自学的，在python中，比较好学的又简单上手的我认为是爬虫了，而在爬虫的种类中，我最为欣赏的是用requests这个第三方库来爬。废话不多说，用代码来说话： import requests #导入第三方库， response=requests.ge
转载
2023-08-21 15:39:07
63阅读
## Android开发中实现实心圆形的方案
在Android开发中，有时我们需要实现一些自定义的视图，比如绘制一个实心圆形。这种需求在图形界面设计中经常出现，比如自定义按钮、进度指示器等。本文将展示一种实现实心圆形的方法，并附带代码示例和相关的状态图及甘特图。
### 1. 实现思路
要绘制一个实心圆形，我们可以重写`View`类的`onDraw`方法。这个方法在视图需要重新绘制时被调用，
大概了解了安卓代码的结构，开发环境也都已经准备完毕，现在开始做一个简单的APP，熟悉一下安卓代码调试的过程，Activity文件的一些功能控制，与布局文件的编写，Activity中 setContentView方法中参数即所用的布局文件。Android开发是基于一定框架的，所以很多代码根据API有一定的格式，自己新建完全新的JAVA类去编写很麻烦，Android Studio对基础代码框架已经做了
转载
2023-06-14 13:53:40
186阅读
python编写爬虫的整体思路简单清晰，下面来说一下具体的步骤整体思路流程通过URL获取说要爬取的页面的响应信息(Requests库的使用)通过python中的解析库来对response进行结构化解析(BeautifulSoup库的使用)通过对解析库的使用和对所需要的信息的定位从response中获取需要的数据(selecter和xpath的使用)将数据组织成一定的格式进行保存(MongoDB的使
转载
2023-12-08 19:00:24
43阅读
爬虫基本原理1. URI 和 URLURI 的全称为 Uniform Resource Identifier，即统一资源标志符；URL 的全称为 Universal Resource Locator，即统一资源定位符。比如Github的图标：https://github.com/favicon.ico，它是一个 URL，也是一个 URI。即有这样的一个图标资源，我们用 URL/URI 来唯一指定了
# Android 平板登录界面的开发
在 Android 开发中，设计一个适用于平板的登录界面既要考虑用户体验，又要保证界面的美观和功能的完整性。这篇文章将详细介绍如何在 Android 平板上开发一个简单而高效的登录界面，包括界面布局的设定、功能实现以及相应的代码示例，最后我们还会展示一个甘特图，以帮助规划任务的时间安排。
## 1. 项目规划
在开始编码之前，我们需要先进行项目规划，明
原创
2024-10-29 03:47:41
132阅读
Android 简单开发sdk教程一 接口写法和混淆规则前言新建model新建接口新建业务混淆基本混淆代码自定义相关混淆开启混淆混淆正式打包完事 前言之前一直打包的sdk都是给内部项目使用的，没有提供给别的客户使用过，所以一直以来都是简单的功能打包，也不混淆，等最后的项目再写混淆方法。最近要求提供sdk给客户但又要混淆业务逻辑，只好摸索一下，百度和谷歌都没有找到很好的教程。只能根据用过的第三方s
转载
2023-06-27 14:47:23
896阅读
文章目录一、先了解用户获取网络数据的方式二、简单了解网页源代码的组成1、web基本的编程语言2、使用浏览器查看网页源代码三、爬虫概述1、认识爬虫2、python爬虫3、爬虫分类4、爬虫应用5、爬虫是一把双刃剑6、python爬虫教程7、编写爬虫的流程四、python爬虫实践 - 获取博客浏览量前言：python爬虫简单概括其实就是获取网页数据，然后按需提取！流程虽然简单，但实现起来需要结合多种技术
转载
2024-04-30 19:01:40
20阅读
# Android 分页实现方案
在 Android 开发中，当我们面对大量数据时，直接加载全部数据会导致性能下降和用户体验不佳。为了解决这个问题，分页加载数据成为了一种有效的策略。在本篇文章中，我们将探讨如何在 Android 应用中实现分页，并通过代码示例进行展示。
## 一、分页的基本原理
分页的基本原理是将数据分成多个部分，每次只获取并显示一部分数据。通常情况下，这个过程涉及到以下步
原创
2024-10-05 05:23:06
254阅读
# 爬虫引擎架构图设计方案
## 1. 项目背景
在互联网时代，爬虫引擎是非常重要的工具，用于抓取和解析网页数据。为了提高爬虫的效率和性能，我们需要设计一个高效的爬虫引擎架构。
## 2. 架构设计
我们将设计一个分布式爬虫引擎，分为以下几个模块：
### 2.1 调度器
调度器负责管理待抓取的 URL 队列，以及已经抓取的 URL 集合。它可以根据一定的策略来分配任务给爬虫节点。
###
原创
2024-04-29 06:13:59
32阅读
目录一、网络连接二、网络爬虫基本流程1. 发起请求2. 获取响应内容3. 解析数据4. 保存数据三、浏览器F12的运用1. 选择按钮2. Elements元素按钮3. Network网络捕捉按钮4. 用户代理（重点）5. 用户代理设置四、查看网页源码的另外一个方式一、网络连接 &
转载
2023-09-05 17:27:42
21阅读
写在前面我们肯定做过这样的需求，给一个图片切圆角，
当然我们大多采用简单粗暴的方法
myIcon.layer.cornerRadius = 16.5
myIcon.layer.masksToBounds = true
如果是静态的页面也无关紧要，要是可以滑动的页面，
有很多需要裁剪的图片，那么就要考虑性能了。接下来的方法就是其中一种不错的方法，
此代码已经上传到githup[DDGScreenSh
Iterator it = list.iterator();
while(it.hasNext()){
// do something
it.remove();
}
一种最常见的错误代码如下：
for(Integer i : list){
list.remove(i)
}运行以上错误代码会报 ConcurrentModificationException 异常。这是因为当使用 foreach(fo
如今，勒索软件已经成为当今最主要的恶意软件类型之一，尤其是随着移动设备的大范围普及，针对移动平台的勒索软件也随之大增。近期，赛门铁克安全团队发现一种面向Android设备的勒索软件变种Android.Lockdroid.E。该恶意软件利用点击劫(Clickjacking)手段，试图诱骗用户为恶意软件提供设备管理员的权限。与勒索软件相同，移动恶意软件一旦获得管理员权限，便能够锁定设备，更改设备密码，
# 项目方案：Android Studio开发App Splash效果
## 1. 介绍
Splash（启动页）是移动应用开发中常见的一种效果，用于在应用启动时展示应用的品牌标识、logo等内容，同时提供一个良好的用户体验。本项目方案将介绍如何在Android Studio中实现一个Splash效果的App。
## 2. 技术栈
- Java
- Android Studio
- Andr
原创
2023-09-07 08:17:24
697阅读
首先来看一下一个爬虫平台的设计，作为一个爬虫平台，需要支撑多种不同的爬虫方式，所以一般爬虫平台需要包括1、爬虫规则的维护，平台在接收到爬虫请求时，需要能按照匹配一定的规则去进行自动爬虫2、爬虫的job调度器，平台需要能负责爬虫任务的调度，比如定时调度，轮训调度等。3、爬虫可以包括异步的海量爬虫，也可以包括实时爬虫，异步爬虫指的是爬虫的数据不会实时返回，可能一个爬虫任务会执行很久。 实时爬虫指爬的数
转载
2023-11-17 19:39:20
28阅读
之前分享了20道深度学习相关的面试题，反应都很不错。好多读者私下里也问我，有没有爬虫、web、数据分析的面试题，既然分享的文章能够帮助到大家，索性就继续分享下去。今天分享的是关于爬虫相关的面试题，要是最近打算找爬虫工作的可以考虑看一下到底面试官会问到哪些爬虫相关的问题。 1.什么是爬虫？网页爬取的流程是怎么样的？ 爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端发送网络请求，接收请求响应，一
转载
2023-12-21 12:38:15
83阅读
