本次要学习的是某榜的数据--本系列提供完整思路
首先我们打开网站，打开F12抓包工具，选择抓包工具中的网络选项，选择XHR抓动态数据。
转载
2023-08-01 08:02:34
105阅读
最近在写一个学校wifi连接登陆的小程序，遇到了表单提交的密码被js文件加密的问题，于是各种google，学到了下面三种方法。1.js转python,就是将js翻译为python。2.利用selenium+phantomjs模拟人工操作。3.利用pyexecjs直接执行js文件 下面讲解！ wifi登录界面 表单数据&n
转载
2023-06-07 21:38:54
101阅读
有很多页面，当我们用request发送请求，返回的内容里面并没有页面上显示的数据，主要有两种情况，一是通过ajax异步发送请求，得到响应把数据放入页面中，对于这种情况，我们可以查看关于ajax的请求，然后分析ajax请求路径和响应，拿到想要的数据；另外一种就是js动态加载得到的数据，然后放入页面中。这两种情况下，对于用户利用浏览器访问时，都不会发现有什么异常，会迅速的得到完整页面。 其实我们
转载
2023-06-12 18:01:39
189阅读
JS的解析学习目标：了解 定位js的方法了解 添加断点观察js的执行过程的方法应用 js2py获取js的方法1 确定js的位置对于前面人人网的案例，我们知道了url地址中有部分参数，但是参数是如何生成的呢？毫无疑问，参数肯定是js生成的，那么如何获取这些参数的规律呢？通过下面的学习来了解1.1 观察按钮的绑定js事件通过点击按钮，然后点击Event Listener，部分网站可以找到绑定的事件，对
转载
2023-11-20 08:54:11
89阅读
目的分析JS详细需求http://glidedsky.com/level/web/crawler-javascript-obfuscation-1思路解析一、F12 二、解析 三、断点调试四、sha1函数import hashlib
def get_str_sha1_secret_str(res:str):
"""使用sha1加密算法，返回str加密后的字符串"""
sha =
转载
2023-06-07 21:39:13
85阅读
声明：该系列教程只写思路，不提供源码，还请谅解。如有侵权，请告知删除，谢谢。今天介绍 jsfuck的解法，很简单，没啥技术含量，大牛请飘过。介绍一个爬虫闯关网站：http://glidedsky.com，有想去检测自己爬虫水平的可以去试试，有各种各样的反爬。话不多说，直接开干，我们今天要爬取的网站是： http://glidedsky.com/level/web/crawler-javascri
转载
2023-10-27 05:22:40
61阅读
很多朋友都听说过Python的大名，而Python也拥有众多的爬虫框架，其中最简单的莫过于requests-html了。它和著名的网络请求库requests是同一个作者，着重于XML数据提取，可以说是最简单的爬虫框架了。 安装requests-html安装这个类库非常简单，直接通过pip就可以安装了。pip install requests-html开始使用requests-html用
转载
2024-02-12 21:39:28
44阅读
python爬虫之快速对js内容进行破解今天介绍下数据被js加密后的破解方法。距离上次发文已经过去半个多月了，我写文章的主要目的是把从其它地方学到的东西做个记录顺便分享给大家，我承认自己是个懒猪。不知道小伙伴们有没有遇到同样的情况，公众号，博客关注了一堆，但是真正看并去学习的少之又少，希望咱们互相监督，多多交流学习哈。哎，闲话少叙，下面进入正题。上篇文章介绍到一般js破解有两种方法，一种是用Pyt
转载
2024-03-11 13:39:20
9阅读
Python从零开始写爬虫-4 解析HTML获取小说正文在上一节中, 我们已经学会如何获取小说的目录, 这一节我们将学习如何通过正则表达式(在第二节学习过)来获取小说正文.首先, 先随便选择一个章节, 作为例子, 我们就以 "吞噬星空第一章:罗峰"为例子, 来进行我们的学习.首先依然式先获取该网页的源代码import requests
r = requests.get('http://www.bi
转载
2023-05-31 10:22:59
214阅读
python爬虫学习37 这里写目录标题python爬虫学习37数据存储篇——JSON1. 对象和数组对象数组2. 读取JSON从文本中读取JSON3. 输出JSON 数据存储篇——JSON在最最最前面我们学习urllib库的时候曾经提到过JSON，今天让我们好好研究研究它：JSON全称是 JavaScriptObjectNotation，即JavaScript对象标记，它通过对象和数组的组合来表
转载
2023-10-09 07:42:21
85阅读
本案例独立完成，没有参考任何资料。虽说不是什么高难度的JS逆向，但对新手来说还是有点难度的。话不多说，开始正题。本次破解的目标是音乐网站的歌曲下载。目标网站： 未免侵权，此处省略。需要的私我。 基本思路： 搜索歌曲名字，获得歌曲地址，完成下载。逆向过程： 1、搜索歌曲，通过手动观察和查找，不难在Network下的JS面板下找到目标请求信息。2、我们来看一下这个请求的具体信息：Headers：Pla
转载
2024-01-07 18:43:42
30阅读
爬虫学习：基础爬虫案例实战 文章目录爬虫学习：基础爬虫案例实战一、前言二、案例实战任务一：爬取列表页任务二：爬取详细页任务三：保存爬取数据任务四：利用多进程提高效率三、补充一点四、最后我想说 一、前言前面我们已经学习过了Python爬虫里面的几个基础常用的库，都是分开总结的知识点，想要灵活运用这些知识点，还是需要进行一些实战训练才行，这次我们就来尝试一下基础的爬虫案例。 OK，废话不多说，让我们开
转载
2023-12-08 10:35:53
60阅读
一提到爬虫，大家可能会想到 Python，其完善的第三方库，使得一个刚入门的新手也可以写出一套套完整的爬虫程序，与此同时呢，网站的反爬虫措施也愈加强大。此次，我们另辟蹊径，使用 Javascript 来实现一种另类的爬虫！简介js 浏览器爬虫本质上就是通过 Javascript 操作 DOM对象来获取浏览器上的数据，相比 Python这类后端爬虫有着自己独特的优势：方便分享 / 使用，只用把 JS
转载
2023-07-23 08:02:21
799阅读
HTML是一种标记语言，标记语言是一套标记，HTML用标记语言来描述网页。1.HTML的基本结构： 1） <html> 内容 </html> : HTML 文档是由<html> </html>包裹，这是HTML文档的文档标记，也称为HTML开始标记。2） <head> 内容 </head> : HTML 文件头标记，
转载
2023-08-06 08:53:39
45阅读
序言：在不知道jsoup框架前，因为项目需求。须要定时抓取其它站点上的内容。便想到用HttpClient方式获取指定站点的内容。这样的方法比較笨，就是通过url请求指定站点。依据指定站点返回文本解析。说白了HttpClient充当一下浏览器的角色。返回的文本须要自己处理，一般都是用string.indexOf或者
目录一 、JS写cookie二、JS加密ajax请求参数三、JS反调试（反debug）四、JS发送鼠标点击事件 一 、JS写cookie我们要写爬虫抓某个网页里面的数据，无非是打开网页，看看源代码，如果html里面有我们要的数据，那就简单了。用requests请求网址得到网页源代码然后解析提取。等等！requests得到的网页是一对JS，跟浏览器打开看到的网页源码完全不一样！这种情况，往往是浏览
转载
2023-08-20 13:36:00
33阅读
回顾requests实现数据爬取的流程1.指定url
2.基于requests模块发起请求
3.获取响应对象中的数据
4.进行持久化存储其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据。因此，本次课程中会给大家详细介绍讲解三种聚焦爬虫中的数据解析方式。至
转载
2023-08-08 16:54:57
82阅读
利用python进行爬虫03-数据解析一.数据解析概览1.数据解析概述2.数据解析分类3.数据解析原理概述二.数据解析-正则表达式1.正则表达式2.bs43.xpath 一.数据解析概览1.数据解析概述- 聚焦爬虫:爬取页面中指定的页面内容。
- 编码流程：
- 指定url
- 发起请求
- 获取响应数据
- 数据解析
- 持久化存储2.数据解析分类- 正
转载
2023-11-05 12:42:16
62阅读
# 爬虫遇到JavaScript：挑战与解决方案
## 引言
网络爬虫是一种自动化访问网络并提取信息的工具。传统上，爬虫用于抓取静态网页内容。然而，随着前端技术的发展，越来越多的网站开始使用JavaScript生成动态内容。这给爬虫带来了挑战，因为静态爬虫无法抓取仅在客户端动态生成的内容。本文将探讨这一问题，并提供相应的解决方案。
## JavaScript对爬虫的影响
当一个网页在浏览器
### 爬虫执行 JavaScript 的流程
为了帮助你理解如何实现"爬虫执行 JavaScript"，我将为你展示整个流程的步骤，并提供相应的代码和注释。
#### 步骤一：准备工作
在开始之前，你需要确保你已经安装了以下工具和库：
1. Node.js：这是一个基于 Chrome V8 引擎的 JavaScript 运行时环境。你可以从官方网站 [ 下载并安装。
2. npm：这是
原创
2023-11-19 15:44:06
67阅读
