一提到爬虫，大家可能会想到 Python，其完善的第三方库，使得一个刚入门的新手也可以写出一套套完整的爬虫程序，与此同时呢，网站的反爬虫措施也愈加强大。此次，我们另辟蹊径，使用 Javascript 来实现一种另类的爬虫！简介js 浏览器爬虫本质上就是通过 Javascript 操作 DOM对象来获取浏览器上的数据，相比 Python这类后端爬虫有着自己独特的优势：方便分享 / 使用，只用把 JS
转载
2023-07-23 08:02:21
799阅读
如何用js完成爬虫项目前言一、node.js的安装二、mysql的安装三、确定爬取网页四、查看分析网页源码五、开始写爬虫npm···Node调用mysql定义要访问的网站定义新闻页面里具体的元素的读取方式定义哪些url可以作为新闻页面构造一个模仿浏览器的request读取种子页面
解析出种子页面里所有的链接
遍历种子页面里所有的链接
规整化所有链接，如果符合新闻URL的正则表达式就爬取读取具体
转载
2023-06-06 09:20:02
186阅读
应邀写一点使用Node.js爬点资料的实例，对于大家建站爬一些初始资料或者做分析研究的小伙伴们应该有些帮助。目标分析目标地址：http://wcatproject.com/charSearch/抓取内容：抓取所有4星角色的数值数据。如果我们采用手工采集的步骤，需要先进入目标地址，然后选择4星角色的选项，页面下方出现所有4星角色的头像，依次点击每个4星角色头像后会出现角色的详细页面，记录下详细页面中
转载
2023-08-08 22:46:21
56阅读
前言随着互联网的发展，数据已经成为了一种非常重要的资源。而爬虫作为一种获取数据的方式，也越来越受到人们的关注。在这篇博客中，我们将介绍如何使用Node.js来编写一个简单的爬虫程序。什么是爬虫爬虫是一种自动化程序，用于从互联网上获取数据。它可以自动访问网站，抓取网页内容，并将其存储到本地或者其他地方。爬虫可以用于各种用途，例如搜索引擎、数据分析、价格比较等等。Node.js简介Node.js是一个
转载
2023-07-22 15:38:20
93阅读
JS如何做爬虫，JS做爬虫要靠node节点环境，cheerio（主要是解析下载的网页可以像jquery一样，这是必要的，使用它在npm上查看文档也很简单）。
转载
2019-11-25 16:39:00
202阅读
在学习爬虫前，我们需要先掌握网站类型，才能根据网站类型，使用适用的方法来编写爬虫获取数据。今天小编就以国内知名的ForeSpider爬虫软件能够采集的网站类型为例，来为大家盘点一下数据采集常见的几种网站类型。l常见网站类型1.js页面JavaScript是一种属于网络的脚本语言,被广泛用于Web应用开发,常用来为网页添加各式各样的动态功能,为用户提供更流畅美观的浏览效果。通常JavaScript脚
转载
2024-01-16 23:07:41
50阅读
很多前端同学可能对于爬虫不是很感冒，觉得爬虫需要用偏后端的语言，诸如 python 、php 等。当然这是在 nodejs 前了，nodejs 的出现，使得 Javascript 也可以用来写爬虫了。但这是大数据时代，数据的需求是不分前端还是后端的，既然由于 nodejs 强大的异步特性，让我们可以轻松以异步高并发去爬取网站。这里会有一个问题吗，那就是前端程序员如果要开发爬虫是使用python还是
转载
2024-05-19 11:09:01
35阅读
很多朋友都听说过Python的大名，而Python也拥有众多的爬虫框架，其中最简单的莫过于requests-html了。它和著名的网络请求库requests是同一个作者，着重于XML数据提取，可以说是最简单的爬虫框架了。 安装requests-html安装这个类库非常简单，直接通过pip就可以安装了。pip install requests-html开始使用requests-html用
转载
2024-02-12 21:39:28
44阅读
声明：该系列教程只写思路，不提供源码，还请谅解。如有侵权，请告知删除，谢谢。今天介绍 jsfuck的解法，很简单，没啥技术含量，大牛请飘过。介绍一个爬虫闯关网站：http://glidedsky.com，有想去检测自己爬虫水平的可以去试试，有各种各样的反爬。话不多说，直接开干，我们今天要爬取的网站是： http://glidedsky.com/level/web/crawler-javascri
转载
2023-10-27 05:22:40
61阅读
目的分析JS详细需求http://glidedsky.com/level/web/crawler-javascript-obfuscation-1思路解析一、F12 二、解析 三、断点调试四、sha1函数import hashlib
def get_str_sha1_secret_str(res:str):
"""使用sha1加密算法，返回str加密后的字符串"""
sha =
转载
2023-06-07 21:39:13
85阅读
一、Selenium概述Selenium 是一个用于测试 Web 应用程序的框架，该框架测试直接在浏览器中运行，就像真实用户操作一样。它支持多种平台：Windows、Linux、Mac，支持多种语言：Python、Perl、PHP、C# 等，支持多种浏览器：Chrome、IE、Firefox、Safari 等。二、Selenium下载安装1.Selenium安装pip install seleni
转载
2023-09-26 10:18:10
160阅读
Python网络爬虫-Selenium首先先说一下对Selenium的看法，个人认为它是在爬虫中比较好用的一个工具，使用习惯后可能不遇到特殊情况的爬取，也是不会换其他的工具的。然后，想要学习爬虫，如果比较详细的了解web开发的前端知识会更加容易上手，时间不够充裕，仅仅了解html的相关知识也是够用的。准备工作：使用它肯定先要安装它，对于Selenium的安装推荐使用pip，十分方便。因为我使用的是
转载
2023-12-03 08:35:02
89阅读
python爬虫学习37 这里写目录标题python爬虫学习37数据存储篇——JSON1. 对象和数组对象数组2. 读取JSON从文本中读取JSON3. 输出JSON 数据存储篇——JSON在最最最前面我们学习urllib库的时候曾经提到过JSON，今天让我们好好研究研究它：JSON全称是 JavaScriptObjectNotation，即JavaScript对象标记，它通过对象和数组的组合来表
转载
2023-10-09 07:42:21
85阅读
我们在用python做爬虫的时候，除了直接用requests的架构，还有Scrapy、Selenium等方式可以使用，那么今天我们就来看一看使用Selenium如何实现爬虫。
原创
2023-03-03 10:44:08
432阅读
序言：在不知道jsoup框架前，因为项目需求。须要定时抓取其它站点上的内容。便想到用HttpClient方式获取指定站点的内容。这样的方法比較笨，就是通过url请求指定站点。依据指定站点返回文本解析。说白了HttpClient充当一下浏览器的角色。返回的文本须要自己处理，一般都是用string.indexOf或者
爬虫学习：基础爬虫案例实战 文章目录爬虫学习：基础爬虫案例实战一、前言二、案例实战任务一：爬取列表页任务二：爬取详细页任务三：保存爬取数据任务四：利用多进程提高效率三、补充一点四、最后我想说 一、前言前面我们已经学习过了Python爬虫里面的几个基础常用的库，都是分开总结的知识点，想要灵活运用这些知识点，还是需要进行一些实战训练才行，这次我们就来尝试一下基础的爬虫案例。 OK，废话不多说，让我们开
转载
2023-12-08 10:35:53
60阅读
HTML是一种标记语言，标记语言是一套标记，HTML用标记语言来描述网页。1.HTML的基本结构： 1） <html> 内容 </html> : HTML 文档是由<html> </html>包裹，这是HTML文档的文档标记，也称为HTML开始标记。2） <head> 内容 </head> : HTML 文件头标记，
转载
2023-08-06 08:53:39
45阅读
本案例独立完成，没有参考任何资料。虽说不是什么高难度的JS逆向，但对新手来说还是有点难度的。话不多说，开始正题。本次破解的目标是音乐网站的歌曲下载。目标网站： 未免侵权，此处省略。需要的私我。 基本思路： 搜索歌曲名字，获得歌曲地址，完成下载。逆向过程： 1、搜索歌曲，通过手动观察和查找，不难在Network下的JS面板下找到目标请求信息。2、我们来看一下这个请求的具体信息：Headers：Pla
转载
2024-01-07 18:43:42
30阅读
目录一 、JS写cookie二、JS加密ajax请求参数三、JS反调试（反debug）四、JS发送鼠标点击事件 一 、JS写cookie我们要写爬虫抓某个网页里面的数据，无非是打开网页，看看源代码，如果html里面有我们要的数据，那就简单了。用requests请求网址得到网页源代码然后解析提取。等等！requests得到的网页是一对JS，跟浏览器打开看到的网页源码完全不一样！这种情况，往往是浏览
转载
2023-08-20 13:36:00
33阅读
爬虫原理网络连接需要计算机一次Request请求和服务器端的Response回应。爬虫也需要做两件事：模拟计算机对服务器发起Request请求接收服务器端的Response内容并解析、提取所需要的信息。Python第三方库的安装在PyCharm中安装打开PyCharm，在菜单栏中选择File|Default Settings 命令选择左侧的 Project Interpreter选项，在窗口右侧选
转载
2023-09-07 12:00:14
201阅读
