成果 使用模块 async -- 异步流程控制 基本使用
request -- 抓取网站模块 官网
cheerio -- 处理html模块 官网
思路 爬取的思路 : 从搜索开始 -> 进入公众号文章列表页面 -> 再分别访问每篇文章 ->同时ajax获取点赞量,阅读量等信息. 因为公众号文章列表和文章内容页的url都是临时链接,大概是2个小时过
转载
2024-02-01 00:13:42
95阅读
1. cheerio 与 request
request：模拟客户端行为，对页面进行请求
cheerio：对服务器端返回的页面进行解析；
var cheerio = require('cheerio');
var request = require('request');
var startUrl = 'http://www.baidu.com'
request(startUrl, funct
转载
2018-03-20 00:17:00
128阅读
<!-- * @Description: index.html * @Version: 1.0 * @Autor: Nanke_南柯 * @Date: 2021-10-31 23:19:43 * @LastEditors: Nanke_南柯 * @LastEditTime: 2021-10-31 2 ...
转载
2021-10-31 23:39:00
98阅读
2评论
做node爬虫，首先像如何的去做这个爬虫，首先先想下思路，我这里要爬取一个页面的数据，要调取网页的数据，转换成页面格式（html+div）格式，然后提取里面独特的属性值，再把你提取的值，传送给你的页面上，在你前端页面显示，或者让你的前端页面能够去调取这些返回的值。首先要安装以下的依赖// 调取
npm install --save request-promise
// 转换成页面格式
npm in
转载
2023-05-23 14:02:38
113阅读
这个爬虫在abaike爬虫的基础上改改图片路径和下一页路径就出来了，代码如下： 2017年11月13日20:05:44
转载
2017-11-13 20:06:00
92阅读
2017年11月11日11:59:40
转载
2017-11-11 12:00:00
120阅读
即使是https网页，解析的方式也不是一致的，需要多试试。 代码： 2017年11月14日18:28:37
转载
2017-11-14 18:29:00
333阅读
这个与前作的差别在于地址的不规律性，需要找到下一页的地址再爬过去找。
转载
2017-11-10 22:46:00
138阅读
>> node>>fs.readFile('finnish.txt', function(err,data){ console.log(data);});// Output string is not what we want>>fs.readFile('finnish.txt', funct...
转载
2015-06-18 01:03:00
944阅读
2评论
继续上一篇将这个小的功能再完善一下。获取电影站的更多内容
转载
2022-03-03 17:14:17
231阅读
以前觉得之类的服务只能后端实现，不过我们有nodejs，简单的无法想象
转载
2022-03-03 17:17:06
1439阅读
1评论
互联网上有许多可供人类消费的信息。但是如果这些数据不是以专用的RESTAPI的形式出现，通常很难以编程方式对其进行访问。使用jsdom之类的Node.js工具，你可以直接从网页上抓取并解析这些数据，并用于你自己的项目和应用。让我们以用MIDI音乐数据来训练神经网络来生成听起来经典的任天堂音乐【https://www.twilio.com/blog/generating-nintendo-music
原创
2021-01-11 12:27:06
648阅读
在imooc网上跟着老师写了两个爬虫，一个最简单的直接爬整个页面，一个完善版把章节标题和对应编号打出来了。 看完之后，自己也想写一个爬虫，用自己的博客做测试，虽然结果并没有很成功- -，还是把代码放上来。 目标是抓取章节的标题。 &nbs
原创
2016-07-22 22:48:49
903阅读
HTTP爬虫网络上每时每刻都有海量的请求，有从客户端到服务器端的，也有服务器端到服务器端的一般在浏览器里，我们是通过ajax来完成表单的提交或者是数据的获取，那在http模块里呢get和request这两个接口来完成数据的获取或者是提交。来个实例，爬一下51cto博客的数据先从最简单的爬虫开始，爬源码示例代码如下：var http = require('http')
原创
2017-03-24 21:40:36
733阅读
用Node.js爬虫下载音乐疯狂的技术宅前端先锋翻译：疯狂的技术宅作者：SamAgnew来源：twilio.com正文共：1968字预计阅读时间：12分钟互联网上有许多可供人类消费的信息。但是如果这些数据不是以专用的RESTAPI的形式出现，通常很难以编程方式对其进行访问。使用jsdom之类的Node.js工具，你可以直接从网页上抓取并解析这些数据，并用于你自己的项目和应用。让我们以用MIDI音乐
原创
2021-01-29 13:45:26
328阅读
本文主要备忘为Node.js编写组件的三种实现：纯js实现、v8 API实现（同步&异步）、借助swig框架实现。简介首先介绍使用v8 API跟使用swig框架的不同：（1）v8 API方式为官方提供的原生方法，功能强大而完善，缺点是需要熟悉v8 API，编写起来比较麻烦，是js强相关的，不容易支持其它脚本语言。（2）swig为第三方支持，一个强大的组件开发工具，支持为python、lua
转载
2024-01-26 21:28:43
112阅读
<!-- * @Description: 描述 * @Version: 1.0 * @Autor: Nanke_南柯 * @Date: 2021-10-31 23:54:24 * @LastEditors: Nanke_南柯 * @LastEditTime: 2021-11-01 00:58:24 ...
转载
2021-11-01 01:00:00
289阅读
2评论
/* * @Description: proxy-模拟正向代理 * @Version: 1.0 * @Autor: Nanke_南柯 * @Date: 2021-11-01 12:18:22 * @LastEditors: Nanke_南柯 * @LastEditTime: 2021-11-01 1 ...
转载
2021-11-01 20:40:00
771阅读
2评论
模拟执行的是JavaScript，而且依赖的是Node.js，为什么不直接用Node.js来尝试JavaScript的执行呢？其实是完全可行的。
原创
2024-04-16 09:07:04
78阅读
from:https://www.cnblogs.com/zhouyu2017/p/6485265.html 一、安装环境 1、本机系统：Windows 10 Pro（64位）2、Node.js：v6.9.2LTS（64位） 二、安装Node.js步骤 1、下载对应你系统的Node.js版本:htt ...
转载
2021-08-12 14:55:00
1233阅读
2评论
