网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据 爬虫的基本流程 发起请求通过HTTP库向目标站点发起请求，也就是发送一个Re
转载
2020-03-22 22:48:00
166阅读
2评论
爬虫工作流程1.明确目标，url
2.发送请求获取应答数据
3.保存，过滤，提取有用信息
4.使用分析，得到的数据首先看一个抓取网页生成到本地文件的简单例子package main
import (
"fmt"
"io"
"net/http"
"os"
"project/wdzinx/wdlog"
"strconv"
"sync"
)
var wg sync.Wait
转载
2024-01-08 12:06:42
66阅读
一、环境准备1、编译器，intellij idea。下载完，直接安装。安装之后的编辑器不支持golang。需要添加支持golang的插件，添加插件有两种方法。第一种：(1)点击file->setttings->plugins->Browse Repositories；(2)搜索go，找到后，点击install，重起编译器;第二种：2、golang编译环境。编译环境安装也有两种。第
转载
2023-10-13 17:32:35
109阅读
Python3爬虫介绍一．为什么要做爬虫首先请问：都说现在是"大数据时代"，那数据从何而来？ 二．爬虫是什么？网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 三．爬虫分类 网络爬虫按照系统结构和实现技术，大致可以
转载
2024-03-08 19:28:35
72阅读
爬取 BILIBILI 专栏图片的程序利用 go 语言，获取哔哩哔哩专栏的图片，lsp再也不用手动一个个下载了。。。。用到的都是 go 语言自带的包，放心食用完整代码package main
import (
"fmt"
"io/ioutil"
"net/http"
"os"
"regexp"
"strings"
)
// 定义根路径
var rootPath = "./imgs"
转载
2021-03-16 20:31:23
723阅读
2评论
验证邮箱 目标站点： https://movie.douban.com/top250
原创
2021-08-06 17:00:01
129阅读
[TOC] 学习地址： https://www.bilibili.com/video/BV1Nt411H7sP?p=4 目录站： https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&ie=utf 8&pn=0 https
原创
2021-08-07 14:26:57
246阅读
# 从零开始学习如何使用Python和Golang实现网络爬虫
网络爬虫是从互联网上提取信息的工具。对于初学者而言，使用Python和Golang实现爬虫是一项很好的练习。本文将介绍如何实现一个简单的爬虫，同时将步骤以表格形式展开，以便于理解整个流程。
## 爬虫的实现流程
| 步骤 | 描述 |
|-------|------------
简单爬虫//爬取网页内容func httpGet(url string) (result string, err error) { resp, err1 := http.Get(url) if err1 != nil { err = err1 return } defer resp.Body.Close() //读取网页的内容 buf := make([]byte, 1024*4) for { n, err := re
原创
2021-06-01 12:26:14
524阅读
大家好，我是TheWeiJun。很高兴又和大家见面了，国庆假期马上就要结束了，在国庆假期里小编看了下colly框架，故流！
原创
2023-02-02 10:05:49
140阅读
# Python和Golang爬虫的比较与实现
网络爬虫（Web Scraper）是帮助我们从网络上提取信息的一种工具。使用Python或者Golang编写爬虫可以高效地抓取各种数据，例如新闻、天气、股票等信息。
在这篇文章中，我们将介绍Python与Golang中爬虫的实现，并用具体的代码示例来演示如何构建爬虫。同时，我们还将绘制一个简单的甘特图，以使读者理解爬虫开发中的各个阶段。
##
golang笔记14-go 语言爬虫实战项目介绍1 介绍2 开始实战项目2.1 爬虫项目介绍2.2
原创
2022-08-29 11:04:00
515阅读
predator 是一款基于 fasthttp 开发的高性能爬虫框架。当前版本虽然尚未完成全部功能，但已可使用。使用下面是一个示例，基本包含了当前已完成的所有功能，使用方法可以参考注释。1 创建一个 Crawlerimport "github.com/thep0y/predator"
func main() {
crawler := predator.NewCrawler(
predat
转载
2023-07-17 20:18:40
176阅读
# Golang与Python混合爬虫效率探讨
在大数据时代，网络爬虫作为获取数据的重要工具，受到了越来越多开发者的关注。使用Golang与Python的混合爬虫，不仅可以充分发挥两者的优点，还能显著提升爬虫的效率。本文将探讨Golang与Python混合爬虫的优势，并通过代码示例进行说明。
## Golang与Python的优缺点
Golang是一种编译型语言，具有高性能、并发性及强类型系
基于golang的爬虫实战 前言 爬虫本来是python的强项，前期研究过scrapy，也写过一些简单的爬虫小程序，但是后来突然对golang产生兴趣，决定写写爬虫练练手。由于本人golang萌新，有错误之处，欢迎指正。 大致思路 由于现在动态页面比较多，因此考虑通过WebDriver驱动Chrom
转载
2020-06-22 11:48:00
333阅读
2评论
Golang 是一门非常适合编写网络爬虫的语言，它有着高效的并发处理能力和丰富的网络编程库。下面是一个简单的 Golang 网络爬虫示例：
原创
2023-05-09 11:07:58
175阅读
个人学习记录，欢迎提出不足之处~ 文章目录1. 功能介绍（使用方法）2. 完整代码（带少量注释）3. 可执行文件（exe）4. 下载器实现思想（待续）5. 代码详细解析（待续） 1. 功能介绍（使用方法）MultithreadedDownloader.exe为使用golang实现的多线程下载器，实现对大文件的多线程下载，加快下载速度。文件接收4个可选参数，分别如下：url 文件下载路径，默认值：“
转载
2024-06-14 04:53:05
57阅读
前言在上一篇文章《Golang实现简单爬虫框架（4）——队列实现并发任务调度》中，我们使用用队列实现了任务调度，接下来首先对两种擎通过分析我...
原创
2023-01-12 01:53:00
128阅读
Golang实现简单爬虫框架（1）——项目介绍与环境准备最近学习Go语言，看了慕课网Google工程师深si安...
原创
2023-07-13 16:48:17
185阅读
