大家好，我是TheWeiJun。很高兴又和大家见面了，国庆假期马上就要结束了，在国庆假期里小编看了下colly框架，故流！
原创
2023-02-02 10:05:49
140阅读
predator 是一款基于 fasthttp 开发的高性能爬虫框架。当前版本虽然尚未完成全部功能，但已可使用。使用下面是一个示例，基本包含了当前已完成的所有功能，使用方法可以参考注释。1 创建一个 Crawlerimport "github.com/thep0y/predator"
func main() {
crawler := predator.NewCrawler(
predat
转载
2023-07-17 20:18:40
176阅读
Golang 是一门非常适合编写网络爬虫的语言，它有着高效的并发处理能力和丰富的网络编程库。下面是一个简单的 Golang 网络爬虫示例：
原创
2023-05-09 11:07:58
175阅读
gocolly是Golang实现的网络爬虫框架，名列go版爬虫程序榜首。安装goget-ugithub.com/gocolly/colly/...例子import("fmt""github.com/gocolly/colly")funcmain(){c:=colly.NewCollector()c.OnResponse(func(r*colly.Respon
原创
2019-01-15 14:10:06
1411阅读
爬虫靠演技，表演得越像浏览器，抓取数据越容易，这是我多年爬虫经验的感悟。回顾下个人的爬虫经历，共分三个阶段：第一阶段，09年左右开始接触爬虫，那时由于项目需要，要访问各大国际社交网站，Facebook，myspace，filcker，youtube等等，国际上叫得上名字的社交网站都爬过，大部分网站提供restful api，有些功能没有api，就只能用http抓包工具分析协议，自己爬；国内的优酷、
原创
2021-05-01 21:49:41
1541阅读
Golang实现简单爬虫框架（2）——单任务版爬虫上一篇博客《Golang实现简单爬虫框架（1）——项目介绍与环境准备》中在本此爬虫项目中，只会实现一个简单的...
原创
2023-07-13 16:48:07
84阅读
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据 爬虫的基本流程 发起请求通过HTTP库向目标站点发起请求，也就是发送一个Re
转载
2020-03-22 22:48:00
166阅读
2评论
爬虫工作流程1.明确目标，url
2.发送请求获取应答数据
3.保存，过滤，提取有用信息
4.使用分析，得到的数据首先看一个抓取网页生成到本地文件的简单例子package main
import (
"fmt"
"io"
"net/http"
"os"
"project/wdzinx/wdlog"
"strconv"
"sync"
)
var wg sync.Wait
转载
2024-01-08 12:06:42
66阅读
一、环境准备1、编译器，intellij idea。下载完，直接安装。安装之后的编辑器不支持golang。需要添加支持golang的插件，添加插件有两种方法。第一种：(1)点击file->setttings->plugins->Browse Repositories；(2)搜索go，找到后，点击install，重起编译器;第二种：2、golang编译环境。编译环境安装也有两种。第
转载
2023-10-13 17:32:35
109阅读
Python3爬虫介绍一．为什么要做爬虫首先请问：都说现在是"大数据时代"，那数据从何而来？ 二．爬虫是什么？网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 三．爬虫分类 网络爬虫按照系统结构和实现技术，大致可以
转载
2024-03-08 19:28:35
74阅读
最近花了点时间研究gotk3，网上资料很少，很费时。考虑可能需要开发资源管理器/图片管理器，继续寻找golang的gui解决方案。Github这里有例程，我们都喜欢文档详细，例程多的东西。依赖： sudo apt install libgtk-3-dev libcairo2-dev libglib2.0-dev这里也讲了win环境下的安装。一 外带简单示例第一次运行例程simple，好几分钟才出来
转载
2024-04-20 15:36:05
263阅读
在上篇文章Golang实现简单爬虫框架（2）——单任务版爬虫中我们实现了一个简单的单任务版爬虫，对于单任务版爬虫
原创
2023-01-12 01:54:26
170阅读
爬取 BILIBILI 专栏图片的程序利用 go 语言，获取哔哩哔哩专栏的图片，lsp再也不用手动一个个下载了。。。。用到的都是 go 语言自带的包，放心食用完整代码package main
import (
"fmt"
"io/ioutil"
"net/http"
"os"
"regexp"
"strings"
)
// 定义根路径
var rootPath = "./imgs"
转载
2021-03-16 20:31:23
723阅读
2评论
验证邮箱 目标站点： https://movie.douban.com/top250
原创
2021-08-06 17:00:01
129阅读
[TOC] 学习地址： https://www.bilibili.com/video/BV1Nt411H7sP?p=4 目录站： https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&ie=utf 8&pn=0 https
原创
2021-08-07 14:26:57
246阅读
# 从零开始学习如何使用Python和Golang实现网络爬虫
网络爬虫是从互联网上提取信息的工具。对于初学者而言，使用Python和Golang实现爬虫是一项很好的练习。本文将介绍如何实现一个简单的爬虫，同时将步骤以表格形式展开，以便于理解整个流程。
## 爬虫的实现流程
| 步骤 | 描述 |
|-------|------------
Golang 框架 | 作用 | 网址 | | gin | web框架 | https://github.com/gin gonic/gin xorm | ORM库 | http://gobook.io/read/gitea.com/xorm/manual zh CN/
转载
2020-04-14 14:14:00
428阅读
2评论
目录一、colly框架简介二、colly特性说明三、爬虫架构对比四、colly框架实战五、colly总结说明一、colly框架简介前言：colly 是 Go 实现的比较有名的一款爬虫框架，而且 Go 在高并发和分布式场景的优势也正是爬虫技术所需要的。它的主要特点是轻量、快速，设计非常优雅，并且分布式的支持也非常简单，易于扩展。github地址: github.com/gocolly/c
转载
2024-05-02 08:49:33
61阅读
!在这里插入图片描述(https://s2.51cto.com/images/blog/202209/06104812_6316b4ecda82570364.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW
原创
精选
2022-09-06 10:48:45
2390阅读
请求测试：http://httpbin.org/get。
原创
2022-09-10 00:31:52
811阅读
