网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据 爬虫的基本流程 发起请求通过HTTP库向目标站点发起请求，也就是发送一个Re
转载
2020-03-22 22:48:00
166阅读
2评论
爬虫工作流程1.明确目标，url
2.发送请求获取应答数据
3.保存，过滤，提取有用信息
4.使用分析，得到的数据首先看一个抓取网页生成到本地文件的简单例子package main
import (
"fmt"
"io"
"net/http"
"os"
"project/wdzinx/wdlog"
"strconv"
"sync"
)
var wg sync.Wait
转载
2024-01-08 12:06:42
66阅读
一、环境准备1、编译器，intellij idea。下载完，直接安装。安装之后的编辑器不支持golang。需要添加支持golang的插件，添加插件有两种方法。第一种：(1)点击file->setttings->plugins->Browse Repositories；(2)搜索go，找到后，点击install，重起编译器;第二种：2、golang编译环境。编译环境安装也有两种。第
转载
2023-10-13 17:32:35
109阅读
Python3爬虫介绍一．为什么要做爬虫首先请问：都说现在是"大数据时代"，那数据从何而来？ 二．爬虫是什么？网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 三．爬虫分类 网络爬虫按照系统结构和实现技术，大致可以
转载
2024-03-08 19:28:35
72阅读
爬取 BILIBILI 专栏图片的程序利用 go 语言，获取哔哩哔哩专栏的图片，lsp再也不用手动一个个下载了。。。。用到的都是 go 语言自带的包，放心食用完整代码package main
import (
"fmt"
"io/ioutil"
"net/http"
"os"
"regexp"
"strings"
)
// 定义根路径
var rootPath = "./imgs"
转载
2021-03-16 20:31:23
723阅读
2评论
验证邮箱 目标站点： https://movie.douban.com/top250
原创
2021-08-06 17:00:01
129阅读
[TOC] 学习地址： https://www.bilibili.com/video/BV1Nt411H7sP?p=4 目录站： https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&ie=utf 8&pn=0 https
原创
2021-08-07 14:26:57
246阅读
# 从零开始学习如何使用Python和Golang实现网络爬虫
网络爬虫是从互联网上提取信息的工具。对于初学者而言，使用Python和Golang实现爬虫是一项很好的练习。本文将介绍如何实现一个简单的爬虫，同时将步骤以表格形式展开，以便于理解整个流程。
## 爬虫的实现流程
| 步骤 | 描述 |
|-------|------------
简述：go-cache 是一个基于内存的、高速的，存储k-v格式的缓存工具。它适用于运行在单台机器上的应用程序，可以存储任何数据类型的值，并可以被多个goroutine安全地使用。 go-cache 不打算用作持久数据存储，但是可以将整个缓存数据保存到文件（或任何io.Reader/Writer）中，并且能快速从中指定数据源加载，快速恢复状态。 大家可以去看看go-cache的源码，提供了很多设置
转载
2024-01-15 20:57:50
116阅读
Nginx官方模块1.ngx_http_stub_status_modulehttp://nginx.org/en/docs/http/ngx_http_stub_status_module.html。此模块可以查看nginx对数据包处理的基本信息#启用方法
location /status {
stub_status;
}访问 /status，展示的数据如下Active connection
转载
2024-04-25 14:05:38
85阅读
简单爬虫//爬取网页内容func httpGet(url string) (result string, err error) { resp, err1 := http.Get(url) if err1 != nil { err = err1 return } defer resp.Body.Close() //读取网页的内容 buf := make([]byte, 1024*4) for { n, err := re
原创
2021-06-01 12:26:14
524阅读
nginx正向代理https://coding.net/u/aminglinux/p/nginx/git/blob/master/proxy/z_proxy.md Nginx正向代理使用场景并不多见。 需求场景1： 如果在机房中，只有一台机器可以联网，其他机器只有内网，内网的机器想用使用yum安装软件包，在能能联网的机器上配置一个正向代理即可。Nginx正向代理配置文件，我们直接访问百度
转载
2024-05-05 18:17:24
2298阅读
大家好，我是TheWeiJun。很高兴又和大家见面了，国庆假期马上就要结束了，在国庆假期里小编看了下colly框架，故流！
原创
2023-02-02 10:05:49
140阅读
# Python和Golang爬虫的比较与实现
网络爬虫（Web Scraper）是帮助我们从网络上提取信息的一种工具。使用Python或者Golang编写爬虫可以高效地抓取各种数据，例如新闻、天气、股票等信息。
在这篇文章中，我们将介绍Python与Golang中爬虫的实现，并用具体的代码示例来演示如何构建爬虫。同时，我们还将绘制一个简单的甘特图，以使读者理解爬虫开发中的各个阶段。
##
最近一直用的golang，然后写pat1015德才论的时候出了问题，运行超时，不是说golang速度还可以吗。 于是从网上找了同样的c++做了一下比较，发现同样的数据(10万行，一行3个整数)，c++几十毫秒就完成，golang要十几秒，这也差距太大了吧。输出运行时间后，发现是输入输出有问题。网上查了一圈，原来是标准的fmt包没有缓存，然后速度就很慢。 找了几个改进的方法。Scanner这个最快的
转载
2023-08-23 14:39:43
132阅读
转载
2010-12-19 21:42:00
139阅读
2评论
when()和ui-route的state()都提供了resolve属性。 为什么需要使用resolve？ 当路由切换的时候，被路由的页面中的元素（标签）就会立马显示出来，同时，数据会被准备好并呈现出来。但是注意，数据和元素并不是同步的，在没有任何设置的情况下，AngularJS默认先呈现出元素，而后再呈现出数据。这样就会导致页面会被渲染两遍，导致“页面UI抖动”的问题，对用
目录1. Redis:1.1 简介：1.2 连接redis1.3 常用api：1.3 连接池：1.4 项目中使用： 1. Redis:1.1 简介： garyburd/redigo 包是网上很多博文都在推荐使用的一个高Star的Redis连接包，项目已经迁移到了gomodule/redigo，同时包的获取也理所当然地改成了go get github.com/gomodule/redigo/re
转载
2023-08-21 14:16:43
122阅读
需求最近在弄一个游戏的gate网关转发服务器，服务器之间使用的是nats通讯，gate的作用是接收客户端发来的消息转发到对应的服务器上，并从nats上获取游戏服务器发送给客户端的消息并转发给客户端。前面接收还好处理，因为都是发布订阅模式的消息，收到消息直接向nats上扔就行了。但转发服务器来的消息就不一样了，从nats上取的速度远大于gate转发给客户端的速度，会有数据囤积在nats中。为了解决这
原创
2024-08-27 10:06:22
48阅读
需求最近在弄一个游戏的gate网关转发服务器，服务器之间使用的是nats通讯，gate的作用是接收客户端发来的消息转发到对应的服务器上，并从nats上获取游戏服务器发送给客户端的消息并转发给客户端。前面接收还好处理，因为都是发布订阅模式的消息，收到消息直接向nats上扔就行了。但转发服务器来的消息就不一样了，从nats上取的速度远大于gate转发给客户端的速度，会有数据囤积在nats中。为了解决这
