在爬取网站的时候我们有时候会遭受封ip等显现，因此我们需要搭建自己的ip池用于爬虫。代码过程简述：1、爬取代理ip网站信息2、将获取的信息处理得到ip等关键信息3、保存首次获取的ip信息并检测其是否可用4、检测完毕将可用ip保存，搭建完成本文是单线程，比较简单但效率可能没有那么快下面是搭建完后的ip池展示： 老规矩先放总的代码后再一步步解析# -*- coding: gbk
转载
2023-08-08 07:40:42
90阅读
站长们在做网站的时候，都会遇到IP选择的问题。什么是虚拟主机？所谓虚拟主机，也叫服务器相当于一间待出租的房子，而共享IP则是把不同房间单租给不同的用户，这么多人住在同一个房子中，肯定互有影响。但是价格肯定是非常便宜的，而独立IP则是整租下房子，自己一个人住，住的舒心，但是房租较贵。大部分的站长，在选择服务器产品的时候，都很少注意IP的区别，但是后期优化的时候发现，同样是IP，但是差别是很大的。做过
转载
2023-09-28 17:06:35
31阅读
Nginx正向代理Nginx正向代理80端口Nginx代理服务器端配置：客户端配置：Nginx正向代理非80端口Nginx代理服务器端配置客户端配置： 正向代理需求环境： 局域网无法访问互联网，但是内网中有一个服务器能上互联网，即可配置正向代理，使客户端能通过代理服务器访问互联网中的网站。正向代理原理图： PC——nginx服务器——互联网——互联网中网站Nginx正向代理80端口本文正向代理的
转载
2024-03-23 10:23:10
403阅读
【005】Nginx学习笔记-Nginx真实IP真实IP客户端真实IP深入理解真实IP实验一实验二： 多个代理服务器的情况实验三：利用realip模块获取客户端真实IP实验四：伪装请求头Reference 真实IP配置代理服务器将客户端 IP 传递给后端服务器 查看后端服务器的访问日志，我们发现日志中记录的客户端 IP 并非真实客户端的 IP，而是代理服务器的 IP 。 之所以会这样，原因是客户
转载
2024-02-28 10:09:43
1697阅读
nginx正则说明
分类： nginx2012-08-09 09:40 11714人阅读 评论(0) 收藏 举报
nginx正则表达式firefox
^~ 标识符后面跟一个字符串。Nginx将在这个字符串匹配后停止进行正则表达式的匹配（location指令中正则表达式的匹配的结果优先使用），如：location ^~ /images/，你希望对/images/这个目录进行一些特别的
转载
2024-04-11 20:24:29
136阅读
1. 配置参数在nginx.conf配置文件中的http模块下添加：limit_req_zone $binary_remote_addr zone=serverRateLimit:10m rate=10r/s;limit_req_zone定义在http块中，$binary_remote_addr标识保存客户端IP地址的二进制形式。Zone定义IP状态及URL访问频率的共享内存区域。zone=key
转载
2024-02-27 11:09:07
187阅读
阅读文本大概需要3分钟。 当Nginx接到请求后，会匹配其配置中的server模块。匹配方法就是靠请求携带的host和port正好对应其配置中的server_name 和listen。如果做过ip和域名绑定，ip和域名二者是对等的。server_name指令主要用于配置基于名称的虚拟主机，server_name指令在接到请求后的匹配顺序的优先级分别为：1、准
转载
2024-02-15 21:44:31
199阅读
重要的参数： remote_addr 代表客户端的IP，但它的值不是由客户端提供的，而是服务端根据客户端的ip指定的，当你的浏览器访问某个网站时，假设中间没有任何代理，那么网站的web服务器（Nginx，Apache等）就会把remote_addr设为你的机器IP，如果你用了某个代理，那么你的浏览器会先访问这个代理，然后再由这个代理转发到网站，这样web服务器就会把remote_addr
转载
2024-02-22 14:19:31
28阅读
1. 环境首先，我这里的环境为nginx-1.1.2.2，通过yum安装。如果想要源码安装，需要通过如下参数，启用ngx_http_realip_module模块。--with-http_realip_module而传递真实IP到后端，需要使用到ngx_http_proxy_module模块，此模块默认会编译。 2. 配置nginx然后修改nginx的配置，在http{}的配置中，按如下
转载
2024-08-20 23:11:54
563阅读
前言
代理IP池是一种收集大量代理IP并对其进行管理与维护的技术方案。这种技术方案可以有效地防止访问被封IP，同时可以提高高并发请求下的访问效率。本文将从以下几个方面详细介绍代理IP池的概念、优势、判断方法以及常见问题。
一、什么是代理IP池？
代理IP池主要是通过收集大量代理IP并对其进行管理与维护的技术方案。利用代理IP池，可以有效地防止访问被封IP，同时可以提高高并发请求下的访问效率。通常，
原创
2023-11-09 15:35:38
249阅读
本程序包含三个包、共13个类，能基本实现图书借阅、查询；用户登录、注册等多种功能。 上面左图是程序的结构，右面是程序的入口。
结构主要使用功能类实现相应的功能，test类提供接口函数，进入Library类，程序功能实现开始。
下面进行相关类的介绍：红色为标题Library : 包含一个接口函数 Interface()，将各个类的功能进行综合，在此类中完成: 用户交互界面显示、用户登录、用户注册、
转载
2023-10-09 10:31:59
61阅读
一、设计原则 （1）降低内存碎片 （2）降低向操作系统申请内存的次数 （3）减少各个模块的开发效率 二、源代码结构 struct ngx_pool_s { ngx_pool_data_t d; size_t max; ngx_pool_t *current; ngx_chain_t *chain;
转载
2017-05-22 13:09:00
126阅读
2评论
总结回顾，如有侵权，私信删除。1.IP访问控制基于各种原因，我们要进行访问控制。比如说，一般网站的后台都不能让外部访问，所以要添加 IP 限制，通常只允许公司的 IP 访问。访问控制就是指只有符合条件的 IP 才能访问到这个网站的某个区域。涉及模块：ngx_http_access_module模块概述：允许限制某些 IP 地址的客户端访问。对应指令：allow语法: allow address |
转载
2024-04-27 21:13:34
323阅读
前言： 先来说说为啥要写这篇文章，之前小编看了下nginx 的访问日志，发现每天有好多国外的IP地址来访问我的网站，并且访问的内容基本上都是恶意的。因此 我决定 禁止国外IP 来访问我的网站想要实现这个功能有很多方法，下面我就来介绍基于 NGINX的ngx_http_geoip2模块 来禁止国外IP 访问网站一、安装geoip2扩展依赖[root@fxkj ~]# yum install libm
转载
2024-03-08 19:35:31
258阅读
在分析Web日志中直接记录ip地理位置，为分辨恶意请求/用户位置等功能提供支持，同时建立一个简易myip查询站点。一、简介首先你需要了解的是nginx官方模块里不支持geoip2，我们需要手动下载模块并安装至nginxnginx有两种模块加载方式，分别为静态/动态加载，静态即在nginx编译时将模块编译进去，动态加载编译开启nginx动态加载模块的能力，后期需要添加模块只需要单独编译模块，将模块放
转载
2024-07-25 12:14:26
51阅读
因为公司有个需求需要获取客户端的真实IP，前端是haproxy，后面是nginx，本来这个需求不难完成，但是难就难在是https请求也就是ssl由于个人水平有限，在网上爬了很多资料，刚开始的ha是通过tcp代理443端口的，但是无法转发7层的X-Forwarded-For到后面的nginx，那么后面的ng肯定拿不到真实IP了怎么办呢，网上爬资料第一在HA上做ssl中断，中断后https协议就变成h
转载
2024-03-27 17:59:46
246阅读
realip模块的作用是：当本机的nginx处于一个反向代理的后端时获取到真实的用户IP。如果没有realip模块，nginx的access_log里记录的IP会是反向代理服务器的IP，PHP中$_SERVER['REMOTE_ADDR']的值也是反向代理的IP而安装了realip模块，并且配置正确，就可以让nginx日志和php的REMOTE_ADDR都变成真实的用户IP。举一个最简单的例子，网
转载
2024-06-15 13:49:20
199阅读
网络上关于ngx_http_realip_module的文章千篇一律，全是在说怎么安装，最多贴一个示例配置，却没有说怎么用，为什么这么用，官网文档写得也十分简略，于是就自己探索了一下。 realip模块的作用是：当本机的nginx处于一个反向代理的后端时获取到真实的用户IP。 如果没有realip模块，nginx的access_log里记录的IP会是反向代理服务器的IP，PHP
前言：有时候服务器会遭受到恶意IP访问，导致服务器负载很大，这个时候需要把这个IP封锁掉，以下两种脚本即可实现这种功能。封锁IP有两种方式：1，直接通过nginx即可，在配置文件中加入include blockip.conf；2，通过防火墙，加入防火墙规则，使固定的IP不能访问。 两种方式都是在日志文件中检索出访问量异常的IP，并作处理。 &
转载
2024-03-29 06:45:02
315阅读
分享一下这次艰难的配置过程，衔接上一篇的配置内网独立IP虚拟机。先吐槽一波，由于公司网络属于内网，与外网互不相通，所以在安装nginx的时候可能会去外网找相对应rpm文件，而且也有许多的版本不兼容问题，好烦；其实我自己后面才知道，系统镜像文件中就有与当前系统兼容的rpm文件，就先这样，开始安装教程啦！准备好安装的文件，安装的Linux系统是redhat6.5之前配置网络的是CentOS7，其实这两
转载
2024-05-06 23:30:28
127阅读
