if ($http_user_agent ~* (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) { return 403; &
原创
2011-07-18 15:22:08
1027阅读
大家好，我的中文名字叫小蛛蛛英文名字叫jspider。现在刚刚从“妈妈”肚子出来。动作比较缓慢，不过对外界东西已经有反应了。别说我坏话哈，我听的懂的。刚出来还不知道我到底来到世界是干嘛的，后来查了下资料。才知道： 网络爬
大致思维导图： 1.WAF部署-安全狗,宝塔等waf搭建部署：宝塔比较简单，安全狗免费简要讲解安全狗,宝塔等防护waf策略规则：比如都有什么功能简要演示安全狗bypass sqlinject防护规则：怎么设置防护的、可以防护的工具与漏洞实测简易CMS头部注入漏洞Bypass原理分析安全狗： 可以自己准备一台阿里云服务器，在上边搭建好网站或靶场靶机比如：sqli-labs，先用简单些的安全狗测试再用
防御DDOS是一个系统工程，攻击花样多，防御的成本高瓶颈多，防御起来即被动又无奈。DDOS的特点是分布式，针对带宽和服务攻击，也就 是四层流量攻击和七层应用攻击，相应的防御瓶颈四层在带宽，七层的多在架构的吞吐量。对于七层的应用攻击，我们还是可以做一些配置来防御的，例如前端是 Nginx，主要使用nginx的http_limit_conn和http_limit_req模块来防御。 ngx_http_
Nginx访问日志这里补充下Nginx访问日志使用的说明。一般在nginx.conf主配置文件里需要定义一种格式：log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agen
转载
2024-10-28 10:47:28
42阅读
用户数量庞大的应用，尤其是互联网应用，面对庞大的用户群体，在高并发场景下，因为请求过多，压力转移到服务器，容易导致服务宕机等故障，因此需要使用限流对服务进行保护。瞬时大量用户访问服务器，导致服务器超载而宕机。恶意请求攻击服务器，导致服务器超载而宕机。对于特定应用，例如爬虫等，针对性的进行分析、限流。1 限制单IP并发访问数量ngx_http_limit_conn_module模块用于限制连接数量，
假定一个场景：某个网站它可能不希望被网络爬虫抓取，例如测试环境不
原创
2022-06-28 12:02:50
342阅读
搜索引擎对网页的抓取动作是通过网络爬虫(蜘蛛)在整个互联网平台上进行信息的采集和抓取，这是搜索引擎最基本的动作。 搜索引擎蜘蛛/机器人采集的力度直接决定了搜索引擎前端检索器可提供的信息覆盖面，同时影响反馈给用户检索查询信息的质量。所以，搜索引擎本身在不断设法提高其数据采行抓取及分析的能力。 搜索引擎页面抓取流程 在整个互联网中，URL是每个页面的入口地址,同时搜索引擎蜘蛛程序也是通过URL
LAMP架构之nginx:nginx重定向+防盗链一、nginx重定向1.防止域名恶意解析到服务器IP,rewrite(URL重定向)2.重定向做全站加密3.网站的整体迁移二、nginx防盗链1.简单的盗用2.servevr5主机进行防盗链设置 一、nginx重定向1.防止域名恶意解析到服务器IP,rewrite(URL重定向)server {
listen 80;
转载
2024-05-09 13:51:06
459阅读
通过分析nginx的日志来过滤出访问过于频繁的IP地址，然后添加到nginx的blockip.conf，并重启nginx脚本如下:#!/bin/sh
nginx_home = /Data/app_1/nginx
log_path = /Data/logs
/usr/bin/tail -n50000 $log_path/access.log /
|awk ‘$8 ~/aspx/{print $2,$
转载
2024-03-12 18:06:57
160阅读
Nginx作为一款高性能的Web服务器和反向代理服务器，提供了强大的缓存功能，可以显著提升网站的性能和用户体验。下面是Nginx缓存功能的介绍和使用方法。 一、Nginx缓存功能介绍 Nginx的缓存功能可以将经常被访问的静态资源（如图片、CSS、JS等）缓存到内存或磁盘中，当有请求访问这些资源时，Nginx会直接从缓存中读取，而不是每次都去访问后端服务器，从而减轻了后端服务器
转载
2024-10-04 13:43:13
38阅读
根据国家标准(GB5768.2-2009)指示1、车速＜40kg/h，限速标志牌的直径为600mm;2、车速在40--70kg/h，限速标志牌的直径为800mm;3、车速在71--99kg/h，限速标志牌的直径为1000mm;4、车速在100--120kg/h，限速标志牌的直径为1200mm。最低限速标志，表示机动车驶入前方道路之最低时速限制。此标志设在高速公路或其他道路限速路段的起点。这是最低限
通过Strace定位故障原因这是一个Nginx错误日志：connect() failed (110: Connection timed out) while connecting to upstream
connect() failed (111: Connection refused) while connecting to upstream看上去是Upstream出了问题，在本例中Upstre
Openssl（linux）1 OpenSSL下载安装1.0下载openssl在这里下载安装OpenSSL: 将下载的压缩包放在根目录（根据自己习惯记好位置即可）1）在文件夹下解压缩，得到openssl-1.1.1f文件夹# tar -xzf openssl-1.1.1f.tar.gz2）进入解压好的目录文件openssl-1.1.1f文件夹# cd openssl-1.1.1f3）创建文件夹(这
不谈具体的代码，php站点安全防护心得首先，php本身有漏洞不在这篇文章的讨论范围之内，具体问题自行解决，这里要说的，是假如代码就是有漏洞，但是漏洞又找不到的情况下，如何去做。此文章仅针对小站点，大站点请忽略。常见的漏洞有三个，通过XSS进入了后台，上传木马，sql注入。sql注入百度搜下很多，我的办法比较笨，过滤的严格一点，特殊地方不能过滤的，再特殊对待实验环境centos7 php7.1 ng
转载
2024-08-15 13:56:05
225阅读
Nginx是一个高性能的HTTP和反向代理服务，目前很大一部分网站均使用了Nginx作为WEB服务器，Nginx虽然非常强大，但默认情况下并不能阻挡恶意访问。在开始之前，希望您已经熟悉Nginx常用命令（如停止、重启等操作）及排查Nginx错误日志，以免出现问题不知所
转载
2023-01-25 20:01:41
523阅读
（1）无论是客户端，还是服务器端，都需要对输入输出的内容做过滤，或用转码的方式，或者用其他方式，不过，转码方式按道理说更好，因为无论什么XSS攻击命令，到你这里一律变成编码，命令功能失效。输入部分，比如说你文本框、输入框、URL跳转等等。服务器输出也需要做过滤，因为很多服务器里数据的输入并不都经过了输入过滤，如一些拷贝、数据批量导入导出等等，这些未经过滤的输入，都有可能导致那些坏东西混入服务器数据
转载
2024-04-23 12:13:22
46阅读
网络蜘蛛程序学习1Bot程序：一种“有意识”的Internet程序，能从指定的Internet站点上检索信息。有人叫这个为：网络机器人。例如：桌面应用程序会检查邮箱邮件，有新邮件会自动提醒。但是Bot程序是否合法？有些网站明令禁止，比如：股票站点。所以，作为Bot程序搜索必须合法。Spider程序：一种专业化的Bot程序，用于查找大量的Web页面，Spider程序事先并不知道将要查询的页面，程序通
我们在使用的时候会遇到很多的恶意IP攻击，这个时候就要用到Nginx 禁止IP访问了。下面我们就先看看Nginx的默认虚拟主机在用户通过IP访问，或者通过未设置的域名访问（比如有人把他自己的域名指向了你的ip）的时 候生效最关键的一点是，在server的设置里面添加这一行：
listen 80 default;
后面的default参数表示这个是默认虚拟主机。
Ng
转载
精选
2013-01-31 22:31:50
583阅读
大家好，真的是许久没有更新文章了，甚是想念，最近这段时间事情很多，家里的事情、工作的事情，真没有太多时间去码文章，其实已经搁置了些许文章，没有整理，趁着这段时间风平浪静，我还是不忘初心，给大家分享。唠嗑下网络自动化(NetDevOps)：为什么要讨论这个，其实这段时间我也在求职摸索和对未来职业的思考，在我的粉丝里绝大多数都是网络工程师，主要还是以网工为主，专职网络自动化的极少，咋最多就当个工具来使
