if ($http_user_agent ~* (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) { return 403; &
原创
2011-07-18 15:22:08
1027阅读
用php抓取页面的内容在实际的开发其中是很实用的，如作一个简单的内容採集器，提取网页中的部分内容等等。抓取到的内容在通过正則表達式做一下过滤就得到了你想要的内容。下面就是几种经常使用的用php抓取网页中的内容的方法。1.file_get_contents PHP代码
<?
php
$url = "http://www.phpzixue.cn";
$contents = f
转载
2016-02-23 13:09:00
187阅读
2评论
<?php$url="http://blog.51cto.com/9519231/1571112";$fp=@fopen($url,'r') or die("超时");$fcontents=file_get_contents($url);ereg("<!--正文 begin-->(.*)<!--正文 end-->",$fcontents,$rg);echo $rg[1
转载
2015-06-06 12:19:00
124阅读
<Directory /data/www/data> php_admin_flag engine off <filesmatch "(.*)php"> Order deny,allow Deny from all </filesmatch> </Directory>禁止指定user_agen
原创
2016-02-25 11:39:49
486阅读
我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如宜搜蜘蛛（YisouSpider）。最近张戈发现nginx日志中出现了好多宜搜等垃圾的抓取记录，于是整理收集了网络上各种禁止垃圾蜘蛛爬站的方法，在给自己网做设置的同时，也给各位站长提供参考。
一、Apac
转载
2024-10-12 12:31:54
430阅读
假如用户上传的文件是木马之类的文件，如果没有禁止解析php那么系统就就会有风险，该模块可以禁止解析php。ls /data/www/ls /data/www/data/ls -l /data/www/data/vim /usr/local/apache2/conf/extra/httpd-vhosts.conf<Directory /data/www/data>
原创
2016-05-19 22:03:13
502阅读
我们在Discuz论坛发一个帖子，这个帖子里面有一张图片，这个图片的所在位置是在/data/www/data/p_w_upload/forum/下生成新的目录，图片在这个目录里。所以我们针对这个/data/www/data目录做“限制解析”，编辑“虚拟主机配置文件”[root@LAMPLINUX ~]# vim /usr/local/apache2/conf/extra/httpd-vhosts.
原创
2015-07-11 14:50:40
454阅读
Apache禁止解析PHP
原创
2015-12-02 12:02:58
2939阅读
点赞
1评论
Apache禁止解析PHP某个目录下解析PHP，这个很有用，我们做网站安全的时候，这个用的很多，比如某些目录可以上传文件，为了避免上传文件有木马，所以我们禁止这个目录下面的 访问解析PHP。<Directory /data/www/data> php_admin_flag engice o
原创
2017-06-14 17:22:11
723阅读
在某些特殊的情况下或许你不希望使客户端浏览器缓存页面。这里我先给一段可以使用的php
转载
2022-09-15 14:16:23
100阅读
我们设置网站权限的时候，有些目录不得不设置让http服务器有写入权限，这样安全隐患就来了。比如discuz x2的 data目录，这个必须要有写入限，论坛才能正常运行，但有的黑客可能就会利用这个目录上传php文件(你会说附件上传已经限制这种格式的文件，但谁知道黑客会利用什么手段上传呢，只有他们清楚了)，进而到配置文件读
转载
精选
2011-12-20 14:27:49
617阅读
apache的安全配置看一下网站的根目录/data/www/有一个/data/www/data/目录看一下她的权限[root@zhangmengjunlinux data]# ls -al /data/www/data/总用量 68drwxr-xr-x 15 daemon root 4096 1月 1 11:30 .drwxr-xr-x 13 root r
原创
精选
2016-01-03 22:23:53
1152阅读
点赞
1评论
有时候需要登入网站，然后去抓取一些有用的信息，人工做的话，太累了。有的人可以很快的做到登入，但是需要在登入后再去访问其他页面始终都访问不了，因为他们没有带Cookie进去而被当做是两次会话。下面看看代码$content,'cookie'=>$cookie);}$params = "name=admi...
转载
2015-12-15 17:59:00
166阅读
2评论
事件起源昨天摸了一天的鱼，下午快下班的时候，突然来活了，说要爬取钓友之家的钓场数据！什么？爬虫？之前一直没写过啊啊！为了保住自己的饭碗，赶紧打开百度，开始了自己第一个爬虫程序之旅！概念什么是爬虫？
答：简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。了解了爬虫的概念之后，我随便翻了几篇
转载
2024-06-21 08:36:13
38阅读
访问控制–禁止php解析对于可写的静态文件目录可以通过禁止PHP解析和访问控制来避免恶意×××，来提高服务器安全性编辑虚拟主机配置文件：vim/usr/local/apache2.4/conf/extra/httpd-vhosts.conf<Directory/data/wwwroot/111.com/upload>php_admin_flagengineoff#<FilesMat
原创
2018-06-02 09:40:54
698阅读
一、抓取远程图片到本地,你会用什么函数? 方法1：利用readfile读取远程图片到缓冲中，然后写入新的文件 function grabImage($url, $filename = '') { if($url == '') { return false; //如果 $url 为空则返回 false
转载
2016-02-20 00:03:00
133阅读
2评论
1.IPV6下超时的解决办法2.curl获取返回的状态码
原创
2024-09-25 17:24:15
22阅读
snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。官方网站 ://snoopy.sourceforge.net/Snoopy的一些功能特点：抓取网页的内容 fetch()抓取网页的文本内容 (去除HTML标签) fetchtext()抓取网页的链接...
原创
2022-04-02 15:11:36
68阅读
在使用Linux系统下的PHP编程时，经常会用到curl来实现网页抓取和数据交互的操作。然而，有时候我们可能会遇到curl无法正常抓取网页的问题，让我们感到困惑不解。这种情况在实际开发中并不罕见，很多开发者都曾遇到过。接下来，我们来探究一下这种情况可能出现的原因和解决方法。
首先，要明确的是curl在Linux系统下是一个非常强大的工具，可以用来进行HTTP请求和数据传输。通常情况下，我们可以通
原创
2024-04-26 11:02:21
156阅读
某个目录下禁止解析php，这个很有用，我们做网站安全的时候，这个用的很多，比如某些目录可以上传文件，为了避免上传的文件有木马，所以我们禁止这个目录下面的访问解析php。<Directory /data/www/data> php_admin_flag engine off</Directory>说明：
原创
2016-06-05 12:29:41
738阅读
