# robots.txt generated at http://tool.chinaz.com/robots/
User-agent: *
Disallow:
Crawl-delay: 10
Sitemap: http://domain.com/sitemap.xml
robots文件生成:http://tool.chinaz.com/robots/
# robots.txt generated at http://tool.chinaz.com/robots/
User-agent: *
Disallow:
Crawl-delay: 10
Sitemap: http://domain.com/sitemap.xml
robots文件生成:http://tool.chinaz.com/robots/
上一篇:Vim学习笔记-基础篇
下一篇:Gitlab汉化
搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。
robots.txt的主要作用是告诉蜘蛛爬虫该网站下哪些内容能抓
0x00 概述漏洞名称:Robots.txt站点文件风险等级:低问题类型:服务器设置问题0x01 漏洞描述Robots.txt文件中声明了不想被搜索引擎访问的部分或者指定搜索引擎收
的一个文件(robots.txt),如果不存在该文件,则搜索引擎机器人默认这个网站允许其全部抓\
robots.txtSEOsearch engine crawlers
举报文章
请选择举报类型
补充说明
0/200
上传截图
格式支持JPEG/PNG/JPG,图片不超过1.9M