爱学it学无止境
下面我就直接把防止爬虫的方法汇总分享给大家，总共有整整 10 种方法！最后一个方法很独特~
如何防止网站被爬虫？
1、使用协议条款
robots.txt 是一个放置在网站根目录下的文件，用于告诉搜索引擎的爬虫哪些部分不希望被抓取。
举个例子，可以在 robots.txt 文件中添加如下规则来禁止特定目录或文件被抓取：
User-agent: *
Disallow: /private/
Disallow: /important/虽然大多数合规的爬虫会遵守这些规则，但恶意爬虫可能会忽视它，所以，仅凭 robots.txt 不能完全阻止所有爬虫。但它是防护的第一步，起到一个声明和威慑的作用。
可以在网站的服务条款或使用协议中明确禁止爬虫抓取数据，并将违反这些条款的行为视为违法，如果网站内容被恶意爬虫抓取并造成了损害，robots.txt 可以作为违反这些条款的证据之一。
2、限制数据获取条件
比起直接暴露所有数据，可以要求用户登录或提供 API 密钥才能访问特定数据。还可以为关键内容设置身份验证机制，比如使用 OAuth 2.0 或 JWT（JSON Web Tokens），确保只有授权用户能够访问敏感数据，有效阻止未经授权的爬虫获取数据。
3、统计访问频率和封禁
可以利用缓存工具如 Redis 分布式缓存或 Caffeine 本地缓存来记录每个 IP 或客户端的请求次数，并设置阈值限制单个 IP 地址的访问频率。当检测到异常流量时，系统可以自动封禁该 IP 地址，或者采取其他的策略。
需要注意的是，虽然 Map 也能够统计请求频率，但是由于请求是不断累加的，占用的内存也会持续增长，所以不建议使用 Map 这种无法自动释放资源的数据结构。如果一定要使用内存进行请求频率统计，可以使用 Caffeine 这种具有数据淘汰机制的缓存技术。
4、多级处理策略
为了防止 “误伤”，比起直接对非法爬虫的客户端进行封号，可以设定一个更灵活的多级处理策略来应对爬虫。比如，当检测到异常流量时，先发出警告；如果爬虫行为继续存在，则采取更严厉的措施，如暂时封禁 IP 地址；如果解封后继续爬虫，再进行永久封禁等处罚。
具体的处理策略可以根据实际情况来定制，也不建议搞的太复杂，别因此加重了系统的负担。
5、自动告警 + 人工介入
可以实现自动告警能力，比如在检测到异常流量或爬虫行为时，系统能自动发出企业微信消息通知。然后网站的管理员就可以及时介入，对爬虫的请求进行进一步分析和处理。
这点之前也给大家分享过，不止是针对爬虫，企业的线上系统最好接入全方面的告警，比如接口错误、CPU / 内存占用率过高之类的。
