如何使用Cloudflare防火墙阻止机器人？
从爬虫和机器人获得了大量请求，这对你的业务没有任何价值吗？
每天有数千个爬虫/机器人访问您的网站，但只有很少几个是有用的。其中一些被认为是不良机器人或垃圾邮件。
你如何知道有哪些机器人访问了你的网站？
嗯，没有简单的答案。要找出，您需要查看Web服务器的access.log文件，并查看User-Agent列。假设您想列出除Googlebot之外的所有机器人，则可以在存在access.log文件的Web服务器上运行以下命令。
grep bot access.log |grep -v Googlebot看到这么多，你感到惊讶吗？
当我查看我的日志时，我也是。
root@gf-prod:nginx# grep bot access.log |grep -v Googlebot | wc -l
616834
root@gf-prod:nginx#在阻止任何内容之前，您需要对它们进行审查，以确保您不会阻止可能对您的业务有用的内容。而且，有很多方法可以完成此操作，但我总是喜欢在边缘阻止它们。
原因很简单 – 为什么要让请求命中Web服务器，当您根本不需要它们。
就像标题所说的那样，让我们看看如何使用Cloudflare防火墙阻止您不需要的机器人。
注意：如果您经营大型企业，则可能对Cloudflare bot management服务感兴趣。
- 登录Cloudflare
- 转到防火墙选项卡，然后选择防火墙规则并创建防火墙规则
- 输入规则名称
- 将字段选择为用户代理，操作员选择包含，值选择要阻止的机器人名称
- 使用或条件在单个规则中添加多个机器人
注意：上图中提到的机器人仅作示例。他们不一定是不良机器人。
- 然后选择操作为阻止并部署
- 如果您知道表达式，则可以通过单击编辑表达式而不是使用GUI来编写它。部署后，您应该在列表中看到新创建的规则，并且状态应为开启以生效。
很简单，不是吗？
防火墙规则还能做什么？
好吧，更多用于更好安全性的功能。让我们看看以下阻止条件。
- 如果请求来自特定的ASN，IP地址
- 匹配cookie，引荐者，X-Forwarded-for关键字
- 限制为整个国家提供请求
- 禁用不需要的HTTP method，如PUT，DELETE，OPTIONS，PURGE等。
以及更多选项…
您可以通过GUI构建器或编写自己的表达式来完成所有这些操作。应用更改几乎是即时的。
结论
Cloudflare防火墙规则是在无需停机的情况下为您的Web应用程序添加网络边缘保护的绝佳方法。如果尚未这样做，您可能还需要考虑使用Cloud WAF以获得更好的应用程序安全性，并保护免受DDoS和其他在线漏洞的影响。
