如何绕过网站抓取时的速率限制

Web 抓取是从 Internet 收集数据的重要工具。但是，有时，由于速率限制，您在网络抓取时会被阻止。那么速率限制是如何工作的，你的爬虫又如何避免呢？

在本文中，我们将介绍什么是速率限制以及您在网络抓取时如何被阻止。然后我们将看看我们可以做些什么来避免速率限制。

Web 抓取中的速率限制是什么？

那么，限速是什么意思？

Cloudflare、Akamai和Datadome等 WAF 服务提供商使用速率限制主要是为了安全。同时，像亚马逊这样的 API 提供商使用速率限制来控制数据流并防止过度使用。

那么它是怎样工作的？假设您在 Web 服务器上受到速率限制。当您的爬虫超过速率限制时，网络服务器会响应429: Too Many Requests.

为什么 API 速率受限？

许多 API 是有速率限制的，不会使 Web 服务器过载。API 速率限制还可以保护 API 免受恶意机器人和 DDoS 攻击。这些攻击会阻止合法用户使用 API 服务或完全关闭其服务。

为什么网站使用速率限制？

主要原因是为了防止服务器过载并减轻潜在的攻击。然而，即使您的意图不是恶意的，您也可能在网络抓取时陷入速率限制。原因是为了控制服务器端的数据流。

在网络抓取时绕过速率限制

最流行的速率限制方法是基于 IP 的速率限制。因此，最好使用代理服务器，因为大多数平台都实施基于 IP 的速率限制。

在请求中使用特定标头

更改 HTTP 请求标头

发送带有随机 HTTP 标头的请求可用于绕过速率限制。许多网站和 WAF 供应商使用 HTTP 标头来阻止恶意机器人。您可以随机化标题User-Agent以避免速率限制。这是网络抓取的最佳实践。您可以从我们的文章中了解更多信息，了解避免被屏蔽的 10 个最佳技巧！

如果您使用的是 Python，您可以查看我们的指南以避免像专家一样在 Python 中阻塞！

终极解决方案：代理服务器

当您使用代理服务器时，您发送的请求将被路由到代理服务器。然后代理服务器得到响应并将数据转发给你。您无需处理限速代理，因为您始终可以使用另一个代理。因此，使用代理服务器是IP限速的最终解决方案。

虽然有公共和免费使用的代理服务器，但这些服务器通常被 WAF 供应商（例如 Cloudflare）和网站阻止。您可以在许多网站上找到免费的公共代理服务器。但 WAF 服务提供商也可以使用这些网站并阻止它们。

住宅代理是行业标准，因为它们更可靠。但您也可以使用智能轮换代理，它会在您每次发送请求时自动使用随机驻留代理服务器。

Python 中的代理轮换

但是，有一个问题：如果该 IP 被阻止怎么办？

您可以构建代理服务器列表并在发送请求时轮换这些服务器！由于这将允许您使用多个 IP 地址，因此您不会因为 IP 速率限制算法而被阻止。

但是，如果存在身份验证会话，则无需在每个请求中更改代理服务器。您的会话也可以被跟踪，因此为每个请求轮换代理服务器不是一个合适的解决方案。

在开始之前，让我们先获取代理列表！

大多数公共代理服务器寿命短且不可靠。因此，当您尝试使用以下某些服务器时，它们可能无法正常工作。

138.68.60.8:3128 
54.66.104.168:80 
80.48.119.28:8080 
157.100.26.69:80 
198.59.191.234:8080 
198.49.68.80:80 
169.57.1.85:8123 
219.78.228.211:80 
88.215.9.208:80 
130.41.55.190:8080 
88.210.37.28:80 
128.199.202.122:8080 
2.179.154.157:808 
165.154.226.12:80 
200.103.102.18:80

第一步，将代理服务器保存在文本文件 ( proxies.txt) 中。之后，我们将从ip:port文件中读取对并检查它们是否正常工作。然后，我们将编写简单的同步函数来从随机代理服务器发送请求。

如果您的应用程序大规模工作，您将需要使用异步代理旋转器。您可以查看我们关于在 Python 中构建成熟的代理旋转器的指南。

为了检查代理服务器，我们将向httpbin发送请求。如果代理服务器不工作，我们将在响应中收到错误消息。

现在，让我们开始吧！

首先，我们需要从以下位置读取代理proxies.txt：

proxies = open("proxies.txt", "r").read().strip().split("n")

我们将使用该requests模块向 URL 发送请求。不幸的是，公共代理通常不支持 SSL。所以我们将使用 HTTP 而不是 HTTPS。

该get()函数使用给定的代理服务器将 GET 请求发送到目标 URL。当出现错误时，返回的状态码会超过400。400到500之间的状态码表示客户端错误，超过500表示服务器端错误。如果是这种情况，该函数将返回None。最后，如果没有错误，它会返回实际的响应。

def get(url, proxy): 
    """ 
    Sends a GET request to the given url using given proxy server. 
    The proxy server is used without SSL, so the URL should be HTTP. 
 
    Args: 
        url - string: HTTP URL to send the GET request with proxy 
        proxy - string: proxy server in the form of {ip}:{port} to use while sending the request 
    Returns: 
        Response of the server if the request sent successfully. Returns `None` otherwise. 
 
    """ 
    try: 
        r = requests.get(url, proxies={"http": f"http://{proxy}"}) 
        if r.status_code < 400: # client-side and server-side error codes are above 400 
            return r 
        else: 
            print(r.status_code) 
    except Exception as e: 
        print(e) 
 
    return None

现在，可以检查我们的代理。该函数通过向httpbincheck_proxy()发送 GET 请求返回 True 或 False 。我们可以从我们的代理列表中过滤掉可用的代理服务器。

def check_proxy(proxy): 
    """ 
    Checks the proxy server by sending a GET request to httpbin. 
    Returns False if there is an error from the `get` function 
    """ 
 
    return get("http://httpbin.org/ip", proxy) is not None 
 
available_proxies = list(filter(check_proxy, proxies))

之后，我们可以使用该random模块从可用的代理服务器中随机选择一个代理服务器。然后，我们将使用该get函数发送请求！

结论

恭喜，您现在有一个片段可以从随机 IP 地址发送请求！

然而，这种简单的实现对于扩展应用程序来说是不够的。有很大的改进空间。因此，再次查看我们的 Python 指南以了解可扩展的代理轮换！