网页抓取的注意事项

对于那些刚接触网络抓取的人、普通用户或只是好奇的人来说：这些技巧是黄金。刮痧看似是一项容易上手的活动，事实确实如此。但它会带你掉进兔子洞。在您意识到这一点之前，您已被某个网站屏蔽，您无法将其扩展到另外四个网站。

轮换IP

最简单、最常见的反抓取技术就是通过IP封禁。服务器将向您显示第一页，但它会检测到来自同一 IP 的流量过多，并在一段时间后阻止它。那么你的刮刀将无法使用。您甚至无法从真正的浏览器访问该网页。关于网络抓取的第一课是永远不要使用您的实际 IP。

每个请求都会留下痕迹，即使您试图在代码中避免它。网络的某些部分是您无法控制的。但你可以使用代理来更改你的IP。服务器会看到一个IP，但它不会是你的。下一步，轮换 IP 或使用可以为您完成此操作的服务。这究竟意味着什么？

您可以每隔几秒或每个请求使用不同的 IP。目标服务器无法识别您的请求，也不会阻止这些 IP。您可以建立一个庞大的代理列表，并为每个请求随机选取一个。或者使用旋转代理来为您做到这一点。无论哪种方式。仅通过这一更改，您的抓取工具正确工作的机会就猛增。

import requests 
import random 
 
urls = ["http://ident.me"] # ... more URLs 
proxy_list = [ 
    "54.37.160.88:1080", 
    "18.222.22.12:3128", 
    # ... more proxy IPs 
] 
 
for url in urls: 
    proxy = random.choice(proxy_list) 
    proxies = {"http": f"http://{proxy}", "https": f"http://{proxy}"} 
    response = requests.get(url, proxies=proxies) 
    print(response.text) 
    # prints 54.37.160.88 (or any other proxy IP)

请使用自定义用户代理

第二常见的反抓取机制是User-Agent。UA 是浏览器在请求中发送的用于识别自身身份的标头。它们通常是一个长字符串，声明浏览器的名称、版本、平台等等。以 iPhone 13 为例：

"Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1"

发送用户代理没有任何问题，实际上建议这样做。问题是送哪一张。许多 HTTP 客户端发送自己的（cURL、Python 中的请求或 Javascript 中的 Axios），这可能是可疑的。您能想象您的服务器通过 UA 收到数百个请求吗"curl/7.74.0"？至少你会持怀疑态度。

解决方案通常是找到有效的 UA（例如上面 iPhone 中的 UA）并使用它们。但它也可能对你不利。短时间内有数千个完全相同版本的请求？

因此，下一步是拥有几个有效且现代的用户代理并使用它们。并保持列表更新。与 IP 一样，在代码中的每个请求中轮换 UA。

# ... same as above 
user_agents = [ 
    "Mozilla/5.0 (iPhone ...", 
    "Mozilla/5.0 (Windows ...", 
    # ... more User-Agents 
] 
 
for url in urls: 
    proxy = random.choice(proxy_list) 
    proxies = {"http": f"http://{proxy}", "https": f"http://{proxy}"} 
    response = requests.get(url, proxies=proxies) 
    print(response.text)

研究目标内容

在开始开发之前先看一下源代码。许多网站提供了比 CSS 选择器更易于管理的数据抓取方式。公开数据的标准方法是通过丰富的代码片段，例如通过 Schema.org JSON 或itemprop数据属性。其他人将隐藏输入用于内部目的（即 ID、类别、产品代码），您可以利用。事情远不止表面上看到的那样。

其他一些站点在首次加载后依赖XHR 请求来获取数据。而且它是结构化的！对于我们来说，更简单的方法是在打开 DevTools 的情况下浏览站点并检查 HTML 和 Network 选项卡。您将在几分钟内拥有清晰的愿景并决定如何提取数据。这些技巧并不总是可用，但使用它们可以让您省去麻烦。例如，元数据的变化往往比 HTML 或 CSS 类少，因此从长远来看更可靠、更可维护。

我们写了关于在使用 Python 中的示例和代码进行编码之前进行探索；查看更多信息。

并行化请求

在切换设备并扩大规模之后，旧的单文件顺序脚本将不够用。您可能需要将其“专业化”。对于一个很小的目标和几个 URL，将它们一一获取可能就足够了。但随后将其扩展到数千个不同的域。它不会正常工作。

扩展的第一步是同时获取多个 URL，并且不要因响应缓慢而停止整个抓取。从 50 行脚本到 Google 规模是一个巨大的飞跃，但第一步是可以实现的。您需要的主要东西是：并发性和队列。

并发性

主要思想是同时发送多个请求，但有限制。然后，一旦收到回复，就发送新的回复。假设限制是十个。这意味着在任何给定时间都会有 10 个 URL 始终在运行，直到没有更多 URL，这使我们进入下一步。

我们编写了有关使用并发的指南（Python 和 Javascript 中的示例）。

队列

队列是一种数据结构，允许添加稍后处理的项目。您可以从单个 URL 开始抓取，获取 HTML 并提取您想要的链接。将它们添加到队列中，它们将开始运行。继续做同样的事情，你就构建了一个可扩展的爬虫。缺少一些要点，例如重复 URL 删除（不对同一个 URL 爬行两次）或无限循环。但解决这个问题的简单方法是设置抓取的最大页面数，并在到达那里后停止。

我们有一篇文章提供了一个使用 Python从种子 URL 中抓取的示例。

距离 Google 的规模（显然）还很远，但你可以用这种方法访问数千个页面。更准确地说，您可以为每个域设置不同的设置，以避免单个目标过载。我们将把它留给你😉

不要在所有事情上都使用无头浏览器

毫无疑问，Selenium、Puppeteer 和 Playwright 都很棒，但并不是灵丹妙药。它们会带来资源开销并减慢抓取过程。那么为什么要使用它们呢？Javascript 渲染内容 100% 需要，并且在许多情况下很有帮助。但问问自己是否属于这种情况。

大多数站点都会在第一个 HTML 请求上以某种方式提供数据。正因为如此，我们提倡反其道而行之。使用您最喜欢的工具和语言（cURL、Python 中的请求、Javascript 中的 Axios 等）首先测试纯 HTML 。检查您需要的内容：文本、ID、价格。这里要小心，因为有时您在浏览器上看到的数据可能会被编码（即，“在纯 HTML 中显示为”）。复制和粘贴可能不起作用。😅

在某些情况下，您找不到该信息，因为它在第一次加载时不存在，例如在Angular.io中。没问题，无头浏览器在这些情况下会派上用场。或者如上所示的XHR 抓取用于拍卖。

如果找到信息，请尝试编写提取器。快速破解可能足以进行测试。一旦确定了所需的所有内容，接下来的一点是将通用爬行代码与目标站点的自定义爬行代码分开。

它不是 100% 结论性的，也不是统计上准确的，但它显示了差异。在最好的情况下，我们谈论的是使用 Playwright 速度慢 3 倍，并且共享上下文并不总是一个好主意。我们甚至没有讨论 CPU 和内存消耗。

不要将代码与目标耦合

有些操作与您正在抓取的网站无关：获取 HTML、解析它、对新链接进行排队以进行爬网、存储内容等等。在理想的情况下，我们会将这些与依赖于目标站点的那些分开：CSS 选择器、URL 结构、DDBB 结构。

第一个脚本通常很纠结；没问题。但随着它的增长和新页面的添加，分离职责就变得至关重要。我们知道，说起来容易做起来难。但停下来思考对于开发可维护且可扩展的爬虫很重要。

我们发布了有关Python 分布式爬行的存储库和博客文章。它比我们迄今为止看到的要复杂一些。它使用外部软件（Celery用于异步任务队列，Redis作为数据库）。

# ... 
def extract_content(url, soup): 
    # ... 
 
def store_content(url, content): 
    # ... 
 
def allow_url_filter(url): 
    # ... 
 
def get_html(url): 
    return headless_chromium.get_html(url, headers=random_headers(), proxies=random_proxies())

# ... 
 
header_sets = [ 
    { 
        "Accept-Encoding": "gzip, deflate, br", 
        "Cache-Control": "no-cache", 
        "User-Agent": "Mozilla/5.0 (iPhone ...", 
        # ... 
    }, { 
        "User-Agent": "Mozilla/5.0 (Windows ...", 
        # ... 
    }, 
    # ... more header sets 
] 
 
for url in urls: 
    # ... 
    headers = random.choice(header_sets) 
    response = requests.get(url, proxies=proxies, headers=headers) 
    print(response.text)