如何使用Selenium Wire

了解请求和响应对象

Selenium 提供对表示 HTTP 请求和响应的两个对象的访问：request和response对象。

您可以在下面看到对象的属性request：

对象的属性response如下：

在 Python 中使用 Selenium Wire Proxy 避免被阻塞

不幸的是，在 Python 中使用 Selenium Wire 来抓取网站也可能会阻止您的抓取工具。但是，有一些方法可以避免这种情况，让我们来探索一下吧！

使用带有 Selenium Wire 的代理

代理充当您的机器和您要抓取的网站之间的中间人。您可以隐藏您的 IP 地址并通过路由流量来避免检测。

通过获取用于网络抓取的免费代理并proxy在字典中指定选项，将代理与 Selenium Wire 结合使用seleniumwire_options。像这样更新你的脚本：

# ...

PROXY = 'http://61.28.233.217:3128'

seleniumwire_options = {
    'proxy': {
        'http': PROXY,
        'https': PROXY,
    },
}

# Creates an instance of the chrome driver (browser)
driver = webdriver.Chrome(
    service=service,
    # seleniumwire options
    seleniumwire_options=seleniumwire_options,
)

# Hit target site
driver.get('https://httpbin.org/anything')

body = driver.find_element(By.TAG_NAME, 'body')

print(body.text)

# ...

<PROXY_PROTOCOL>://<PROXY_IP_ADDRESS>:<PROXY_PORT>

运行脚本，您将获得一个与您机器不同的 IP 地址。

Selenium Wire 中的代理身份验证

某些代理在授予访问权限之前需要凭据，但您可以通过使用以下格式添加用户名和密码来使用 Selenium Wire 执行代理身份验证：

<PROXY_PROTOCOL>://<USERNAME>:<PASSWORD>@<PROXY_IP_ADDRESS>:<PROXY_PORT>

带有凭据的更新脚本如下所示：

# ...

PROXY = 'http://username:[email protected]:3128'

# ...

错误：带代理的Selenium Wire不工作

在某些情况下，您的代理可能无法使用 Selenium Wire，并且您会看到常见错误ERR_TUNNEL_CONNECTION_FAILED。在这种情况下，您的代理未运行或无法从您的网络访问，或者您的代理配置不正确。

您可以执行以下操作来修复它：

1. 首先通过浏览器 ping 代理以确保它处于活动状态。如果不是，请检查您的代理服务器的 IP 和端口是否正确，以及是否没有防火墙阻止您与代理服务器的连接。
2. 如果您仍然遇到错误，则需要使用不同的代理服务器或网络。

PROXY每当您运行脚本时，使用您复制的 URL 更新变量以获得不同的 IP ：

# ...

PROXY = 'http://<YOUR_ZENROWS_API_KEY>:[email protected]:8001'

# ...

在 Selenium Wire 中自定义标头

在网络抓取时使用默认标头可能会被阻止，主要是因为用户代理字符串。但是由于 Selenium Wire 使我们能够拦截请求，我们可以为每个请求设置一个新的自定义 UA。

为此，请使用以下代码更新您的脚本：

# ...

# Creates an instance of the chrome driver (browser)
driver = webdriver.Chrome(
    service=service,
    # seleniumwire options
    seleniumwire_options={},
)

CUSTOM_UA = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36'
SEC_CH_UA = '"Google Chrome";v="112", " Not;A Brand";v="99", "Chromium";v="112"'
REFERER = 'https://google.com'

def request_interceptor(request):
    # Delete previous UA
    del request.headers["user-agent"]
    # Set new custom UA
    request.headers["user-agent"] = CUSTOM_UA
    # Delete previous Sec-CH-UA
    del request.headers["sec-ch-ua"]
    # set Sec-CH-UA
    request.headers["sec-ch-ua"] = SEC_CH_UA
    # Set referer
    request.headers["referer"] = REFERER

driver.request_interceptor = request_interceptor

# Hit target site
driver.get('https://httpbin.org/anything')

# ...

运行脚本，您会看到您的 UA 将更改为您设置的值。

将未检测到的 ChromeDriver 添加到 Selenium Wire

Undetected Chromedriver是一个修补的 ChromeDriver，它避免了网站用来识别和阻止自动流量的流行机器人检测机制。幸运的是，Selenium Wire 集成了 Undetected ChromeDriver，如果在安装它的相同环境中发现的话。

让我们安装补丁驱动程序：

pip install undetected-chromedriver

现在，用打过补丁的驱动程序更新您当前的驱动程序：

# ...
import seleniumwire.undetected_chromedriver as uc

service = ChromeService(executable_path=ChromeDriverManager().install())

driver = uc.Chrome(
    service=service,
    seleniumwire_options={}
)

# Hit target site
driver.get('https://scrapeme.live/shop/')

body = driver.find_element(By.TAG_NAME, 'body')

print(body.text)

driver.quit()

您的脚本将像以前一样工作，但具有一组机器人检测绕过功能。

但是，它会在具有高级机器人检测功能的网站上失败，例如G2。

让我们看看抓取 G2 时会发生什么：

from selenium.webdriver.chrome.service import Service as ChromeService
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
import seleniumwire.undetected_chromedriver as uc
from selenium.webdriver.support.wait import WebDriverWait

service = ChromeService(executable_path=ChromeDriverManager().install())

driver = uc.Chrome(
    service=service,
    seleniumwire_options={}
)

# Hit target site
driver.get('https://g2.com')

# Wait for element with a class of "off-canvas-wrapper"
WebDriverWait(driver, timeout=300).until(lambda d: d.find_element(By.CLASS_NAME,"off-canvas-wrapper"))

body = driver.find_element(By.TAG_NAME, 'body')

print(body.text)

driver.quit()

G2 将我们检测为机器人，这使得脚本无法通过人工验证页面。

当达到超时时，我们的刮板会失败。

因此，解决此问题的更好方法是使用 ZenRows。

这是您需要做的。

从安装开始requests：

pip install requests

然后，执行以下脚本（代码由 ZenRows 在激活高级代理、反机器人和 JS 渲染功能时在其应用程序主页上自动生成）：

import requests

apikey = '<YOUR_ZENROWS_API_KEY>'
zenrows_base_url = 'https://api.zenrows.com/v1/'
target_url = 'https://g2.com'

params = {
    'apikey': apikey,
    'url': target_url,
    'antibot': True, 
    'premium_proxy': True, 
    'wait_for': True,
    # wait for an element with class of "off-canvas-wrapper" which is in the homepage 
    'wait_for': '.off-canvas-wrapper'
}

response = requests.get(zenrows_base_url, params=params)

print(response.text) # G2 home page HTML

使用您的API 密钥更新<YOUR_ZENROWS_API_KEY>并运行脚本。

您现在可以抓取页面了：

优化Selenium Wire

拦截流量使您能够检查浏览器发送和接收的请求和响应。这对于优化 Selenium Wire 很有用，Selenium Wire 需要平衡流量拦截和浏览器配置文件配置。

早些时候，我们拦截了自定义标头的请求，但我们也可以为资产（例如图像）执行此操作，因为我们只是在抓取文本。

如下所示更新您的脚本以提高抓取速度以避免发出图像请求：

# ...
service = ChromeService(executable_path=ChromeDriverManager().install())

# Creates an instance of the chrome driver (browser)
driver = webdriver.Chrome(
    service=service,
    # seleniumwire options
    seleniumwire_options={},
)

def request_interceptor(request):
    # Block image assets
    if request.path.endswith(('.png', '.jpg', '.gif')):
        request.abort()

driver.request_interceptor = request_interceptor

# Hit target site
driver.get('https://scrapeme.live/shop/')

body = driver.find_element(By.TAG_NAME, 'body')

print(body.text)

# ...

结论

在本教程中，我们介绍了使用 Selenium Wire 的基础知识。现在你知道了：

• 如何使用 Selenium Wire 执行请求。
• 如何使用高级代理及其好处。
• 如何在 Selenium Wire 中自定义标头。
• 如何集成 Undetected ChromeDriver 和更好的替代方案。
• 如何优化Selenium Wire。

您可以访问官方文档以了解更多信息。

尽管该库有助于拦截和修改网络请求和响应，以及模拟不同的场景，但它在具有高级机器人检测功能的站点上效果不佳。