如何使用Python cURL？

Curl是一个用作HTTP客户端的命令行实用程序。它以在命令行中进行HTTP请求而受欢迎。cURL可用于编写网页抓取脚本，检查网站的健康状况，并从命令行下载文件。

它非常简单，并且可以在许多编程语言中使用。本文介绍了cURL是什么以及如何在Python中使用它。

cURL是什么？

根据website，cURL代表“client URL”。它是一个用于使用不同的应用层网络协议（如HTTP、HTTPS、FTP和IMAP）传输数据的命令行工具和库。

它非常受欢迎，在广播、电视、routers、打印机和计算机等设备上安装了超过100亿次。cURL完全免费且开源。它的源代码可在GitHub上找到。

cURL用途

cURL非常有用且多功能。下面列出了cURL的最受欢迎的用途。虽然列表不是详尽无遗的，但以下仅是一些最受欢迎的用例：

• 测试API：它可以检查API是否正确运行，返回给定请求的正确数据。此外，还可以用它来检查API的速度，即它对请求的响应速度有多快。您可以编写一个脚本定期检查API的健康状况，并在出现问题时发送警报。
• 网页抓取：它还可以自动从网站上提取数据。cURL可以与许多编程语言和Bash命令一起使用。使用cURL，您可以动态地从网站获取数据。从响应HTML中，您可以解析和提取所需的数据。如果您对网页抓取感兴趣，可以查看使抓取数据更容易的Geekflare Web Scraping API。
• 下载数据：使用cURL，您可以将请求的响应保存到文件中。这些响应可以是来自API请求的数据，也可以是来自服务器的文件。通过将响应写入文件，您已经下载了文件。由于cURL是一个命令行工具，您可以自动化此过程以一次性下载大量文件。

如何在Python中使用cURL（PycURL）

安装PycURL

要在Python中使用cURL，我们使用PycURL库。PycURL是cURL库的Python接口。它在已经快速的cURL库上创建了一个薄封装。这使得PycURL比其他用于发出请求的库（如urllib和requests）更快。要使用PycURL，您首先必须安装它。这里有详细的安装说明，但使用pip安装它的简单方法如下：

pip install PycURL

在Ubuntu 22.04上，我在安装PycURL之前必须安装其他工具。在尝试使用pip安装PycURL之前，请使用以下命令：

sudo apt install libcurl4-openssl-dev libssl-dev

进行简单的GET请求

要发出请求，首先创建一个Python脚本来编写代码。用text editor.打开文件，我将使用Vim，但您可以使用您喜欢的任何编辑器。要用Vim打开文件，可以使用下面给出的命令：

vim pycurl.py

这里，pycurl.py是我将要编写代码的文件名，但您可以将文件命名为任何名称。

接下来，我们从PycURL模块导入cURL类。

from pycurl import Curl

在导入PycURL之后，我们从io导入BytesIO。我们将需要它来创建一个缓冲区来写入PycURL的响应。

from io import BytesIO

然后，我们实例化一个新的Curl实例。

c = Curl()

接下来，我们实例化 BytesIO 来创建一个新的缓冲区。PycURL 没有内置的存储机制来存储响应。所以我们需要创建一个缓冲区，并告诉它数据要写入的位置。

buffer = BytesIO()

创建了缓冲区后，我们可以在客户端对象上设置选项。在这种情况下，我们想要设置两个选项；第一个是我们请求的 URL。第二个是我们要写入响应正文的位置。以下是代码：

c.setopt(c.URL, 'http://pycurl.io/')
c.setopt(c.WRITEDATA, buffer)

完成这些后，我们可以通过调用客户端对象的 perform 方法来发起请求，然后通过调用 close 方法来关闭请求。

c.perform()
c.close()

要获取响应，我们调用缓冲区对象的 getvalue() 方法并对其进行解码。然后我们可以将其打印到控制台。

body = buffer.getvalue()
print(body.decode('iso-8859-1'))

你的文件应该如下所示：

from pycurl import Curl
from io import BytesIO

# 创建一个 pycUrl 实例
c = Curl()
buffer = BytesIO()

c.setopt(c.URL, 'http://pycurl.io/')
c.setopt(c.WRITEDATA, buffer)

# 发起请求
c.perform()

# 关闭连接
c.close()

body = buffer.getvalue()
print(body.decode('iso-8859-1'))

执行脚本后，应该会得到以下输出：

发起 POST 请求

要发起 POST 请求，你需要设置 cURL 客户端对象的 POSTFIELDS 选项。例如，下面是一个向 JSON Placeholder API 发起 POST 请求的示例。

from io import BytesIO
from json import dumps
from pycurl import Curl

# 创建一个 pycUrl 实例
c = Curl()
buffer = BytesIO()

# 创建一个数据字典
data = {
    'userId': 1,
    'title': 'Lorem Ipsum',
    'body': 'Dolor sit amet'
}

# 将数据编码为 JSON
encoded_data = dumps(data)

# 设置请求选项
c.setopt(c.URL, 'https://jsonplaceholder.typicode.com/posts')
c.setopt(c.HTTPHEADER, ['Accept: application/json', 'Content-Type: application/json'])
c.setopt(c.POSTFIELDS, encoded_data)
c.setopt(c.WRITEDATA, buffer)

# 发起请求
c.perform()

# 关闭连接
c.close()

body = buffer.getvalue()
print(body.decode('iso-8859-1'))

在上面的代码中，我创建了一个带有作为请求一部分发送的数据的字典对象。接下来，我将数据编码为 JSON，并将其作为负载附加到请求中，方法是将 POSTFIELDS 选项设置为编码数据。我还指定了头部以指定请求内容类型和接受的响应数据类型。当你运行代码时，应该会得到这样的响应。

将响应写入文件

你也可以将文件缓冲传递给 cURL 的 WRITEDATA 选项。这将把响应数据写入文件。下面的示例说明了这个概念：

from pycurl import Curl

file_name = 'output.json'

# 以写模式打开文件
with open(file_name, 'wb') as f:
    
    # 创建一个 Curl 实例
    c = Curl()

    # 设置请求选项
    c.setopt(c.URL, 'https://jsonplaceholder.typicode.com/users/1')
    c.setopt(c.HTTPHEADER, ['Accept: application/json'])
    c.setopt(c.WRITEDATA, f)

    # 发起请求
    c.perform()

    # 关闭连接
    c.close()

    print(f'将输出写入 {file_name}')

PycURL 的替代方案

PycURL只是在cURL库之上提供了一个薄薄的封装层。这使它非常可定制，因为您对更低级别的特性有更多的控制。

然而，它也更难使用，因此更适用于高级开发者。通常情况下，您可能需要一个比PycURL更简单的替代方案。在本节中，我们将讨论这些替代方案。

#1. 其他库

除了PycURL之外，Python还有其他可以用于发起请求的库。其中包括requests库和urllib库。它们都是流行且更简单的PycURL替代方案。

#2. 其他语言

cURL在其他语言中有实现的接口。一个常用的用于转换cURL网站的网站是Curl Converter。使用cURL转换器，您可以编写一个cURL命令来发起请求，并且它会自动将您的命令转换为任何选择的编程语言。您也可以直接在终端中调用cURL命令或编写一个Bash脚本。

最后的话

在本文中，我介绍了cURL并解释了如何使用PycURL模块在Python中使用它。我们还讨论了PycURL的替代方案，例如requests模块和完全使用不同语言编写程序。

接下来，请查看cURL command usage with real-time examples。