如何抓举网页实时数据

正如你所看到的，我们得到了所有的 JSON 格式的数据，只需右键单击它并复制链接地址。

在本教程中，我们将使用 Python、Pandas 和 Requests。如果还没有安装 Python 库，可以使用pip install requests pandas.

现在到 Python 代码，让我们导入 requests 库并向我们之前获得的地址发送一个简单的请求。

import requests 
 
url = "https://api.coinmarketcap.com/data-api/v3/cryptocurrency/listing?start=1&limit=100&sortBy=market_cap&sortType=desc&convert=USD,BTC,ETH&cryptoType=all&tagType=all&audited=false&aux=ath,atl,high24h,low24h,num_market_pairs,cmc_rank,date_added,max_supply,circulating_supply,total_supply,volume_7d,volume_30d,self_reported_circulating_supply,self_reported_market_cap" 
 
response = requests.request("GET", url) 
data = response.json()

发送请求后，让我们使用该.json()方法将数据转换为 JSON。我们还可以添加有效负载和请求标头，以便网站将我们识别为普通网络浏览器而不是机器人。

# ... 
data = response.json() 
res = [] 
for p in data["data"]["cryptoCurrencyList"]: 
    res.append(p)

让我们通过选择 访问包含数据的数组cryptoCurrencyList，它是 的子项data。遍历所有项目后，我们现在可以将结果追加到数组中res。

由于 Pandas Library 同时支持 JSON 和 CSV 文件，我们可以使用它将结果导出为文件.csv。

import pandas as pd 
 
# ... 
 
df = pd.json_normalize(res) 
df.to_csv("result.csv")

这里我们使用 方法json_normalize，将半结构化的 JSON 数据规范化为一个平面表，然后我们将文件保存为 CSV。

使用 Python 从 Coinmarketcap 抓取的实时数据表。