如何使用CrimeFlare抓取Cloudflare站点

Cloudflare 已成为一种广泛采用的解决方案，用于保护网站数据和减轻机器人驱动的攻击。其先进的反机器人系统使用复杂的技术来检测和过滤掉机器人流量，不幸的是，其中包括爬虫。

我们将考察 CrimeFlare 作为绕过 Cloudflare 的工具，并提出更有效和可扩展的替代方案。让我们开始吧！

什么是 CrimeFlare

CrimeFlare 是一种旨在允许用户直接访问受 Cloudflare 保护的网站的工具。通过此工具运行目标网站的域，您可以发现其实际 IP 地址。然后，您可以将 HTTP 请求直接发送到该 IP 地址以检索必要的数据。

但 CrimeFlare 如何获得这些信息？

CrimeFlare 如何运作

CrimeFlare 的工作原理是 Cloudflare 充当反向代理并位于您和源服务器之间。当您向受保护的网站发出请求时，Cloudflare 在将其转发到原始服务器之前拦截初始连接。此外，该网站的 IP 隐藏在服务器网络之后，因此很难直接识别服务器的位置。

然而，CrimeFlare 试图使用 DNS 和历史数据分析来揭示受 Cloudflare 保护的网站的真实 IP 地址。当您运行目标域时，CrimeFlare 会获取并分析与该特定域相关的 DNS 记录（例如，A 和 CNAME 记录）。它还查看提供源服务器 IP 地址线索或路径的子域。

CrimeFlare 还分析历史数据，例如先前的域注册、IP 地址更改等。网站配置错误和漏洞，例如通过错误消息或服务器响应泄漏，是该工具利用确定真实 IP 地址的方式。

经过分析，CrimeFlare 生成以下结果：

云彩 IP。
CloudFlare NS1 和 CloudFlare NS2。
真实 IP、主机名和组织。
地址（国家、城市、地区、邮政编码）、位置和时区。

如何使用 CrimeFlare

笔记

CrimeFlare not working. 不幸的是，CrimeFlare 不再有效。该项目已被 GitHub 下架并停止。那么，什么是更好的选择？前往 Best CrimeFlare Alternative 部分。

在 Linux 上

CloudPeler 存储库中的给定安装模块适用于 Linux 操作系统，特别是 Ubuntu。以下是有关如何在 Ubuntu 上安装和运行 CrimeFlare 的详细指南：

PHP-cURL使用以下命令安装模块：

sudo apt install php-curl

克隆 CloudPeler 存储库以将crimeflare.php文件与其他依赖项一起安装。您可以使用以下命令执行此操作：

git clone https://github.com/zidansec/CloudPeler.git

在运行 CrimeFlare 之前，导航到 CloudPeler 目录并将crimeflare.php文件添加到 Ubuntu 操作系统上的 /bin/ 目录。

cd CloudPeler
sudo cp crimeflare.php /bin/crimeflare

4.现在，要运行它，请输入命令crimeflare和您要调查的域，如下例所示。

crimeflare example.com

该工具将输出原始服务器的 IP 地址以及上述信息。

在 Windows 上

或者，要在 Windows 上安装和运行 CrimeFlare，您需要最新版本的 PHP 和 cURL。然后您必须配置 PHP 以使用 cURL。

为此，请找到 PHP 配置文件php.ini。它的确切位置可能因您的安装而异，但通常位于 PHP 目录中。

在文本编辑器中打开配置文件，搜索以开头的行;extension=curl，然后通过删除分号取消注释。修改该行以指向 cURL 扩展 DLL。它应该是这样的：

extension=curl

extension=curl
extension_dir = "C:pathtophpext"

替换C:pathtophpext为 PHP 扩展目录的实际路径。接下来，从 GitHub 存储库下载crimflare.php文件并将其保存到您选择的目录中。

最后，导航到终端中的上述目录并使用以下命令运行 CrimeFlare：

php crimeflare.php example.com

如果我们用Pastebin替换示例 URL，我们将得到以下结果。

然后，我们可以直接向Real IP.

最佳 CrimeFlare 替代品

ZenRows 是 CrimeFlare 的最佳替代品，因为它可以让您避免查找网站的原始 IP 地址并直接向该 IP 发出请求以检索数据的繁琐过程。相反，您可以使用目标网站的域和单个 API 调用来提取所有必要的信息。

ZenRows 是一个完整的网络抓取 API，旨在绕过 Cloudflare 和任何其他反机器人系统。它支持所有编程语言，包括 Python、Java、NodeJS、Go、PHP 和 Ruby。

立即注册以亲自试用该工具。完成后，您将看到 Request Builder。选择 Python，粘贴您的目标 URL（我们将使用https://pastebin.com/），然后选中绕过 Cloudflare 所需参数的复选框（“Anti-bot”、“Premium Proxy”和“JavaScript Rendering”）。

现在，使用以下命令安装 Python Requests（任何其他 HTTP 库也可以）。

pip install requests

然后，复制 ZenRows 提供的代码并在您喜欢的编辑器中运行它。这是完整的代码。

# pip install requests
import requests

url = 'https://pastebin.com/'
apikey = 'YOur API Key'
params = {
    'url': url,
    'apikey': apikey,
    'js_render': 'true',
    'antibot': 'true',
    'premium_proxy': 'true',
}
response = requests.get('https://api.zenrows.com/v1/', params=params)
print(response.text)

你的结果应该是这样的：