如何使用CrimeFlare抓取Cloudflare站点

Cloudflare 已成为一种广泛采用的解决方案，用于保护网站数据和减轻机器人驱动的攻击。其先进的反机器人系统使用复杂的技术来检测和过滤掉机器人流量，不幸的是，其中包括爬虫。

我们将考察 CrimeFlare 作为绕过 Cloudflare 的工具，并提出更有效和可扩展的替代方案。让我们开始吧！

什么是 CrimeFlare

CrimeFlare 是一种旨在允许用户直接访问受 Cloudflare 保护的网站的工具。通过此工具运行目标网站的域，您可以发现其实际 IP 地址。然后，您可以将 HTTP 请求直接发送到该 IP 地址以检索必要的数据。

但 CrimeFlare 如何获得这些信息？

CrimeFlare 如何运作

CrimeFlare 的工作原理是 Cloudflare 充当反向代理并位于您和源服务器之间。当您向受保护的网站发出请求时，Cloudflare 在将其转发到原始服务器之前拦截初始连接。此外，该网站的 IP 隐藏在服务器网络之后，因此很难直接识别服务器的位置。

然而，CrimeFlare 试图使用 DNS 和历史数据分析来揭示受 Cloudflare 保护的网站的真实 IP 地址。当您运行目标域时，CrimeFlare 会获取并分析与该特定域相关的 DNS 记录（例如，A 和 CNAME 记录）。它还查看提供源服务器 IP 地址线索或路径的子域。

CrimeFlare 还分析历史数据，例如先前的域注册、IP 地址更改等。网站配置错误和漏洞，例如通过错误消息或服务器响应泄漏，是该工具利用确定真实 IP 地址的方式。

经过分析，CrimeFlare 生成以下结果：

• 云彩 IP。
• CloudFlare NS1 和 CloudFlare NS2。
• 真实 IP、主机名和组织。
• 地址（国家、城市、地区、邮政编码）、位置和时区。

如何使用 CrimeFlare

在 Linux 上

CloudPeler 存储库中的给定安装模块适用于 Linux 操作系统，特别是 Ubuntu。以下是有关如何在 Ubuntu 上安装和运行 CrimeFlare 的详细指南：

1. PHP-cURL使用以下命令安装模块：

sudo apt install php-curl

2. 克隆 CloudPeler 存储库以将crimeflare.php文件与其他依赖项一起安装。您可以使用以下命令执行此操作：

git clone https://github.com/zidansec/CloudPeler.git

3. 在运行 CrimeFlare 之前，导航到 CloudPeler 目录并将crimeflare.php文件添加到 Ubuntu 操作系统上的 /bin/ 目录。

cd CloudPeler
sudo cp crimeflare.php /bin/crimeflare

4.现在，要运行它，请输入命令crimeflare和您要调查的域，如下例所示。

crimeflare example.com

该工具将输出原始服务器的 IP 地址以及上述信息。

在 Windows 上

或者，要在 Windows 上安装和运行 CrimeFlare，您需要最新版本的 PHP 和 cURL。然后您必须配置 PHP 以使用 cURL。

为此，请找到 PHP 配置文件php.ini。它的确切位置可能因您的安装而异，但通常位于 PHP 目录中。

在文本编辑器中打开配置文件，搜索以 开头的行;extension=curl，然后通过删除分号取消注释。修改该行以指向 cURL 扩展 DLL。它应该是这样的：

extension=curl

extension=curl
extension_dir = "C:pathtophpext"

php crimeflare.php example.com

pip install requests

# pip install requests
import requests

url = 'https://pastebin.com/'
apikey = 'YOur API Key'
params = {
    'url': url,
    'apikey': apikey,
    'js_render': 'true',
    'antibot': 'true',
    'premium_proxy': 'true',
}
response = requests.get('https://api.zenrows.com/v1/', params=params)
print(response.text)