10个适合数据爬取的免费代理(爬虫代理)
免费代理对于某些任务很有价值,例如绕过网站反机器人技术和访问受地理限制的内容。他们的主要好处是他们的成本效益,使他们成为预算有限的人的有吸引力的选择。然而,它们有一些应该解决的缺点。即,它们具有有限的带宽、安全问题和性能问题。由于您永远不知道谁在运行代理服务器,因此在发送个人数据时要小心。从好的方面来说,您可以使用它们进行测试来避免此类风险。
如果您不采取必要的措施,您很容易被封锁。由于使用代理服务器是最好的方法之一,我们在这里回顾了 10 个最好的网络抓取免费代理:
- ZenRows:使用反机器人绕过工具包旋转代理。
- FreeProxyWorld:广泛且易于使用的代理列表。
- Free Proxy Lists:用于测试目的的用户友好代理列表。
- Spys.one:包含来自 178 个国家/地区的代理的数据库。
- Fresh Proxy List:已建立的具有友好界面的代理列表。
- Hidemy.name:定期更新的代理服务器的中型列表。
- Proxy-List:具有内置 API 和导出选项的代理列表。
- ProxyScrape:道德来源的住宅代理列表。
- ProxyNova:易于使用的代理列表,包含来自不同国家的 IP。
- SSL 代理:可导出的 HTTPS 代理服务器列表。
1.ZenRows – 使用反机器人绕过工具包旋转代理。
ZenRows 提供高级轮换代理和完整的反机器人绕过工具包。美妙之处在于,代理是为您唯一选择的,以获得尽可能高的成功率,并且该工具会为您轮换它们,您可以选择 IP 所在的国家/地区。
创建免费帐户时,您将获得 1,000 API 积分,因此您可以使用 ZenRows 作为免费代理进行抓取!此外,您可以尝试其他内置的反机器人功能以避免被阻止。
优点:
- 轮换高级代理。
- 成熟的 API 工具包包括 CAPTCHA 和 WAF 旁路。
- 十个并发请求以快速扩展您的网络抓取工具。
缺点:
- 您需要具备一些编程技能才能使用它,例如 Python 基础知识。
2.freeproxy.world – 广泛且易于使用的代理列表。
FreeProxyWorld 列出了来自 100 多个国家/地区的 25,000 个用于网络抓取的免费代理。您可以按代理类型、匿名性、国家/地区、端口和速度过滤它们。该列表还提供了每个服务器的响应速度。
但是,您不会找到正常运行时间统计信息或从网页导出代理列表的选项。尽管如此,大量的代理选择将对网络抓取项目有用。
优点:
- 访问来自 100 多个国家/地区的 25,000 多个代理。
- 用于查找最佳代理服务器的不同过滤选项。
- 有关代理服务器性能的足够信息。
缺点:
- 无法导出代理列表。
- 只有几个 HTTPS 服务器。
3.freeproxylists – 用于测试目的的用户友好代理列表。
免费代理列表是一个易于使用的平台,用于查找用于网络抓取的免费代理。您可以按国家、端口号和正常运行时间标准对列表进行排序。服务器通常很快,但只有少数几个。因此,使用它进行测试是最好的选择。
优点:
- 易于使用的平台,具有用于查找代理服务器的额外过滤选项。
- 具有高响应时间和传输速度的代理服务器。
缺点:
- 您无法下载代理列表。
- 大多数服务器没有任何匿名支持。
4.Spys one – 包含来自 178 个国家/地区的代理服务器的数据库。
Spys.one 是一个免费的代理列表,用于抓取来自 178 个国家/地区的大量经常更新的 IP 地址。他们的代理支持各种协议,包括 HTTP、HTTPS 和 SOCKS。您还可以获得 Squid,它是 UNIX/Linux 平台的缓存代理。
Spys.one 允许用户按城市、国家和类型过滤代理。它显示每个代理的延迟、速度和正常运行时间评级。但是,没有导出或排序列表的选项。
优点:
- 访问来自 178 个国家/地区的更新代理列表。
- 支持许多协议,例如 HTTP、HTTPS 和 SOCKS。
- 许多过滤选项。
缺点:
- 您无法下载或排序代理列表。
5.Free proxy – 建立了具有用户友好界面的代理列表。
Fresh Proxy List 提供了大量用于网页抓取的免费代理服务器。该列表可以按国家、协议和匿名级别进行过滤和排序。还有一些特殊的选项,比如按类别过滤,比如港口、地区和城市。
该网站在页面顶部提供了一个“您的 IP 地址信息”按钮来测试代理服务器。虽然它没有下载选项,但您可以成对导出代理IP:PORT
并使用它们。
优点:
- 数以千计的代理服务器。
- 代理排序和过滤选项。
- 可能成对导出代理服务器
IP:PORT
。
缺点:
- 您无法下载代理列表。
- 某些代理没有正常运行时间、速度或响应信息。
6.hide my name – 定期更新的代理服务器的中型列表。
Hidemy.name 提供超过 5,000 个经常更新的免费代理,用于网络抓取。它们支持不同的协议,如 SOCKS5 和 HTTPS,但没有关于它们正常运行时间的信息。
此外,您无法以任何方式对代理列表进行排序,但可以使用搜索功能按速度、国家/地区、协议和匿名性对其进行过滤。遗憾的是,无法免费导出列表。
优点:
- 该平台提供了数千个免费的网络抓取代理。
- 广泛的搜索功能可以过滤可用的代理。
缺点:
- 不能免费导出代理列表。
- 没有排序选项。
7.proxy-list – 具有内置 API 和导出选项的代理列表。
Proxy-List 提供来自世界各地的服务器。虽然没有内置的排序选项,但您可以按 ping、匿名和国家/地区过滤服务器。也可以找到HTTPS、SOCKS4、SOCKS5代理服务器,但它们的响应速度一般都在100毫秒以上。
该平台还提供了一个 RESTful API 来预先提取用于网络抓取的免费代理。API 具有针对国家/地区、匿名级别和协议的过滤选项。
优点:
- 满足您需求的不同导出选项。
- 代理过滤选项。
- 具有额外过滤选项的 REST API。
缺点:
- 没有关于代理服务器可用性和平均正常运行时间的信息。
- 代理服务器有点慢。
8.proxyscrape – 道德来源的住宅代理列表。
ProxyScrape 有数百台服务器每分钟定期测试正常运行时间。您可以将列表下载为 .txt 文件,但这需要您的电子邮件地址。此外,您可以按国家/地区、匿名级别和 SSL 过滤文件。
ProxyScrape 提供 HTTP、SOCKS4 和 SOCKS5 代理,以及有限的 SOCKS 过滤选项。REST API 允许您通过请求获取代理GET
。该平台还托管一个代理检查器,自动验证给定的配对列表是否IP:PORT
有效。
优点:
- 将选项导出为 .txt 文件。
- HTTP、SOCKS4 和 SOCKS5 代理。
- REST API 可帮助您获取并快速过滤用于网络抓取的免费代理。
缺点:
- .txt 文件导出要求您提供电子邮件。
- 过滤选项仅适用于下载的列表。
9.proxynova – 易于使用的代理列表,包含来自不同国家的 IP。
ProxyNova 提供了一个免费代理列表,用于网络抓取,其中列出并每分钟更新一次速度、正常运行时间和位置。新检查的代理排在最前面,但没有其他排序选项,因此我们无法知道代理池有多大。
可用代理的正常运行时间通常很低,但都是匿名的,即它们不会缓存您的请求痕迹,因此您可以保持匿名。
优点:
- 过滤以找到最佳代理。
缺点:
- 没有导出代理列表的选项。
- 代理正常运行时间通常很低。
10. SSL 代理 – 可导出的 HTTPS 代理服务器列表。
SSL Proxy 为网络抓取提供免费的 HTTPS 代理。该列表经常更新,但并非像宣传的那样每十分钟更新一次。免费代理的可用性有限,但它们来自不同的国家,如果是匿名的则带有标签。
您无法过滤代理,并且排序选项仅包括国家和匿名级别。但是,导出又快又容易。
此外,标记的字段Google
指定代理是否可以连接到 Google。但是,yes
当我们测试时,一些列出了值的代理无法连接,因此它不是一个可靠的指标。
优点:
- 方便的代理出口。
- 所有代理都支持 SSL (HTTPS)。
缺点:
- 没有过滤可用。
- 代理服务器没有性能指标(即正常运行时间和延迟)。
如何检查免费代理是否仍然有效
由于免费代理并不以其可靠性着称,因此必须能够检查它们是否仍然有效。有时,您会直接在提供商的网站上找到该信息,但如果您想验证自己,可以执行以下操作:
- 使用在线代理检查器,例如Hidemy.name。
- 尝试访问被阻止的网站以查看代理是否绕过限制。
- 检查在线论坛以获取最新更新。您可以轻松找到人们分享经验的专用线程。
寻找付费代理
如果您正在寻找免费代理的替代品,信誉好的高级提供商是您的不二之选。它们在速度和可靠性方面提供更好的性能,并且传输的数据将得到保护。
此外,在大多数情况下,付费提供商不会记录浏览历史,因此您的在线隐私不会受到损害。
但是,选择信誉好且值得信赖的代理轮换器对于确保您的数据受到保护非常重要。