前11个免费的网络抓取框架
在过去的几年里，网络爬虫领域取得了显著的进展。
网络爬虫被用作收集和分析网络数据的手段。为了支持这个过程，出现了许多框架，以满足不同用例的不同需求。
让我们来看看一些流行的网络爬虫框架。
以下是自托管的解决方案，所以您需要自行安装和配置。您可以查看这篇帖子了解云爬取解决方案。
scrapy
scrapy是一个基于python的协作框架。它提供了一个完整的库套件。这是一个完全异步的框架，可以接受请求并更快地处理它们。
scrapy的一些优点包括：
- 性能超快
- 内存使用最佳
- 与django框架非常相似
- 比较算法高效
- 易于使用的功能，支持详尽的选择器
- 通过添加自定义中间件或管道以实现自定义功能的可定制框架
- 可移植
- 提供云环境，可运行资源密集型操作
如果您真的想学习scrapy，那么我建议您参考这个课程。
mechanicalsoup
mechanicalsoup可以模拟人类在网页上的行为。它基于一个网页解析库beautifulsoup，在处理简单网站时效率最高。
优点
- 简洁的库，代码开销很小
- 在解析较简单的页面时速度非常快
- 能够模拟人类行为
- 支持css和xpath选择器
mechanicalsoup在尝试模拟人类动作时非常有用，例如等待某个事件或点击某个项以打开弹出窗口，而不仅仅是抓取数据。
jaunt
jaunt提供自动化抓取、基于json的数据查询和无头超轻量级浏览器等功能。它支持跟踪每个执行的http请求/响应。
使用jaunt的显著优点包括：
- 有组织的框架，满足您的所有网络爬取需求
- 允许从网页中以json格式查询数据
- 支持通过表单和表格进行爬取
- 允许控制http请求和响应
- 与rest api轻松接口
- 支持http/https代理
- 支持在html dom导航中进行搜索链式、基于正则表达式的搜索和基本身份验证
需要注意的一点是，jaunt的浏览器api不支持基于javascript的网站。这个问题可以通过使用下面要讨论的jauntium来解决。
jauntium
jauntium是jaunt框架的增强版本。它不仅解决了jaunt的缺点，还增加了更多功能。
- 能够创建通过页面并根据需要执行事件的web机器人
- 轻松搜索和操作dom
- 通过利用其网络爬取功能编写测试用例
- 支持与selenium集成以简化前端测试
- 支持与jaunt框架相比，jauntium支持基于javascript的网站
适用于需要自动化一些流程并在不同浏览器上进行测试的情况。
storm crawler
storm crawler是一个完整的基于java的网络爬虫框架。它用于构建可扩展和优化的java网络爬取解决方案。storm crawler主要用于提供流式输入，其中url被发送到流中进行爬取。
优点
- 可扩展性强，可用于大规模递归调用
- 具有弹性
- 出色的线程管理，减少爬取的延迟
- 易于通过附加库扩展库
- 提供的网络爬取算法相对更高效
norconex
norconex http收集器允许您构建企业级爬虫。它是一个可以在许多平台上运行的编译二进制文件。
优点
- 可以在普通服务器上爬取数百万个页面
- 能够爬取pdf、word和html格式的文档
- 能够直接从文档中提取数据并进行处理
- 支持ocr从图像中提取文本数据
- 能够检测内容的语言
- 可以配置爬取速度
- 可以设置为重复运行在页面上，以持续比较和更新数据
norconex可以与java集成，也可以通过bash命令行运行。
apify
apify sdk是一个基于js的爬取框架，与上面讨论的scrapy相似。它是最好的基于javascript构建的网络爬取库之一。虽然它可能没有python框架强大，但它相对较轻量且更容易编码。
优点
- 内置支持cheerio、puppeteer和其他js插件
- 具有autoscaled池，允许同时开始爬取多个网页
- 快速爬取内部链接并根据需要提取数据
- 更简单的编码爬虫库
- 可以以json、csv、xml、excel和html的形式导出数据
- 运行在无头chrome上，支持所有类型的网站
kimurai
kimurai是用ruby编写的，基于流行的ruby gem capybara和nikogiri，使开发人员更容易理解如何使用该框架。它支持与headless chrome浏览器、phantom js以及简单的http请求的轻松集成。
优点
- 可以在单个进程中运行多个蜘蛛
- 支持capybara gem的所有事件
- 在javascript执行达到限制时自动重新启动浏览器
- 自动处理请求错误
- 可以利用处理器的多个核心和简单方法进行并行处理
colly
colly是一款平滑、快速、优雅且易于使用的框架，即使对于网络爬取领域的初学者也很适用。colly允许您根据需要编写任何类型的爬虫和蜘蛛。它在数据结构化的情况下尤为重要。
优势
- 每秒能处理超过1000个请求
- 支持自动会话处理和cookies
- 支持同步、异步和并行爬取
- 在重复爬取时支持缓存以提高速度
- 理解robots.txt并防止爬取任何不需要的页面
- 开箱即用支持google app engine
colly非常适合数据分析和挖掘应用需求。
grablab
grablab具有高度可扩展性。您可以使用它来构建简单的网页抓取脚本，也可以构建复杂的异步处理脚本来爬取数百万个页面。
优势
- 高度可扩展
- 支持并行和异步处理，同时爬取数百万个页面
- 简单易用，但功能强大，可以编写复杂的任务
- 支持api爬取
- 支持为每个请求构建蜘蛛
grablib内置了处理来自请求的响应的支持。因此，它也允许通过web服务进行抓取。
beautifulsoup
beautifulsoup是一个基于python的网页抓取库。它主要用于html和xml网页抓取。beautifulsoup通常在其他需要更好的搜索和索引算法的框架之上使用，例如上面介绍的scrapy框架。
beautifulsoup的优势包括：
- 支持解析损坏的xml和html
- 比大多数可用于此目的的解析器更高效
- 易于与其他框架集成
- 占用空间小，轻量级
- 带有预构建的过滤和搜索功能
如果有兴趣学习beautifulsoap，请查看这个在线课程。
结论
正如您可能已经注意到的，它们都是基于python或nodejs的，所以作为开发者，您必须熟悉底层编程语言。它们都是开源或免费的，所以尝试一下，看哪种适合您的业务。
