DataBricks vs. Snowflake – 2023年的更好选择？

如果你最近涉足数据科学领域，你可能听说过 Snowflake 和 Databricks，以及它们之间的比较。

如果你不确定这些工具到底是什么，以及应该使用哪一个，那么你来对地方了。本文将介绍它们是什么，比较它们，并推荐每个工具在最佳使用情况下的应用。

Databricks 是什么？

Databricks 是一个扩展了 Apache Spark 的综合性数据平台。它是由 Apache Spark 的创始人创建的，并被一些大型公司如汇丰银行、Amazon等使用。

作为一个平台，Databricks 提供了一种使用 Apache Spark、Delta Lake 和 MLFlow 来帮助客户清洗、存储、可视化和使用数据的方法。

它是开源软件，但也有云端托管的订阅服务可供选择。与 Snowflake 类似，它遵循湖仓架构，结合了数据仓库和数据湖的优势。

还可以阅读：Data Lake vs. Data Warehouse: What are the Differences?

Snowflake 是什么？

Snowflake 是基于云的数据仓库系统。它作为一种按使用量计费的服务运行，您将按您使用的资源付费。

Snowflake 的一个卖点是计算和存储的计费是分开的。这意味着那些需要大量存储但少量计算的公司不必为他们不需要的计算资源付费。

该平台还包括一个自定义的 SQL 查询引擎，专为在云上本地运行而设计。Snowflake 运行在流行的云提供商上：Google Cloud、Amazon AWS 和 Microsoft Azure。

Snowflake 和 Databricks 的相似之处

Databricks 和 Snowflake 都是数据湖仓架构。它们结合了数据仓库和数据湖的特点，为数据存储和计算提供了最佳解决方案。

它们将存储和计算选项解耦，因此可以独立扩展。您可以使用这两个产品来创建用于报告和分析的仪表板。

Snowflake 和 Databricks 的区别

Snowflake is commonly used for data warehousing, data lake management, and big data analytics. It is suitable for businesses that require a scalable and flexible data storage and processing solution. Snowflake also supports data sharing and collaboration among different organizations and provides real-time analytics capabilities.

Snowflake是最适合使用Business Intelligence的。这包括使用SQL进行数据分析、对数据进行报告以及创建可视化仪表板。它非常适合数据转换。机器学习功能仅通过额外的工具（如Snowpark）提供。

最后的话

这两个平台都有各自的优势和不同的功能集。根据本指南，选择一个适合您的战略、数据工作负载、数据量和需求的平台应更加容易。像大多数事情一样，并没有正确或错误的答案，只有最适合您的答案。

接下来，查看好的resources to learn Big Data and Hadoop。