2023年的前6个云数据仓库

如果您在企业中花费了很短的时间，可能会遇到有效地收集来自不同分析和洞察源的数据的需求。

这些数据分析严重影响了许多组织的收入生成和成本控制。但是，您对生成和分析的数据量不应感到惊讶，因为其数量和类型正在激增。

这种激增推动了数据驱动型公司使用可靠、可扩展和安全的解决方案来分析和管理数据。这些系统的要求超出了传统数据库的能力范围，这就是云技术的应用之处。

随着先进的现代云技术的发展，许多关键的业务应用程序，如企业资源规划（erp）、数据库和营销工具已经迁移到了云端。虽然业务数据存储在云端，但公司需要一个无缝存储来自不同云应用的所有数据的解决方案。这个解决方案就是云数据仓库。

本文将帮助您了解云数据仓库并列出其中几个最好的。最后，我们将解释如何为您的组织选择最佳的云数据仓库。

云数据仓库的简要历史

与任何技术领域一样，要真正理解它，您必须了解其存在的原因。这个观点适用于理解云数据仓库的操作模型。

根据education ecosystem的说法，数据仓库首先出现在20世纪80年代，旨在帮助数据从操作系统流向决策支持系统(dss)。早期版本需要大量的冗余，许多组织不得不拥有多个dss环境以为多个用户提供服务。dss环境使用相同的数据。然而，数据的收集、清理和集成通常是重复的。

随着数据仓库的提高效率，它们从支持传统的商业智能(bi)平台的信息演变为支持各种应用程序，如绩效管理和绩效分析的广泛分析架构。

多年来，通过提供实时数据访问和机器学习洞察的最新数据驱动型仓库(ewd)取得了爆炸性的进展。然而，这超出了本文的范围。

什么是云数据仓库

如果您想在业务基础架构中采用智能技术，数据仓库是其核心。与普通的数据库不同，数据仓库的设计目标是在大规模数据集上提供最佳的分析查询。数据库通常是事务处理系统。

云数据仓库是一个作为公共云中的托管服务提供的数据库，可优化用于可扩展的bi和分析。您还可以将其视为当前和过去信息的集合。

虽然有许多云数据仓库可供选择，但每个平台都会提供其独特的服务。但有一些共同因素，您可以期望在所有这些平台上都会出现：数据存储和管理、自动软件升级以及灵活的容量管理，可以无缝地扩展或收缩您的数据占用空间。

主要特点

• 大规模并行处理（mpp） – 云数据仓库中的此功能支持处理大数据项目，以在处理大规模数据量时提供高性能查询。mpp由多个并行运行的服务器组成，以分配处理、输入和输出负载。
• 列式数据存储 – 此功能在处理分析时展现经济灵活性。列式数据存储将数据按列而不是行处理，使得类似于报表的查询聚合更快。

优势

云数据仓库展示了每个现代企业对于分析和业务洞察的需求，从而改善运营并提升客户服务，使您的业务具备竞争优势。以下是使用云数据仓库的优势。

1. 更快的洞察 – 云数据仓库提供强大的计算能力，并从多个来源收集的数据提供实时分析，使您的业务能够更快地获取更好的洞察，而传统的本地解决方案无法做到这一点。
2. 可扩展性 – 云数据仓库为您的业务提供几乎无限的存储空间，以适应存储需求的发展。与本地解决方案不同，后者在扩展存储时需要新的硬件，而云数据仓库以较低的成本提供更多空间。
3. 开销 – 如果选择使用本地解决方案，您将需要服务器硬件（昂贵的）和员工管理人员来监督、进行手动升级和故障排除。而云数据仓库不需要物理硬件，因此成本大大降低。

云数据仓库供应商

现在您已经了解了云数据仓库的情况，可以根据您的需求选择适合您的数据仓库。虽然以下列表没有特定的排名顺序，但我们从技术专业能力最好的供应商开始介绍。

google bigquery

由谷歌开发的bigquery是一个完全托管的无服务器数据仓库，可以自动扩展以满足您的存储和计算需求。与其他谷歌产品一样，它除了具有成本效益外，还提供强大的分析能力。它也是可靠的，提供多个商业智能工具，可用于收集洞察和进行准确的预测。bigquery适用于复杂的聚合操作和大规模数据集，因为它采用列式存储。

谷歌注重让您不必管理数据仓库基础设施，因此big query隐藏了底层的硬件、节点、数据库和配置细节。如果您想快速入门，只需在谷歌云平台（gcp）上创建一个帐户，加载一个表格并运行查询。

您还可以使用bigquery的列式和ansi sql数据库来快速分析数pb级的数据。它的功能足够强大，可以使用sql和bigquery ml在半结构化或大规模结构化数据上快速创建和运行机器学习（ml）模型。此外，还可以使用bigquery bi引擎创建和运行实时交互式仪表板。

为了充分利用bigquery的数据分析能力，您必须精通sql，就像其他数据仓库一样。它还具有成本效益。但是价格取决于代码质量（您支付处理速度和存储空间的费用），因此在提取数据时必须优化查询以对抗高成本。

基于其分离的计算和存储层，bigquery处理重型计算操作，因此适合优先考虑可用性而非一致性的组织。

亚马逊redshift

亚马逊redshift于2021年11月首次提出，并作为一个完全托管的云数据仓库推出，可处理pb级数据。虽然它不是第一个云数据仓库，但在大规模采用之后成为市场份额最大的云数据仓库。redshift使用基于postgresql的sql方言，被全球许多分析师熟知，其架构类似于本地数据仓库。

不足之处是redshift与此列表中的其他解决方案不同。它的计算和存储层不完全分离。如果执行多个写操作，这种架构会严重影响分析查询的性能。因此，您需要内部员工来进行系统的持续维护和更新。

如果您正在寻找像银行业那样的出色行级一致性，redshift是一个很好的选择。但是，如果您的组织需要同时进行写入和处理操作，它可能不是最佳选择。

snowflake

云数据仓库snowflake是一种独特的仓库；它是完全托管的，并在aws、gcp和azure上运行，与其他在它们云上运行的仓库不同。snowflake易于使用，以其先进的转换能力、执行快速查询的能力、提供高安全性和根据您的需求自动扩展而闻名。

snowflake的灵活代码库使您可以运行全球数据复制活动，例如在任何云中存储数据而无需重新编码或学习新技能。

snowflake适应所有级别的数据分析师，因为它不使用python或r编程语言。它还以其用于半结构化数据的安全和压缩存储而闻名。除此之外，它允许您根据需求旋转多个虚拟仓库，同时并行化和隔离各个查询，提升它们的性能。您可以使用web浏览器、命令行、分析平台和其他支持的驱动程序与snowflake进行交互。

尽管snowflake因其能够运行其他解决方案不可能的查询而受到青睐，但它确实提供了最佳的仪表板创建；您需要编写自定义函数和例程。

snowflake在不需要执行大量写入和处理操作或需要在大数据量上保持一致性的中小型公司中很受欢迎。

azure sql database

此产品是microsoft azure云计算平台的一部分，作为一种托管的数据库即服务提供。如果您的组织使用microsoft的业务工具，这可能是一个自然的选择。

云上的 azure sql 数据库 以其从创建 sql 服务器到配置数据库的交互式用户体验而闻名。它也因其易于使用的界面和用于操作数据的多个功能而被广泛青睐。此外，它可扩展以减少成本并优化低使用率下的性能。

然而，它不适用于大量的数据负载。它适用于在线事务处理 (oltp) 工作负载，并处理大量的小型读写操作。

如果您的业务涉及简单查询和小数据负载，这个工具将是一个首选。然而，如果您的业务需要大量的分析能力，则它并不是最佳选择。

azure synapse

这个 azure 平台的部分面向分析，结合了多个服务，如数据集成、数据仓库和大数据分析。虽然它看起来与 azure sql 数据库类似，但它是不同的。

azure synapse 分析服务基于其分布式计算可扩展到大数据表。它依靠 mpp (前面提到的，如果您没有理解可以回顾一下) 来快速运行跨多个节点的复杂查询。在 synapse 中，对 安全性 和隐私有额外的强调。

虽然它是对已经使用 microsoft 工具的企业的标准选择，但它很难与其他公司的数据仓库之外的产品集成。由于它不断更新，该服务有时可能会出现故障。

azure synapse 被设计用于在线分析处理，因此最适合实时处理大数据集。如果您的仓库数据大于一兆字节，可以考虑使用 azure synapse 而不是 sql。

firebolt

虽然还是新面孔，firebolt 声称是未来一代的仓库，性能比基于 sql 的系统快 182 倍。firebolt 之所以快速，是因为它使用了新的数据解析和压缩技术。

在查询过程中，它使用索引访问小数据范围，而不像其他数据仓库使用整个分区和分段，从而释放网络带宽。它可扩展，并且可以以令人印象深刻的速度查询大型数据集。

虽然它是市场上的新产品，但它不能与业务平台和智能工具的整个生态系统（非常庞大）进行集成。然而，可以使用特定的数据提取、转换和加载 (etl) 工具来解决这个问题，以将数据引导到仓库中并从仓库中获取数据。

firebolt 的存储和计算能力是分离的，使其对大型和小型机构来说具有经济性。它非常适合需要快速分析的企业，尽管需要有经验的内部数据分析师。

选择合适的云数据仓库

如果您需要一个云数据仓库，并且希望选择一个好的仓库，请考虑您的组织规模以及您如何管理数据。如果您拥有一个管理小数据量并且几乎没有或没有人力资源来处理数据分析部门的小型组织，比如一些电子商务网站，那么您会希望选择一个易于使用和性价比高的数据仓库，而不是追求性能。

另一方面，如果您经营着一个需要特定数据需求的大型组织，您肯定会面临一个折中。这个折中在详细描述中遵循了cap 理论，该理论指出任何分布式数据都保证了安全性、可用性和分区容错性（即对故障的保护）。在大多数情况下，每个组织都需要部分容错性，这就在一致性和可用性之间形成了一个折中。

您现在可以查看最可靠的数据集成工具。