在五分钟内解释有关Kinesis数据分析的所有内容

aws kinesis data analytics 让您能够实时分析和处理数据流。通过这项服务，您可以构建实时分析仪表板，扫描日志文件以查找问题，并检测异常。

这有助于您从数据中获取洞察力，检测问题并以很少的延迟响应问题。本文概述了您使用 aws kinesis data analytics 所需了解的一切内容。

aws kinesis data analytics 是什么？

aws kinesis 数据分析是 aws kinesis 服务系列的一部分，是一项完全托管的 aws 服务。它使您能够实时处理接收到的流数据。这些流数据由不同的来源连续生成，例如 物联网设备、点击流和广告应用程序日志。aws kinesis 数据分析在 aws 云上提供了一个托管的 apache flink 实例，底层使用 ec2 实例。

该系列中的其他服务包括 kinesis 数据流、kinesis 数据传送管道和 kinesis 数据流。这个服务系列的主要目的是提供收集和处理流数据的解决方案。

什么是流数据？

流数据是持续流入系统并随着添加更多信息而不断演化的数据。这与随时间保持不变的静态数据集相对。

aws kinesis 帮助您处理有界和无界数据集。有界数据集具有明确的开始和结束，而无界数据集具有开始但没有明确的结束。

aws kinesis data analytics 的特点

除了其他关键特性外，aws kinesis 数据分析还提供以下特性：

• 跨流数据的实时分析
• 基于 sql 的编辑器，用于编写脚本执行分析
• 高可用性和可靠性的自动扩展
• 与其他 aws 服务的集成。

kinesis 数据分析对企业的重要性

• kinesis 数据分析使您能够通过即时提供所需信息来做出更快的决策。如果没有数据分析，将需要时间将数据收集和汇总为有意义的信息，并且会减慢决策过程。
• 它还可以更快地检测到异常，以便更快地解决。例如，正在处理交易的企业可以标记可能表示欺诈的可疑活动。然后可以快速解决此异常。
• 可以实时监控和控制业务运营。可以从各种来源收集数据，例如网站事件、物联网测量和来自不同传感器的数据。

aws kinesis 数据分析的架构

与任何处理系统一样，aws kinesis 数据分析由几个组件组成，这些组件接收数据、处理数据并输出修改后的数据。aws kinesis 的架构同样由数据源、处理应用程序、输出目标和在应用程序内部移动数据的应用程序流组成。

数据源可以是任何流数据源。这可以包括 aws 服务，如 firehose、s3 存储桶和 kinesis 数据流。数据源也可以在 aws 之外，例如时间序列数据。

处理应用程序是您创建的aws kinesis应用程序。这些应用程序将接收到的数据转换为更有意义和深入的输出数据。这些应用程序使用sql编写，并对从数据源获取的数据反复应用查询。

处理后的数据的输出目标包括数据流、firehose、s3存储桶和amazon msk。目标也可以是分析仪表板。

kinesis data analytics还使用应用程序流来管理不同处理阶段之间的数据流动。这些流充当通道，在应用程序中的sql查询或flink操作之间传输数据。

aws kinesis数据分析的关键组件

aws kinesis数据分析由三个主要组件组成。在本节中，我们将讨论这些组件是什么以及它们的相关功能。

apache flink

aws kinesis数据分析平台是apache flink的托管实例。它托管在亚马逊云基础设施上，具体是基于使用情况自动扩展的ec2实例。apache flink是一个用于构建高可用性和准确性流应用程序的框架。

它适用于无界和有界数据。该框架作为集群计算系统上的分布式系统运行。apache flink将应用程序并行化并将其分布到群集中进行计算。

kinesis数据分析工作室

kinesis数据分析工作室使您能够使用笔记本创建可视化和运行查询。这些笔记本在同一开发环境中支持sql、python和scala。

此支持包括语法高亮和验证。您可以使用api在这些笔记本中创建对流数据执行的查询。

数据分析工作室笔记本托管在自动扩展的ec2实例上。这意味着您无需担心底层基础设施，因为它是一种无服务器解决方案。

kinesis数据分析sql应用程序

数据分析sql应用程序与数据流和firehose集成，使您能够摄取数据、使用sql处理数据并将结果发回aws服务。

该组件提供了基于控制台的编辑器，用于构建和编写sql查询。除了编写查询外，您还可以使用预构建的常用操作模板，以便不必重复发明一切并更快地完成工作。

为什么使用kinesis数据分析

#1. 可伸缩性

该服务是一个托管的apache flink实例。apache flink使用并行集群计算将工作分布到各个节点上。aws根据需要自动调整底层计算群集的大小。这使得kinesis数据分析可以自动扩展以处理非常大的数据流。

#2. 性能

由于apache flink在运行时采用了可大规模扩展的并行计算网络，因此在处理大量数据时非常高效。几乎所有操作都在内存中或者在高效的磁盘数据结构中进行。这使得执行操作时能够达到亚秒级的延迟。

#3. 优化

该平台还可定制以最大化性能。例如，您可以更改窗口的时间、窗口大小以及滚动或滑动窗口以优化性能。您还可以通过筛选数据来关注您感兴趣的属性。在编写sql时，您还可以通过优化查询来提高性能。

#4. 安全

aws kinesis data analytics提供了aws cloud的安全性。这包括能够在传输过程中加密数据，管理对数据和分析的访问权限以及您在云中托管服务中期望的定期更新和补丁。

#5. 合规性

该服务还可帮助您遵守数据和隐私法规。它可以轻松定义数据保留和删除策略。此外，您还可以利用能够帮助您实时识别威胁和事件的aws服务。这确保数据得到正确和适当地处理。

aws kinesis data analytics的使用场景和应用

广义上说，aws kinesis data analytics使您能够编写代码以实时读取、处理和存储从数据流中接收到的数据。这非常有用，因为它使您能够构建许多东西，例如：

• 构建分析仪表板以快速处理接收到的数据。这些数据可以是您网站/平台上的事件，您希望通过处理来更好地了解用户与其的互动方式。
• 在将数据流式传输到其他aws服务（如amazon s3存储桶、amazon kinesis数据流或amazon msk）之前，处理数据使其更有意义。
• 处理来自物联网设备的数据并实时存储。

案例研究和成功故事

arity

arity是一家从事交通运输的科技公司。他们旨在使交通更安全、更快速、更智能化。这需要从流式传输的海量驾驶数据中获取洞察力。通过使用aws kinesis data analytics，他们可以做到这一点。此外，他们将解决问题所需的时间从几个季度缩短到几周。

nextdoor

nextdoor是一个面向本地社交网络的应用程序。该应用程序提供本地社区新闻、提示以及有关本地企业的信息。在获取诸如在不同参与渠道上的客户效益等洞察力时，aws kinesis data analytics对他们非常有价值。

autodesk

autodesk是一家设计和工程软件的创造者。这包括autocad和revit等常用产品，用于技术绘图。他们使用aws kinesis数据分析来分析他们的日志，以更好地了解客户如何使用他们的产品并改进他们制作的软件。

学习资源

#1. aws kinesis数据分析资源

aws kinesis数据分析资源 是一个很好的资源集，可供您开始学习aws kinesis。您也可以信任它们提供最新和全面的指南。它们还有全面的文档，涵盖平台的不同方面。

#2. aws kinesis入门教程-youtube

还有一些youtube上的教程，比如这个。

最后的话

本文是对aws kinesis数据分析的介绍。它的目的是向您介绍该服务，为什么您可能想要使用它以及它在哪些方面最有帮助。

接下来，您可能想阅读我们关于 apache cassandra的文章。