如何下载和安装Apache Kafka [Windows和Linux]

Apache Kafka是一种消息流服务，允许分布式系统中的不同应用程序通过消息进行通信和共享数据。

它的功能类似于发布/订阅系统，其中生产者应用程序发布消息，而消费者系统订阅这些消息。

Apache Kafka使您能够在系统的生产和消费数据部分之间采用松耦合架构，从而使系统的设计和管理更简单。Kafka依赖于Zookeeper来进行元数据管理，并同步集群的不同元素。

Apache Kafka的特点

Apache Kafka之所以变得流行，是因为它具备以下特点：

• 可通过集群和分区进行扩展
• 具备每秒执行200万次写操作的快速性能
• 保持消息发送顺序
• 通过副本系统保证可靠性
• 能够无停机进行升级

现在，让我们来探讨一些Kafka的常见用例。

Apache Kafka的常见用例

Kafka通常用于处理大数据、记录和聚合事件（例如用于分析的按钮点击），以及将来自系统不同部分的日志合并到一个中央位置。

它有助于在系统中不同应用程序之间进行通信，并实时处理来自物联网设备的数据。

现在，让我们来了解在Windows和Linux上安装Kafka的详细步骤。

在Windows上安装Kafka

首先，检查Java是否已安装在您的计算机上以便在Windows上安装Apache Kafka。以管理员模式打开命令提示符并输入以下命令：

java --version

如果Java已安装，则应显示当前安装的JDK版本号。

如果收到错误消息，表示未识别该命令，则表示未安装Java，您需要安装Java。要安装Java，请前往Adoptium.net并单击下载按钮。

这将下载Java安装程序文件。下载完成后，运行安装程序。这将打开安装提示。

重复按Next选择默认选项。然后安装将开始。通过关闭命令提示符，重新以管理员模式打开另一个命令提示符，并输入以下命令验证安装：

java --version

这次，您应该看到刚刚安装的JDK版本。安装完成后，我们可以开始安装Kafka。

要安装Kafka，请首先转到Kafka website。

单击链接，它应该将您带到下载页面。下载可用的最新二进制文件。

这将下载打包在.tgz文件中的Kafka脚本和二进制文件。下载完成后，您必须从.tgz存档中解压文件。要解压，我将使用WinZip，它可以从WinZip网站下载。

解压文件后，将其移动到C:，使文件路径变为C:kafka

然后以管理员模式打开命令提示符，并通过首先转到Kafka目录，然后使用zookeeper.properties作为配置文件运行zookeeper-server-start.bat文件来启动Zookeeper。

cd C:kafka
binwindowszookeeper-server-start.bat configzookeeper.properties

在Zookeeper运行之后，我们需要将Kafka使用的wmic可执行文件添加到系统的PATH中。

set PATH=C:WindowsSystem32wbem;%PATH%;

完成后，通过以管理员模式打开另一个命令提示符会话并导航到C:kafka文件夹来启动Apache Kafka服务器。

cd C:kafka

然后运行以下命令启动Kafka

binwindowskafka-server-start.bat configserver.properties

这样，Kafka就应该在运行了。您可以自定义服务器属性，例如logs的保存位置，通过修改server.properties文件。

Linux上安装Kafka

首先，通过更新所有软件包来确保系统是最新的

sudo apt update && sudo apt upgrade

接下来，通过运行以下命令检查Java是否已安装在您的机器上

java --version

如果java已安装，您将看到版本号。然而，如果尚未安装，则可以使用apt命令进行安装。

sudo apt install default-jdk

安装完Java后，我们可以通过从the website下载二进制文件来安装Apache Kafka。

打开终端并导航到下载文件保存的文件夹。在我的情况下，我需要导航到Downloads文件夹。

cd Downloads

进入下载文件夹后，使用tar命令解压下载的文件：

tar -xvzf kafka_2.13-3.3.1.tgz

进入解压后的文件夹

cd kafka_2.13-3.3.1.tgz

列出目录和文件。

进入文件夹后，通过运行位于所解压文件夹的bin目录中的zookeeper-server-start.sh脚本来启动一个Zookeeper服务器。

该脚本需要一个Zookeeper配置文件。默认文件名为zookeeper.properties，位于config子目录中。

因此，要启动服务器，请使用以下命令：

bin/zookeeper-server-start.sh config/zookeeper.properties

Zookeeper运行后，我们可以启动Apache Kafka服务器。kafka-server-start.sh脚本也位于bin目录中。该命令还需要一个配置文件。默认的配置文件是server.properties，位于config文件夹中。

bin/kafka-server-start.sh config/server.properties

这样就可以运行Apache Kafka了。在bin目录中，可以找到许多脚本来执行创建主题，管理生产者和消费者等操作。您还可以通过修改server.properties文件来自定义服务器属性。

最后的话

在本指南中，我们详细介绍了如何安装Java和Apache Kafka。尽管您可以手动安装和管理Kafka集群，也可以使用托管选项，如AmazonWeb Services和Confluent。

接下来，您可以了解data processing with Kafka and Spark。