在當今的互聯(lián)網(wǎng)和大數(shù)據(jù)時代，消息隊列架構成為了許多企業(yè)關注的焦點。比如，千億日活的短視頻應用——抖音，它的消息隊列就是使用Kafka來完成的。Kafka作為一種高性能、高可靠性的消息中間件，為許多企業(yè)提供了很好的解決方案。在本文中，我們將帶領您一步一步在CentOS 7上搭建Kafka集群，讓您更好地了解Kafka的使用和應用。

一、準備工作

在開始之前，我們需要提前準備好一些工作：

1. 一臺安裝了CentOS 7的機器，并開啟了網(wǎng)絡連接。

2. JDK環(huán)境，Kafka需要JDK 1.8及以上版本，因此我們需要先安裝JDK環(huán)境。

3. ZooKeeper，Kafka依賴于ZooKeeper，因此我們需要先安裝好ZooKeeper。

二、安裝JDK環(huán)境

我們可以從Oracle官網(wǎng)上下載JDK，這里我使用的是openjdk-8-jdk版本。在終端中輸入以下命令進行安裝：

sudo yum install -y java-1.8.0-openjdk-devel

然后，我們可以使用以下命令檢查是否正確安裝了JDK環(huán)境：

java -version

如果顯示以下內(nèi)容，則說明JDK環(huán)境已經(jīng)安裝成功：

openjdk version "1.8.0_232"OpenJDK Runtime Environment (build 1.8.0_232-b09)OpenJDK 64-Bit Server VM (build 25.232-b09, mixed mode)

三、安裝ZooKeeper

在安裝ZooKeeper之前，我們需要為其創(chuàng)建一個用戶，并授權：

sudo useradd zookeeper -m -s /bin/bashsudo passwd zookeepersudo chown -R zookeeper:zookeeper /usr/local/zookeeper

接下來，我們可以從官網(wǎng)上下載ZooKeeper，這里我使用的是ZooKeeper 3.4.14版本。在終端中輸入以下命令進行安裝：

wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gztar -zxvf zookeeper-3.4.14.tar.gzsudo mv zookeeper-3.4.14/ /usr/local/zookeeper

然后，我們需要創(chuàng)建ZooKeeper的配置文件：

sudo cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg

現(xiàn)在，我們可以啟動ZooKeeper了：

sudo /usr/local/zookeeper/bin/zkServer.sh start

可以使用以下命令檢查是否正確啟動了ZooKeeper：

sudo /usr/local/zookeeper/bin/zkServer.sh status

如果顯示以下內(nèi)容，則說明ZooKeeper已經(jīng)啟動成功：

Mode: standalone

四、安裝Kafka

在安裝Kafka之前，我們需要為其創(chuàng)建一個用戶，并授權：

sudo useradd kafka -m -s /bin/bashsudo passwd kafkasudo chown -R kafka:kafka /usr/local/kafka

接下來，我們可以從官網(wǎng)上下載Kafka，這里我使用的是Kafka 2.4.1版本。在終端中輸入以下命令進行安裝：

wget http://mirror.bit.edu.cn/apache/kafka/2.4.1/kafka_2.12-2.4.1.tgztar -zxvf kafka_2.12-2.4.1.tgzsudo mv kafka_2.12-2.4.1/ /usr/local/kafka

然后，我們需要創(chuàng)建Kafka的配置文件：

sudo cp /usr/local/kafka/config/server.properties /usr/local/kafka/config/server-1.propertiessudo cp /usr/local/kafka/config/server.properties /usr/local/kafka/config/server-2.properties

現(xiàn)在，我們可以啟動Kafka了。在終端中輸入以下命令啟動Kafka：

sudo /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server-1.propertiessudo /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server-2.properties

可以使用以下命令檢查是否正確啟動了Kafka：

sudo /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server-1.propertiessudo /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server-2.properties

如果顯示以下內(nèi)容，則說明Kafka已經(jīng)啟動成功：

[2020-03-05 22:10:26,773] INFO Kafka version: 2.4.1 (org.apache.kafka.common.utils.AppInfoParser:109)[2020-03-05 22:10:26,774] INFO Kafka commitId: c57222ae8cd7866b (org.apache.kafka.common.utils.AppInfoParser:110)[2020-03-05 22:10:26,781] INFO [KafkaServer id=1] started (kafka.server.KafkaServer:58)

五、創(chuàng)建主題和分區(qū)

在Kafka中，主題是消息的類別，可以將其理解為一個消息隊列。分區(qū)是一個物理概念，可以將一個主題分成多個分區(qū)，每個分區(qū)保存著一部分消息，因此可以分別在不同的節(jié)點上存儲數(shù)據(jù)，提高了消息的并發(fā)處理能力。在本文中，我們將為Kafka創(chuàng)建一個名為test的主題，并將其分成3個分區(qū)。在終端中輸入以下命令：

sudo /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic test

然后，我們可以使用以下命令查看創(chuàng)建的主題信息：

sudo /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

如果顯示以下內(nèi)容，則說明主題和分區(qū)已經(jīng)成功創(chuàng)建：

Topic:test PartitionCount:3 ReplicationFactor:2 Configs:    Topic: test Partition: 0 Leader: 1 Replicas: 1,2 Isr: 1,2    Topic: test Partition: 1 Leader: 2 Replicas: 2,1 Isr: 2,1    Topic: test Partition: 2 Leader: 1 Replicas: 2,1 Isr: 1,2

六、發(fā)送和接收消息

現(xiàn)在，我們已經(jīng)成功創(chuàng)建了一個名為test的主題，并將其分成了3個分區(qū)。接下來，讓我們來發(fā)送和接收一些消息。在終端中輸入以下命令：

1. 啟動一個Kafka生產(chǎn)者：

sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

此時，終端會進入等待消息輸入的狀態(tài)。

2. 啟動一個Kafka消費者：

sudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

此時，終端會輸出已經(jīng)發(fā)送的消息。

3. 在生產(chǎn)者終端中輸入一些消息，比如：

hello kafka!

4. 在消費者終端中，會輸出剛才發(fā)送的消息：

hello kafka!

至此，我們已經(jīng)成功地在CentOS 7上搭建了Kafka集群，并成功地發(fā)送和接收了一些消息。Kafka作為一種高性能、高可靠性的消息中間件，為許多企業(yè)提供了很好的解決方案。通過本文的學習，相信讀者已經(jīng)對Kafka的使用和應用有了更好的了解。

以上就是IT培訓機構千鋒教育提供的相關內(nèi)容，如果您有web前端培訓，鴻蒙開發(fā)培訓，python培訓，linux培訓，java培訓，UI設計培訓等需求，歡迎隨時聯(lián)系千鋒教育。