想要學(xué)好java技術(shù)，不是一天兩天的事情，因?yàn)閖ava包含的技術(shù)知識(shí)點(diǎn)有很多，Kafka架構(gòu)就是其中一種，本期小編為大家介紹的java培訓(xùn)教程就是關(guān)于Kafka架構(gòu)的，學(xué)習(xí)了解Kafka數(shù)據(jù)處理、Kafka 核心組件、broker和集群、Consumer與topic關(guān)系、Kafka消息的分發(fā)、Consumer的負(fù)載均衡開發(fā)技術(shù)。

　　java培訓(xùn)教程分享：深度了解Kafka架構(gòu)知識(shí)

　　1. Kafka數(shù)據(jù)處理步驟

　　1.1 Producer產(chǎn)生消息發(fā)送到Broker中;

　　1.2 Leader狀態(tài)的Broker接收消息，寫入到相應(yīng)topic中;

　　1.3 Leader狀態(tài)的Broker接收完畢以后，傳給Follow狀態(tài)的Broker作為副本備份;

　　1.4 Consumer消費(fèi)Broker中的消息。

　　2. Kafka 核心組件

　　2.1 Producer：消息生產(chǎn)者產(chǎn)生的消息將會(huì)被發(fā)送到某個(gè)topic;

　　2.2 Consumer：消息消費(fèi)者，消費(fèi)的消息內(nèi)容來自某個(gè)topic;

　　2.3 Topic：消息根據(jù)topic進(jìn)行歸類，topic其本質(zhì)是一個(gè)目錄，即將同一主題消息歸類到同一個(gè)目錄;

　　2.4 Broker：每一個(gè)kafka實(shí)例(或者說每臺(tái)kafka服務(wù)器節(jié)點(diǎn))就是一個(gè)broker，一個(gè)broker可以有多個(gè)topic;

　　2.5 Zookeeper： Zookeeper集群不屬于kafka內(nèi)的組件，但kafka依賴 Zookeeper集群保存meta信息，所以在此做聲明其重要性。

　　3. broker和集群

　　一個(gè)獨(dú)立的Kafka服務(wù)器稱為broker，broker接收來自生產(chǎn)者的消息為消息設(shè)置偏移量并提交消息到磁盤保存。broker為消費(fèi)者提供服務(wù)，對(duì)讀取分區(qū)的請(qǐng)求作出響應(yīng)，返回已經(jīng)提交到磁盤上的消息。根據(jù)特定的硬件及其性能特征，單個(gè)broker可以輕松處理數(shù)千個(gè)分區(qū)以及每秒百萬級(jí)的消息量。

　　broker是集群的組成部分。每個(gè)集群都有一個(gè)broker同時(shí)充當(dāng)了集群控制器的角色(自動(dòng)從集群的活躍成員中選舉出來)?？刂破髫?fù)責(zé)管理工作，包括將分區(qū)分配給broker和監(jiān)控broker。在集群中，一個(gè)分區(qū)從屬于一個(gè)broker，該broker被稱為分區(qū)的首領(lǐng)。一個(gè)分區(qū)可以分配多個(gè)broker，這個(gè)時(shí)候會(huì)發(fā)生分區(qū)復(fù)制。這種復(fù)制機(jī)制為分區(qū)提供了消息冗余，如果一個(gè)broker失效，其他broker可以接管領(lǐng)導(dǎo)權(quán)。不過，相關(guān)的消費(fèi)者和生產(chǎn)者都要重新連接到新的首領(lǐng)。

　　4. Consumer與topic關(guān)系

　　kafka只支持Topic

　　•每個(gè)group中可以有多個(gè)consumer，每個(gè)consumer屬于一個(gè)consumer group;通常情況下，一個(gè)group中會(huì)包含多個(gè)consumer，這樣不僅可以提高topic中消息的并發(fā)消費(fèi)能力，而且還能提高”故障容錯(cuò)”性，如果group中的某個(gè)consumer失效那么其消費(fèi)的partitions將會(huì)由其它c(diǎn)onsumer自動(dòng)接管。

　　•對(duì)于Topic中的一條特定的消息，只會(huì)被訂閱此Topic的每個(gè)group中的其中一個(gè)consumer消費(fèi)，此消息不會(huì)發(fā)送給一個(gè)group的多個(gè)consumer;那么一個(gè)group中所有的consumer將會(huì)交錯(cuò)的消費(fèi)整個(gè)Topic，每個(gè)group中consumer消息消費(fèi)互相獨(dú)立，我們可以認(rèn)為一個(gè)group是一個(gè)”訂閱”者。

　　•在kafka中,一個(gè)partition中的消息只會(huì)被group中的一個(gè)consumer消費(fèi)(同一時(shí)刻);

　　一個(gè)Topic中的每個(gè)partions，只會(huì)被一個(gè)”訂閱者”中的一個(gè)consumer消費(fèi)，不過一個(gè)consumer可以同時(shí)消費(fèi)多個(gè)partitions中的消息。

　　•kafka的設(shè)計(jì)原理決定,對(duì)于一個(gè)topic，同一個(gè)group中不能有多于partitions個(gè)數(shù)的consumer同時(shí)消費(fèi)，否則將意味著某些consumer將無法得到消息，而處于空閑狀態(tài)。

　　kafka只能保證一個(gè)partition中的消息被某個(gè)consumer消費(fèi)時(shí)是順序的;事實(shí)上，從Topic角度來說,當(dāng)有多個(gè)partitions時(shí),消息仍不是全局有序的。

　　5. Kafka消息的分發(fā)

　　•Producer客戶端負(fù)責(zé)消息的分發(fā)

　　•kafka集群中的任何一個(gè)broker都可以向producer提供metadata信息,這些metadata中包含”集群中存活的servers列表”、“partitions leader列表”等信息;

　　•當(dāng)producer獲取到metadata信息之后, producer將會(huì)和Topic下所有partition leader保持socket連接;

　　•消息由producer直接通過socket發(fā)送到broker，中間不會(huì)經(jīng)過任何”路由層”。事實(shí)上，消息被路由到哪個(gè)partition上由producer客戶端決定，比如可以采用”random””key-hash””輪詢”等。

　　•如果一個(gè)topic中有多個(gè)partitions,那么在producer端實(shí)現(xiàn)”消息均衡分發(fā)”是必要的。

　　•在producer端的配置文件中,開發(fā)者可以指定partition路由的方式。

　　•Producer消息發(fā)送的應(yīng)答機(jī)制

　　設(shè)置發(fā)送數(shù)據(jù)是否需要服務(wù)端的反饋,有三個(gè)值0,1,-1

　　–0: producer不會(huì)等待broker發(fā)送ack

　　–1: 當(dāng)leader接收到消息之后發(fā)送ack

　　–-1: 當(dāng)所有的follower都同步消息成功后發(fā)送ack

　　request.required.acks=0

　　6. Consumer的負(fù)載均衡

　　當(dāng)一個(gè)group中,有consumer加入或者離開時(shí),會(huì)觸發(fā)partitions均衡.均衡的最終目的,是提升topic的并發(fā)消費(fèi)能力，步驟如下：

　　1.假如topic1,具有如下partitions: P0,P1,P2,P3

　　2.加入group A 中,有如下consumer: C0,C1

　　3.首先根據(jù)partition索引號(hào)對(duì)partitions排序: P0,P1,P2,P3

　　4.根據(jù)consumer.id排序: C0,C1

　　5.計(jì)算倍數(shù): M = [P0,P1,P2,P3].size / [C0,C1].size,本例值M=2(向上取整)

　　6.然后依次分配partitions: C0 = [P0,P1],C1=[P2,P3],即Ci = [P(i * M),P((i + 1) * M -1)]

　　關(guān)于Kafka架構(gòu)的知識(shí)，就是以上介紹的這么多了，千鋒教育Java培訓(xùn)教程內(nèi)容有很多，每一個(gè)階段都會(huì)仔細(xì)講解，千鋒教育java培訓(xùn)機(jī)構(gòu)歡迎每位想要學(xué)習(xí)java技術(shù)的學(xué)員來我們的java培訓(xùn)班學(xué)習(xí)，大家也可以先點(diǎn)擊咨詢按鈕來獲取我們的java課程免費(fèi)試聽資格，在試聽中可以更加深入的了解我們千鋒教育。