在大數(shù)據(jù)開發(fā)過程中我們經(jīng)常會使用到消息隊列類型的組件，比較常見的就是Kafka與ActiveMQ，但很多同學鬧不懂兩者的區(qū)別和聯(lián)系，今天小千就來帶大家分析一下。

      一、背景分析

      消息隊列這個類型的組件一直是非常重要的組件，當經(jīng)過兩家企業(yè)后我就很堅信這個結論了。隊列這種東西，最廣泛的作用還是在于解耦，寬泛一點的說，它可以將不同部門的工作內(nèi)容進行有效的整合，基于一個約定好的格式，就可以兩頭互相不干擾的進行開發(fā)?？梢哉f這個生產(chǎn)消費的思想不僅僅適用于程序也適用于非常多的地方。

      目前對于我看到的來說，Kafka更多的還是做為一個數(shù)據(jù)源，數(shù)據(jù)橋梁的作用，不同業(yè)務之間的溝通。比如需要實時接入A部門的業(yè)務數(shù)據(jù)的話，就會有這樣的手段：

      落地到HDFS的數(shù)據(jù)會用來進行一些算法上的離線處理，而Kafka端則是給需要實時性的消費方。其實數(shù)據(jù)的消費方式無非也就實時和離線兩種方式。

      二、Kafka和ActiveMQ對比

      相比過去經(jīng)常使用的ActiveMQ，Kafka確實非常的不同，做一個對比來深化印象

      說到底，做為kafka的消費方，能感受到最大的不同還是在于幾個：

      1. 吞吐量確實非常高

      2.可以重讀歷史數(shù)據(jù)

      3.但是也有一些缺點：概念上比較復雜，相對于AMQ只需要知道ip和隊列名你就能獲得數(shù)據(jù)，Kafka使用起來非常繁瑣

      三、Kafka的基本概念（摘錄）

      1.Broker：消息中間件處理結點，一個Kafka節(jié)點就是一個broker，多個broker可以組成一個Kafka集群。

      2.Topic：一類消息，例如page view日志、click日志等都可以以topic的形式存在，Kafka集群能夠同時負責多個topic的分發(fā)。

      3.Partition：topic物理上的分組，一個topic可以分為多個partition，每個partition是一個有序的隊列。

      4.Segment：partition物理上由多個segment組成。

      5.offset：每個partition都由一系列有序的、不可變的消息組成，這些消息被連續(xù)的追加到partition中。partition中的每個消息都有一個連續(xù)的序列號叫做offset,用于partition唯一標識一條消息.

      四、Kafka消費端的常用參數(shù)

      看過上面的介紹之后，相信大家對Kafka與ActiveMQ都有一定的了解了吧，最后歡迎對大數(shù)據(jù)開發(fā)感興趣的同學來到千鋒大數(shù)據(jù)培訓班了解一下我們的大數(shù)據(jù)開發(fā)培訓課程，現(xiàn)在還有免費學習教程視頻可以領取，先到先得。