一、有了Kafka+流處理框架，為什么還需要時(shí)序數(shù)據(jù)庫(kù)

在物聯(lián)網(wǎng)實(shí)際部署中，消息中間件（kafka，emq等）和時(shí)序數(shù)據(jù)庫(kù)通常是上下游的關(guān)系。

消息中間件有非常高的并發(fā)能力，能夠同時(shí)接受百萬(wàn)級(jí)的網(wǎng)絡(luò)連接。一個(gè)數(shù)據(jù)庫(kù)（包括關(guān)系數(shù)據(jù)庫(kù)和時(shí)序數(shù)據(jù)庫(kù)）創(chuàng)建一個(gè)會(huì)話（客戶(hù)端連接）的成本比較高，能接受的連接數(shù)量也就在幾百和幾千這樣的級(jí)別（分布式數(shù)據(jù)庫(kù)可以按節(jié)點(diǎn)數(shù)增加，但數(shù)量遠(yuǎn)遠(yuǎn)小于消息中間件）。當(dāng)面對(duì)大量的物聯(lián)網(wǎng)傳感器，消息中間件架設(shè)在中間，接受傳感器的數(shù)據(jù)，然后再批量寫(xiě)入到時(shí)序數(shù)據(jù)庫(kù)中。時(shí)序數(shù)據(jù)庫(kù)的寫(xiě)入吞吐量遠(yuǎn)遠(yuǎn)高于關(guān)系數(shù)據(jù)庫(kù)，每秒寫(xiě)入百萬(wàn)級(jí)和千萬(wàn)級(jí)的數(shù)據(jù)點(diǎn)都不是問(wèn)題。以分布式時(shí)序數(shù)據(jù)庫(kù)DolphinDB為例，6個(gè)服務(wù)器構(gòu)成的集群，每秒能達(dá)到千萬(wàn)測(cè)點(diǎn)的三副本寫(xiě)入。可以這么說(shuō)，消息中間件的高并發(fā)能力和時(shí)序數(shù)據(jù)庫(kù)的高吞吐量聯(lián)合起來(lái)，解決了物聯(lián)網(wǎng)海量數(shù)據(jù)的實(shí)時(shí)處理和存儲(chǔ)問(wèn)題。

至于時(shí)序數(shù)據(jù)庫(kù)的用途，參考其它回答，包括：提供永久的數(shù)據(jù)存儲(chǔ)和管理能力，數(shù)據(jù)查詢(xún)和分析等。

抽象來(lái)看，消息隊(duì)列與時(shí)序數(shù)據(jù)庫(kù)沒(méi)有本質(zhì)的區(qū)別，都是對(duì)時(shí)間序列數(shù)據(jù)的處理。但功能上，時(shí)序數(shù)據(jù)庫(kù)要有查詢(xún)、計(jì)算，而消息隊(duì)列只是簡(jiǎn)單的生產(chǎn)、消費(fèi)，先進(jìn)先出。由于要有計(jì)算、分析，無(wú)論是結(jié)構(gòu)化寫(xiě)入還是schemaless寫(xiě)入，時(shí)序數(shù)據(jù)庫(kù)內(nèi)部一定要把數(shù)據(jù)結(jié)構(gòu)化處理，否則沒(méi)法進(jìn)行計(jì)算和分析的。而消息隊(duì)列完全不用考慮這個(gè)，完全做非結(jié)構(gòu)化數(shù)據(jù)處理就行。從存儲(chǔ)設(shè)計(jì)的角度來(lái)看，兩者是沒(méi)有區(qū)別的，都需要有數(shù)據(jù)的保留策略，都需要對(duì)數(shù)據(jù)進(jìn)行分區(qū)分片。一個(gè)時(shí)間線的ID可以作為kafka來(lái)的key, 對(duì)數(shù)據(jù)指定partition.

兩者正在融合，開(kāi)源的TDengine就是這樣的，它不僅是時(shí)序數(shù)據(jù)庫(kù)，但同時(shí)又具備消息隊(duì)列的功能。這樣在大數(shù)據(jù)框架下，就能減少一個(gè)環(huán)節(jié)，降低系統(tǒng)復(fù)雜度，降低運(yùn)維成本。Kafka的企業(yè)版也在做類(lèi)似的事情，除消息隊(duì)列功能外，對(duì)外還提供SQL查詢(xún)，提供各種分析計(jì)算功能。

更進(jìn)一步，流式計(jì)算也可以融合進(jìn)來(lái)。流式計(jì)算也是基于時(shí)序數(shù)據(jù)的，因此TDengine從設(shè)計(jì)的名列前茅天起，就考慮了流式計(jì)算，但目前還僅僅提供時(shí)間驅(qū)動(dòng)的流式計(jì)算，后續(xù)版本會(huì)提供基于事件驅(qū)動(dòng)的流式計(jì)算。這樣對(duì)于物聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、IT運(yùn)維等場(chǎng)景，系統(tǒng)架構(gòu)將更進(jìn)一步簡(jiǎn)化，運(yùn)維成本進(jìn)一步降低。

延伸閱讀：

二、時(shí)間序列數(shù)據(jù)庫(kù)TSDB

TSDB（Time Series Database）：一系列數(shù)據(jù)點(diǎn)按照時(shí)間順序排列；時(shí)間序列數(shù)據(jù)就是歷史烙印，具有不變性、時(shí)間排序性。

（基于時(shí)間的一系列數(shù)據(jù)，在有時(shí)間的坐標(biāo)中將這些數(shù)據(jù)點(diǎn)連成線，往過(guò)去看可以做成多維度報(bào)表，揭示其趨勢(shì)性、規(guī)律性、異常性；往未來(lái)看可以做大數(shù)據(jù)分析、機(jī)器學(xué)校、實(shí)現(xiàn)預(yù)測(cè)和預(yù)警。

時(shí)序數(shù)據(jù)庫(kù)就是存放時(shí)序數(shù)據(jù)的數(shù)據(jù)庫(kù)，并且需要支持時(shí)序數(shù)據(jù)的快速寫(xiě)入、持久化、多維度的聚合查詢(xún)等基本功能）。