千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機構(gòu)
關(guān)注千鋒學(xué)習(xí)站小程序
隨時隨地免費學(xué)習(xí)課程
互聯(lián)網(wǎng)的快速發(fā)展帶來了數(shù)據(jù)快速增加,海量數(shù)據(jù)的存儲已經(jīng)不是一臺機器所能處理的問題了。Hadoop的技術(shù)就應(yīng)運而生。在千鋒大數(shù)據(jù)培訓(xùn)講師的講解之后,對這個概念有了一個比較系統(tǒng)的了解??梢灾vHadoop的核心內(nèi)容看作是兩個部分,一個是分布式存儲,一個是分布式計算。
對于分布式存儲,Hadoop有自己的一套系統(tǒng)來處理叫Hadoop distribution file system。為什么分布式存儲需要一個額外的系統(tǒng)來處理,而不是就把1TB以上的文件分開存放就好了。如果不采用新的系統(tǒng),我們存放的東西沒辦進行一個統(tǒng)一的管理。存放在A電腦的東西只能在連接到A去找,存在B的又得單獨去B找。繁瑣且不便于管理。而這個分布式存儲文件系統(tǒng)能把這些文件分開存儲的過程透明化,用戶看不到文件是怎么存儲在不同電腦上,看到的只是一個統(tǒng)一的管理界面?,F(xiàn)在的云盤就是很好的給用戶這種體驗。
對于分布式計算。在對海量數(shù)據(jù)進行處理的時候,一臺機器肯定也是不夠用的。所以也需要考慮將將數(shù)據(jù)分在不同的機器上并行的進行計算,這樣不經(jīng)可以節(jié)省大量的硬件的I/O開銷。也能夠?qū)⒓涌煊嬎愕乃俣?。Hadoop對分布式計算的系統(tǒng)為MapReduce。Map即將數(shù)據(jù)分開存放進行計算,Reduce將分布計算的得到的結(jié)果進行整合,最后匯總得到一個最終的結(jié)果。這樣對Hadoop的技術(shù)有一個清晰框架思路。
相關(guān)文章
了解千鋒動態(tài)
關(guān)注千鋒教育服務(wù)號
掃一掃快速進入
千鋒移動端頁面
掃碼匿名提建議
直達CEO信箱