hadoop對(duì)于很多人來說很陌生，可能有部分人在網(wǎng)上了解編程或者是大數(shù)據(jù)課程的時(shí)候見過hadoop這個(gè)詞，或者是聽別人說起過hadoop，但是對(duì)hadoop并了解，也不知道hadoop可以干些什么，下面小編給大家介紹一下hadoop的用途和應(yīng)用場(chǎng)景。

什么是hadoop？

Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），其中一個(gè)組件是HDFS。HDFS有高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，而MapReduce則為海量的數(shù)據(jù)提供了計(jì)算 。

hadoop開發(fā)工程師是做什么

簡單的說Hadoop是由java語言編寫的，是大數(shù)據(jù)的核心技術(shù)點(diǎn)，學(xué)習(xí)大數(shù)據(jù)開發(fā)必須要學(xué)習(xí)hadoop。Hadoop可以用來進(jìn)行大數(shù)據(jù)存儲(chǔ)、日志處理、機(jī)器學(xué)習(xí)、搜索引擎、數(shù)據(jù)挖掘等，在分布式服務(wù)器集群上存儲(chǔ)海量數(shù)據(jù)并運(yùn)行分布式分析應(yīng)用的開源框架，其核心部件是HDFS與MapReduce。

HDFS是一個(gè)分布式文件系統(tǒng)：引入存放文件元數(shù)據(jù)信息的服務(wù)器Namenode和實(shí)際存放數(shù)據(jù)的服務(wù)器Datanode，對(duì)數(shù)據(jù)進(jìn)行分布式儲(chǔ)存和讀取。 MapReduce是一個(gè)計(jì)算框架：MapReduce的核心思想是把計(jì)算任務(wù)分配給集群內(nèi)的服務(wù)器里執(zhí)行。通過對(duì)計(jì)算任務(wù)的拆分（Map計(jì)算/Reduce計(jì)算）再根據(jù)任務(wù)調(diào)度器（JobTracker）對(duì)任務(wù)進(jìn)行分布式計(jì)算。

hadoop應(yīng)用場(chǎng)景有哪些呢？

像Google這樣的大型互聯(lián)網(wǎng)搜索引擎，以及Yahoo專門的廣告分析系統(tǒng)，也許你會(huì)想，Hadoop平臺(tái)發(fā)揮作用的領(lǐng)域是互聯(lián)網(wǎng)行業(yè)，用來改善分析性能并提高擴(kuò)展性。  

深入挖掘你會(huì)發(fā)現(xiàn)，Haddop的業(yè)務(wù)場(chǎng)景還是比較多的，如下：        

1、在線旅游：目前全球范圍內(nèi)80%的在線旅游網(wǎng)站都是在使用Cloudera公司提供的Hadoop發(fā)行版。

2、移動(dòng)數(shù)據(jù)：國外有70%的智能手機(jī)數(shù)據(jù)服務(wù)都是由Hadoop來支撐的，包括數(shù)據(jù)的存儲(chǔ)和無線運(yùn)營商的數(shù)據(jù)處理等都，所使用的都是Hadoop技術(shù)。

3、電子商務(wù)：eBay就是最大的實(shí)踐者。

4、能源開采：利用Hadoop進(jìn)行數(shù)據(jù)的收集和處理

5、節(jié)能：為消費(fèi)者提供節(jié)約電費(fèi)的服務(wù)，其中對(duì)用戶電費(fèi)單進(jìn)行了預(yù)測(cè)分析。

Hadoopp的業(yè)務(wù)場(chǎng)景比較多，還有基礎(chǔ)架構(gòu)管理、圖像處理、詐騙檢測(cè)、IT安全、醫(yī)療保健等等，Hadoop未來的前景是非常明亮的，處在DT時(shí)代，人工智能和大數(shù)據(jù)的基本知識(shí)，一定要知道，我聽朋友說，多智時(shí)代這方面的科譜做不的不錯(cuò)，有時(shí)間可以看看。

學(xué)hadoop有前景嗎？

首先，從當(dāng)前大數(shù)據(jù)領(lǐng)域的人才需求情況來看，掌握Hadoop相關(guān)內(nèi)容還是比較容易實(shí)現(xiàn)就業(yè)的，而且不少崗位的崗位附加值還比較高，從產(chǎn)業(yè)互聯(lián)網(wǎng)發(fā)展的大趨勢(shì)來看，未來以Hadoop等平臺(tái)進(jìn)行行業(yè)創(chuàng)新，將是一個(gè)重要的發(fā)展趨勢(shì)，相關(guān)的人才需求潛力也會(huì)比較大。