久久精品国产亚洲高清|精品日韩中文乱码在线|亚洲va中文字幕无码久|伊人久久综合狼伊人久久|亚洲不卡av不卡一区二区|精品久久久久久久蜜臀AV|国产精品19久久久久久不卡|国产男女猛烈视频在线观看麻豆

　　在千鋒大數(shù)據(jù)培訓第二階段的學習剛剛結(jié)束，讓我感覺到時間總是像從指尖流過的細沙，在不經(jīng)意間悄然滑落。那些往日的憂愁和悲傷，在似水流年的蕩滌下隨波輕輕地逝去，而留下的歡樂和笑靨就在記憶深處歷久彌新，而對于編程技術(shù)的學習，我想更多的還是需要去總結(jié)，才能更好的進步。

　　在千鋒大數(shù)據(jù)培訓第二階段的學習，第一部分就是HDFS文件存儲系統(tǒng)。就像我們操作系統(tǒng)的任意一種存儲系統(tǒng)一樣，這個模塊決定了文件存在哪里，怎么存取。只不過他被hadoop集成使用。

　　主要的進程有三個：NameNode 、DataNode 、Secondary、Name這三個類，是有main函數(shù)的;第二部分就是計算框架mapreduce，同hadoop1.x里的實現(xiàn)基本一致;第三部分是調(diào)度框架yarn。yarn的作用是什么?調(diào)度!這個詞是精髓，調(diào)度資源，調(diào)度任務。主要進程：resourceManager ApplicationMaster，NodeManager這三個類，也是有main函數(shù)的。resourceManager 接到客戶端提交的任務，會申請資源(container)，本質(zhì)是在集群中的一臺機器上，與其上的NodeManager協(xié)調(diào)，在資源上啟動ApplicationMaster。然后把job的控制權(quán)交給ApplicationMaster。后者接管后，根據(jù)任務的描述信息，去向resourceManager 申請運行task的資源。根據(jù)resourceManager 的回饋(資源可用情況描述)，與可用的節(jié)點(NodeManager)協(xié)調(diào)，啟動task任務。task任務啟動，那么就使用計算框架內(nèi)容執(zhí)行具體的計算了，而hdfs文件讀取，貫穿于整個job執(zhí)行階段，這些是第二階段總結(jié)。

　　或許你對以上的總結(jié)沒有特別清晰的理解，但要知道的就是學習編程技術(shù)一定是給自己學的，而不是應付學習，最重要的就是要擺正學習態(tài)度，才會有進步的空間和提升。