大數(shù)據(jù)的使用范圍很廣,學(xué)習(xí)范圍也同樣很廣,我們平時(shí)用到的淘寶、抖音、健康寶都需要用到大數(shù)據(jù),甚至有人說(shuō),大數(shù)據(jù)比你更了解你自己。從這一點(diǎn)來(lái)看,大數(shù)據(jù)是一種偉大的技術(shù)。想要轉(zhuǎn)行,大數(shù)據(jù)開發(fā)學(xué)習(xí)路線如何規(guī)劃?小編以千鋒的大數(shù)據(jù)培訓(xùn)課程為例為大家介紹。
第一階段:離線數(shù)倉(cāng)(7周)
1.掌握能力
掌握企業(yè)級(jí)基建環(huán)境部署、Hive和Spark數(shù)據(jù)開發(fā)、數(shù)據(jù)倉(cāng)庫(kù)搭建、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載、數(shù)據(jù)應(yīng)用和京東離線ETL。
2.技術(shù)點(diǎn)
Java、MySQL、Maven、Git、OpenResty、Linux、Shell、HDFS、YARN、Zookeeper、MapReduce、Scala、Python、SparkCore、Hive、SparkSQL、Presto、Sqoop、DataX、Flume、CDH、數(shù)倉(cāng)架構(gòu)、維度建模、SuperSet、Azkaban、Airflow等。掌握企業(yè)級(jí)基建環(huán)境部署、Hive和Spark數(shù)據(jù)開發(fā)、數(shù)據(jù)倉(cāng)庫(kù)搭建、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載、數(shù)據(jù)應(yīng)用和京東離線ETL。
3.項(xiàng)目
數(shù)據(jù)服務(wù)、大數(shù)據(jù)可視化、企業(yè)級(jí)Hadoop基建項(xiàng)目部署、分布式網(wǎng)絡(luò)爬蟲、基于Spark的大數(shù)據(jù)分析項(xiàng)目、ETL項(xiàng)目之Hive和SparkSQL、BI商業(yè)分析等。
第二階段:實(shí)時(shí)倉(cāng)庫(kù)(5周)
1.掌握能力
掌握流數(shù)據(jù)接入、基于Flink實(shí)時(shí)數(shù)據(jù)開發(fā)、流批一體數(shù)據(jù)倉(cāng)庫(kù)開發(fā)、數(shù)據(jù)湖開發(fā)、實(shí)時(shí)ETL、實(shí)時(shí)監(jiān)控系統(tǒng)和京東實(shí)時(shí)數(shù)據(jù)開發(fā)。
2.技術(shù)點(diǎn)
Kafka、Structured Streaming、Hudi、Canal、Flink、ClickHouse、HBase、Phoenix、Elasticsearch、Redis。
3.項(xiàng)目
實(shí)時(shí)監(jiān)控系統(tǒng)、基于Flink的實(shí)時(shí)數(shù)據(jù)開發(fā)、實(shí)時(shí)數(shù)據(jù)湖、大數(shù)據(jù)搜索系統(tǒng)。
第三階段:實(shí)時(shí)倉(cāng)庫(kù)(4周)
1.掌握能力
掌握企業(yè)項(xiàng)目開發(fā)流程、用戶畫像開發(fā)、企業(yè)級(jí)推薦系統(tǒng)開發(fā)、數(shù)據(jù)治理、基于生產(chǎn)環(huán)境項(xiàng)目部署和京東項(xiàng)目性能調(diào)優(yōu)。
2.技術(shù)點(diǎn)
數(shù)據(jù)采集與監(jiān)控平臺(tái)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)、用戶畫像、推薦系統(tǒng)、基于Flink的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)、元數(shù)據(jù)管理與數(shù)據(jù)治理。
3.勝任職位
數(shù)據(jù)服務(wù)工程師、離線數(shù)據(jù)倉(cāng)庫(kù)開發(fā)工程師、BI商業(yè)分析師、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)工程師、實(shí)時(shí)監(jiān)控系統(tǒng)工程師、ETL工程師、數(shù)據(jù)可視化工程師、數(shù)據(jù)治理工程師、高級(jí)數(shù)據(jù)開發(fā)工程師、推薦工程、數(shù)據(jù)平臺(tái)工程師、數(shù)據(jù)架構(gòu)師。
以上就是大叔與開發(fā)學(xué)習(xí)路線,但大家不要盲目地學(xué)習(xí),大數(shù)據(jù)雖然是一門當(dāng)前很火熱的技術(shù),但通過(guò)上面的學(xué)習(xí)路線就能看出,學(xué)好大數(shù)據(jù)并不容易,我們最好先系統(tǒng)了解大數(shù)據(jù),去培訓(xùn)機(jī)構(gòu)參加試聽課,如果能適應(yīng)能接受,再?zèng)Q定學(xué)習(xí)也不晚。千鋒教育歡迎你隨時(shí)來(lái)咨詢大數(shù)據(jù)培訓(xùn)課程!