HBase系列常見(jiàn)面試題匯總---怎樣合理設(shè)置HBase RowKey 2022-08-12
Rowkey 是一個(gè)二進(jìn)制碼流，建議越短越好，一般不超過(guò) 16 個(gè)字節(jié)，主要是出于以下的考慮：數(shù)據(jù)的持久化文件 HFile 中是按照 KeyValue 存儲(chǔ)的，...詳情>
HBase系列常見(jiàn)面試題匯總---給一個(gè)場(chǎng)景HBase的RowKey設(shè)計(jì) 2022-08-12
你的題目和描述不一致，你的描述是在說(shuō)ID-Mapping的問(wèn)題嗎，這和HBase行鍵設(shè)計(jì)是兩個(gè)領(lǐng)域的問(wèn)題。先說(shuō)第一個(gè)問(wèn)題HBase行鍵設(shè)計(jì)。加鹽(隨機(jī)前綴...詳情>
HDFS 機(jī)架感知詳解 2022-08-12
互聯(lián)網(wǎng)公司的 Hadoop 集群一般都會(huì)比較大，幾百臺(tái)服務(wù)器會(huì)分布在不同的機(jī)架上，甚至在不同的機(jī)房。出于保證數(shù)據(jù)安全性和數(shù)據(jù)傳輸?shù)母咝缘钠?..詳情>
Spark repartition和coalesce的區(qū)別 2022-08-12
repartition只是coalesce接口中shuffle為true的實(shí)現(xiàn)。不經(jīng)過(guò) shuffle，也就是coaleasce shuffle為false，是無(wú)法增加RDD的分區(qū)數(shù)的，比如你源RD...詳情>
Spark groupByKey 和 reduceBykey 區(qū)別 2022-08-12
reduceByKey 可以接收一個(gè) func 函數(shù)作為參數(shù)，這個(gè)函數(shù)會(huì)作用到每個(gè)分區(qū)的數(shù)據(jù)上，即分區(qū)內(nèi)部的數(shù)據(jù)先進(jìn)行一輪計(jì)算，然后才進(jìn)行 shuffle 將數(shù)...詳情>
Spark Streaming 窗口函數(shù) 2022-08-11
理解窗口的兩個(gè)關(guān)鍵概念，窗口長(zhǎng)度(window length)和滑動(dòng)間隔(slide interval)。 窗口函數(shù)會(huì)把原始 DStream 的若干批次的數(shù)據(jù)合并成為一個(gè)新的...詳情>
Spark Structured Streaming 優(yōu)勢(shì) 2022-08-11
增量查詢模型(Incremental query model)：Structured Streaming 將會(huì)在新增的流式數(shù)據(jù)上不斷執(zhí)行增量查詢，同時(shí)代碼的寫(xiě)法和批處理 API (基于 ...詳情>
大數(shù)據(jù)是干什么的？學(xué)完大數(shù)據(jù)有什么用 2022-07-29
大數(shù)據(jù)是干什么的？大數(shù)據(jù)是單臺(tái)計(jì)算機(jī)無(wú)法處理或在規(guī)定時(shí)間內(nèi)無(wú)法處理的一組數(shù)據(jù)。大數(shù)據(jù)是一種信息資產(chǎn)。接下來(lái)給大家分享一些大數(shù)據(jù)介紹及...詳情>
純小白去學(xué)大數(shù)據(jù)好學(xué)嗎？小白如何學(xué)習(xí)大數(shù)據(jù) 2022-07-19
純小白去學(xué)大數(shù)據(jù)好學(xué)嗎？對(duì)于零基礎(chǔ)的學(xué)員來(lái)說(shuō)，學(xué)習(xí)大數(shù)據(jù)還是有一定難度的。因此在學(xué)習(xí)前期需要打好基礎(chǔ)，尤其是JAVA語(yǔ)言基礎(chǔ)。如果有條件...詳情>
零基礎(chǔ)應(yīng)該如何進(jìn)行大數(shù)據(jù)的學(xué)習(xí)？這四個(gè)方法不能錯(cuò)過(guò) 2022-07-18
在大數(shù)據(jù)行業(yè)，這個(gè)名詞聽(tīng)上去有點(diǎn)空洞，甚至讓我們很多想入行的小伙伴都有些迷惑，但其實(shí)一提到大數(shù)據(jù)技術(shù)，大家的第一印象就“高薪”、“高...詳情>
熱問(wèn)標(biāo)簽 更多>>
熱問(wèn)TOP榜
在線提問(wèn)
專業(yè)導(dǎo)師線上坐鎮(zhèn)，解答個(gè)性化學(xué)習(xí)難題
提交問(wèn)題
京公網(wǎng)安備 11010802030320號(hào)