寫數(shù)據(jù)流程 2022-09-02
1. 客戶端發(fā)出請求hdfs dfs -put /etc/profile /qf/data。2. namenode查看維護(hù)的目錄結(jié)構(gòu)，檢查/qf/data是否存在，如不存在直接報(bào)錯(cuò)”no such ...詳情>
Spark Streaming的窗口大小，每個(gè)窗口處理的數(shù)據(jù)量大小。 2022-09-02
該問題一定要根據(jù)業(yè)務(wù)需求來確定，比如要實(shí)現(xiàn)的需求為：統(tǒng)計(jì)每分鐘的前一個(gè)小時(shí)的在線人數(shù)。上面需求的窗口大?。ù翱陂L度）為1小時(shí)，然后再統(tǒng)...詳情>
SparkStreaming的批次間隔，處理完的的數(shù)據(jù)存在哪里 2022-09-02
批次間隔為SparkStreaming處理實(shí)時(shí)需求的時(shí)間間隔，需要根據(jù)業(yè)務(wù)需求來確定批次間隔。實(shí)時(shí)需求的處理結(jié)果一般是保存在能快速讀取的數(shù)據(jù)庫中來...詳情>
MapReduce的原理（重點(diǎn)） 2022-09-02
MapperTask 使用邏輯切片的方式劃分block，調(diào)用InputFormat中的算法進(jìn)行劃分，TextInputFormat默認(rèn)按照128M進(jìn)行劃分（默認(rèn)一個(gè)block至少有一片...詳情>
多線程的用處 2022-09-01
這樣可以為不同的任務(wù)步驟建立線程。網(wǎng)絡(luò)程序設(shè)計(jì)為提高網(wǎng)絡(luò)的利用效率，我們可能使用多線程，對每個(gè)連接用一個(gè)線程去處理。數(shù)據(jù)共享 同一個(gè)進(jìn)...詳情>
什么是線程 2022-09-01
為了減少系統(tǒng)開銷，從進(jìn)程中演化出了線程。線程存在于進(jìn)程中，共享進(jìn)程的資源。線程是進(jìn)程中的獨(dú)立控制流，由環(huán)境(包括寄存器組和程序計(jì)數(shù)器)...詳情>
線程和進(jìn)程區(qū)別 2022-09-01
在進(jìn)程切換時(shí)候，涉及到整個(gè)當(dāng)前進(jìn)程 CPU 環(huán)境的保存以及新被調(diào)度運(yùn)行的進(jìn)程的 CPU 環(huán)境的設(shè)置；并發(fā)性： 不僅進(jìn)程間可以并發(fā)執(zhí)行，而且在一個(gè)...詳情>
大數(shù)據(jù)面試題：ClickHouse為什么快？Git是什么？ 2022-09-01
Git是什么，介紹一下。Git是一個(gè)分布式版本控制器，相比較SVN來說，每個(gè)人都是一個(gè)版本的控制者，而且代表管理方便，使用簡單，現(xiàn)在git已經(jīng)整...詳情>
共享內(nèi)存特點(diǎn) 2022-09-01
1、 共享內(nèi)存是進(jìn)程間共享數(shù)據(jù)的一種最快的方法。一個(gè)進(jìn)程向共享的內(nèi)存區(qū)域?qū)懭肓藬?shù)據(jù)，共享這個(gè)內(nèi)存區(qū)域的所有進(jìn)程就可以立刻看到其中的內(nèi)容...詳情>
物聯(lián)網(wǎng)面試題之共享內(nèi)存篇 2022-09-01
什么是共享內(nèi)存？共享內(nèi)存是允許兩個(gè)或者多個(gè)進(jìn)程共享給定的存儲(chǔ)區(qū)域。進(jìn)程間通信為什么要使用共享內(nèi)存？在linux進(jìn)程間通信的方式中，共享內(nèi)存...詳情>
熱問標(biāo)簽 更多>>
熱問TOP榜
在線提問
專業(yè)導(dǎo)師線上坐鎮(zhèn)，解答個(gè)性化學(xué)習(xí)難題
提交問題
京公網(wǎng)安備 11010802030320號(hào)