Spark Structured Streaming 優(yōu)勢 2022-08-11
增量查詢模型(Incremental query model)：Structured Streaming 將會在新增的流式數(shù)據(jù)上不斷執(zhí)行增量查詢，同時代碼的寫法和批處理 API (基于 ...詳情>
Spark讀取MySQL大表超時問題 2022-08-11
場景為Spark讀取一張MySQL表(innodb引擎)， 數(shù)據(jù)量8000萬，無自增ID，業(yè)務(wù)中一個字段為(訂單ID)主鍵。要將該表數(shù)據(jù)讀取后寫入到HDFS。詳情>
Spark 數(shù)據(jù)傾斜調(diào)優(yōu)10策（二） 2022-06-22
Spark通過 textFile(path, minPartitions) 方法讀取文件時，使用 TextInputFormat。對于不可切分的文件，每個文件對應(yīng)一個 Split 從而對應(yīng)一個...詳情>
凱哥 2022-01-14
原普科國際科技有限公司培訓(xùn)主管，曾任國內(nèi)航運業(yè)高級研發(fā)經(jīng)理。多年軟件開發(fā)經(jīng)驗和教學(xué)經(jīng)驗，形成了一整套的成熟的教學(xué)體系。主持了金融信息...詳情>
Mill 2022-01-14
原某軟件、軟通公司項目高級開發(fā)工程師，有5年以上研發(fā)經(jīng)驗，多年教學(xué)經(jīng)驗，擁有多年的離線和實時開發(fā)經(jīng)驗及項目實施經(jīng)驗，精通Spark、Hadoop...詳情>
熱問標(biāo)簽 更多>>
在線提問
專業(yè)導(dǎo)師線上坐鎮(zhèn)，解答個性化學(xué)習(xí)難題
提交問題
京公網(wǎng)安備 11010802030320號