所有events,增加頭,類似json格式里的"headers":{" key":" value"} 時(shí)間戳（頭部插入時(shí)間戳）、主機(jī)（頭部插入主機(jī)名和IP）、靜態(tài)（頭部插入指定KV）、正則過(guò)濾（留下符合條件的）、自定義 攔截器作用 1）ETL攔截器：輕度清洗，過(guò)濾出Json格式不完整的數(shù)據(jù) 2）時(shí)間攔截器：提取日志時(shí)間作為分區(qū)的依據(jù)，避免零點(diǎn)漂移問(wèn)題 自定義攔截器步驟 1）實(shí)現(xiàn)Interceptor 2）重寫方法 ?。?）initialize初始化方法 ?。?）public Event intercept(Event event) 處理單個(gè)Event ?。?）public List intercept(List events) 處理多個(gè)Event，在這個(gè)方法中調(diào)用Event intercept(Event event) ?。?）close方法 3）靜態(tài)內(nèi)部類，實(shí)現(xiàn)Interceptor.Builder 4）打包，上傳至flume/lib目錄下 5）在配置文件中關(guān)聯(lián)：全類名 + $builder 攔截器可以不用嗎？ 可以不用，在hive的dwd層或sparkStream中處理即可，也可以用，但會(huì)影響性能，不推薦用在實(shí)時(shí)性高的場(chǎng)景
京公網(wǎng)安備 11010802030320號(hào)