- 通用的優(yōu)化方式

1. 盡早fliter掉一些不需要的數據以及避免一些不必要的序列化。

2. 避免使用深層嵌套數據類型。

3. 對于數據傾斜使用調整并行度或者雙層聚合的方式。

4. 一些基數較少的并且本身較長維度可以采用數據字典的方式減少網絡傳輸及內存占用、gc開銷。

- 數據類型和序列化 Flink支持java、scala基本數據類型，以及java Tuples、scala Case Class、Flink Value，對于這些數據類型，flink會采用自身的序列化反序列化器去做序列化操作，對于其他數據類型，flink會采用kyro方式序列化，kyro序列化方式效率會比flink自帶的方式低很多。因此在數據序列化方面我們可以做如下工作

1. 嘗試使用transient修飾不需要序列化的變量，或者修飾你可以在下游通過其他方式獲取到變量，這個可以減少序列化流程和網絡傳輸(但可能帶來更多的內存占用用和gc消耗) 

2. 對于一些特殊的數據你可以嘗試重寫writeObject() 和 readObject() 來自己控制一些序列化方式，如果更高效的話

3. 如果使用了lambda或者泛型的話，顯式的指定類型信息讓flink類型提取系統(tǒng)識別到以提升性能。

- 多組相同keyby可使用DataStreamUtils在多組keyby的場景可以采用DataStreamUtils.reinterpretAsKeyedStream的方式避免多次shuffle操作 - 盡量減少狀態(tài)的大小

1. 設置合適的state TTL, 清洗過期狀態(tài)，避免狀態(tài)無限增大。

2. 減少狀態(tài)字段數， 比如使用aggreteFunction 做窗口聚合時，可以只將要聚合的信息放入狀態(tài)，其他keyBy字段以及窗口信息，可以通過processWindowFunction的方式獲取，這樣就是 aggregateFunction + ProcessWindowFunction，agg函數獲取聚合信息，輸出的結果到processwindowFunction中取獲取窗口信息。

3. checkpoint頻率不宜過高，超時時間不要太長，可以異步化的地方盡量異步化