效能比較

mcxiaoracle發表於2022-06-16

Presto效能不足的原因

  • split排程模式,執行緒切換極高,而有效利用率不高
  • 設計上嵌入了大量的實時統計,這些損耗太多
  • 謂詞過濾效能不行,如TupleDomain體系的Predicate可能模糊/in/等條件沒有spark的定向最佳化好
  • 記憶體資料結構,buff有限,又是流水線式作業,有類似flink的背壓問題,快取處理不了時導致上游阻塞 降低了吞吐(尤其是stage較多的時候)
  • Task上的Pipeline裡Operator機制 太臃腫,函式呼叫鏈很長










推薦閱讀:

連結:


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69949806/viewspace-2900858/,如需轉載,請註明出處,否則將追究法律責任。

相關文章