Spark效能優化:對RDD持久化或CheckPoint操作

豐澤發表於2018-09-14

對多次使用的RDD進行持久化或Checkpoint

  • 如果程式中,對某一個RDD,基於它進行了多次transformation或者action操作。那麼就非常有必要對其進行持久化操作,以避免對一個RDD反覆進行計算。

  • 此外,如果要保證在RDD的持久化資料可能丟失的情況下,還要保證高效能,那麼可以對RDD進行Checkpoint操作。

Spark效能優化:對RDD持久化或CheckPoint操作

相關文章