對多次使用的RDD進行持久化或Checkpoint
-
如果程式中,對某一個RDD,基於它進行了多次transformation或者action操作。那麼就非常有必要對其進行持久化操作,以避免對一個RDD反覆進行計算。
-
此外,如果要保證在RDD的持久化資料可能丟失的情況下,還要保證高效能,那麼可以對RDD進行Checkpoint操作。
如果程式中,對某一個RDD,基於它進行了多次transformation或者action操作。那麼就非常有必要對其進行持久化操作,以避免對一個RDD反覆進行計算。
此外,如果要保證在RDD的持久化資料可能丟失的情況下,還要保證高效能,那麼可以對RDD進行Checkpoint操作。