什麼樣的演算法可以用Spark重寫

lovemelovemycode發表於2014-12-05
Spark MLlib是一個機器學習的工具,事項了協同過濾、線性迴歸、支援向量機等若干演算法。可是氣象上還有很多演算法沒有事項。比如說常用的插值演算法:IDW,克里金,Cressman,樣條。

1 我想用Spark重寫一下這些演算法,什麼樣的演算法才可以用Spark重寫呢?

2 模糊記得網上有人說過,如果要用Spark重寫某個演算法,需要滿足一個條件:將問題描述為矩陣,該矩陣應該是可以拆分的(否則做不了並行),然後透過Spark對矩陣進行平行計算。計算結果就是演算法的結果。這樣說對嗎????

相關文章