Liugi資料管線的視覺化管理圖
近日創業公司Mortar就將Spotify開發的開源大資料工具Luigi搬上雲端，在亞馬遜雲上提供複雜的，涉及大量工具和資料庫的大資料流水線處理服務，不論是否使用Hadoop，使用者都可以用Luigi管理複雜的大資料工作流。
Mortar公司最初的產品是提供一個編寫和啟動Hadoop任務的簡單框架，執行在亞馬遜彈性MapReduce雲服務上。2012 年，Mortar開始開源一些產品程式碼並分享一些Hadoop任務模板。2013年，Mortar與一群優秀的資料科學家協作，幫助使用者開發推薦引擎，並 期望能夠從中摸索出在Mortar平臺上執行這些任務的流程。
如今，Mortar的產品戰略已經擴充套件到了Hadoop以外，希望使用者通過Mortar管理的應用不再侷限於Hadoop圈子。
Mortar執行長K Young指出：雖然Hadoop在客戶那裡非常受歡迎，但還是有很多重要的資料並不需要Hadoop，或者根本就不適用。通過以雲服務的方式提供 Luigi工具，Mortar的使用者如今能夠使用Python開發和視覺化通往任何資料庫或處理環境的大資料管線，只要它們支援API訪問。
Young還認為雲端版Liugi將幫助使用者更快完成從原型到產品的過渡。Mortar也不準備放棄Hadoop，因為當今的大資料應用需要與多種處理環境對接，而開發者需要一種更簡單的方法來管理這個流程。
“事實上，很多大資料專案擱淺並非因為大資料技術的複雜性格或者缺少資料科學家，最大的問題是如何將資料從所在的地方轉移到需要（處理）的地方。”Young說道。
相關連結
評論(2)