開源大資料週刊-第86期

開源大資料發表於2018-05-11

資訊

美國當地時間5月8日,谷歌I/O 2018開發者大會在美國加州山景城拉開帷幕。在本屆大會上,人工智慧成為貫穿全場的主題。谷歌不僅釋出了新一代為機器學習定製的晶片TPU(張量處理器)、結合了AI技術的Android P系統,還升級了不少AI應用。

5月5日,國家資訊中心釋出了2018中國大資料發展報告,資料顯示,我國數字經濟已形成五大聚集區,相關投資增加明顯。報告顯示,2017年我國政府和市場在“數字中國”建設領域的投資熱度繼續高漲,特別是中西部地區的投入力度明顯加大,其中,各級政府的相關投資專案有超過六成投向了公共服務領域。在2017年,成功融資的數字經濟類企業數量延續了這幾年的穩步增長,較上一年增幅近20%。

以色列時間5月2日,以色列總理內塔尼亞胡會見阿里巴巴董事局主席馬雲,雙方就人工智慧、大資料、網路安全等創新技術的未來發展圖景展開探討。內塔尼亞胡表示人工智慧、網路安全和健康領域與阿里巴巴有廣闊的合作空間。馬雲也表示,阿里巴巴今後將繼續在以色列投入研發,幫更多的以色列企業家來中國開拓市場,帶更多的中國企業家訪問以色列。

技術

本文儘量避免涉及過多的技術細節,主要從系統架構的角度加以闡述,如何自動化一套機器學習預測系統並與 Google UAC (通用應用廣告平臺) 相結合,最終提高 7 倍轉化率,2.6 倍投資回報率,降低 63% 付費使用者獲取成本。

PayPal資料團隊開發了名為Gimel的全新分析平臺,它會使用一個資料API和SQL訪問任意資料儲存,並且提供了一箇中心化的資料目錄。 來自PayPal的Romit Mehta和Deepak Chandramouli在最近的QCon.ai會議上介紹了Gimel資料分析平臺以及它如何用於商業化資料訪問。他們討論了Gimel的元件:計算平臺(Compute Platform)、資料API(Data API)、PCatalog、GSQL和Notebooks,還宣佈了該平臺的開源版本。

隨著蘇寧大資料平臺的規模越來越大,HDFS叢集Namenode逐漸出現效能瓶頸,特別是在凌晨任務的高併發期,Namenode的RPC響應延遲較高,單次寫RPC請求甚至超過1s,嚴重影響了叢集的計算效能。因此解決HDFS的擴充套件性問題,勢在必行。本文將介紹在蘇寧我們是怎麼解決這個問題的。

本文結合NoSQL與NewSQL的差異,從縱向來談談OLTP場景“分散式資料庫”實現方案的關鍵技術要點。


相關文章