開源大資料週刊-第91期

開源大資料發表於2018-06-29
大資料

資訊

戰爭年代，人民群眾推著小推車踴躍支前。如今，在大資料支援下，國防交通民用運力動員會發生怎樣的變化？

2017年12月26日，新華社向全球釋出了中國第一個媒體人工智慧平臺——媒體大腦1.0，引起海內外廣泛關注。僅僅半年後，2018年6月13日，新華社又向全球釋出了媒體大腦2.0——“MAGIC”智慧生產平臺。

DataWorks Summit 2018 近日如期在美國加州舉行，今年的主題是“Ideas Insights Innovation”。

Java 的新版本釋出計劃意味著總會有一款新的 JDK 即將推出。根據他們的計劃，6 月將是 JDK 11 第一階段的釋出時期，7 月將專門用於第二階段的測試和釋出，而首個釋出候選版和最終釋出候選版則定於 8 月份釋出。

技術

Spark SQL 是一個高度可擴充套件且高效的關係處理引擎，具有易於使用的 API 和中間查詢容錯功能。 它是 Apache Spark 的核心模組。Spark SQL可以處理，整合和分析來自不同資料來源（例如Hive，Cassandra，Kafka和Oracle）和檔案格式（例如Parquet，ORC，CSV和JSON）的資料。 這次演講將深入 SparkSQL 的技術細節，涵蓋查詢執行的整個生命週期。 通過本文將對 Spark SQL 有更深入的瞭解，以及瞭解如何調整Spark SQL的效能。

Apache Pulsar（孵化器專案）是一個企業級的釋出訂閱（pub-sub）訊息系統，最初由Yahoo開發，並於2016年底開源，現在是Apache軟體基金會的一個孵化器專案。Pulsar在Yahoo的生產環境執行了三年多，助力Yahoo的主要應用，如Yahoo Mail、Yahoo Finance、Yahoo Sports、Flickr、Gemini廣告平臺和Yahoo分散式鍵值儲存系統Sherpa。

本文將會以概述的形式為讀者您提供 Apache 軟體基金會的一切內容，相信一定是您一直以來都存有疑問，但還沒有來得及細問的內容。涵蓋：member 與 committer 的區別、誰決定什麼事、選舉是如何進行的、基礎設施又是如何工作的、董事會又是什麼、什麼是PMC、孵化器背後的哲學思想又是什麼、以及ASF是如何處理多年以來新專案和貢獻者的驚人增長所帶來的挑戰。本文將帶你走近 Apache 軟體基金會的幕後，一探其背後的運作機理。

本文介紹了4399 大資料團隊在公司大資料平臺上應用Kylin 的實踐經驗，並基於應用中遇到的問題給出了對應的優化建議。


相關文章