最新！SQL Server 2019將結合Spark建立統一資料平臺！

根據其官網最新訊息，微軟公佈了SQL Server 2019預覽版。在該預覽中，SQL Server不僅通過統一圖形和關係資料來進行查詢，還通過R和Python模型將機器學習帶入資料庫。隨著資料量和種類的增加，使用者需要輕鬆地跨所有型別的資料整合和分析，SQL Server 2019的目的就在於此。

雖然很多資料庫已經整合了Spark，但這對微軟來說絕對是有史以來的第一次。SQL Server 2019建立了統一資料平臺。其中，Apache Spark和Hadoop分散式檔案系統（HDFS）與SQL Server一起打包為整合解決方案，通過增加大資料叢集能力，SQL Server 2019提供了令人難以置信的資料庫管理功能擴充套件，進一步重新定義了SQL Server，完全超越了傳統的關係型資料庫。與其他版本一樣，SQL Server 2019通過智慧查詢處理，資料合規性工具和對永續性記憶體的支援，繼續為工作負載突破安全性，可用性和效能界限。SQL Server 2019可以承擔任何資料專案，從傳統的SQL Server工作負載（如OLTP，資料倉儲和BI）到AI和高階資料分析。

SQL Server提供了一個真正的混合平臺，具有從資料中心到公有云的一致表示，使其易於在任何位置執行。由於SQL Server 2019大資料叢集作為Kubernetes上的容器部署並具有內建管理服務，因此使用者可以在本地和雲上的各種支援平臺獲得一致的管理和部署體驗：OpenShift或Kubernetes， Azure Kubernetes服務（AKS），Azure Stack（在AKS上）和Azure上的OpenShift。藉助Azure Hybrid Benefit許可證和可移植性，使用者可以選擇在本地或Azure中執行SQL Server工作負載，而成本只是其他雲提供商的一小部分。

SQL Server——對所有資料的洞察能力

SQL Server將繼續開源，從SQL Server 2017支援Linux和容器到SQL Server 2019擁抱Spark和HDFS進而帶來統一的資料平臺體驗。使用SQL Server 2019，資料分析所需元件都將內建在託管叢集中，託管叢集易於部署且可根據業務需求擴充套件。HDFS，Spark，Knox，Ranger，Livy與SQL Server一起打包，快速輕鬆地部署為Kubernetes上的Linux容器。SQL Server通過消除結構化資料和非結構化資料之間存在的障礙，簡化對所有企業資料的管理。

以下是打破資料實現洞察力的障礙，在整個企業中提供的資料檢視：

 

• 簡化SQL Server使用者的大資料分析。SQL Server 2019使管理大資料環境變得更加容易，提供了建立資料湖所需的一切，包括HDFS和Spark，都與SQL Server深度整合，並得到微軟的全面支援。現在，使用者可以在結構化和非結構化資料上執行應用程式，分析和使用AI能力，使用者可使用熟悉的T-SQL查詢，熟悉Spark也可以使用Python、R、Scala或Java執行Spark作業以進行資料準備或分析，所有這些都整合在同一個叢集中。

• 使用者可自選喜歡的工具，為資料分析師和工程師提供所有資料（結構化和非結構化）的單一來源。使用SQL Server 2019，資料科學家可以通過Spark作業輕鬆分析SQL Server和HDFS中的資料。分析師可以使用SQL Server機器學習服務對大資料執行高階分析：在Hadoop中訓練大型資料集並在SQL Server中操作。資料科學家可以在Azure Data Studio擴充套件中使用在Jupyter notebook引擎上執行的全新notebook體驗，以互動方式執行資料的高階分析，並輕鬆與他人共享分析。

• 利用資料虛擬化打破資料孤島並在所有資料中提供統一檢視。從SQL Server 2016開始，PolyBase能夠在SQL Server中執行T-SQL查詢，從資料湖中提取資料並以結構化格式返回，所有這些都無需移動或複製資料。現在，在SQL Server 2019中，我們正在將資料虛擬化的概念擴充套件到其他資料來源，包括Oracle，Teradata，MongoDB，PostgreSQL等。使用新的PolyBase，我們可以使用虛擬化分解資料孤島並輕鬆組合多個來源的資料，從而避免資料移動和複製所產生的時間，精力，安全風險和重複資料。新的可彈性擴充套件的“資料池”和“計算池”通過快取資料和跨SQL Server多例項分發查詢執行，可以快速查詢虛擬化資料。

“從一開始，Sloan Digital Sky Survey資料庫就在SQL Server上執行，而SQL Server也儲存了物件目錄。我們很高興SQL Server 2019實現了當初對大資料叢集的承諾，這將使我們能夠增強該資料庫以包括所有大資料集。SQL Server 2019的分散式特性使我們能夠擴充套件新型模擬和下一代天文測量，資料集高達10PB或更多，遠遠超出我們當前資料庫解決方案的限制。“ - Gerard Lemson博士 ，約翰斯·霍普金斯大學Data Intensive Engineering and Science。

增強的效能，安全性和可用性

SQL Server 2019引擎將在關鍵任務效能，安全性，合規性，資料庫可用性，Linux上的SQL Server和容器，通用引擎方面提供新的增強功能。

效能提升 - 智慧資料庫

• 智慧查詢處理系列功能基於SQL Server 2017中的自適應查詢處理，包括行模式記憶體反饋，近似COUNT DISTINCT，行儲存上的批處理模式和表變數延遲編譯。

• 此版本中的持久化記憶體支援得到改進，新的I/O優化路徑可用於與永續性記憶體儲存互動。

• 現在，預設情況下啟用輕量級查詢分析基礎結構，以便隨時隨地為每個查詢運算子提供統計資訊。

高階安全性 - 加密計算

• 使用安全區域進行加密擴充套件了SQL Server 2016中引入的客戶端加密技術。安全區域保護資料庫內硬體或軟體建立的安全區中的敏感資料，使其免受惡意軟體和特權使用者的攻擊，同時對加密資料啟用高階操作。

• SQL資料發現和分類內建於SQL Server引擎中，具有新的後設資料和審計支援，可幫助滿足GDPR和其他合規性需求。

• 使用SQL Server配置管理器可以更輕鬆地進行認證管理。

關鍵任務可用性 - 高可用

• 在可用性方面增強，包括基於讀/寫意圖自動重定向到主伺服器的連線。

• 可以使用Kubernetes的Always On Availability Groups啟用在容器中執行的SQL Server高可用性配置。

• Resumable線上索引支援建立操作幷包括資料庫作用域預設值。

開發

• SQLGraph的增強功能包括對T-SQL MERGE和邊緣約束的匹配支援。

• 新的UTF-8支援使使用者能夠減少SQL Server字元資料儲存空間。

• 新的Java語言擴充套件允許呼叫預編譯Java程式，並使用SQL Server在同一伺服器上安全執行Java程式碼。通過使工作負載更接近資料實際所需空間，減少移動資料的需求並提高應用程式效能。

• MachineLearning Services具有多項增強功能，包括Windows故障轉移叢集支援，分割槽模型以及Linux上對SQL Server的支援。

平臺選擇

• Linux上的SQL Server附加功能包括分散式事務、複製、Polybase、機器學習服務、記憶體通知和OpenLDAP支援。

• 容器具有新的增強功能，包括使用支援RedHat Enterprise Linux映像的新Microsoft Container Registry和支援Kubernetes的Always On Availability Groups。

Azure Data Studio中的SQL Server 2019支援

SQL Server擴充套件了對更多資料工作負載的支援，由於微軟已經與其資料平臺使用者合作，我們可以看到許多不同於以前的角色：資料庫管理員，資料科學家，資料開發人員，資料分析師和其他正在被定義的新角色。這些使用者越來越希望使用相同的工具，無縫跨內部部署和雲的使用結構和非結構化資料，使用OLTP、ETL分析和流式工作負載協同工作。

Azure Data Studio提供現代編輯器體驗，具有閃電般的智慧感知，原始碼控制和終端整合。它以資料平臺使用者為設計理念，內建查詢結果圖表，整合notebook和可自定義儀表板。目前，Azure Data Studio內建對SQL Server內部部署和Azure SQL資料庫的支援，以及對Azure SQL託管例項和Azure SQL資料倉儲的預覽支援。

Azure Data Studio釋出了一個新的SQL Server 2019預覽擴充套件，以新增對選定SQL Server 2019功能的支援。該擴充套件為SQL Server大資料叢集提供連線和工具，包括預覽SQL Server工具的首個notebook體驗，以及新的PolyBase建立外部表嚮導，使遠端SQL Server和Oracle例項資料可輕鬆快速訪問。

如何獲取最新版？

通過訪問以下連結可立即開始：

• 預覽適用於Windows，Linux或Docker的SQL Server 2019。（https://www.microsoft.com/en-us/sql-server/sql-server-2019）

• 註冊以便從SQL Server中獲取對專案的建議和支援，或者嘗試使用SQL Server 2019大資料叢集。（https://sqlservervnexteap.azurewebsites.net/）

• 下載Azure Data Studio以開始使用新的SQL Server大資料功能，如資料虛擬化。（https://docs.microsoft.com/zh-cn/sql/azure-data-studio/what-is?view=sql-server-2017）

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31077337/viewspace-2214805/，如需轉載，請註明出處，否則將追究法律責任。