Hadoop會在2022年過時嗎？

2022 年的 Hadoop 趨勢是什麼？幾個方面進一步加強了 Hadoop 在這些使用者中的聲譽。正如我們上面提到的，到 2022 年，這種惡名無疑仍然存在。以下是 Hadoop 可以為 2022 年提供的一些趨勢和發展，以鞏固其地位：
迄今為止，有許多 Hadoop 框架供應商，因為大公司都在努力使其適應他們的環境。對於大資料工作者來說，這是一個福音，因為他們不再需要從根本上改變他們做事的方式。透過引入 SQL 等一些工具和方法，這些提供程式使 Hadoop 的使用變得更加容易，並且更加高效。

在這些供應商中，我們可以舉出：
• Amazon Web Services Elastic MapReduce；
• Cloudera CDH Hadoop 發行版；
• MapR Hadoop 發行版；
• Microsoft Azure 的 HDInsight；
• Dell-Cloudera Apache Hadoop 解決方案；
• IBM 開放平臺。

這些供應商無疑將成為 Hadoop 未來的主要參與者之一，並將在未來幾年參與其發展。這樣做的原因是他們都在致力於雲環境的擴充套件，包括我們將在下一節中看到的 Hadoop-as-a-service 的開發。
 

Hadoop 即服務 (HAAS)
雲正日益成為儲存和處理大資料的理想解決方案。事實上，無論是小型、中型還是大型公司，這種選擇所提供的實際和經濟優勢都會引起更大的興趣。透過 Hadoop 即服務，在雲上建立 Hadoop 生態系統已經有幾年的可能了。該系統的採用與 2022 年更加相關。因此，Hadoop 即服務是一種將生態系統作為服務提供的方式。在該領域工作的供應商對與大資料相關的工具（例如 Spark、HBase 或 Storm）以例項形式與 Hadoop 發行版相結合收費。該系統已經準備好使用，因為供應商已經為客戶處理好了一切。叢集已經預先建立、可擴充套件和容錯。客戶只需插入他希望處理的資料。可用資源可根據專案需要輕鬆擴充套件。實際上，該解決方案在成本方面非常有趣，這就是為什麼越來越多的供應商正在轉向該系統的營銷。
 

YARN（Yet another Resource Negotiator）
從 Hadoop 2.x 引入，YARN 是生態系統最重要的演變之一。它是 MapReduce 的升級版，在早期為它贏得了 MapReduce 2 的名稱。其根本原則是將資源端的管理與大資料的處理分離。使用 YARN，您可以根據充足資源的可用性安排某些任務，還可以跟蹤執行的操作，這在舊版本中是很困難的。YARN 允許更高效地同時使用 Hive、HBase 或 Spark 等多個應用程式，從而最佳化資料處理。到目前為止，仍在對該工具進行修改以使其更有效。幾年來，採用 YARN 一直是必不可少的，並且在 2022 年仍然如此
 

最新版本的 Hadoop 及其演變
目前，我們處於 Hadoop 的 3.x 版本，其最新版本是 2021 年 6 月釋出的 3.3.1。此版本增加帶來了一些重大改進，例如：所需的 java 版現在是 8 而不是 7；
• HDFS 擦除編碼，除其他外，透過不再使用 Hadoop 的傳統複製方法來減少資源消耗，同時保持高可用性；
• MapReduce 在任務級別的改進；
• 一些 YARN 增強功能，包括支援的資源和時間線服務；
• 等等