時隔兩週,Hadoop 3.1版本釋出支援GPU和FPGA

  3月25日，Hadoop 3.0.1版本正式釋出，這也讓Hadoop正式邁入3.0時代。時隔兩週，Apache Hadoop 3.1.0正式釋出。與之前的版本(hadoop-3.0)相比，新版本具有許多重要的增強功能，比如支援GPU和FPGA。

　　不過，新版本暫不推薦在正式生產環境中使用。如果需要，請等待更穩定的3.1.1或者3.1.2版本。

　　以下簡要介紹主要功能和改進：

　　·Yarn Service框架提供一流的支援和API來長期執行在YARN中的原生託管服務。簡而言之，它作為一個容器管理平臺管理YARN上的集裝箱化服務，支援YARN中的容器集裝箱和傳統的基於容器的過程。

　　·YARN上的一流GPU排程和隔離(適用於docker和non-docker containers)。

　　·YARN上的一流FPGA排程和(適用於docker和non-docker containers)。

　　·在YARN中支援更多佈局約束。這些約束對於應用程式的效能和彈性至關重要，尤其是那些包含長期執行容器的應用程式，如服務，機器學習和流式工作負載。

　　例如，將同一機器上的任務分配(相似性約束)以降低網路成本，擴充套件機器之間的分配(非相似性約束)以最小化資源干擾，或者允許達到特定節點組的分配數量(基數約束)以在兩者之間取得平衡。放置的位置也會決定彈性。例如，放置在同一可用區域內的叢集將同時離線。

　　·支援管理員為佇列指定絕對資源(X記憶體，Y VCores，Z GPU等)，而不是提供基於百分比的值。這讓管理員可以更好控制給定佇列配置所需的資源量。

　　·提供的儲存允許將儲存在HDFS之外的資料對映到HDFS並從HDFS進行定址。它透過向DataNode中的媒體集引入新的儲存型別PROVIDED，構建異構儲存。