Hadoop學習筆記之一 : HDFS原理二

趙明威發表於2014-10-08

一、HDFS的主要設計理念:應用場景

1、儲存超大檔案

由於這個時代的資料量陡增:需要儲存的速度和安全性都日益的苛刻; “超大檔案”GB到TB級別的檔案

HDFS系統就是在這個時候產生的:全 稱:Hadoop Distributed File System

Hadoop分散式檔案系統(HDFS)被設計成適合執行在通用硬體(commodity hardware)上的分散式檔案系統。它和現有的分散式檔案系統有很多共同點。但同時,它和其他的分散式檔案系統的區別也是很明顯的。HDFS是一個高度容錯性的系統,適合部署在廉價的機器上。HDFS能提供高吞吐量的資料訪問,非常適合大規模資料集上的應用。HDFS放寬了一部分POSIX約束,來實現流式讀取檔案系統資料的目的。HDFS在最開始是作為Apache Nutch搜尋引擎專案的基礎架構而開發的。HDFS是Apache Hadoop Core專案的一部分。

請大家參考:HDFS原理漫畫版

相關文章