大規模叢集下的Hadoop高併發以及高效能架構原理總結【石杉的架構筆記】

石杉的架構筆記發表於2019-03-04

歡迎關注個人公眾號:石杉的架構筆記(ID:shishan100)

週一至週五早8點半!精品技術文章準時送上!


又到週末,老規矩,週末不給大家送上“燒腦”的技術文章,我們稍微停一下腳步,總結一下之前的內容,溫故而知新。


前言

這次我們總結的,主要是之前大資料的內容。這裡筆者多說一句,筆者認為,大資料的技術、思想,對Java工程師來說也是非常重要的,Java工程師很有必要了解一些大資料的知識。

反過來,沒有深厚的Java功底,大資料也好比是空中樓閣。舉個例子,沒有深厚的jdk原始碼功底,你甚至連Hadoop的原始碼都讀不懂,更談不上修復bug,二次開發。所謂浮沙之上,難築高臺,說的就是這個意思。


“閒扯”了這麼多,那麼我們就來做一個簡單的總結:


第一篇

萬丈高樓平地起,首先,大白話給大家聊了聊Hadoop的架構原理,通過大量的手繪圖,儘量保證即使是沒有接觸過Hadoop的同學,讀過之後,也能明白這款優秀的技術框架背後的架構原理。

Hadoop的架構原理,各位還記得嗎?時間久遠,有點模糊?OK,趕緊的迅速回顧一下!

點選下方文字直接跳轉↓↓↓

兄弟,用大白話告訴你小白都能看懂的Hadoop架構原理

第二篇

效能優化,是大型系統永遠避不開的一個話題。尤其是在高併發、分散式這種海量資料的場景下。

作為世界上最優秀的檔案系統的大腦,HDFS的NameNode究竟採用了什麼精妙的設計,能夠輕鬆抗住每秒上千次的高併發訪問?

點選下方文字直接跳轉↓↓↓

大規模叢集下Hadoop NameNode如何承載每秒上千次的高併發訪問

第三篇

檔案上傳,是HDFS平時做的最多的工作之一。這個檔案可不是幾G、幾十G的普通檔案,而是那種動輒上TB的超級大檔案。設計優秀的HDFS檔案系統,勢必不能容忍傳統檔案上傳那樣低下的效能。所以,你是否還記得,HDFS對大檔案上傳採取了何種優化方案?

點選下方文字直接跳轉↓↓↓

「效能優化的祕密」Hadoop如何將TB級大檔案的上傳效能優化上百倍

第四篇

最後,大家再一起來看看,之前給各位聊過的Hadoop的HDFS裡一個非常簡單卻優雅的一個演算法的設計,看看他如何”悄無聲息的”將大規模叢集下Hadoop的效能提升了10倍以上!

點選下方文字直接跳轉↓↓↓

Hadoop底層演算法如何優雅的將大規模叢集效能提升10倍以上?

後語

這裡筆者又忍不住要再次建議一下,雖然這是大資料系統中的效能優化設計,但是對於Java的同學來說,也是非常具有借鑑意義的。大資料本質上就是分散式的系統。對於分散式的設計,有很多優秀的思想值得吸收。

所以,Java的同學,如果有時間,也建議多讀讀優秀的大資料系統的原始碼,比如Hadoop,它本身也是Java寫的系統,這也是迅速提升技術內功的一條道路。



END


如有收穫,請幫忙轉發,您的鼓勵是作者最大的動力,謝謝!


一大波微服務、分散式、高併發、高可用原創系列

文章正在路上,歡迎掃描下方二維碼,持續關注:

大規模叢集下的Hadoop高併發以及高效能架構原理總結【石杉的架構筆記】

石杉的架構筆記(id:shishan100)

十餘年BAT架構經驗傾囊相授


推薦閱讀:

1、拜託!面試請不要再問我Spring Cloud底層原理

2、【雙11狂歡的背後】微服務註冊中心如何承載大型系統的千萬級訪問?

3、【效能優化之道】每秒上萬併發下的Spring Cloud引數優化實戰

4、微服務架構如何保障雙11狂歡下的99.99%高可用

5、兄弟,用大白話告訴你小白都能聽懂的Hadoop架構原理

6、大規模叢集下Hadoop NameNode如何承載每秒上千次的高併發訪問

7、【效能優化的祕密】Hadoop如何將TB級大檔案的上傳效能優化上百倍

8、拜託,面試請不要再問我TCC分散式事務的實現原理坑爹呀!

9、【坑爹呀!】最終一致性分散式事務如何保障實際生產中99.99%高可用?

10、拜託,面試請不要再問我Redis分散式鎖的實現原理!

11、【眼前一亮!】看Hadoop底層演算法如何優雅的將大規模叢集效能提升10倍以上?

12、每秒上千訂單場景下的分散式鎖高併發優化實踐!


相關文章