壯實學資料技術06：資源、佇列與叢集

趙壯實 /一個資料人的自留地

作者介紹

望京東路@趙壯實

中文系叛徒，資料界信徒。

持續寫《壯實學資料技術全集》的系列文章，歡迎關注。

前幾天，壯實在網上衝浪的時候，收到一個目瞪狗呆的提問邀請。

第一反應是，握草，這演算法是把“身價”和“負債”整混了吧……

不過，定睛一看，好啊，這不就是人民大眾喜聞樂見的話題嗎？

好吧，看看你國凡爾賽文學的水平發展的如何。

當我津津有味的欣賞時，直到我看到最後一句：

好傢伙， 2080的顯示卡？不同意？

身價千萬的有錢人裝逼失敗，下一個。

還2080，愛他，就給他3090！

啥是2080？那今天文章你一定要看啊！

不然被假冒高富帥套娃啊！

好啦，今天壯實跟大家聊聊資料背後的底層技術：資源、佇列和叢集。（內涵2080是啥）

1 資源

每天，有大量的資料查詢任務需要在機器上完成執行，這就需要高功能的計算機——伺服器來完成。

所以我們常說的資源就是伺服器資源，物理表現形式就是物理機。如下圖：

那麼：

廣泛定義上，資源包括伺服器資源和網路。

狹義定義上，資源是指伺服器資源中的 記憶體、CPU、顯示卡等。

CPU和記憶體是一組概念，GPU和視訊記憶體是一組概念。

CPU和GPU都是用於計算，記憶體和視訊記憶體都是用於儲存，相應的計算對應相應的儲存。

●CPU：CPU（Central Processing Unit，中央處理器）是解釋計算機指令和處理計算機軟體中資料的核心部件。

●記憶體：俗名是記憶體條。CPU在計算後會把資料儲存到記憶體中。如電腦上顯示的8G、16G，就是指記憶體條的容量。

CPU、記憶體和輸入/輸出裝置是電子計算機三大核心部件。

●GPU：GPU（Graphics Processing Unit，圖形處理器）是顯示卡上的一塊晶片，專門進行影像運算工作的微處理器。因GPU強大的運算能力，還廣泛運用於密碼破解、機器學習、金融分析等領域。

●視訊記憶體：視訊記憶體是顯示卡的組成部分，主要用來儲存GPU需要處理的各種資料、模型。

你知道顯示卡是什麼嗎？

顯示卡包括GPU、視訊記憶體、電路板和BIOS韌體，GPU是顯示卡的核心。

如果你清楚口紅對於女生的意義，那你就能get到顯示卡對於男生的嗨皮。

簡單來說，計算機按上顯示卡，就會讓遊戲畫質更清晰、操作更流暢。

雙12、聖誕節、元旦、新年、情人節就要到了，你可以挑一個好節日送給他顯示卡。

好的，型號都給你準備好了！！！較好的配置就是3個sk2禮盒的價格！

2080和3090都在裡面了……

2 佇列

隨著公司的資料量越來越大，出於節省成本的考慮，就需要考慮 每個業務線需要多少機器（機器背後資源）；這些資源如何分配；分配後，這些資源使用的先後順序等等問題。這時，就需要進行「資源管理」。

有的資源管理會用到「佇列」這種方式，佇列可以幫助劃分離線計算任務先後執行的順序，達到計算過程中使用的資源可管理。

如上圖所示，假設有4個離線計算任務同時在跑。如果佇列上只能跑3個任務，那麼佇列就被跑滿了，第4個任務就需要等待佇列空餘，才能繼續跑了。

除此之外，還有鏈式佇列、雙端佇列、迴圈佇列等等的佇列處理順序的方式，我們大致介紹一種符合FIFO（先進先出）的佇列處理方式，以供參考。

3 叢集

叢集是一種多維度管理資源方式，它按業務線劃分，劃分方式跟公司對資源的管理方式有關。

1）計算叢集

實時計算叢集

型別：storm、kafka、flink叢集

離線計算叢集

型別：hadoop叢集

2）儲存叢集

3）機器學習叢集

綜上所述，我們簡單的來理解：

1.資源就是資料在計算、儲存所消耗的資源，物理表現進行就是機房中的物理機。

2.佇列就是資源消耗&使用如何分配的一種規則。

3.叢集是多維管理資源的方式。

4 彩蛋：網際網路大廠耗電量祕史

而根據Google曾經公佈用電量資料，2010年Google用電量22.6億千瓦時。

對比2010年北京市年用電量為809.902億千瓦時。Google2010年的用電量會佔到北京市一天總用電量的3%。

當然，據我所致，現在的大廠已經降低到%零點幾了，但是這些物理機器一天消耗的電量，還是可供3萬多人使用24小時。

所以，網際網路還真是講規模效應的一個行業～

要不，電費，也挺貴的……

好啦，以上就是本期的《壯實學資料技術06：資源、佇列與叢集》，我們下週見～

記得雙12給男朋友買顯示卡哦～

引用資料：

《北京市統計局：2018年常駐人口2154.2萬人 同比下降0.8%》

《北京全社會用電量情況》

資料人交流和學習的社群，關注我們微，掌握專業資料知識、結識更多的資料小夥伴。
帶你探索資料的神奇奧祕
1、回“資料產品”，獲取<大廠資料產品面試題>
2、回“資料中臺”，獲取<大廠資料中臺資料>
3、回“商業分析”，獲取<大廠商業分析面試題>；
4、回“交個朋友”，進交流群，認識更多的資料小夥伴。