Java/後端學習路線

前言

自學/學習路線這樣的一期我想寫很久了，因為一直想寫的全一點硬核一點所以拖到了現在，我相信這一期對不管是還在學校還是已經工作的同學都有所幫助，不管是前端還是後端我都牆裂建議大家看完，因為這樣會讓你對你所工作的網際網路領域相關技術棧有個初步的瞭解。

你們也知道敖丙我是個創作鬼才，常規的切入點也不是我的風格，我畢業後主要接觸的都是電商領域，所以這一期我把目前所瞭解的技術棧加上之前電商系統的經驗臆想了一個完整的電商系統，大家會看到很多熟悉的技術棧我相信也會看到自己未接觸過的技術棧，我也會對每個技術棧的主要技術點提一下，至於細節就只能大家在我歷史和未來的文章去看了。

這期可謂是嘔心瀝血之作，不要白嫖喲。

正文

我先介紹一下前端

前端

我讀者群體是以後端為主的，如果有大學還沒開始學習的小夥伴，這個時候我想已經是滿螢幕的問號了，為啥我們後端程式設計師還要去學習前端呢？我只能告訴你，傻瓜，膚淺。

如果是已經大學畢業的程式設計師我相信每一個後端程式設計師都會簡單的前端，甚至很多後端對目前前端最新技術也都是瞭解的，我們可不能閉門造車，誰告訴你後端就不學點前端了？而且你瞭解前端在之後工作聯調過程中或許會有更好的思路對你的工作是有所幫助的。

我們上網最先接觸到的肯定不是後端的一系列東西，而是移動端和前端網頁，各種花裡胡哨的樣式不是我們要去了解的，但是網頁的基本語言以及佈局從0到1這個過程是我們應該去了解的，大家看到的花裡胡哨的網頁佈局、連結、文字、圖片、事件等，都是一個個的標籤、class樣式以及js事件而已。

技術背後的思想其實是互通的，所以作為後端以前端作為我們程式設計師學習的切入點是完全OK的（只是針對還未入門萌新猿），我相信在各位的大學前端基礎課程也都是有安排的，而且不管是上學還是以後畢業我相信各位以後一定會接觸些許前端的。

在大學一般都是用專案去鍛鍊技術的，那在專案裡面很可能就是你一個人從前端到後端都是自己寫的，我在大學就是這樣的，現在工作了我們很多內容系統簡單的前端也都是我們自己去開發的，因為為了簡單的頁面和邏輯去浪費前端的資源是沒有很大必要的。

在這裡我列舉了我目前覺得比較簡單和我們後端可以瞭解的技術棧，都是比較基礎和我覺得比較必須的。

HTML、CSS、JS、Ajax我覺得是必須掌握的點，看著簡單其實深究或者去操作的話還是有很多東西的，其他作為擴充套件有興趣可以瞭解，反正入門簡單，只是精通很難很難。

在這一層不光有這些還有Http協議和Servlet，request、response、cookie、session這些也會伴隨你整個技術生涯，理解他們對後面的你肯定有不少好處。

擴充套件：前端技術我覺得VUE、React大家都可以嘗試去用用，他們目前支援很多即插即用的外掛會幫助你更便捷的開發出漂亮的網頁。

Tip：我這裡最後刪除了JSP相關的技術，我個人覺得沒必要學了，很多公司除了老專案之外，新專案都不會使用那些技術了。

前端在我看來比後端難，技術迭代比較快，知識好像也沒特定的體系，所以面試大廠的前端很多朋友都說難，不是技術多難，而是知識多且複雜，找不到一個完整的體系，相比之下後端明朗很多，我後面就開始繼續往下講了。

閘道器層：

網際網路發展到現在，湧現了很多網際網路公司，技術更新迭代了很多個版本，從早期的單機時代，到現在超大規模的網際網路時代，幾億人蔘與的春運，幾千億成交規模的雙十一，無數網際網路前輩的造就了現在網際網路的輝煌。

微服務，分散式，負載均衡、雲原生等我們經常提到的這些名詞都是這些技術在場景背後支撐。

單機頂不住，我們就多找點伺服器，但是怎麼將流量均勻的打到這些伺服器上呢？

負載均衡，LVS

我們機器都是IP訪問的，但是我們上網都是訪問域名就好了，那怎麼通過我們申請的域名去請求到伺服器呢？

DNS

大家刷的抖音，B站，快手等等視訊服務商，是怎麼保證同時為全國的使用者提供快速的體驗？

CDN

我們這麼多系統和服務，還有這麼多中介軟體的排程怎麼去管理排程等等？

這麼多的伺服器，怎麼對外統一訪問呢，就可能需要知道反向代理的伺服器。

Nginx

這一層做了反向負載、服務路由、服務治理、流量管理、安全隔離、服務容錯等等都做了，大家公司的內外網隔離也是這一層做的。

我之前還接觸過一些比較有意思的專案，所有對外的介面都是加密的，幾十個服務會經過閘道器解密，找到真的路由再去請求。

這一層的知識點其實也不少，你往後面學會發現分散式事務，分散式鎖，還有很多中介軟體都離不開這一層的Zookeeper，接下來就是整個學習體系最複雜的部分了，服務端。

服務層：

這一層有點東西了，算是整個框架的核心，如果你跟敖丙一樣以後都是從事後端開發的話，我們基本上整個技術生涯，大部分時間都在跟這一層的技術棧打交道了，各種琳琅滿目的中介軟體，計算機基礎知識，Linux操作，演算法資料結構，架構框架，研發工具等等。

我想在看這個文章的各位，計算機基礎肯定都是學過的吧，如果大學的時候沒好好學，我覺得還是有必要再看看的。

為什麼我們網頁能保證安全可靠的傳輸，你可能會了解到HTTP，HTTPS，TCP協議，什麼三次握手，四次揮手，中間人攻擊等。

還有程式、執行緒、協程，記憶體屏障，指令亂序，分支預測，CPU親和性等等，在之後的程式設計生涯，如果你能掌握這些東西，會讓你在遇到很多問題的時候瞬間get到點，而不是像個無頭蒼蠅一樣亂撞（然而敖丙還做得不夠，所以最近也是在惡補作業系統和網路相關的知識）。

瞭解這些計算機知識後，你就需要接觸程式語言了，大學的C語言基礎會讓你學什麼語言入門都會快點，嵌入式實習結束後我選擇了物件導向的JAVA，但是也不知道為啥現在還沒物件。

JAVA的基礎也一樣重要，物件導向（包括類、物件、方法、繼承、封裝、抽象、多型、訊息解析等），常見API，資料結構，集合框架，設計模式（包括建立型、結構型、行為型），多執行緒和併發，I/O流，Stream，網路程式設計你都需要了解。

程式碼會寫了，你就要開始學習一些能幫助你把系統變得更加規範的框架，SSM可以會讓你的開發更加便捷，結構層次更加分明。

寫程式碼的時候你會發現你大學用的Eclipse在公司看不到了，你跟大家一樣去用了IDEA，第一天這是什麼玩意，一週後，真香，但是這玩意收費有點貴，那免費的VSCode真的就是不錯的選擇了。

程式碼寫的時候你會接觸程式碼的倉庫管理工具maven、Gradle，提交程式碼的時候會去學習專案版本管理工具Git。

程式碼提交之後，釋出之後你會發現很多東西需要自己去伺服器親自排查，那Linux的知識點就可以在裡面靈活運用了，通過跳板機訪問伺服器檢視程式，檢視檔案，各種Vim操作指令等等。

當你自己研發系統釋出時你發現很多命令其實可以寫成一個指令碼一鍵執行就好了，那Shell會讓你事半功倍的。

系統層面的優化很多時候會很有限，你可能會嘗試從演算法，或者優化資料結構去優化，你看到了HashMap的原始碼，想去了解紅黑樹，然後在演算法網上看到了二叉樹搜尋樹和各種常見的演算法問題，刷多了，你也能總結出精華所在，什麼貪心，分治，動態規劃等。

這麼多個服務，你發現HTTP請求已經開始有點不滿足你的需求了，你想開發更便捷，像訪問本地服務一樣訪問遠端服務，所以我們去了解了Dubbo，Spring cloud等。

瞭解Dubbo的過程中，你發現了RPC的精華所在，所以你去接觸到了高效能的NIO框架，Netty。

程式碼寫好了，服務也能通訊了，但是你發現你的程式碼鏈路好長，都耦合在一起了，所以你接觸了訊息佇列，這種非同步的處理方式，真香。

他還可以幫你在突發流量的時候用佇列做緩衝，但是你發現分散式的情況，事務就不好管理了，你就瞭解到了分散式事務，什麼兩段式，三段式，TCC，XA，阿里雲的全域性事務服務GTS等等。

業務場景使用的多的時候你會想去了解RocketMQ，他也自帶了分散式事務的解決方案，但是他並不適合超大資料量的場景，這個時候Kafka就會進入你的視線中。

我上面提到過zk，像Dubbo、Kafka等中介軟體都是用它做註冊中心的（後續kafka會把zk去掉）很多技術棧最後都組成了一個知識體系，你先了解了體系中的每一員，你才能把它們聯絡起來。

服務的互動都從程式內通訊變成了遠端通訊，所以效能必然會受到一些影響。

此外由於很多不確定性的因素，例如網路擁塞、Server 端伺服器當機、挖掘機剷斷機房光纖等等，需要許多額外的功能和措施才能保證微服務流暢穩定的工作。

Spring Cloud 中就有 Hystrix 熔斷器、Ribbon客戶端負載均衡器、Eureka註冊中心等等都是用來解決這些問題的微服務元件。

你感覺學習得差不多了，你發現各大論壇部落格出現了一些前沿技術，比如容器化、雲原生，你可能就會去了解像Docker，Kubernetes（K8s）等技術，你會發現他們給企業級應用提供了怎樣的便捷。

微服務之所以能夠快速發展，很重要的一個原因就是：容器化技術的發展和容器管理系統的成熟。

這一層的東西呢其實遠遠不止這些的，我不過多贅述，寫多了像個勸退師一樣，但是大家也不用慌，大部分的技術都是慢慢接觸了，工作中慢慢去了解，去深入的。

這裡呢還是想說我經常提到的那句話，你知道的越多，你不知道的越多，所有領域都是這樣，一旦你深入瞭解了這個技術細節，衍生出來的新知識點和他的弊端會讓你發現自己的無知，但學到自己不會的不斷去進步會讓你在學習的道路上走更遠的。

好啦我們繼續沿著圖往下看，那再往下是啥呢？

資料層：

資料庫可能是整個系統中最值錢的部分了，今年呢也發生了微盟程式設計師刪庫跑路的操作，刪庫跑路其實是我們在網上最常用的笑話，但是這個笑話背後我們應該得到的思考就是，資料是整個企業最重要最核心的東西，我現在在公司的大資料團隊對此深有體會。

如果大家對大資料感興趣我想我後面也可以找機會單獨出一期大資料技術棧相關的專題。

資料庫基本的事務隔離級別，索引，SQL，主被同步，讀寫分離等都可能是你學的時候要了解到的。

不要把雞蛋放一個籃子的道理大家應該都知道，那分庫的意義就很明顯了，然後你會發現時間久了表的資料大了，就會想到去接觸分表，什麼TDDL、Sharding-JDBC、DRDS這些外掛都會接觸到。

你發現流量大的時候，或者熱點資料打到資料庫還是有點頂不住，壓力太大了，那非關係型資料庫就進場了，Redis當然是首選，但是memcache也有各自的應用場景。

Redis使用後，真香，真快，但是你會開始擔心最開始提到的安全問題，這玩意快是因為在記憶體中操作，那斷點了資料丟了怎麼辦？你就開始閱讀官方文件，瞭解RDB，AOF這些持久化機制，線上用的時候還會遇到快取雪崩擊穿、穿透等等問題。

單機不滿足你就用了，他的叢集模式，用了叢集可能也擔心叢集的健康狀態，所以就得去了解哨兵，他的主從同步，時間久了Key多了，就得了解記憶體淘汰機制......

老闆讓你最最小的代價去設計每日簽到和UV、PV統計你就會接觸到：點陣圖和HyperLogLog，高速的過濾你就會考慮到：布隆過濾器 (Bloom Filter) ，附近的人就會使用到：GeoHash 他的大容量儲存有問題，你可能需要去了解Pika....

其實遠遠沒完，每個的點我都點到為止，但是其實要深究每個點都要學很久，我們接著往下看。

實時/離線數倉/大資料

等你把幾種關係型非關係型資料庫的知識點，整理清楚後，你會發現資料還是大啊，而且資料的場景越來越多多樣化了，那大資料的各種中介軟體你就得了解了。

你會發現很多場景，不需要實時的資料，比如你查你的支付寶去年的，上個月的賬單，這些都是不會變化的資料，沒必要實時，那你可能會接觸像ODPS這樣的中介軟體去做資料的離線分析。

然後你可能會接觸Hadoop系列相關的東西，比如於Hadoop（HDFS）的一個資料倉儲工具Hive，是建立在 Hadoop 檔案系統之上的分散式面向列的資料庫HBase 。

寫多的場景，適合做一些簡單查詢，用他們又有點大材小用，那Cassandra就再合適不過了。

離線的資料分析沒辦法滿足一些實時的常見，類似風控，那Flink你也得略知一二，他的視窗思想還是很有意思。

資料接觸完了，計算引擎Spark你是不是也不能放過......

演算法/機器學習/人工智慧：

資料是整個電商系統乃至於我們整個網際網路最值錢的部分不是隨便說說的，但是如何發揮他們的價值，資料放在資料庫是無法發揮他應有的價值的，演算法在最近10年越來越受到大家的重視，機器學習、深度學習、人工智慧、自動駕駛等領域也頻頻爆出天價offer的新聞，所以演算法我覺得也有機會也是可以瞭解一下的。

不知道大家用搜尋引擎或者購物網站使用過以圖搜圖功能沒，這就是演算法的影像搜尋功能，我們在搜尋欄輸入對應關鍵詞之後演算法同學會通過自然語言處理，然後再落到推薦系統給出最好的搜尋結果，以及大家看到的熱搜，預設搜尋的推薦都是通過演算法算出針對你個人最優的推薦，你最最感興趣的推薦。

就比如我最近在B站看了《龍王贅婿》相關的視訊，我的預設搜尋推薦就出現了《畫網贅婿》的預設搜尋推薦，這就是根據近期熱點和你個人喜好算出來的，大家可以進去重新整理試試。

國內人口基數這麼大，那相對來說垃圾內容應該更多才對，但是大家幾乎可以一直瀏覽到綠色健康的網路環境，這得益於風控，演算法同學也會用風控去對涉黃，涉政等內容做一個甄別。

你要知道你的每一個行為在進入app開始就會被分析，最後給你打上一個個的標籤，演算法算出你最喜歡的內容投餵給你，你沒發現抖音你越看內容越和你的胃口麼？淘寶你越逛推薦的商品你越想買麼？

這都得益於大資料和演算法的結合，不斷完善不同的訓練模型，投餵給使用者他最喜歡的內容，很多訓練模型甚至以小時維度的更新頻率在更新。

使用者資料對內對外還有差別，因為很多平臺是不會給你完整的資料的，但是演算法同學會儘可能的捕捉使用者的每一個潛在特性，然後去給你投喂最適合你的廣告。

看到這裡大家可能會擔心自己的資料安全了，其實每個公司都會有自己最基本的職業操守，正常公司都是不會去出賣自己使用者的任何資料的，但是市面上也存在銷售使用者資料的黑色產業。

生在這個大資料的年代是一件好事，技術是兩面性也是我一直強調的，這樣的技術會讓你的所有資訊透明，這個時候我們就要儘可能的注重保護我們自己的資料隱私安全，不要貪圖小便宜去到處填寫自己的真實資訊，手機號，身份證號碼等，你永遠都不知道你資料的價值，以及他們可能把你的資料用在什麼地方。

演算法這裡我提到過搜尋引擎，我打算單獨講一下，因為在技術側還算有可圈可點之處。

搜尋引擎：

傳統關係型資料庫和NoSQL非關係型資料都沒辦法解決一些問題，比如我們在百度，淘寶搜尋東西的時候，往往都是幾個關鍵字在一起一起搜尋東西的，在資料庫除非把幾次的結果做交集，不然很難去實現。

那全文檢索引擎就誕生了，解決了搜尋的問題，你得思考怎麼把資料庫的東西實時同步到ES中去，那你可能會思考到logstash去定時跑指令碼同步，又或者去接觸偽裝成一臺MySQL從服務的Canal，他會去訂閱MySQL主服務的binlog，然後自己解析了去操作Es中的資料。

這些都搞定了，那視覺化的後臺查詢又怎麼解決呢？Kibana，他他是一個視覺化的平臺，甚至對Es叢集的健康管理都做了視覺化，很多公司的日誌查詢系統都是用它做的。