導讀:閱讀本文需要有足夠的時間,筆者會由淺到深帶你一步一步瞭解一個資深架構師所要掌握的各類知識點,你也可以按照文章中所列的知識體系對比自身,對自己進行查漏補缺,覺得本文對你有幫助的話,可以點贊關注一下。
目錄:
一、基礎篇
二、進階篇
三、高階篇
四、架構篇
五、擴充套件篇
六、體系篇
七、推薦書籍
八、總結
一、基礎篇
JVM
JVM記憶體結構
堆、棧、方法區、直接記憶體、堆和棧區別
Java記憶體模型
記憶體可見性、重排序、順序一致性、volatile、鎖、final
垃圾回收
記憶體分配策略、垃圾收集器(G1)、GC演算法、GC引數、物件存活的判定
JVM引數及調優
Java物件模型
oop-klass、物件頭
HotSpot
即時編譯器、編譯優化
類載入機制
classLoader、類載入過程、雙親委派(破壞雙親委派)、模組化(jboss modules、osgi、jigsaw)
虛擬機器效能監控與故障處理工具
jps, jstack, jmap、jstat, jconsole, jinfo, jhat, javap, btrace、TProfiler
編譯與反編譯
javac 、javap 、jad 、CRF
Java基礎知識
閱讀原始碼
String、Integer、Long、Enum、BigDecimal、ThreadLocal、ClassLoader & URLClassLoader、ArrayList & LinkedList、 HashMap & LinkedHashMap & TreeMap & CouncurrentHashMap、HashSet & LinkedHashSet & TreeSet
Java中各種變數型別
熟悉Java String的使用,熟悉String的各種函式
JDK 6和JDK 7中substring的原理及區別、
replaceFirst、replaceAll、replace區別、
String對“+”的過載、
String.valueOf和Integer.toString的區別、
字串的不可變性
自動拆裝箱
Integer的快取機制
熟悉Java中各種關鍵字
transient、instanceof、volatile、synchronized、final、static、const 原理及用法。
集合類
常用集合類的使用
ArrayList和LinkedList和Vector的區別
SynchronizedList和Vector的區別
HashMap、HashTable、ConcurrentHashMap區別
Java 8中stream相關用法
apache集合處理工具類的使用
不同版本的JDK中HashMap的實現的區別以及原因
列舉
列舉的用法、列舉與單例、Enum類
Java IO&Java NIO,並學會使用
bio、nio和aio的區別、三種IO的用法與原理、netty
Java反射與javassist
反射與工廠模式、 java.lang.reflect.*
Java序列化
什麼是序列化與反序列化、為什麼序列化
序列化底層原理
序列化與單例模式
protobuf
為什麼說序列化並不安全
註解
元註解、自定義註解、Java中常用註解使用、註解與反射的結合
JMS
什麼是Java訊息服務、JMS訊息傳送模型
JMX
java.lang.management.*、 javax.management.*
泛型
泛型與繼承
型別擦除
泛型中K T V E
object等的含義、泛型各種用法
單元測試
junit、mock、mockito、記憶體資料庫(h2)
正規表示式
java.lang.util.regex.*
常用的Java工具庫
commons.lang, commons.*... guava-libraries netty
什麼是API&SPI
異常
異常型別、正確處理異常、自定義異常
時間處理
時區、時令、Java中時間API
編碼方式
解決亂碼問題、常用編碼方式
語法糖
Java中語法糖原理、解語法糖
Java併發程式設計
什麼是執行緒,與程式的區別
閱讀原始碼,並學會使用
Thread、Runnable、Callable、ReentrantLock、ReentrantReadWriteLock、Atomic*、Semaphore、CountDownLatch、、ConcurrentHashMap、Executors
執行緒池
自己設計執行緒池、submit() 和 execute()
執行緒安全
死鎖、死鎖如何排查、Java執行緒排程、執行緒安全和記憶體模型的關係
鎖
CAS、樂觀鎖與悲觀鎖、資料庫相關鎖機制、分散式鎖、偏向鎖、輕量級鎖、重量級鎖、monitor、鎖優化、鎖消除、鎖粗化、自旋鎖、可重入鎖、阻塞鎖、死鎖
死鎖
volatile
happens-before、編譯器指令重排和CPU指令重
synchronized
synchronized是如何實現的?
synchronized和lock之間關係
不使用synchronized如何實現一個執行緒安全的單例
sleep 和 wait
wait 和 notify
notify 和 notifyAll
ThreadLocal
寫一個死鎖的程式
寫程式碼來解決生產者消費者問題
守護執行緒
守護執行緒和非守護執行緒的區別以及用法
二、 進階篇
Java底層知識
位元組碼、class檔案格式
CPU快取,L1,L2,L3和偽共享
尾遞迴
位運算
用位運算實現加、減、乘、除、取餘
設計模式
瞭解23種設計模式
會使用常用設計模式
單例、策略、工廠、介面卡、責任鏈。
實現AOP
實現IOC
不用synchronized和lock,實現執行緒安全的單例模式
nio和reactor設計模式
網路程式設計知識
tcp、udp、http、https等常用協議
三次握手與四次關閉、流量控制和擁塞控制、OSI七層模型、tcp粘包與拆包
http/1.0 http/1.1 http/2之前的區別
Java RMI,Socket,HttpClient
cookie 與 session
cookie被禁用,如何實現session
用Java寫一個簡單的靜態檔案的HTTP伺服器
實現客戶端快取功能,支援返回304 實現可併發下載一個檔案 使用執行緒池處理客戶端請求 使用nio處理客戶端請求 支援簡單的rewrite規則 上述功能在實現的時候需要滿足“開閉原則”
瞭解nginx和apache伺服器的特性並搭建一個對應的伺服器
用Java實現FTP、SMTP協議
程式間通訊的方式
什麼是CDN?如果實現?
什麼是DNS?
反向代理
框架知識
Servlet執行緒安全問題
Servlet中的filter和listener
Hibernate的快取機制
Hiberate的懶載入
Spring Bean的初始化
Spring的AOP原理
自己實現Spring的IOC
Spring MVC
Spring Boot2.0
Spring Boot的starter原理,自己實現一個starter
Spring Security
應用伺服器
JBoss
tomcat
jetty
Weblogic
工具
git & svn
maven & gradle
三、 高階篇
新技術
Java 8
lambda表示式、Stream API、
Java 9
Jigsaw、Jshell、Reactive Streams
Java 10
區域性變數型別推斷、G1的並行Full GC、ThreadLocal握手機制
Spring 5
響應式程式設計
Spring Boot 2.0
效能優化
使用單例、使用Future模式、使用執行緒池、選擇就緒、減少上下文切換、減少鎖粒度、資料壓縮、結果快取
線上問題分析
dump獲取
執行緒Dump、記憶體Dump、gc情況
dump分析
分析死鎖、分析記憶體洩露
自己編寫各種outofmemory,stackoverflow程式
HeapOutOfMemory、 Young OutOfMemory、MethodArea OutOfMemory、ConstantPool OutOfMemory、DirectMemory OutOfMemory、Stack OutOfMemory Stack OverFlow
常見問題解決思路
記憶體溢位、執行緒死鎖、類載入衝突
使用工具嘗試解決以下問題,並寫下總結
當一個Java程式響應很慢時如何查詢問題、
當一個Java程式頻繁FullGC時如何解決問題、
如何檢視垃圾回收日誌、
當一個Java應用發生OutOfMemory時該如何解決、
如何判斷是否出現死鎖、
如何判斷是否存在記憶體洩露
編譯原理知識
編譯與反編譯
Java程式碼的編譯與反編譯
Java的反編譯工具
詞法分析,語法分析(LL演算法,遞迴下降演算法,LR演算法),語義分析,執行時環境,中間程式碼,程式碼生成,程式碼優化
作業系統知識
Linux的常用命令
程式同步
緩衝區溢位
分段和分頁
虛擬記憶體與主存
資料庫知識
MySql 執行引擎
MySQL 執行計劃
如何檢視執行計劃,如何根據執行計劃進行SQL優化
SQL優化
事務
事務的隔離級別、事務能不能實現鎖的功能
資料庫鎖
行鎖、表鎖、使用資料庫鎖實現樂觀鎖、
資料庫主備搭建
binlog
記憶體資料庫
h2
常用的nosql資料庫
redis、memcached
分別使用資料庫鎖、NoSql實現分散式鎖
效能調優
資料結構與演算法知識
簡單的資料結構
棧、佇列、連結串列、陣列、雜湊表、
樹
二叉樹、字典樹、平衡樹、排序樹、B樹、B+樹、R樹、多路樹、紅黑樹
排序演算法
各種排序演算法和時間複雜度 深度優先和廣度優先搜尋 全排列、貪心演算法、KMP演算法、hash演算法、海量資料處理
大資料知識
Zookeeper
基本概念、常見用法
Solr,Lucene,ElasticSearch
在linux上部署solr,solrcloud,,新增、刪除、查詢索引
Storm,流式計算,瞭解Spark,S4
在linux上部署storm,用zookeeper做協調,執行storm hello world,local和remote模式執行除錯storm topology。
Hadoop,離線計算
HDFS、MapReduce
分散式日誌收集flume,kafka,logstash
資料探勘,mahout
網路安全知識
什麼是XSS
XSS的防禦
什麼是CSRF
什麼是注入攻擊
SQL隱碼攻擊、XML注入、CRLF注入
什麼是檔案上傳漏洞
加密與解密
MD5,SHA1、DES、AES、RSA、DSA
什麼是DOS攻擊和DDOS攻擊
memcached為什麼可以導致DDos攻擊、什麼是反射型DDoS
SSL、TLS,HTTPS
如何通過Hash碰撞進行DOS攻擊
用openssl籤一個證照部署到apache或nginx
四、架構篇
分散式
資料一致性、服務治理、服務降級
分散式事務
2PC、3PC、CAP、BASE、 可靠訊息最終一致性、最大努力通知、TCC
Dubbo
服務註冊、服務發現,服務治理
分散式資料庫
怎樣打造一個分散式資料庫、什麼時候需要分散式資料庫、mycat、otter、HBase
分散式檔案系統
mfs、fastdfs
分散式快取
快取一致性、快取命中率、快取冗餘
微服務
SOA、康威定律
ServiceMesh
Docker & Kubernets
Spring Boot
Spring Cloud
高併發
分庫分表
CDN技術
訊息佇列
ActiveMQ
監控
監控什麼
CPU、記憶體、磁碟I/O、網路I/O等
監控手段
程式監控、語義監控、機器資源監控、資料波動
監控資料採集
日誌、埋點
Dapper
負載均衡
tomcat負載均衡、Nginx負載均衡
DNS
DNS原理、DNS的設計
CDN
資料一致性
想要了解更多Java架構技術的,可以關注我一下,我後續也會整理更多關於架構技術這一塊的知識點分享出來,另外順便給大家推薦一個架構交流學習群:650385180,裡面會分享一些資深架構師錄製的視訊錄影:有Spring,MyBatis,Netty原始碼分析,高併發、高效能、分散式、微服務架構的原理,JVM效能優化,併發程式設計這些成為架構師必備的知識體系。還能領取免費的學習資源,目前受益良多,以下的課程體系圖也是在群裡獲取。
五、 擴充套件篇
雲端計算
IaaS、SaaS、PaaS、虛擬化技術、openstack、Serverlsess
搜尋引擎
Solr、Lucene、Nutch、Elasticsearch
許可權管理
Shiro
區塊鏈
雜湊演算法、Merkle樹、公鑰密碼演算法、共識演算法、Raft協議、Paxos 演算法與 Raft 演算法、拜占庭問題與演算法、訊息認證碼與數字簽名
比特幣
挖礦、共識機制、閃電網路、側鏈、熱點問題、分叉
以太坊
超級賬本
人工智慧
數學基礎、機器學習、人工神經網路、深度學習、應用場景。
常用框架
TensorFlow、DeepLearning4J
其他語言
Groovy、Python、Go、NodeJs、Swift、Rust
六、體系篇
1、效能調優
不管是應付前端面試還是改進產品體驗,效能優化都是躲不開的話題。
優化的目的是讓使用者有“快”的感受,那如何讓使用者感受到快呢?
載入速度真的很快,使用者開啟輸入網址按下回車立即看到了頁面
載入速度並沒有變快,但使用者感覺你的網站很快
效能優化取決於多個因素,包括垃圾收集、虛擬機器和底層作業系統(OS)設定。有多個工具可供開發人員進行分析和優化時使用,你可以通過閱讀 Java Tools for Source Code Optimization and Analysis 來學習和使用它們。
必須要明白的是,沒有兩個應用程式可以使用相同的優化方式,也沒有完美的優化 java 應用程式的參考路徑。使用最佳實踐並且堅持採用適當的方式處理效能優化。想要達到真正最高的效能優化,你作為一個 Java 開發人員,需要對 Java 虛擬機器(JVM)和底層作業系統有正確的理解。
以下五大知識體系是我從業多年總結出來的經驗,都是當前最主流的技術。想要詳細瞭解、深入學習的可以加群:650385180,裡面會分享一些資深架構師錄製的視訊錄影:有Spring,MyBatis,Netty原始碼分析,高併發、高效能、分散式、微服務架構的原理,JVM效能優化、併發程式設計這些成為架構師必備的知識體系。
下圖是我總結效能優化應該學習理解的幾大知識體系:
2、原始碼解讀
原始碼分析是一種臨界知識,掌握了這種臨界知識,能不變應萬變,原始碼分析對於很多人來說很枯燥,生澀難懂。
原始碼閱讀,我覺得最核心有三點:技術基礎+強烈的求知慾+耐心。
我認為是閱讀原始碼的最核心驅動力。我見到絕大多數程式設計師,對學習的態度,基本上就是這幾個層次(很偏激哦):
1.只關注專案本身,不懂就baidu一下。
2.除了做好專案,還會閱讀和專案有關的技術書籍,看wikipedia。
3.除了閱讀和專案相關的書外,還會閱讀IT行業的書,比如學Java時,還會去了解函式語言,如LISP。
4.找一些開源專案看看,大量試用第三方框架,還會寫寫demo。
5.閱讀基礎框架、J2EE規範、Debug伺服器核心。
大多數程式都是第1種,到第5種不光需要濃厚的興趣,還需要勇氣:我能讀懂嗎?其實,你能夠讀懂的。
耐心,真的很重要。因為你極少看到閱讀原始碼的指導性文章或書籍,也沒有人要求或建議你讀。你讀的過程中經常會卡住,而一卡主可能就陷進了迷宮。這時,你需要做的,可能是暫時中斷一下,再從外圍看看它:如API結構、框架的設計圖。
下圖是我總結出目前最應該學習的原始碼知識點:
3、分散式
分散式系統是一個古老而寬泛的話題,而近幾年因為 “大資料” 概念的興起,又煥發出了新的青春與活力。除此之外,分散式系統也是一門理論模型與工程技法並重的學科內容。相比於機器學習這樣的研究方向,學習分散式系統的同學往往會感覺:“入門容易,深入難”。的確,學習分散式系統幾乎不需要太多數學知識。
分散式系統是一個複雜且寬泛的研究領域,學習一兩門線上課程,看一兩本書可能都是不能完全覆蓋其所有內容的。
總的來說,分散式系統要做的任務就是把多臺機器有機的組合、連線起來,讓其協同完成一件任務,可以是計算任務,也可以是儲存任務。如果一定要給近些年的分散式系統研究做一個分類的話,我個人認為大概可以包括三大部分:
1.分散式儲存系統
2.分散式計算系統
3.分散式管理系統
下圖是我總結近幾年目前分散式最主流的技術:
4、微服務
當前微服務很熱,大家都號稱在使用微服務架構,但究竟什麼是微服務架構?微服務架構是不是發展趨勢?對於這些問題,我們都缺乏清楚的認識。
為解決單體架構下的各種問題,微服務架構應運而生。與其構建一個臃腫龐大、難以馴服的怪獸,還不如及早將服務拆分。微服務的核心思想便是服務拆分與解耦,降低複雜性。微服務強調將功能合理拆解,儘可能保證每個服務的功能單一,按照單一責任原則(Single Responsibility Principle)明確角色。 將各個服務做輕,從而做到靈活、可複用,亦可根據各個服務自身資源需求,單獨佈署,單獨作橫向擴充套件。
下圖是我總結出微服務需要學習的知識點:
5、工程化
工欲善其事,必先利其器,不管是小白,還是資深開發,都需要先選擇好的工具。提升開發效率何團隊協作效率。讓自己有更多時間來思考。
七、 推薦書籍
《深入理解Java虛擬機器》
《Effective Java》
《深入分析Java Web技術內幕》
《大型網站技術架構》
《程式碼整潔之道》
《Head First設計模式》
《maven實戰》
《區塊鏈原理、設計與應用》
《Java併發程式設計實戰》
《鳥哥的Linux私房菜》
《從Paxos到Zookeeper》
《架構即未來》
八、總結:
以上就是我總結的Java由淺入深的技術點,希望以上的內容可以幫助到正在默默艱辛,遇到瓶疾且不知道怎麼辦的Java程式設計師們,需要學習,獲取資料的也可以加下上面推薦的那個群,希望可以幫助在這個行業發展的朋友和童鞋們,在論壇部落格等地方少花些時間找資料,把有限的時間,真正花在學習上。
如若知識點總結的有不足的地方,歡迎各位朋友指正,覺得有收穫的朋友也可以點贊關注一下。