知識學習綜合三---分散式系統大資料

瓜瓜東西發表於2018-09-09

一 大資料

 

1 大資料總結

 

   拆分越細耦合度越低,越不容易出錯,但是部署的時候維護成本越高

dubbo 在2012年停止維護,在17年10月開始重新維護,中斷了5年

通過站長之家的 站長工具 dns查詢,查詢www.jd.com可以看到返回很多地址,離自己閱盡越 快,京東

策略是根據ip檢視最近的伺服器來進行返回的,所以說很快的

為了加速,需要負載均衡器錄入nginx做7層負載均衡,但是還不夠,需要加上其他軟硬體的負載均衡,為了提升吞吐量

,加上lvs和f5分別是軟體和硬體負載均衡器,,就是在dns和niginx之間的,這兩種由 系統工程師做,開發只管nginx就行

b: http反向代理

除了做負載均衡還做 一個 快取的功能主要是upstream的問題

c: 垂直切分和水平切分

  垂直切分是 不同表分到不同的資料庫裡,水平切分是同一個表放到不同的資料庫裡

 

2 常見大資料的rpc技術

 

 webservice,java rmi, hessian,finagle

傳輸格式有的是xml/json,但是很笨重,最好的是二進位制格式

 

3 dubbo防止超時然後重試引發系統雪崩

 

原因是 dubbo預設超時了重試兩次,如果有的業務本身就需要大量時間,則會重試的無限迴圈下去 failover

這個策略是可以設定了,寫了就知道了,還有failsafe,failfast等等

 

五 問題

 

1 什麼是業務垂直拆分

2 nginx進行請求轉發

3 最大的問題是太多的東西不紮實了,好多的都沒有學習,一天一天就這麼多過去了

4 需要學習hessian技術,就是rpc技術

5 2018年實現技術大的飛躍好不好呢

6 阿里主推HSF,目前dubbo已經開始更新

7 nignx的反向代理測試和負載均衡和Upstream的學習問題

相關文章