知識學習綜合三---分散式系統大資料
一 大資料
1 大資料總結
拆分越細耦合度越低,越不容易出錯,但是部署的時候維護成本越高
dubbo 在2012年停止維護,在17年10月開始重新維護,中斷了5年
通過站長之家的 站長工具 dns查詢,查詢www.jd.com可以看到返回很多地址,離自己閱盡越 快,京東
策略是根據ip檢視最近的伺服器來進行返回的,所以說很快的
為了加速,需要負載均衡器錄入nginx做7層負載均衡,但是還不夠,需要加上其他軟硬體的負載均衡,為了提升吞吐量
,加上lvs和f5分別是軟體和硬體負載均衡器,,就是在dns和niginx之間的,這兩種由 系統工程師做,開發只管nginx就行
b: http反向代理
除了做負載均衡還做 一個 快取的功能主要是upstream的問題
c: 垂直切分和水平切分
垂直切分是 不同表分到不同的資料庫裡,水平切分是同一個表放到不同的資料庫裡
2 常見大資料的rpc技術
webservice,java rmi, hessian,finagle
傳輸格式有的是xml/json,但是很笨重,最好的是二進位制格式
3 dubbo防止超時然後重試引發系統雪崩
原因是 dubbo預設超時了重試兩次,如果有的業務本身就需要大量時間,則會重試的無限迴圈下去 failover
這個策略是可以設定了,寫了就知道了,還有failsafe,failfast等等
五 問題
1 什麼是業務垂直拆分
2 nginx進行請求轉發
3 最大的問題是太多的東西不紮實了,好多的都沒有學習,一天一天就這麼多過去了
4 需要學習hessian技術,就是rpc技術
5 2018年實現技術大的飛躍好不好呢
6 阿里主推HSF,目前dubbo已經開始更新
7 nignx的反向代理測試和負載均衡和Upstream的學習問題
相關文章
- 知識學習綜合
- 系統架構師綜合知識架構
- 如何更高效的系統學習大資料方面知識?大資料
- 【大資料】BigTable分散式資料儲存系統分散式資料庫 | 複習筆記大資料分散式資料庫筆記
- 大資料的系統學習:大資料學習的三個階段概述大資料
- 2020綜合知識
- 大資料學習,涉及的知識點大資料
- 大資料 | 分散式檔案系統 HDFS大資料分散式
- 如何構建分散式系統的知識體系分散式
- MySQL 基礎知識梳理學習(一)—-系統資料庫MySql資料庫
- 基於AI知識庫RAG的綜合視窗系統AI
- 分散式系統學習筆記分散式筆記
- 學習大資料需要掌握的知識,需要學習的資料技術大資料
- 分散式系統(三)——分散式事務分散式
- 好程式設計師大資料學習路線分享分散式檔案系統HDFS程式設計師大資料分散式
- 分散式系統知識分享:正確理解CAP定理分散式
- 大資料學習四:網路相關知識大資料
- Hadoop大資料分散式處理系統簡介Hadoop大資料分散式
- 彈性分散式深度學習系統分散式深度學習
- 大資料的知識體系大資料
- 學大資料需要掌握的知識,需要學習的資料技術大資料
- python綜合學習七之TensorFlow初識Python
- 求教,綜合能源管理系統都需要哪些計算機知識?計算機
- 分散式系統(Distributed System)資料分散式
- 2019年,該怎樣去系統學大資料,知識+內容+教程大資料
- Redis基礎知識(學習筆記2--分散式鎖)Redis筆記分散式
- 大資料入門到精通,想入行大資料需要學習這些知識大資料
- 大資料學習路線指南(最全知識點總結)大資料
- 分散式資料庫系統(DDBS) 概述分散式資料庫
- 分散式架構知識體系必讀分散式架構
- Redis基礎知識(學習筆記22--分散式鎖 Redisson )Redis筆記分散式
- Hadoop學習(一)——HDFS分散式檔案系統Hadoop分散式
- 分散式機器學習常用資料集分散式機器學習
- 大資料的分散式機器學習的策略與原則大資料分散式機器學習
- 資料庫MySQL需要學習基本知識資料庫MySql
- 2019大資料學習路線指南(最全知識點總結)大資料
- 學習大資料要從哪些知識點開始著手?大資料
- 幽默!分散式系統共識演算法的三階段分散式演算法