參加Gdevops總結
樂視
他們的全域性ID生成採用Snowflake,並且附加了分庫分表資訊.
也就是說,根據全域性ID,就可以知道該資訊具體存在哪個資料庫中.
比如 userid mod 8 然後拼接在 Snow ID之前
這樣透過 GID的前幾位,就可以知道分庫資訊.
但是一旦資料庫擴容,ID就會很麻煩.
所以他們 一般mod很大的數字
比如 userid mod 128 拼接 Snow ID
另外,他們最終一致性,將分庫的資訊,彙總到一個總庫,然後對比.
感覺有點繁瑣.
最後,樂視的架構師說分庫不能無限擴充套件,
因為每個中介軟體都需要連線所有的分庫.
這樣隨著中介軟體,資料庫的增多.
每個中介軟體獲得的每個資料庫的連線會越少.因為每個資料庫的最大連線數量都是有上限的.
所以一般採用微服務拆分,由上層服務決定,分配到哪個微服務處理.
而微服務,只是連線自己的那個資料庫就可以了.
58沈劍
最終一致性三種寫入方式
1.同步寫,寫完A庫,寫B庫
缺點
寫B庫失敗,A庫如何處理?
假如寫A庫,B庫,最後在提交A庫,B庫.
則連線和鎖的佔用時間,都增大了
2.同步寫一個庫,非同步寫另外一個庫..(這個..看著眼熟)
3.同步寫A庫,離線非同步寫B庫.(透過Canel抽)
事務補償三種方式
1.全量掃資料對比
2.掃描增量日誌(就是掃描translog和msglog)
3.實時比對
每次寫A庫或者寫B庫,都傳送一個訊息到訊息佇列,然後由一個消費者程式,同時收到兩個訊息,則認為事務完成.否則超時事務補償.
但是這個訊息佇列的可靠性由什麼保證呢.也是一個麻煩的事情.
他們的全域性ID生成採用Snowflake,並且附加了分庫分表資訊.
也就是說,根據全域性ID,就可以知道該資訊具體存在哪個資料庫中.
比如 userid mod 8 然後拼接在 Snow ID之前
這樣透過 GID的前幾位,就可以知道分庫資訊.
但是一旦資料庫擴容,ID就會很麻煩.
所以他們 一般mod很大的數字
比如 userid mod 128 拼接 Snow ID
另外,他們最終一致性,將分庫的資訊,彙總到一個總庫,然後對比.
感覺有點繁瑣.
最後,樂視的架構師說分庫不能無限擴充套件,
因為每個中介軟體都需要連線所有的分庫.
這樣隨著中介軟體,資料庫的增多.
每個中介軟體獲得的每個資料庫的連線會越少.因為每個資料庫的最大連線數量都是有上限的.
所以一般採用微服務拆分,由上層服務決定,分配到哪個微服務處理.
而微服務,只是連線自己的那個資料庫就可以了.
58沈劍
最終一致性三種寫入方式
1.同步寫,寫完A庫,寫B庫
缺點
寫B庫失敗,A庫如何處理?
假如寫A庫,B庫,最後在提交A庫,B庫.
則連線和鎖的佔用時間,都增大了
2.同步寫一個庫,非同步寫另外一個庫..(這個..看著眼熟)
3.同步寫A庫,離線非同步寫B庫.(透過Canel抽)
事務補償三種方式
1.全量掃資料對比
2.掃描增量日誌(就是掃描translog和msglog)
3.實時比對
每次寫A庫或者寫B庫,都傳送一個訊息到訊息佇列,然後由一個消費者程式,同時收到兩個訊息,則認為事務完成.否則超時事務補償.
但是這個訊息佇列的可靠性由什麼保證呢.也是一個麻煩的事情.
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29254281/viewspace-2119020/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Gdevops上海站總結dev
- 出國開會總結,學生,初次出國參加學術會議
- JS傳參技巧總結JS
- 參考手冊總結
- 全文索引參考總結索引
- 深度學習模型調參總結深度學習模型
- 深度學習調參tricks總結!深度學習
- 深度學習調參tricks總結深度學習
- 複製管理API參考總結API
- 參加招聘會,申請加3分
- MySQL分庫分表總結參考MySql
- SVN使用技巧和參考文件總結
- openai GPT引數(入參)使用總結OpenAIGPT
- Gdevops廣州站歸來dev
- Gdevops峰會歸來dev
- 效能調整手冊和參考總結
- 參加資料庫嘉年華有感資料庫
- 總結一下公共欄位(aop加自定義註解加反射)反射
- UWP中新加的資料繫結方式x:Bind分析總結
- 二級指標做形參機制總結指標
- 參加java培訓要學多久Java
- 參加java培訓需要學多久Java
- 參加Google AI 年度峰會有感GoAI
- VC為控制元件加ToolTip工具提示方法總結控制元件
- 創心-第14屆D2參會總結
- 參加UI培訓有發展嗎?UI
- 參加 Google Summer of Code 的體驗Go
- 參加社群技術活動後的感想
- JAVA程式設計師面試總結,高手整理加強版Java程式設計師面試
- 《第五屆中國CSSConf開發者大會》參會總結CSS
- {Android}參加阿里完面試後:一面+二面+三面+HR四面,我的覆盤經驗總結!Android阿里面試
- 參加Python培訓會有前景嗎?Python
- 參加Java培訓需要注意什麼Java
- 新手參加java培訓都學什麼Java
- 參加Python培訓後能幹嘛Python
- 參加UI培訓課程學什麼UI
- 參加UI設計培訓要學多久UI
- 快來參加學習.NET 挑戰賽