直擊DTCC2019現場:資料庫智慧化運維探索與實踐
5月10日,第十屆中國資料庫技術大會(DTCC2019)正在火熱進行中。作為本屆大會討論的焦點之一,“資料庫智慧運維”專場人氣爆棚,來自京東物流、騰訊、位元組跳動、京東商城、便利峰的行業專家出席現場,他們就資料庫自動化運維、異地容災系統等熱點話題作出經驗分享。
京東物流超大規模倉儲系統資料庫叢集大促保障秘訣
京東物流極速的購物體驗中,倉儲和配送時效是最為關鍵的一環。在電商行業中,京東物流擁有超強倉儲管理系統(簡稱WMS系統),涵蓋了從在庫、入庫、出庫等環節,特別是在電商行業中獨有的超大規模倉儲系統叢集,在其中起到了決定性的作用。
▲京東物流資深DBA高文佳
高文佳對WMS系統做了詳細介紹,並針對資料庫運維提出了六點建議:敬畏生產環境,心存敬畏,方能行有所止;規範流程操作,拒絕人情“事故”;定期故障演練,做好緊急預案;高危操作+雙人確認,減少誤操作;主動運維+自動運維,避免緊急救火;開展培訓+積極溝通,將風險截留在開發階段。
TDSQL智慧運維平臺—扁鵲架構與實踐
作為一款金融級資料庫,TDSQL具備六大核心特性,包括資料強一致性、金融級高可用、高效能低成本、企業級安全性、線性水平擴充套件、智慧化運維。TDSQL透過提供“赤兔”自助運營和“扁鵲”智慧DBA徹底規避人為誤操作帶來的安全隱患。
▲騰訊金融雲T4專家雷海林
“赤兔”自助運營服務,可以從管理員視角,在可用性、安全、效率、成本維度進行全方位管控,90%的日常運營操作均可以透過Web頁面完成,減少人為差錯同時幫助金融使用者節約管理及經濟成本、降低風險。
雷海林介紹道,“扁鵲”智慧DBA則具備故障預警、故障自動診斷、歷史事件剖析、最佳化建議、操作透過管理臺自助化、降低DBA工作強度等特性,幫助金融使用者防範系統異常。
Canal的自動化運維以及異地容災系統實踐
傳統資料庫的運維方式,很難滿足大資料場景下的穩定性和高效性。Canal作為中介軟體解決了MySQL Binlog的獲取,將Binlog儲存到訊息佇列中,後續接流式計算框架,或者離線計算框架。
對此,位元組跳動對 Canal的智慧化運維,自動感知資料庫的變更和主動適配,並提出多機房部署及異地容災解決方案,實現了多機房 Canal 例項的統一智慧管理。李暢表示,“我們採用Manager Mode架構,要求保證資料一致性、準確性,服務的穩定性,做離線數倉建設和線上實時同步。”
▲位元組跳動高階大資料平臺工程師李暢
對於未來的發展規劃,李暢透露,“我們希望在穩定性方面,支援例項自動Rebalance,避免單機負載過高;在運維方面,支援例項配置運維中心,例項流量智慧監控及預警。”
機器學習在資料庫運維上的應用
傳統資料庫運維方式具有許多侷限性,被動最佳化(監控/報警/慢SQL/應用報錯等);耗時耗力且低效,較難形成閉環;受限於人的侷限性,複雜場景缺乏擴充套件性;決策過程中資料價值缺失,決策標準主觀性較大;DBA專家緊缺與資料庫服務要求之間的矛盾更加突出等。
如何做到能夠讓資源精準分配,並做到提前防範?基於機器學習的京東智慧運維平臺SmartDBS系統在逐步化解這些難題。該系統包含分類、預測、診斷、決策和排程5大模組。分類、預測、診斷的資料最終進入決策模組參與容器資源分配的決策,並推送進入排程實現資源的重新合理分配。
▲京東商城開發工程師彭安
彭安表示,“SmartDBS的價值在於專家系統、智慧診斷和預測分析三個方面。其中專家決策,降本提效,可免去人員維護的主觀性;多維資料建模分析全面診斷資料庫;單指標特徵預測多模型資料校驗分析。”
便利蜂資料庫運維自動化從0到1演進之路
便利峰資料庫管理平臺包含備份系統、慢查詢系統、線上變更系統、線上查詢系統、MySQL高可用系統等。其中包含需求申請、SQL操作、叢集管理、容量管理、日誌查詢、慢查詢管理、服務治理、資料庫管理、備份管理、Redis管理平臺、叢集監控、OPS管理平臺、Beta管理、平臺週報等功能。
▲便利蜂DBA陳海峰
關於便利峰SQL變更系統的發展歷程,陳海峰透露主要有“萌芽期、突破期和迭代期”三個階段,“首先,我們做的工作主要是流程規範、備份監控、慢查詢系統。然後,SQL變更、SQL查詢、資料庫高可用的研發;從18年10月份至今,我們開始部署擴容叢集,進行服務治理和容量管理。”
資料庫運維自動化來源於工作中的痛點,而這種壓力推動了技術的不斷變革。透過上述五位行業專家的分享,我們可以從更多角度來思考資料庫的智慧運維。未來,將是自動化和智慧化資料庫運維的時代。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31545813/viewspace-2643959/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料庫智慧運維探索與實踐資料庫運維
- 運維數智化轉型的深入實踐與探索運維
- 如何落地資料庫智慧化運維?資料庫運維
- 資料庫治理的探索與實踐資料庫
- 資料庫運維 | 攜程分散式圖資料庫NebulaGraph運維治理實踐資料庫運維分散式
- 【DB】有贊資料庫自動化運維實踐之路資料庫運維
- 阿里海量大資料平臺的運維智慧化實踐阿里大資料運維
- 資料庫伺服器運維最佳實踐資料庫伺服器運維
- 【恩墨學院】阿里雲資料庫CloudDBA的自動運維與智慧最佳化探索阿里資料庫Cloud運維
- 金融系統IT運維監控的探索與實踐運維
- 2023年大資料場景智慧運維實踐總結大資料運維
- 透過運維編排實現自動化智慧運維與故障自愈運維
- 如何運維多叢集資料庫?58 同城 NebulaGraph Database 運維實踐運維資料庫Database
- 資料庫簡化運維,智慧診斷助手幫你搞定!資料庫運維
- 資料庫的智慧化運維和故障平臺預測資料庫運維
- 陝重汽:大規模資料庫如何實現自動化運維?資料庫運維
- IDC企業如何實現智慧化運維運維
- IDC有必要實現智慧化運維嗎?運維
- BES 在大規模向量資料庫場景的探索和實踐資料庫
- 前端資料層的探索與實踐(一)前端
- 前端資料層的探索與實踐(二)前端
- ansible自動化運維資料庫運維資料庫
- Android元件化探索與實踐Android元件化
- FlutterWeb效能優化探索與實踐FlutterWeb優化
- Android 模組化探索與實踐Android
- 直擊痛點!打造廣州電視臺雲端智慧運維新體驗運維
- 阿里云云效智慧化程式碼平臺的探索與實踐阿里
- 運維角度淺談MySQL資料庫優化運維MySql資料庫優化
- 運維角度淺談 MySQL 資料庫優化運維MySql資料庫優化
- CNCC技術論壇|分散式資料庫HTAP的探索與實踐分散式資料庫
- 京東資料庫智慧運維平臺建設之路資料庫運維
- 美團多場景建模的探索與實踐
- 從百度運維實踐談“基於機器學習的智慧運維”運維機器學習
- 指標是構築自動化運維與智慧化運維的基石指標運維
- 四大業務場景解析資料化運營的最佳實踐
- 運維前線:一線運維專家的運維方法、技巧與實踐1.3 運維自動化的困境和價值運維
- 阿里智慧運維實踐|阿里巴巴DevOps實踐指南阿里運維dev
- 華為雲胡亞凡 華為雲NoSQL資料庫的探索與實踐分享SQL資料庫