系統自動化調優時代來臨,DBA真的要失業了?

tianxiaoxu發表於2018-05-07

前段時間,亞馬遜和卡內基梅隆大學一起開發了一套名叫“OtterTune”的機器學習自動化調整DBMS的系統。這個訊息一出引無數DBA淚奔,就連阿里雲棲社群也在大呼“OtterTune來了,DBA真的要失業了嗎?”

  系統自動化調優到底有什麼優勢讓DBA們人人自危?它到底解決了企業的哪些痛點?DBA們真的會失業嗎?2017年10月19日-21日,在北京舉辦的第九屆系統架構師大會邀請了優調科技技術總監朱妤晴為我們一一解答上面的問題,並帶來目前業界在系統自動化調優領域最前沿的研究。

系統自動化調優來臨,DBA真的要失業了?

優調科技技術總監 朱妤晴

  什麼是系統自動化調優呢?為了適應不同應用需求,系統在開發時就暴露了大量與部署、應用場景相關的引數,這些引數與系統效能緊密相關,必須由對系統和應用有資深經驗的技術人員來調優,而系統自動化調優指的就是將這一過程自動化。

  目前系統自動化面臨的挑戰是企業為了適應更多的部署環境和應用場景,系統引數的個數越來越多,為了滿足不同的應用負載需求,涉及的系統也越來越多,而引數設定與系統、應用緊密相關,這就造成了效能曲線複雜多變。

  所以系統調優就成為了企業的痛點,對於大公司來說,系統調優耗時長不說,而且聘請調優專家成本非常高,如果自己培養優秀的調優人員週期長、開銷大。對於中小公司來說,支付高昂調優專家費用,價效比低;系統效能不高,導致硬體開銷大;難以迅速上手新系統,導致業務受限。

  針對企業痛點,系統自動化調優應運而生。朱妤晴表示目前系統自動化調優工具主要有兩個,一個是上文提到的OtterTune,還有一個就是有中科院計算所,先進計算機系統研究中心研發的BestConfig。

  BestConfig的關鍵技術包括高可擴充套件調優系統架構、分割差異化取樣演算法和遞迴限定查詢演算法,可應用於Cassandra、MySQL、Tomcat、Spark、Hadoop、Hive 6個常見系統及JVM,最多可以調優109個引數。BestConfig與OtterTune的對比詳見下圖:

系統自動化調優來臨,DBA真的要失業了?

  系統自動化調優僅調整系統引數值,即可使效能最大提升11倍;節省人力開銷;減少硬體開銷;更公平地測試和比較系統效能;確定系統瓶頸。那麼系統自動化調優工具的出現真的會讓DBA們失業嗎?朱妤晴表示DBA們並不會失業,但是他們必須主動融入智慧化、自動化的潮流中,讓這些更有價值的工具為你所用,為你服務。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31137683/viewspace-2154043/,如需轉載,請註明出處,否則將追究法律責任。

相關文章