機器學習如何自動優化資料庫的八卦

jeanron100發表於2017-08-26

之前看老楊寫了篇爆文,《DBA要失業了?看ML如何自動優化資料庫》,當時猛一看很有革命性,但是在看了這篇文章之後,有了兩點想法,第一是,目前的自動化優化方式還在探索當中,並不是一個革命性的顛覆研究結果,但是很有潛力,因為資料庫和機器學習聯絡在一起,如果繼續往下走,還是有無限可能的,第二是,DBA現有的工作還是有很多的改進之處,也給追求穩定安逸功能我們敲響了警鐘。

這篇文章從另外的角度來看看這個開源專案ottertune,因為消化裡面的論文還是需要很多的時間,但是我大體看了下思路還是連貫的。

我們來扒一扒裡面的作者,也間接來透視下這個開源專案。

首先這個開源專案是otttertune,是大名鼎鼎的CMU(卡內基梅隆大學)推出的,github地址是:https://github.com/cmu-db/ottertune,如下:

機器學習如何自動優化資料庫的八卦

卡內基梅隆作為世界計算機行業的精英要臉,不光是自己要玩得High,也更加開放,讓更多的人來了解他們。github上該大學有一個專門的資料組,是以學校名義建立的,裡面不僅僅有ottertune,還有很多的工具,感興趣的可以看看。

機器學習如何自動優化資料庫的八卦

裡面應該包含了資料庫相關專業的所有學生,越是細看,越是覺得有意思。

我們來看一下作者,如果檢視ottertune裡面readme的介紹,最後會給出貢獻者。

機器學習如何自動優化資料庫的八卦

在此就會有幾個疑問,這幾個學生到底是什麼來頭,最後的學生為什麼沒有單獨引入進來。

結果一查還真是讓我吃了一驚,裡面的Dana是位phD(博士),專攻這個方向,而且同時參與了多個專案。

機器學習如何自動優化資料庫的八卦

第二位是助理教授(級別高於講師而低於副教授)

機器學習如何自動優化資料庫的八卦

如果你細心一些會發現,作者的排名可是這位Dana排在前面,後面才是助理教授。

如果你覺得沒有什麼,我們繼續看第三位作者:

機器學習如何自動優化資料庫的八卦

這位可是教授,排在了第三個位子,讓我確實有些吃驚,按照很多排位,一般都得是資歷最深,而在這裡相反我可以猜測是因為Dana主導了這個專案,投入了更多的精力。

那麼最後一位作者呢,我們看看裡面提供的相關資料,就是論文,大概16頁,作者是來自北京大學的一位同學。

機器學習如何自動優化資料庫的八卦

這個發現讓我有了一種很熟悉的感覺,因為這個是涉及深度學習的內容,整個專案的實現是選擇了Python來實現,裡面含有大量的類庫。

這是Ottertune工作的一個基本原理圖,在論文裡面提供了更多的細節。

機器學習如何自動優化資料庫的八卦

目前支援的資料庫是MySQL和PostgreSQL,他們的一個發力點就是引數的優化方面。

比如下面的就是他們做為調優內容的一個初步的結論,後面也在不斷的改進過程中,因為是按照機器學習的角度來入手,很多思維和處理方式和DBA的還是有一些差別,希望能夠引入更多的火花。

而從學術角度來說,我的積澱還不夠深入,不能夠給出很深入的分析。

機器學習如何自動優化資料庫的八卦


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/23718752/viewspace-2144185/,如需轉載,請註明出處,否則將追究法律責任。

相關文章