機器學習如何自動優化資料庫的八卦
之前看老楊寫了篇爆文,《DBA要失業了?看ML如何自動優化資料庫》,當時猛一看很有革命性,但是在看了這篇文章之後,有了兩點想法,第一是,目前的自動化優化方式還在探索當中,並不是一個革命性的顛覆研究結果,但是很有潛力,因為資料庫和機器學習聯絡在一起,如果繼續往下走,還是有無限可能的,第二是,DBA現有的工作還是有很多的改進之處,也給追求穩定安逸功能我們敲響了警鐘。
這篇文章從另外的角度來看看這個開源專案ottertune,因為消化裡面的論文還是需要很多的時間,但是我大體看了下思路還是連貫的。
我們來扒一扒裡面的作者,也間接來透視下這個開源專案。
首先這個開源專案是otttertune,是大名鼎鼎的CMU(卡內基梅隆大學)推出的,github地址是:https://github.com/cmu-db/ottertune,如下:
卡內基梅隆作為世界計算機行業的精英要臉,不光是自己要玩得High,也更加開放,讓更多的人來了解他們。github上該大學有一個專門的資料組,是以學校名義建立的,裡面不僅僅有ottertune,還有很多的工具,感興趣的可以看看。
裡面應該包含了資料庫相關專業的所有學生,越是細看,越是覺得有意思。
我們來看一下作者,如果檢視ottertune裡面readme的介紹,最後會給出貢獻者。
在此就會有幾個疑問,這幾個學生到底是什麼來頭,最後的學生為什麼沒有單獨引入進來。
結果一查還真是讓我吃了一驚,裡面的Dana是位phD(博士),專攻這個方向,而且同時參與了多個專案。
第二位是助理教授(級別高於講師而低於副教授)
如果你細心一些會發現,作者的排名可是這位Dana排在前面,後面才是助理教授。
如果你覺得沒有什麼,我們繼續看第三位作者:
這位可是教授,排在了第三個位子,讓我確實有些吃驚,按照很多排位,一般都得是資歷最深,而在這裡相反我可以猜測是因為Dana主導了這個專案,投入了更多的精力。
那麼最後一位作者呢,我們看看裡面提供的相關資料,就是論文,大概16頁,作者是來自北京大學的一位同學。
這個發現讓我有了一種很熟悉的感覺,因為這個是涉及深度學習的內容,整個專案的實現是選擇了Python來實現,裡面含有大量的類庫。
這是Ottertune工作的一個基本原理圖,在論文裡面提供了更多的細節。
目前支援的資料庫是MySQL和PostgreSQL,他們的一個發力點就是引數的優化方面。
比如下面的就是他們做為調優內容的一個初步的結論,後面也在不斷的改進過程中,因為是按照機器學習的角度來入手,很多思維和處理方式和DBA的還是有一些差別,希望能夠引入更多的火花。
而從學術角度來說,我的積澱還不夠深入,不能夠給出很深入的分析。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/23718752/viewspace-2144185/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 如何優化資料庫物件優化資料庫物件
- 如何解決自動化切換資料庫的問題資料庫
- 資料庫優化 - SQL優化資料庫優化SQL
- AutoTiKV:基於機器學習的資料庫調優機器學習資料庫
- 資料庫優化資料庫優化
- 資料庫的優化需要資料庫優化
- ansible自動化運維資料庫運維資料庫
- Facebook如何實現PB級別資料庫自動化備份資料庫
- 自動更新資料庫資料的shell資料庫
- 2 Day DBA-管理方案物件-監控和優化資料庫-配置自動SQL優化指導物件優化資料庫SQL
- MySQL資料庫優化MySql資料庫優化
- 資料庫優化SQL資料庫優化SQL
- Oracle資料庫優化Oracle資料庫優化
- 資料庫效能優化資料庫優化
- 資料庫優化流程資料庫優化
- 資料庫結構的優化資料庫優化
- 資料庫的優化和效率資料庫優化
- 資料庫優化的步驟資料庫優化
- 優化資料庫EXP的效率優化資料庫
- Python 環境下的自動化機器學習超引數調優Python機器學習
- 2 Day DBA-管理方案物件-監控和優化資料庫-關於自動SQL優化指導物件優化資料庫SQL
- 自動化測試如何管理測試資料
- 騰訊雲ClickHouse如何實現自動化的資料均衡?
- 資料庫SQL優化大總結之 百萬級資料庫優化方案資料庫SQL優化
- 資料庫SQL優化大總結之百萬級資料庫優化方案資料庫SQL優化
- 資料庫優化之臨時表優化資料庫優化
- 【效能優化】ORACLE資料庫效能優化概述優化Oracle資料庫
- 【資料庫優化】面向程式設計師的資料庫訪問效能優化法則資料庫優化程式設計師
- 【python介面自動化】- 對接各大資料庫Python大資料資料庫
- 資料庫優化的最佳實踐資料庫優化
- 50種優化資料庫的方法優化資料庫
- MySQL資料庫的效能優化指南MySql資料庫優化
- 優化資料庫的合理順序優化資料庫
- [zt] 談資料庫的效能優化資料庫優化
- MYSQL資料庫------SQL優化MySql資料庫優化
- 資料庫效能優化2資料庫優化
- 百萬級資料庫優化資料庫優化
- 資料庫查詢優化資料庫優化