機器學習如何自動優化資料庫的八卦
之前看老楊寫了篇爆文,《DBA要失業了?看ML如何自動優化資料庫》,當時猛一看很有革命性,但是在看了這篇文章之後,有了兩點想法,第一是,目前的自動化優化方式還在探索當中,並不是一個革命性的顛覆研究結果,但是很有潛力,因為資料庫和機器學習聯絡在一起,如果繼續往下走,還是有無限可能的,第二是,DBA現有的工作還是有很多的改進之處,也給追求穩定安逸功能我們敲響了警鐘。
這篇文章從另外的角度來看看這個開源專案ottertune,因為消化裡面的論文還是需要很多的時間,但是我大體看了下思路還是連貫的。
我們來扒一扒裡面的作者,也間接來透視下這個開源專案。
首先這個開源專案是otttertune,是大名鼎鼎的CMU(卡內基梅隆大學)推出的,github地址是:https://github.com/cmu-db/ottertune,如下:
卡內基梅隆作為世界計算機行業的精英要臉,不光是自己要玩得High,也更加開放,讓更多的人來了解他們。github上該大學有一個專門的資料組,是以學校名義建立的,裡面不僅僅有ottertune,還有很多的工具,感興趣的可以看看。
裡面應該包含了資料庫相關專業的所有學生,越是細看,越是覺得有意思。
我們來看一下作者,如果檢視ottertune裡面readme的介紹,最後會給出貢獻者。
在此就會有幾個疑問,這幾個學生到底是什麼來頭,最後的學生為什麼沒有單獨引入進來。
結果一查還真是讓我吃了一驚,裡面的Dana是位phD(博士),專攻這個方向,而且同時參與了多個專案。
第二位是助理教授(級別高於講師而低於副教授)
如果你細心一些會發現,作者的排名可是這位Dana排在前面,後面才是助理教授。
如果你覺得沒有什麼,我們繼續看第三位作者:
這位可是教授,排在了第三個位子,讓我確實有些吃驚,按照很多排位,一般都得是資歷最深,而在這裡相反我可以猜測是因為Dana主導了這個專案,投入了更多的精力。
那麼最後一位作者呢,我們看看裡面提供的相關資料,就是論文,大概16頁,作者是來自北京大學的一位同學。
這個發現讓我有了一種很熟悉的感覺,因為這個是涉及深度學習的內容,整個專案的實現是選擇了Python來實現,裡面含有大量的類庫。
這是Ottertune工作的一個基本原理圖,在論文裡面提供了更多的細節。
目前支援的資料庫是MySQL和PostgreSQL,他們的一個發力點就是引數的優化方面。
比如下面的就是他們做為調優內容的一個初步的結論,後面也在不斷的改進過程中,因為是按照機器學習的角度來入手,很多思維和處理方式和DBA的還是有一些差別,希望能夠引入更多的火花。
而從學術角度來說,我的積澱還不夠深入,不能夠給出很深入的分析。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/23718752/viewspace-2144185/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- AutoTiKV:基於機器學習的資料庫調優機器學習資料庫
- Python 環境下的自動化機器學習超引數調優Python機器學習
- 資料的採集,清洗,資料機器自動標註及轉化為深度學習格式深度學習
- 演算法金 | 10 大必知的自動化機器學習庫(Python)演算法機器學習Python
- AI機器學習自動化的四個等級AI機器學習
- Auto Machine Learning 自動化機器學習筆記Mac機器學習筆記
- DTalk|自動化機器學習-人工智慧的未來機器學習人工智慧
- 如何簡化機器人自動化的整合機器人
- Feature Tools:可自動構造機器學習特徵的Python庫機器學習特徵Python
- 如何解決自動化切換資料庫的問題資料庫
- 資料庫內機器學習是資料分析的未來 - BDAN資料庫機器學習
- 自動機器學習簡述(AutoML)機器學習TOML
- 機器學習狗太苦逼了!自動化調參哪家強?機器學習
- 資料庫學習優質站點資料庫
- 資料科學中特徵工程如何自動化? - Reddit資料科學特徵工程
- 資料庫優化 - SQL優化資料庫優化SQL
- ansible自動化運維資料庫運維資料庫
- 學術加油站|機器學習應用在資料庫調優領域的前沿工作解讀機器學習資料庫
- 資料庫優化資料庫優化
- 機器學習-資料清洗機器學習
- 機器學習 大資料機器學習大資料
- 學習資料庫索引機制資料庫索引
- 如何理解RPA機器人流程自動化機器人
- 【機器學習】--Python機器學習庫之Numpy機器學習Python
- MLSys提前看:機器學習的分散式優化方法機器學習分散式優化
- 【機器學習】--迴歸問題的數值優化機器學習優化
- 機器學習中常見優化方法彙總機器學習優化
- 自動機器學習和AI初學者指南機器學習AI
- 資料庫應用優化(二)伺服器和配置優化資料庫優化伺服器
- RPA機器人流程自動化賦能與資料化運營機器人
- 機器學習框架ML.NET學習筆記【9】自動學習機器學習框架筆記
- 如何學習機器學習機器學習
- 為什麼說自動化特徵工程將改變機器學習的方式特徵工程機器學習
- 資料庫結構的優化資料庫優化
- 機器學習-- 資料轉換機器學習
- 機器學習之清理資料機器學習
- 資料庫優化SQL資料庫優化SQL
- MySQL資料庫優化MySql資料庫優化
- 【機器學習】深度學習與經典機器學習的優劣勢一覽機器學習深度學習