資料探勘者與資料探勘青年的對話（轉）

說明：以下為資料探勘者 (IDMer)給我(資料探勘青年 DMman)的回信，答覆了我作為一個資料探勘初學者對對資料探勘的種種疑問。對資料探勘者表示真誠的感謝！與大家共勉。

[@more@]

DMman：

我是一名研一生，專業是資料庫。我想自己選擇一門方向，認真的學習，作為終身職業。譬如 java程式設計師、資料探勘人員、資料庫管理人員等等。我比較喜歡資料探勘，但是若干問題難以釋惑。

問題1：現在選擇資料探勘作為終身職業是明智之舉嗎？

現在網上對資料探勘的前景討論的很厲害，褒貶不一。但是至少可以確定的是資料探勘已經越來越被重視了。如你所言，大家看到的只是表面，許多成功的案例企業沒有對外公開。但不可否認的是，資料探勘在中國的應用有屠龍之技的嫌疑，廣大的企業還沒有重視起來。
總之，男怕投錯行，這個問題總是敲擊著我。如果我是您的弟弟，您會鼓勵我走資料探勘之路嗎？還是推薦其他的IT職業？

IDMer：

就我個人的觀點，資料探勘的發展還是前途很廣闊的。說白了，資料探勘就是一種分析問題的手段，問題一直會有，解決問題的手段也就一直有存在的必要。也許你聽說過美國早期西部淘金熱的時候，富起來的不是淘金者，而是為淘金者提供工具、水的人，甚至因為礦工需要結實耐磨的衣服，以致於牛仔褲風行起來並經久不衰。
至於你提到“屠龍之技”之說，只是很多人因為不熟悉資料探勘的內部技術而產生的莫測高深的感覺。其實，資料探勘本身並不是新技術，它融合了來自於統計學、資料庫和機器學習等多學科已經成熟的內容，冠上了一個看起來比較時髦的名字而已。
組成資料探勘的這三門支柱學科都已經發展了多年，也已得到了廣泛的應用。那麼我們也有理由相信它們的融合，能幫助我們解決更多的分析方面的問題。何況，業界還是有很多的成功案例，體現出資料探勘所帶了獨特優勢，而這些，是傳統的BI（報表、OLAP等）無法支援的。

以上說了不少資料探勘的好話，下面再看看硬幣的另一面。如果你是我的弟弟（呵呵，雖然我沒有，但也和很多年輕的師弟師妹聊過擇業的話題），我會建議你不做IT業，哈哈，一句半真半假的玩笑。因為在IT這個行業看起來還是滿辛苦的，而且在很多專案中，常常需要重複一些沒什麼技術含量的任務，消耗的精力不少，獲得的成就感卻不多。

Anyway，我的建議，其實也是我原來給自己的一句座右銘：認為對的就去做。找到自己的興趣所在，並且感覺也有發展，那就盡力去做好了。

DMman：

問題2：如果我現在選擇了資料探勘，應該怎麼做？

您曾經在部落格上回復一位北郵同學，建議熟悉學習各種演算法；建立模型，創新思路改進演算法撰寫論文。

我當前的計劃是 學習各種演算法的原理；學習java語言；研究weka原始碼，深入瞭解幾種經典演算法的步驟；學習瞭解ETL，資料倉儲、OLAP等；透過使用的資料集建立挖掘模型；思考論文；有空的話 還得SPSS或其他一個流行軟體的使用方法。其中，我覺得難點是對資料集的整理形成挖掘流程的輸入。

其中，我也有若干疑惑：掌握一門資料庫是很重要的，但是沒有時間一一瞭解SQL Server、Oracle、DB2等，但是在求職時，又說不定單位要求會哪門資料庫！？我想就SQL Server單獨進行深入的學習，包括學習在SQL Server中資料倉儲的建立和資料探勘的應用，其他的也就不管了。不知我這個選一而棄其他的打算可取不可取？

IDMer：

從你的計劃來看，還是對自己要掌握的知識和技能，劃出了一個範圍。看上去還不錯，我只是從個人的經驗出發，建議你不必苛求自己十八般武藝樣樣精通，很多方面只需基本瞭解，選擇幾個重點來練成自己的絕活。人的精力畢竟有限，目標越大就越難實現。
至於選擇那些作為重點，就需要在廣泛瞭解的基礎上，結合自己的興趣進行篩選了。
關於資料庫的掌握，我覺得熟悉一種產品已經足夠。SQL Server、Oracle、DB2都是關聯式資料庫，在學生階段把關聯式資料庫的基礎理論打牢，熟練運用SQL語句就可以了。這些主流資料庫之間的差異，不是遵循的標準不同，而是產品的特性有別，以及在效能調優時的技巧。

DMman：

問題3：如何使學習階段與行業應用靠攏？
有一位學長，建議我學技術的時候要和行業靠攏，否則，“沒有行業背景的技術會很飄”。我覺得他說的有道理，技術是相當寬泛的，你不可能面面俱到；而且，當你實際工作後，也就專於一個行業，技術的需要面也就變窄了。這樣，有利於學習重點，不至於在學習時，面面俱到，沒有突出。

但是，在資料探勘方面，曾經請教過你，資料探勘人員的工作性質。一種是在甲方做分析人員，利用所掌握的資料探勘知識來解決一些業務問題。一種是在IT公司，為甲方實施DM、DW和BI等專案（前輩自己便屬於此類？）。

在這裡，我不太明白作為甲方，日常具體做些什麼？難道是類似於網管性質的？那樣不更傾向於資料庫管理人員？他們還算是專業的資料探勘人員嗎，怎麼覺得公司不大會安排這樣的職位呢？

我比較傾向於做乙方，那樣好像更專業似的。但是，乙方的話，都說資料探勘在金融、電信、銀行還是銷售等方面主要應用。難道這意味著要學習或瞭解金融電信的背景、CRM、經濟學、Excel……?

還有，您曾提到，畢業後也可以做研究工作，我覺得提供研究工作的崗位畢竟是少的。而且，那樣掙錢多嗎（流汗中）？

是否現在應該考慮以後進哪個（哪類）公司，現在根據它的要求來強化自己呢？

IDMer：

你這位學長說得沒錯，脫離實際的純理論大多會消散於無形。至於甲乙方的區別，實際上也沒有想像中那麼大，特別是對於剛剛參加工作的基層員工來說，可能差不多。
先在乙方歷練幾年，然後跳到甲方，這種狀況我看到不少。也許是因為在乙方接受的鍛鍊和學習到新知識經驗的機會更多些吧，可以在年輕時有更多的積累。當然，如果有很好的在甲方工作的機會，也是不錯的選擇。
到乙方工作，特別是對一直待在校園裡的應屆生來說，招聘方重點考察的大多是你的知識是否紮實、性格是否有利於融入團隊等方面。至於對行業的瞭解，一般很少有過多的期望，除非你有多年在相關行業做專案的經驗。
國內的研究機構還是以科研院所和高校為主，待遇一般要比公司低，但也有很多人，包括我的師兄師姐以及同學，選擇了繼續做研究，因為他們會從研究中獲得很多樂趣。另外一些研究機構是企業特別是外企的研究院，待遇也很好，但就要求你很出色才有機會加入。做研究還有一個很好的地方，就是國外的院校或研究所。