【觀點】有一種說法,演算法工程師的薪酬只有三檔(附大資料工程師技能圖譜)
本文從當前炙手可熱的演算法工程師就業開始講起,詳細的和朋友們探討一下,普通程式設計師如何轉型成為演算法工程師?
先談錢。
有一種說法,演算法工程師薪酬區間基本就是三擋:
薪酬範圍人才背景能力特徵
15~30W科班畢業的數學系碩士研究生或有ACM銅獎以上熟悉通用的模型,知道如何用合適的模型去做資料
40~60W即上述的優秀畢業生在BAT等公司沉澱兩三年後實際身價,基本對應到阿里的P6,騰訊的T3.1或者國內那TOP 5學校的博士畢業生,基本有三篇一作會改造設計模型,並對新的模型進行最最佳化
100W+基本就是行業科學家級別,或者對應阿里的P7/P8,百度的T7以上,騰訊的T3.2以上或者相當於姚班的IOI金牌,比如今年的陳立傑和範浩強根據一個實際問題需求,可以給出量化的目標函式
對程式設計師而言,技術進步大大超過我們的想象,如果你不跟隨時代進步,就會落後於時代。
似乎我們公認的程式設計師就是苦逼的碼農搬運工,結果等磨到三到五年後,發現自己的技術已經落後,掌握的語言已經過時。看著曾經的同事都走上了有車有房的幸福之路,自己也蠢蠢欲動想要轉崗,卻摸不著頭腦,是自學or上培訓班?
這裡,我們以當前熱門的大資料相關崗位分析為例:
從大資料資訊分別從底層基礎平臺、中間層通用技術、上層行業應用進行歸納
技術分類行業概述
底層:基礎平臺提供包括資料儲存在內基礎設施,Hadoop是其中最熱門領域
中層:通用技術資料管理相關技術,連線資料來源與資料處理之間橋樑,包括資料採集、資料分析,視覺化等資料處理技術
上層:行業應用將資料與垂直行業進行融合,如徵信、反欺詐、刑偵破案,營銷推薦等
大資料崗位爆發背景
1. 處理器速度的加快,大規模資料處理技術的日漸成熟,使得在Big Data中快速提取有價值資訊成為可能。現在,PB級別的資料也可以在短時間內完成機器學習的模擬訓練。這讓包括Face++、科大訊飛等這些高度依賴深度學習的影像、語音識別公司得以對產品進行快速迭代;
2. 網際網路行業的快速發展,使得很多企業都儲存了海量資料,如何挖掘這座資料寶庫,也推動了大資料本身發展;
3. 同樣,也衍生出很多資料相關公司發展,比如透過監測海量資料,做資料價值變現的TalkingData等,以及做底層架構的支援服務商阿里雲、UCloud等等;
各方面的需求導致目前人才供給相對不足,供需失衡決定大資料從業人員待遇更高。同樣的,這些崗位相對於傳統軟體工程,也有更高的挑戰空間和更大難度,也吸引更多人才進入到這個領域
分類應用板塊代表企業行業綜述
文字挖掘大資料公司透過收集網際網路上各類文字資訊,為企業提供更好的競爭分析、公關、使用者調研等智慧星光
波森資料
清博大資料
與網頁爬蟲類似,由於百度、谷歌在搜尋引擎領域技術太明顯,根本沒機會
網頁爬蟲早期百度、谷歌等搜尋引擎都在使用。八爪魚
廣告監測類主要針對品牌客戶,為企業提供廣告營銷全流程的資料分析秒針系統
AdMaster
TalkingData
秒針與AdMaster佔據95%市場份額
TalkingData主要針對中小企業,為中小APP軟體提供廣告監測在內多項運營服務
BI商業智慧更側重人機互動,將報表形式以影像方式呈現出來永洪科技
帆軟
單純BI與資料視覺化工具,競爭優勢並不大,因為其開源透明,技術門檻低,所以更多是向上層偏移,將技術與行業應用結合,形成行壁壘,比如永洪、海雲等都在積極對接業務,重點佈局公安、電信等行業,加強客戶黏性
資料視覺化與BI一致,將報表形式以影像方式呈現出來,更側重於資料呈現,給企業客戶更清晰展示海智BDP
海雲資料
數字冰雹
日誌分析早期更多運用於資訊保安領域;現階段也開始衍生到企業業務領域,比如反欺詐等除了傳統安全公司,
新公司還包括日誌易,瀚思安信
也是面臨行業開源,技術門檻不高,可以關注物聯網發展,將日誌資料衍生到機器資料
移動統計隨著移動網際網路興起而興起TalkingData
友盟+
使用者行為既有掘金者,自然也有給掘金者送水的這兩類GrowingIO
神策資料
諸葛IO
最大問題是移動網際網路客戶是否接受付費模式
演算法&資料探勘工程師——核心在於資料的價值挖掘
1. 演算法工程師——這類團隊面對的問題通常是明確而又有更高難度的,比如人臉識別、線上支付的風險攔截。這些問題經過了清晰的定義和高度的抽象,本身又存在足夠難度,因此需要求職者在所研究問題上有足夠的專注力,對相關演算法有足夠深度的瞭解。
2. 資料探勘工程師——這類團隊面對的挑戰不限於一個具體問題,而在於如何將複雜的業務邏輯轉化為演算法、模型問題。因此不但要求工程師在演算法上探索得足夠深,但需要足夠的交叉能力。需要了解常見的機器學習演算法,同時也要有迅速理解業務的能力。
從企業對崗位的要求,我們可以分析出:
崗位名稱市場人才現狀崗位要求分析
演算法工程師人才基本被TOP企業壟斷。因為TOP企業資料量很大,比如做一個幾億級別的人臉搜尋1. 資料結構和演算法板塊需要有紮實基礎;
2. 至少精通C/C++或Java任
一種程式語言,Python/
perl/shell中任一種指令碼語
言;
3. 數學專業碩士及以上,有
一定數學功底(加分項)
4. 精通機器學習常用演算法
(加分項)
資料探勘工程師不僅需要在演算法上沉澱很深,還需要具備交叉技能,能理解業務1. 紮實的計算機基礎,熟悉C/C++、Java、Python等開發語言;
2. 具備深厚的機器學習,數
據挖掘,資訊檢索背景,
有較強的演算法能力;
3. 具備大規模資料探勘、自
然語言處理、機器學習、
Hadoop平臺經歷(加分)4. 計算機相關專業碩士學歷
實際中,在涉及大資料團隊搭建時,可以借鑑:
1. 可以不求全才,但要求團隊成員各有所長,整體可形成配合
比如,以格靈深瞳為例,作為一家計算機視覺領域的大資料公司,團隊中既需要對演算法進行過透徹研究的人才,也需要工程實力比較強的人才,或幫團隊搭建一整套影片影像資料採集、標註、機器學習、自動化測試、產品實現的平臺;
所以,對前一種工程師,需要在深度學習演算法甚至在計算視覺領域都有過深入研究,程式設計能力可以稍弱一點;而對於後一種工程師,如果他擁有強悍的工程能力,即使沒有在深度學習演算法上進行過深入研究,也可以很快接手對應工作;
同樣的,即使在演算法工程師團隊內部,不同成員之間的技能側重點也可能各不相同
以個性化內容推薦諮詢平臺——一點資訊為例,演算法團隊中,一部分工程師會專注於核心演算法問題研究(比如解決一個非常明確問題,如透過語義分析進行文章分類問題,如判斷標題黨的問題等等,需要有足夠深度的瞭解);另一部分工程師會專注於演算法模型在產品中應用(對業務變化非常敏感,具有強悍的分析能力,能從複雜業務中理出頭緒,將業務問題抽象為演算法問題,並利用合適模型去解決)
所以,兩者一個偏重核心演算法研究,一個偏重業務分析與實現。
從高校畢業生來源看:
為演算法工程師貢獻的TOP5高校分別是 哈工大、北郵、中科院、中科大、浙大
TOP~TOP10分別是電子科大、北大、北航、清華和華中科大,而海歸人才佔比不到5%
如何轉型到演算法工程師
隨著人工智慧的爆發式發展,以及深度學習、機器學習在使用工具上門檻已經降低
以國內一線網際網路公司校招和社招人員來看,其往往還是更看重從業者背景:
1. 校招——必須是科班碩士生或者海歸,要能有不錯的程式碼能力,對機器學習有一定了解和研究經歷;當然針對演算法工程師面試,BAT也會要求筆試,基本就是leetcode中等題水平;換言之,一個工作三年透過自學或者參加培訓班轉型到演算法工程師領域同一個應屆生競爭同一個工作機會,一線網際網路公司往往還是更鐘情於應屆學生;
2. 社招——演算法工程師崗位畢竟更偏學術派,從目前社招企業要求看,如果是非科班背景而言,企業往往更看重求職者的程式設計能力(這也是基於目前人才市場供給嚴重不足導致),而業內很多企業其實都會借用校友圈這個更偏學術交流的圈層進行招聘。比如透過請高校學術大佬擔任首席科學家,他的博士學生“順帶”也會全部打包過來;
所以除非是特別想在演算法領域真有所作為,不是特別建議在找工作中途轉型,畢竟這個領域還是更偏學術派。
這個領域的在職人員背景相比而言就寬泛多了,我們不乏看出從程式設計師、運營崗甚至法務崗都有成功轉型的,從事資料分析對程式設計要求相對不是特別高,但是對於跨行業泛知識要求有很深認識。不過,也有很大的不同:
日常資料分析工作主要就是SQL提數,活動效果跟蹤以及寫資料包告等工作,但是在轉型到資料探勘(尤其一線網際網路公司)中,往往都需要涉及到資料探勘的底層設計和應用。
不過目前國內資料探勘的人才供給不足,很多企業往往也會降低要求或者有意識調整工作內容和權重,給出的建議:
1. 提升資料視覺化能力和資料分析報告撰寫能力,掌握多種可以進行輔助資料分析的工具以及熟悉常用的模型,未來可以往資料分析程式設計師或者資料產品經理轉型
2. 掌握Python或者R語言,熟悉Hadoop等資料庫,熟練掌握資料分析工具,也可以嘗試往資料探勘領域更靠近一點
對大資料的概念都是模糊不清的,大資料是什麼,能做什麼,學的時候,該按照什麼線路去學習,學完往哪方面發展,想深入瞭解
想學習的同學歡迎加入大資料學習qq群:458345782,有大量乾貨(零基礎以及進階的經典實戰)分享給大家
並且有清華大學畢業的資深大資料講師給大家免費授課,給大家分享目前國內最完整的大資料高階實戰實用學習流程體系 。
大資料工程師技能圖譜:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69903766/viewspace-2286314/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 大資料開發工程師需要掌握什麼技能?大資料工程師
- 大資料開發工程師需要具備哪些技能?大資料工程師
- 大資料工程師需要掌握的知識點大資料工程師
- 做大資料工程師需要掌握哪些技能呢?大資料工程師
- 成為一名大資料工程師,需要具備什麼技能?大資料工程師
- 譯:軟體工程師的軟技能(一)軟體工程工程師
- linux網路工程師需要掌握哪些技能?linux網路工程師技能分析Linux工程師
- 大資料工程師職業到底有多吃香?大資料工程師
- 演算法工程師必須要知道的面試技能雷達圖演算法工程師面試
- 如何成為一名大資料工程師?大資料工程師
- Java工程師要求三年工作經驗,三年經驗的工程師都具備哪些技能?Java工程師
- 前端工程師要做什麼?前端工程師需要什麼根本技能?前端工程師
- web前端工程師必備技能Web前端工程師
- 【就業】大資料開發、Hadoop開發工程師、資料探勘、演算法工程師各路人才薪資怎麼樣?就業大資料Hadoop工程師演算法
- 為什麼現在演算法工程師薪酬這麼高?演算法工程師
- 軟體測試工程師的技能樹工程師
- 資料架構師、資料分析師、資料工程師,有啥不同,哪個工資高?架構工程師
- 大資料測試工程師入門級必備技能,你get了嗎?大資料工程師
- 大資料工程師-學習路線-轉大資料工程師
- 網易微專業大資料工程師大資料工程師
- 你想快速成為大資料工程師?大資料工程師
- 從苦逼到牛逼!2019年最全最新Linux運維工程師必備技能圖譜……Linux運維工程師
- 影像處理演算法工程師必備技能總結演算法工程師
- 測試開發工程師修煉手冊—測試技能大盤點工程師
- 一個演算法工程師的學習演算法工程師
- 網路安全工程師和資訊保安工程師有什麼不同?工程師
- 圖集:盲人 IT 工程師工程師
- 如何成為一名大資料開發工程師大資料工程師
- 裁員了!別錯過2024年大資料工程師必備的10項技能大資料工程師
- 大資料架構師知識圖譜大資料架構
- 頂尖Java工程師的紅黑技能樹,如何快速點亮?Java工程師
- 學歷影響大資料工程師的收入嗎大資料工程師
- 大資料工程師的職業發展前景如何?大資料工程師
- 進階指南|三個月大資料工程師學習計劃大資料工程師
- 趣頭條招Golang研發工程師及架構師(有技術,有流量,薪酬開放)Golang工程師架構
- 優秀工程師必備的三大思維,你擁有哪些?工程師
- 大資料工程師需要學習哪些技術?大資料工程師
- 阿里大資料工程師教你怎樣理解Flume阿里大資料工程師