一招教你用Go語言爬蟲快速精準抓取拉勾職位!!!

有隻黑白貓發表於2020-01-09

點選這裡,檢視原始碼等關鍵重要內容

拉勾

這裡分析以拉勾網上的資料為準,通過使用Go語言編寫一個拉勾網崗位的爬蟲,抓取Go語言的所有崗位,來進行分析。正好我們也是找Go語言工作,順便用Go語言練練手。

該爬蟲比較簡單,只需要根據拉勾網的搜尋,然後一頁頁的爬取搜尋結果,把結果整理成Excel輸出即可。這裡我們選取了崗位名稱、工作地點、薪水以及招聘公司這幾個元素進行爬取,收集這些資訊進行分析。

本次分析,爬取了拉勾網上所有Go語言崗位,一共30頁,450個崗位進行分析,所以結果也是很有代表性的。

工作地點

https://i.iter01.com/images/a01f10efa90a7089d4a76bb84e46185b1fa551af102c16250dda08a1176d768d.jpg

從上圖來看,450個Go語言的崗位,北京最多,佔了186個,其次是上海83個,深圳52個,杭州31個,所以找Go語言的工作還是去北京、上海、深圳這些一線大城市,尤其是北京,一枝獨秀,說明Go語言在北京的發展還是非常好的,學習和分享氛圍也不錯。

招聘公司

https://i.iter01.com/images/b9ad11ade5213de4bbde6aea914dca825e06c6615d3212b3c619bb9cf72fcaf4.jpg

該圖表選擇了一些招聘Go語言崗位多的公司進行分析,發現其中最多的是瓜子二手車,一個公司釋出了19個Go語言開發的崗位,估計整個公司都快轉Go語言了。

其次是滴滴公司,一共有13個在招聘Go語言的崗位,也是非常多了,看來滴滴對Go語言的推動力度很大。

除此之外,美團、百度、UCloud以及騰訊等公司都有3-5個Go語言的崗位在招聘,說明這些公司也陸陸續續開始用Go語言做一些適合的業務。

薪水分佈

https://i.iter01.com/images/aa6ef29e3031038f681ff8389399dae9fd9a46f0024d2c73be7a8d8ed0d6b1af.jpg

薪水分佈分析也過濾了分佈比較少的區間,保留了主要的薪水區間。

從圖表上看薪水開到15K-30K的Go語言崗位有71個,是崗位最多的薪水分佈;其次是15K-25K的佔51個;10K-20K的有49個。基本上一個Go語言開發都是上萬。

此外,20K以上的Go語言崗位有89個,佔總共450個崗位的近20%;25K以上的有31個,也佔了總崗位的7%左右,比例也不算太低。

所以從這個看,Go語言做好了,20K以上也是非常輕鬆,最多可以開到50K。

經驗要求

這個我保留了,沒有分析,留給大家試試,看是1-3年的多,還是3-5年的多。

原始碼

該程式碼只可用於學習研究之用,不可用於其他用途。

該爬取拉勾職位的Go語言爬蟲,基於pholcus這個爬蟲框架編寫,是一個pholcus的爬取拉勾職位的規則庫,大家使用的時候和正常的pholcus規則庫是一樣的,import匯入引用即可。

關鍵字:資料採集 Go

相關文章