Python爬蟲實戰之（二）| 尋找你的招聘資訊

Python資料科學發表於2018-04-28

作者：xiaoyu

微信公眾號：Python資料科學

最近總被智聯招聘廣發騷擾，煩死個人了簡直。索性點進去看了看爬蟲工程師現在市場需求到底怎麼樣了？發展前景如何？看完了之後感覺目前還不錯，根據北京來看職位需求還是蠻多的，薪資也還行，於是就對智聯招聘職位資訊的爬取發起了一次小小的挑戰，今天給大家分享一個爬取招聘網站的工作資訊，效果圖如下（部分截圖）。

(更多效果圖在後面)

功能需求分析

主要功能需求如下：

使用者輸入工作地點和感興趣的職位資訊；
根據指定輸入資訊進行多執行緒的網頁爬取；
解析提取結構化的招聘資訊；
將資料存入指定的資料庫；

這裡由於篇幅和時間原因，功能並沒有那麼複雜，但是博主會在後續加入更加豐富的功能，並與大家分享，包括：

ip池的加入;
爬取和解析效率的優化；
對爬取資料進行資料分析，提供視覺化的統計和簡單預測；
其它反爬功能;

功能實現分析

明白了要完成的任務，就需要開始分析我們的目標網站了。

1.網頁爬取分析

開啟智聯招聘的搜尋介面，輸入 “爬蟲” 二字為例，如下：

然後我們通過fiddler抓包工具抓取瀏覽器操作時的資訊如下：

職位資訊輸入後看到這個請求是 GET 模式，GET 請求的連結是 sou.zhaopin.com/jobs/search…
瀏覽器發出請求的headers頭資訊，copy到程式碼headers中。

由於瀏覽器正常操作下是通過點選“搜尋按鈕”或者“回車”來進行職位搜尋的，而我們並不希望使用瀏覽器核心webdriver的使用來解決此問題。

因此，思路是：我們需要從發出的GET請求的URL進行分析。

在瀏覽器中顯示的URL是這樣子的，有漢字。

“北京” 和 “爬蟲” 關鍵詞都以漢字形式顯示。感覺這和上面藍色的連結差不多一樣啊！沒錯，上面的URL是北京和爬蟲關鍵字進行編碼之後的樣子，而我們向伺服器提交的正是上面那個編碼之後的URL。
後面 “p=1” 的意思是第一頁，“adv=0” 經其它數字測試後沒有影響，固不做改變。

好了，捋明白了。我們需要做的其實就是將我們輸入的關鍵詞漢字進行編碼，然後替換掉上面藍色URL的lj=“”和kw=“”中的內容，再用這個新的URL發出請求就OK了。

2.網頁解析分析

這是瀏覽器搜尋之後得到的結果，從招聘資訊中我們希望得到一些有用的資訊。博主這裡定義了五個欄位資訊：職位名稱、反饋率、公司名稱、職位月薪、工作地點。這些資訊關係到你如何建立資料庫表單，後面會提到。

這裡博主決定使用BeautifulSoup方法解決網頁的解析，那麼先用F12 element看看網頁的結構再說。

博主經分析後發現，其它四個資訊提取方式都是一樣的，但是工作名稱的標籤結構是有所不同的，為什麼呢？

來，先看一條資料的標籤，它是這樣的：

再看，另一條資料的標籤，是這樣的：

發現有什麼不同了嗎？第一個工作名稱的標籤裡有<b></b>，而第二個標籤裡什麼都沒有。

看看上面這兩個名稱不難發現，導致這個問題的原因其實是關鍵字的存在（第一個標籤中有紅色關鍵字）。

而又想到，我們正常搜尋的時候一般不會輸入完整的工作名稱，比如我只輸入 “爬蟲” 二字，由於可能存在以上關鍵字的問題，那麼標籤的結果就會不同。因此，我們需要在程式碼解析的時候進行特殊處理，下面進行程式碼實現分析。

程式碼實現分析

由於需要將解析後的資料存入資料庫，因此需要先在命令視窗建立一個資料庫（也可以在Python中完成），這裡簡單提一下所需的操作。

使用了MySQL資料庫進行儲存
資料庫表單包含了之前提到的五個欄位資訊

下面是具體程式碼的實現。

1.URL的重組實現

# 接收工作名稱關鍵字
    @property
    def job_name_cmd_get(self):
        return self._job_name

    @job_name_cmd_get.setter
    def job_name_cmd_get(self, job_name_input):
        if not isinstance(job_name_input, str):
            raise ValueError('請輸入正確的關鍵詞字串')
        self._job_name = job_name_input

    # 接收輸入的工作地點
    @property
    def job_loc_cmd_get(self):
        return self._job_loc

    @job_loc_cmd_get.setter
    def job_loc_cmd_get(self, job_loc_input):
            if not isinstance(job_loc_input, str):
                raise ValueError('請輸入正確的關鍵詞字串')
            if job_loc_input not in job_loc_list:
                print('請輸入主要的城市。')
            self._job_loc = job_loc_input

    def url_cook(self):
        """
        根據輸入工作資訊拼接url
        :return:
        """
        url_crawl = self.url_base + 'jl=' + parse.quote(self._job_loc) \
                    + '&kw=' + parse.quote(self._job_name) + '&p={}&isadv=0'
        return url_crawl
複製程式碼

使用了property修飾器定了函式來接收使用者資訊
將輸入資訊用quote進行編碼重組，生成爬取所需的目標URL

2.html下載

    def html_crawl(self, url_crawl):
        """
        根據url下載網頁
        :param url_crawl:
        :return:
        """
        try:
            response = request.Request(url_crawl, headers=headers)
            html_requested = request.urlopen(response)
            html_decoded = html_requested.read().decode('utf-8')
            self.html_pool.append(html_decoded)
            print('-----正在下載-----')
            sleep(3)
        except error.HTTPError as e:
            if hasattr(e, 'code'):
                print(e.code)
複製程式碼

將重新生成的URL放入函式中進行html的下載。

3.html解析

    def html_parse(self, html_docoded):
        """
        解析下載的html資訊
        :param html_docoded:
        :return:
        """
        job_fb = []
        job_name = []
        soup = BeautifulSoup(html_docoded, 'lxml')
        # 提取工作名稱
        for td_tag in soup.find_all('td', class_='zwmc')[1:]:
            sub_soup = BeautifulSoup(str(td_tag), 'lxml')
            if '</b>' in str(sub_soup.a):
                raw_name = re.findall(r'<a.+?>(.+?)?<b>(.+?)</b>(.+?)?</a>', str(td_tag.a))[0]
                job_name_fill = ''
                for name in raw_name:
                    if isinstance(name, str):
                        job_name_fill += name.strip()
                job_name.append(job_name_fill)
            else:
                job_name.append(sub_soup.a.string)
                # job_href.append(sub_soup.a.get('href'))
        # 提取反饋率
        for td_tag in soup.find_all('td', class_='fk_lv')[1:]:
            sub_soup = BeautifulSoup(str(td_tag), 'lxml')
            job_fb.append(sub_soup.span.string)
        # 提取公司名稱、薪水、地點
        job_company = [td_tag.a.string for td_tag in soup.find_all('td', class_='gsmc')[1:]]
        job_salary = [td_tag.string for td_tag in soup.find_all('td', class_='zwyx')[1:]]
        job_location = [td_tag.string for td_tag in soup.find_all('td', class_='gzdd')[1:]]

        self.parse_pool.append(zip(job_name, job_fb, job_company, job_salary, job_location))
複製程式碼

使用BeautifulSoup和正規表示式從網頁解析五個欄位資訊。

4. 儲存解析資料

    def job_info_store(self, job_info):
        """
        將工作資訊儲存到資料庫裡
        :param job_info:
        :return:
        """
        for elem in job_info:
            self.cur.execute("insert into jobs (job_name, feedback_rate, company_name, salary, location)"
                             " values('{}', '{}', '{}', '{}', '{}')"
                             .format(str(elem[0]), str(elem[1]), str(elem[2]), str(elem[3]), str(elem[4])))
            self.conn.commit()
複製程式碼

以上是程式碼的核心內容，完整原始碼博主已經上傳到Github上了，可供參考，連結github.com/xiaoyusmd/Z…