[python爬蟲] 招聘資訊定時系統 (一).BeautifulSoup爬取資訊並儲存MySQL

一. 執行結果

        爬取地址為智聯招聘網站：http://sou.zhaopin.com/

二. BeautifulSoup爬蟲詳解

        完整程式碼如下所示：

# -*- coding: utf-8 -*-
"""
Created on 2017-04-22 15:10

@author: Easstmount
"""

import urllib2 
import re 
from bs4 import BeautifulSoup
import codecs
import MySQLdb
import os


#儲存資料庫
#引數:職位名稱 公司名稱 職位月薪 工作地點 釋出時間 職位連結
def DatabaseInfo(zwmc, gsmc, zwyx, gzdd, gxsj, zwlj):  
    try:  
        conn = MySQLdb.connect(host='localhost',user='root',
                             passwd='123456',port=3306, db='eastmount')  
        cur=conn.cursor() #資料庫遊標  
  
        #報錯:UnicodeEncodeError: 'latin-1' codec can't encode character  
        conn.set_character_set('utf8')  
        cur.execute('SET NAMES utf8;')  
        cur.execute('SET CHARACTER SET utf8;')  
        cur.execute('SET character_set_connection=utf8;')

        #SQL語句 智聯招聘(zlzp)
        sql = '''insert into eastmount_zlzp 
                    (zwmc,gsmc,zwyx,gzdd,gxsj,zwlj) 
                values(%s, %s, %s, %s, %s, %s)'''

        cur.execute(sql, (zwmc, gsmc, zwyx, gzdd, gxsj, zwlj))
        print '資料庫插入成功'            
        
    #異常處理  
    except MySQLdb.Error,e:  
        print "Mysql Error %d: %s" % (e.args[0], e.args[1])  
    finally:  
        cur.close()    
        conn.commit()    
        conn.close()  
    

#爬蟲函式
def crawl(url):
    page = urllib2.urlopen(url) 
    contents = page.read() 
    soup = BeautifulSoup(contents, "html.parser") 
    print u'貴陽JAVA招聘資訊: 職位名稱 \t 公司名稱 \t 職位月薪 \t 工作地點 \t 釋出日期 \n'
    infofile.write(u"貴陽JAVA招聘資訊: 職位名稱 \t 公司名稱 \t 職位月薪 \t 工作地點 \t 釋出日期  \r\n")
    print u'爬取資訊如下:\n'

    i = 0
    for tag in soup.find_all(attrs={"class":"newlist"}):
        #print tag.get_text()
        i = i + 1
        
        #職位名稱
        zwmc = tag.find(attrs={"class":"zwmc"}).get_text()
        zwmc = zwmc.replace('\n','')
        print zwmc
        #職位連結
        url_info = tag.find(attrs={"class":"zwmc"}).find_all("a")
        #print url_info
        #url_info.get(href) AttributeError: 'ResultSet' object has no attribute 'get' 
        for u in url_info:
            zwlj = u.get('href')
            print zwlj
        #公司名稱
        gsmc = tag.find(attrs={"class":"gsmc"}).get_text()
        gsmc = gsmc.replace('\n','')
        print gsmc
        #find另一種定位方法 <td class="zwyx">8000-16000</td>
        zz = tag.find_all('td', {"class":"zwyx"})
        print zz
        #職位月薪
        zwyx = tag.find(attrs={"class":"zwyx"}).get_text()
        zwyx = zwyx.replace('\n','')
        print zwyx
        #工作地點
        gzdd = tag.find(attrs={"class":"gzdd"}).get_text()
        gzdd = gzdd.replace('\n','')
        print gzdd
        #釋出時間
        gxsj = tag.find(attrs={"class":"gxsj"}).get_text()
        gxsj = gxsj.replace('\n','')
        print gxsj
        #獲取當前日期並判斷寫入檔案
        import datetime
        now_time = datetime.datetime.now().strftime('%m-%d') #%Y-%m-%d
        #print now_time
        if now_time==gxsj:
            print u'存入檔案'
            infofile.write(u"[職位名稱]" + zwmc + "\r\n")
            infofile.write(u"[公司名稱]" + gsmc + "\r\n")
            infofile.write(u"[職位月薪]" + zwyx + "\r\n")
            infofile.write(u"[工作地點]" + gzdd + "\r\n")
            infofile.write(u"[釋出時間]" + gxsj + "\r\n")
            infofile.write(u"[職位連結]" + zwlj + "\r\n\r\n")  
        else:
            print u'日期不一致，當前日期: ', now_time
        
        #####################################
        # 重點：寫入MySQL資料庫
        #####################################
        if now_time==gxsj:
            print u'存入資料庫'
            DatabaseInfo(zwmc, gsmc, zwyx, gzdd, gxsj, zwlj)
        
        print '\n\n'

    else:
        print u'爬取職位總數', i
        
        
#主函式
if __name__ == '__main__':
    
    infofile = codecs.open("Result_ZP.txt", 'a', 'utf-8')     
    #翻頁執行crawl(url)爬蟲
    i = 1  
    while i<=2:  
        print u'頁碼', i
        url = 'http://sou.zhaopin.com/jobs/searchresult.ashx?in=160400&jl=%E8%B4%B5%E9%98%B3&kw=java&p=' + str(i) + '&isadv=0'  
        crawl(url)  
        infofile.write("###########################\r\n\r\n\r\n")  
        i = i + 1
        
    infofile.close()

三. 資料庫操作

        SQL語句建立表程式碼如下：

CREATE TABLE `eastmount_zlzp` (  
  `ID` int(11) NOT NULL AUTO_INCREMENT,  
  `zwmc` varchar(100) COLLATE utf8_bin DEFAULT NULL COMMENT '職位名稱',  
  `gsmc` varchar(50) COLLATE utf8_bin DEFAULT NULL COMMENT '公司名稱',  
  `zwyx` varchar(50) COLLATE utf8_bin DEFAULT NULL COMMENT '職位月薪',  
  `gzdd` varchar(50) COLLATE utf8_bin DEFAULT NULL COMMENT '工作地點',  
  `gxsj` varchar(50) COLLATE utf8_bin DEFAULT NULL COMMENT '釋出時間',
  `zwlj` varchar(50) COLLATE utf8_bin DEFAULT NULL COMMENT '職位連結',
	`info` varchar(200) COLLATE utf8_bin DEFAULT NULL COMMENT '詳情', 
  PRIMARY KEY (`ID`)  
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;  

        其中，Python呼叫MySQL推薦下面這篇文字。
        [python] 專題九.Mysql資料庫程式設計基礎知識
        核心程式碼如下所示：

# coding:utf-8 
import MySQLdb
 
try:
    conn=MySQLdb.connect(host='localhost',user='root',passwd='123456',port=3306, db='test01')
    cur=conn.cursor()
    
    #插入資料
    sql = '''insert into student values(%s, %s, %s)'''
    cur.execute(sql, ('yxz','111111', '10'))

    #檢視資料
    print u'\n插入資料:'
    cur.execute('select * from student')
    for data in cur.fetchall():
        print '%s %s %s' % data
    cur.close()
    conn.commit()
    conn.close()
except MySQLdb.Error,e:
     print "Mysql Error %d: %s" % (e.args[0], e.args[1])