github上的python爬蟲專案_GitHub - ahaharry/PythonCrawler: 用python編寫的爬蟲專案集合

PythonCrawler: 用python編寫的爬蟲專案集合

(

)\ ) ) ) ( (

(()/( ( ( /( ( /( )\ ( ) ( ( )\ ( (

/(_)))\ ) )\()))\()) ( ( (((_) )( ( /( )\))( ((_) ))\ )(

(_)) (()/( (_))/((_)\ )\ )\ ) )\___ (()\ )(_))((_)()\ _ /((_)(()\

| _ \ )(_))| |_ | |(_) ((_) _(_/(((/ __| ((_)((_)_ _(()((_)| |(_)) ((_)

| _/| || || _|| ' \ / _ \| ' \))| (__ | '_|/ _` |\ V V /| |/ -_) | '_|

|_| \_, | \__||_||_|\___/|_||_| \___||_| \__,_| \_/\_/ |_|\___| |_|

|__/

—————— by yanghangfeng

spiderFile模組簡介

1. baidu_sy_img.py: 抓取百度的‘高清攝影’圖片

2. baidu_wm_img.py: 抓取百度圖片‘唯美意境’模組

3. get_photos.py: 抓取百度貼吧某話題下的所有圖片

5. lagou_position_spider.py: 任意輸入關鍵字，一鍵抓取與關鍵字相關的職位招聘資訊，並儲存到本地檔案

6. student_img.py: 基於本學校官網的url漏洞，獲取所有註冊學生學籍證件照

7. JD_spider.py: 大批量抓取京東商品id和標籤

8. ECUT_pos_html.py: 抓取學校官網所有校園招聘資訊，並儲存為html格式，圖片也會鑲嵌在html中。

9. ECUT_get_grade.py: 模擬登陸學校官網，抓取成績並計算平均學分績

10. github_hot.py: 抓取github上面熱門語言所對應的專案，並把專案簡介和專案主頁地址儲存到本地檔案。

11.xz_picture_spider.py: 應一位知友的請求，抓取某網站上面所有的寫真圖片。

12.one_img.py: 抓取one文藝網站的圖片

spiderAPI模組簡介

本模組提供一些網站的API爬蟲介面，功能可能不是很全因此可塑性很大智慧的你如果有興趣可以繼續改進。

1.大眾點評

from spiderAPI.dianping import *

'''

citys = {

'北京': '2', '上海': '1', '廣州': '4', '深圳': '7', '成都': '8', '重慶': '9', '杭州': '3', '南京': '5', '瀋陽': '18', '蘇州': '6', '天津': '10','武漢': '16', '西安': '17', '長沙': '344', '大連': '19', '濟南': '22', '寧波': '11', '青島': '21', '無錫': '13', '廈門': '15', '鄭州': '160'

}

ranktype = {

'最佳餐廳': 'score', '人氣餐廳': 'popscore', '口味最佳': 'score1', '環境最佳': 'score2', '服務最佳': 'score3'

}

'''

result=bestRestaurant(cityId=1, rankType='popscore')#獲取人氣餐廳

shoplist=dpindex(cityId=1, page=1)#商戶風雲榜

restaurantlist=restaurantList('http://www.dianping.com/search/category/2/10/p2')#獲取餐廳

2.獲取代理IP

from spiderAPI.proxyip import get_enableips

enableips=get_enableips()

3.百度地圖

百度地圖提供的API,對查詢有一些限制，這裡找出了web上查詢的介面

from spiderAPI.baidumap import *

citys=citys()#獲取城市列表

result=search(keyword="美食", citycode="257", page=1)#獲取搜尋結果

4.模擬登入github

from spiderAPI.github import GitHub

github = GitHub()

github.login() # 這一步會提示你輸入使用者名稱和密碼

github.show_timeline() # 獲取github主頁時間線

# 更多的功能有待你們自己去發掘

5.拉勾網

from spiderAPI.lagou import *

lagou_spider(key='資料探勘', page=1) # 獲取關鍵字為資料探勘的招聘資訊