完整的python專案例項-《Python爬蟲開發與專案實戰》pdf完整版

【例項簡介】

【例項截圖】

【核心程式碼】

目錄

前言

基礎篇

第1章　回顧Python程式設計2

1.1　安裝Python2

1.1.1　Windows上安裝Python2

1.1.2　Ubuntu上的Python3

1.2　搭建開發環境4

1.2.1　Eclipse PyDev4

1.2.2　PyCharm10

1.3　IO程式設計11

1.3.1　檔案讀寫11

1.3.2　操作檔案和目錄14

1.3.3　序列化操作15

1.4　程式和執行緒16

1.4.1　多程式16

1.4.2　多執行緒22

1.4.3　協程25

1.4.4　分散式程式27

1.5　網路程式設計32

1.5.1　TCP程式設計33

1.5.2　UDP程式設計35

1.6　小結36

第2章　Web前端基礎37

2.1　W3C標準37

2.1.1　HTML37

2.1.2　CSS47

2.1.3　JavaScript51

2.1.4　XPath56

2.1.5　JSON61

2.2　HTTP標準61

2.2.1　HTTP請求過程62

2.2.2　HTTP狀態碼含義62

2.2.3　HTTP頭部資訊63

2.2.4　Cookie狀態管理66

2.2.5　HTTP請求方式66

2.3　小結68

第3章　初識網路爬蟲69

3.1　網路爬蟲概述69

3.1.1　網路爬蟲及其應用69

3.1.2　網路爬蟲結構71

3.2　HTTP請求的Python實現72

3.2.1　urllib2/urllib實現72

3.2.2　httplib/urllib實現76

3.2.3　更人性化的Requests77

3.3　小結82

第4章　HTML解析大法83

4.1　初識Firebug83

4.1.1　安裝Firebug84

4.1.2　強大的功能84

4.2　正規表示式95

4.2.1　基本語法與使用96

4.2.2　Python與正則102

4.3　強大的BeautifulSoup108

4.3.1　安裝BeautifulSoup108

4.3.2　BeautifulSoup的使用109

4.3.3　lxml的XPath解析124

4.4　小結126

第5章　資料儲存（無資料庫版）127

5.1　HTML正文抽取127

5.1.1　儲存為JSON127

5.1.2　儲存為CSV132

5.2　多媒體檔案抽取136

5.3　Email提醒137

5.4　小結138

第6章　實戰專案：基礎爬蟲139

6.1　基礎爬蟲架構及執行流程140

6.2　URL管理器141

6.3　HTML下載器142

6.4　HTML解析器143

6.5　資料儲存器145

6.6　爬蟲排程器146

6.7　小結147

第7章　實戰專案：簡單分散式爬蟲148

7.1　簡單分散式爬蟲結構148

7.2　控制節點149

7.2.1　URL管理器149

7.2.2　資料儲存器151

7.2.3　控制排程器153

7.3　爬蟲節點155

7.3.1　HTML下載器155

7.3.2　HTML解析器156

7.3.3　爬蟲排程器157

7.4　小結159

中級篇

第8章　資料儲存（資料庫版）162

8.1　SQLite162

8.1.1　安裝SQLite162

8.1.2　SQL語法163

8.1.3　SQLite增刪改查168

8.1.4　SQLite事務170

8.1.5　Python操作SQLite171

8.2　MySQL174

8.2.1　安裝MySQL174

8.2.2　MySQL基礎177

8.2.3　Python操作MySQL181

8.3　更適合爬蟲的MongoDB183

8.3.1　安裝MongoDB184

8.3.2　MongoDB基礎187

8.3.3　Python操作MongoDB194

8.4　小結196

第9章　動態網站抓取197

9.1　Ajax和動態HTML197

9.2　動態爬蟲1：爬取影評資訊198

9.3　PhantomJS207

9.3.1　安裝PhantomJS207

9.3.2　快速入門208

9.3.3　螢幕捕獲211

9.3.4　網路監控213

9.3.5　頁面自動化214

9.3.6　常用模組和方法215

9.4　Selenium218

9.4.1　安裝Selenium219

9.4.2　快速入門220

9.4.3　元素選取221

9.4.4　頁面操作222

9.4.5　等待225

9.5　動態爬蟲2：爬取去哪網227

9.6　小結230

第10章　Web端協議分析231

10.1　網頁登入POST分析231

10.1.1　隱藏表單分析231

10.1.2　加密資料分析234

10.2　驗證碼問題246

10.2.1　IP代理246

10.2.2　Cookie登入249

10.2.3　傳統驗證碼識別250

10.2.4　人工打碼251

10.2.5　滑動驗證碼252

10.3　www]m]wap252

10.4　小結254

第11章　終端協議分析255

11.1　PC客戶端抓包分析255

11.1.1　HTTP Analyzer簡介255

11.1.2　蝦米音樂PC端API實戰分析257

11.2　App抓包分析259

11.2.1　Wireshark簡介259

11.2.2　酷我聽書App端API實戰分析266

11.3　API爬蟲：爬取mp3資源資訊268

11.4　小結272

第12章　初窺Scrapy爬蟲框架273

12.1　Scrapy爬蟲架構273

12.2　安裝Scrapy275

12.3　建立cnblogs專案276

12.4　建立爬蟲模組277

12.5　選擇器278

12.5.1　Selector的用法278

12.5.2　HTML解析實現280

12.6　命令列工具282

12.7　定義Item284

12.8　翻頁功能286

12.9　構建Item Pipeline287

12.9.1　定製Item Pipeline287

12.9.2　啟用Item Pipeline288

12.10　內建資料儲存288

12.11　內建圖片和檔案下載方式289

12.12　啟動爬蟲294

12.13　強化爬蟲297

12.13.1　除錯方法297

12.13.2　異常299

12.13.3　控制執行狀態300

12.14　小結301

第13章　深入Scrapy爬蟲框架302

13.1　再看Spider302

13.2　Item Loader308

13.2.1　Item與Item Loader308

13.2.2　輸入與輸出處理器309

13.2.3　Item Loader Context310

13.2.4　重用和擴充套件Item Loader311

13.2.5　內建的處理器312

13.3　再看Item Pipeline314

13.4　請求與響應315

13.4.1　Request物件315

13.4.2　Response物件318

13.5　下載器中介軟體320

13.5.1　啟用下載器中介軟體320

13.5.2　編寫下載器中介軟體321

13.6　Spider中介軟體324

13.6.1　啟用Spider中介軟體324

13.6.2　編寫Spider中介軟體325

13.7　擴充套件327

13.7.1　配置擴充套件327

13.7.2　定製擴充套件328

13.7.3　內建擴充套件332

13.8　突破反爬蟲332

13.8.1　UserAgent池333

13.8.2　禁用Cookies333

13.8.3　設定下載延時與自動限速333

13.8.4　代理IP池334

13.8.5　Tor代理334

13.8.6　分散式下載器:Crawlera337

13.8.7　Google cache338

13.9　小結339

第14章　實戰專案：Scrapy爬蟲340

14.1　建立知乎爬蟲340

14.2　定義Item342

14.3　建立爬蟲模組343

14.3.1　登入知乎343

14.3.2　解析功能345

14.4　Pipeline351

14.5　優化措施352

14.6　部署爬蟲353

14.6.1　Scrapyd354

14.6.2　Scrapyd-client356

14.7　小結357

深入篇

第15章　增量式爬蟲360

15.1　去重方案360

15.2　BloomFilter演算法361

15.2.1　BloomFilter原理361

15.2.2　Python實現BloomFilter363

15.3　Scrapy和BloomFilter364

15.4　小結366

第16章　分散式爬蟲與Scrapy367

16.1　Redis基礎367

16.1.1　Redis簡介367

16.1.2　Redis的安裝和配置368

16.1.3　Redis資料型別與操作372

16.2　Python和Redis375

16.2.1　Python操作Redis375

16.2.2　Scrapy整合Redis384

16.3　MongoDB叢集385

16.4　小結390

第17章　實戰專案：Scrapy分散式爬蟲391

17.1　建立雲起書院爬蟲391

17.2　定義Item393

17.3　編寫爬蟲模組394

17.4　Pipeline395

17.5　應對反爬蟲機制397

17.6　去重優化400

17.7　小結401

第18章　人性化PySpider爬蟲框架403

18.1　PySpider與Scrapy403

18.2　安裝PySpider404

18.3　建立豆瓣爬蟲405

18.4　選擇器409

18.4.1　PyQuery的用法409

18.4.2　解析資料411

18.5　Ajax和HTTP請求415

18.5.1　Ajax爬取415

18.5.2　HTTP請求實現417

18.6　PySpider和PhantomJS417

18.6.1　使用PhantomJS418

18.6.2　執行JavaScript420

18.7　資料儲存420

18.8　PySpider爬蟲架構422

18.9　小結423