python入門與進階篇(七)之原生爬蟲

爬取熊貓tv lol遊戲主播人氣排名：

# 爬蟲前奏：

# 1.明確目的

# 2.找到資料對應的網頁

# 3.分析網頁的結構找到資料所在的標籤位置

 

# 模擬HTTP請求,向伺服器傳送這個請求,獲取到伺服器返回給我們的HTML

# 用正規表示式提取我們要的資料(名字,人氣)

#Vscode斷點除錯:
# 1.F5開啟斷點除錯
# 2.F11單步除錯

#BeautifulSoup 工具庫   Scrapy 爬蟲框架  
#爬蟲 反爬蟲 反反爬蟲 ip封閉 代理ip

#python內建的爬蟲獲取庫 request
from urllib import request
# 引入正規表示式re模組
import re

class Spider():
    url='https://www.panda.tv/cate/lol'
    # ?非貪婪模式 只要匹配到就好 ()只要中間的
    root_pattern='<div class="video-info">([\S\s]*?)</div>'
    name_pattern='</i>([\s\S]*?)</span>'
    number_pattern='<span class="video-number">([\s\S]*?)</span>'

    #私有方法 獲取網頁html
    def __fetch_content(self):
        r=request.urlopen(Spider.url)
        #bytes
        htmls=r.read()
        #bytes 轉字串 
        htmls=str(htmls,encoding='utf-8')
        return htmls
    
    # 解析html 獲取需要的資料
    def __analysis(self,htmls):
        root_html=re.findall(Spider.root_pattern,htmls)
        anchors=[]
        for html in root_html:
            name=re.findall(Spider.name_pattern,html)
            number=re.findall(Spider.number_pattern,html)
            anchor={'name':name,'number':number}
            anchors.append(anchor)
        print(anchors[0])
        return anchors
    
    #資料精煉
    def __refine(self,anchors):
        #strip() 去除字串首尾空格、換行
        l=lambda anchor:{
            "name":anchor['name'][0].strip(),
            "number":anchor['number'][0]
        }
        return map(l,anchors)

    # 排序
    def __sort(self,anchors):
        #sorted() 排序方法
        anchors=sorted(anchors,key=self.__sort_seed,reverse=True)
        return anchors

    # 排序的key
    def __sort_seed(self,anchor):
        r=re.findall('\d*\.?\d*',anchor['number'])
        number=float(r[0])
        if '萬' in anchor['number']:
            number=number*10000
        return number

    # 展示排名
    def __show(self,anchors):
        for i in range(0,len(anchors)):
            print("rank:"+str(i+1)+"----name:"+anchors[i]['name']+"---number:"+anchors[i]['number'])

    #入口方法 公開
    def go(self):
        htmls=self.__fetch_content()
        anchors=self.__analysis(htmls)
        anchors=list(self.__refine(anchors))
        anchors=self.__sort(anchors)
        self.__show(anchors)

spider=Spider()
spider.go()