Golang爬蟲，Go&&正則爬取資料，槓桿的

Go語言圈發表於2022-01-13
Golang爬蟲

字元

  • ——匹配任意字元 e.g: abc. 結果: abcd,abcx,abc9;
  • [] ——匹配括號中任意一個字元 e.g: [abc]d 結果：ad,cd,1d；
    • ——[-]中表示範圍 e.g: [A-Za-z0-9]；
  • ^ ——[^]中表示除括號中的任意字元 e.g：[^xy]a 結果：aa,da,不能為xa,ya；

數量限定

  • ？ ——前面單元匹配0或1次；
    • ——前面單元匹配1或多次；
    • ——前面單元匹配0或多次；
  • {,} ——顯示個數上下線；e.g ： ip地址——[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}；

其他

  • \ ——轉義字元;
  • | ——條件或;
  • () ——組成單元 如果字串本身有括號”[(] aaa. [)]” ;

方法

//引數正則字串，返回值*Regexp
str := regexp.MustCompile(string) 
//引數要查詢的資料，查詢次數-1為全域性，返回值二維陣列，查詢出的字串+正則字串
var result [][]string = str.FindAllStringSubmatch(data, -1)

爬蟲
爬取xx園所有文章閱讀量，評論，推薦；

package main

import (
 "fmt"
 "io"
 "net/http"
 "regexp"
 "strconv"
)

var readCount int = 0
var commentCount int = 0
var diggCount int = 0

//http讀取網頁資料寫入result返回
func HttpGet(url string) (result string, err error) {
 resp, err1 := http.Get(url)
 if err1 != nil {
  err = err1
  return
 }
 defer resp.Body.Close()

 buf := make([]byte, 4096)

 for {
  n, err2 := resp.Body.Read(buf)
  //fmt.Println(url)
  if n == 0 {
   break
  }
  if err2 != nil && err2 != io.EOF {
   err = err2
   return
  }
  result += string(buf[:n])
 }
 return result, err
}

//橫向縱向爬取文章標題資料，並累計數值
func SpiderPageDB(index int, page chan int) {
 url := "https://www.cnblogs.com/littleperilla/default.html?page=" + strconv.Itoa(index)

 result, err := HttpGet(url)

 if err != nil {
  fmt.Println("HttpGet err:", err)
  return
 }

 str := regexp.MustCompile("post-view-count\">閱讀[(](?s:(.*?))[)]</span>")
 alls := str.FindAllStringSubmatch(result, -1)
 for _, j := range alls {
  temp, err := strconv.Atoi(j[1])
  if err != nil {
   fmt.Println("string2int err:", err)
  }
  readCount += temp
 }

 str = regexp.MustCompile("post-comment-count\">評論[(](?s:(.*?))[)]</span>")
 alls = str.FindAllStringSubmatch(result, -1)
 for _, j := range alls {
  temp, err := strconv.Atoi(j[1])
  if err != nil {
   fmt.Println("string2int err:", err)
  }
  commentCount += temp
 }

 str = regexp.MustCompile("post-digg-count\">推薦[(](?s:(.*?))[)]</span>")
 alls = str.FindAllStringSubmatch(result, -1)
 for _, j := range alls {
  temp, err := strconv.Atoi(j[1])
  if err != nil {
   fmt.Println("string2int err:", err)
  }
  diggCount += temp
 }

 page <- index
}

//主要工作方法
func working(start, end int) {
 fmt.Printf("正在從%d到%d爬取中...\n", start, end)

 //channel通知主執行緒是否所有go都結束
 page := make(chan int)

 //多執行緒go程同時爬取
 for i := start; i <= end; i++ {
  go SpiderPageDB(i, page)
 }

 for i := start; i <= end; i++ {
  fmt.Printf("拉取到%d頁\n", <-page)
 }
}

//入口函式
func main() {
 //輸入爬取的起始頁
 var start, end int
 fmt.Print("startPos:")
 fmt.Scan(&start)
 fmt.Print("endPos:")
 fmt.Scan(&end)

 working(start, end)

 fmt.Println("閱讀:", readCount)
 fmt.Println("評論:", commentCount)
 fmt.Println("推薦:", diggCount)
}

效果圖如下

Golang爬蟲，Go&&正則爬取資料，槓桿的

其他例項
golang爬蟲爬取經典案例豆瓣，例子可以借鑑，正則要好好利用

package main

import (
    "fmt"
    "io"
    "net/http"
    "os"
    "regexp"
    "strconv"
)

func savToFile(index int, filmName, filmScore [][]string) {
    f, err := os.Create("第" + strconv.Itoa(index) + "頁.txt")
    if err != nil {
        fmt.Println("os create err", err)
        return
    }
    defer f.Close()
    // 查出有多少條
    n := len(filmName)
    // 先寫抬頭 名稱     評分
    f.WriteString("電影名稱" + "\t\t\t" + "評分" + "\n")
    for i := 0; i < n; i++ {
        f.WriteString(filmName[i][1] + "\t\t\t" + filmScore[i][1] + "\n")
    }
}

func main() {
    var start, end int
    fmt.Print("請輸入要爬取的起始頁")
    fmt.Scan(&start)
    fmt.Print("請輸入要爬取的終止頁")
    fmt.Scan(&end)
    working(start, end)
}

func working(start int, end int) {
    fmt.Printf("正在爬取%d到%d頁", start, end)
    for i := start; i <= end; i++ {
        SpiderPage(i)
    }
}

// 爬取一個豆瓣頁面資料資訊儲存到文件
func SpiderPage(index int) {
    // 獲取url
    url := "https://movie.douban.com/top250?start=" + strconv.Itoa((index-1)*25) + "&filter="

    // 爬取url對應頁面
    result, err := HttpGet(url)
    if err != nil {
        fmt.Println("httpget err", err)
        return
    }
    //fmt.Println("result=", result)
    // 解析，編譯正規表示式  ---電影名稱
    ret := regexp.MustCompile(`<img width="100" alt="(?s:(.*?))"`)
    filmName := ret.FindAllStringSubmatch(result, -1)
    for _, name := range filmName {
        fmt.Println("name", name[1])
    }

    ret2 := regexp.MustCompile(`<span class="rating_num" property="v:average">(?s:(.*?))<`)
    filmScore := ret2.FindAllStringSubmatch(result, -1)
    for _, score := range filmScore {
        fmt.Println("score", score[1])
    }

    savToFile(index, filmName, filmScore)

}

// 爬取指定url頁面，返回result
func HttpGet(url string) (result string, err error) {
    req, _ := http.NewRequest("GET", url, nil)
    // 設定頭部資訊
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 OPR/66.0.3515.115")
    resp, err1 := (&http.Client{}).Do(req)
    //resp, err1 := http.Get(url)  //此方法已經被豆瓣視為爬蟲，返回狀態嗎為418，所以必須偽裝頭部用上述辦法
    if err1 != nil {
        err = err1
        return
    }
    defer resp.Body.Close()

    buf := make([]byte, 4096)

    //迴圈爬取整頁資料
    for {
        n, err2 := resp.Body.Read(buf)
        if n == 0 {
            break
        }
        if err2 != nil && err2 != io.EOF {
            err = err2
            return
        }
        result += string(buf[:n])
    }

    return

}
本作品採用《CC 協議》，轉載必須註明作者和本文連結
歡迎關注微信公眾號：Go語言圈   點選加入：Go語言技術微信群

相關文章