使用 go (github.com/antchfx/htmlquery) 爬取 learnku 全站的標題

滾球獸進化發表於2022-02-10
GoGithubHTML

這裡用的爬取工具為 github.com/antchfx/htmlquery。挺方便的。 

func Run(){
    tUrl := "https://learnku.com/?page="

    for i:=1;i<=142;i++{
        doc,err:=htmlquery.LoadURL(tUrl+cast.ToString(i))
        if ifErr(err){
            return
        }
        list := htmlquery.Find(doc, `//span[@class="topic-title"]/text()`)
        for _, value := range list {
            contentStr := htmlquery.InnerText(value)
            contentStr =helpers.Trim(contentStr)
            if len(contentStr) == 0{
                continue
            }
            fmt.Println(contentStr)
        }
        time.Sleep(time.Second)
        fmt.Println(i)
    }
}
本作品採用《CC 協議》，轉載必須註明作者和本文連結

相關文章