github 程式碼commit機器人

靈感

曾經有一次在GitHub上看到使用golang自動儲存trending的歷史記錄到markdown檔案的專案,感覺這個專案做的很新穎而精緻.進而做一個在GitHub上自動記錄每日hacknews新聞和貓眼電影.

知識儲備

• html css selector 或者xpath的語法,提出hmtl的有用資訊(自己做爬蟲也會使用到)
• redis List/SET/HASH等資料結構
• 熟悉git的基本命令
• 熟悉ssh key和配置GitHub ssh key 登陸
• GO語言: exec,go-redis,goquery,template,http等包
• go stmp包傳送伺服器資訊和每日hacknews到自己的郵箱

思路

1. 使用http包下載html文件
2. goquery提取html中用的資訊
3. 使用第三方翻譯介面翻譯有用資訊
4. 儲存提取的資訊到redis中並去重,設定自動失效時間
5. 獲取去重之後的資訊使用go template來渲染markdown格式的文件
6. go exec 呼叫git命令提交生產之後的markdown檔案到github 同時更新readme.md檔案
7. 傳送每日hacknews和伺服器的狀態到自己的郵箱

main.go程式碼註釋解析

package main

import (
    "github.com/dejavuzhou/md-genie/util"
    "log"
    "time"
)

var gitCount = 1

func createCmds() []util.Cmd {
        //使用兩個賬號輪流交替提交程式碼到GitHub
        //可恥的私心:我要讓這兩個GitHub賬號在contributions in the last year 顯示皮膚都是綠色(代表活躍)
    gitCount++
    gifConfig1 := []util.Cmd{
        {"git", []string{"config", "--global", "user.email", "'dejavuzhou@qq.com'"}},
    }
    gifConfig2 := []util.Cmd{
        {"git", []string{"config", "--global", "user.email", "'1413507308@qq.com'"}},
    }
        //執行一系列git命令 和 linux伺服器的命令 來定時監控伺服器的健康狀態
    cmds := []util.Cmd{
        {"git", []string{"config", "--global", "user.name", "'EricZhou'"}},
        {"git", []string{"stash"}},
        {"git", []string{"pull", "origin", "master"}},
        {"git", []string{"stash", "apply"}},
        {"git", []string{"add", "."}},
        {"git", []string{"status"}},
        {"git", []string{"commit", "-am", time.Now().Format(time.RFC3339)}},
        {"git", []string{"status"}},
        {"git", []string{"push", "origin", "master"}},
        {"netstat", []string{"-lntp"}},
        {"free", []string{"-m"}},
        {"ps", []string{"aux"}},
    }
    if gitCount%2 == 0 {
        cmds = append(gifConfig2, cmds...)
    } else {
        cmds = append(gifConfig1, cmds...)
    }
    return cmds
}

func main() {
        //比較懶 使用最原始sleep的方法來實現定時任務
    for {   
                //提出hacknews html中的新聞游泳資訊呼叫有道翻譯來 儲存資訊到redis
                //如果有條件建議使用google翻譯API
        if err := util.SpiderHackNews(); err != nil {
            log.Fatal(err)
        }
                //解析hacknews新聞到markdown檔案,按照時間天格式命名
        if err := util.ParseMarkdownHacknews(); err != nil {
            log.Fatal(err)
        }
                //獲取貓眼電影json介面,儲存到redis
        if err := util.FetchMaoyanApi(); err != nil {
            log.Fatal(err)
        }
                //解析電影資訊到markdown檔案
        if err := util.ParseMaoyanMarkdown(); err != nil {
            log.Fatal(err)
        }
                //讀取archieves 資料夾名稱 生成readme.md檔案
        util.ParseReadmeMarkdown()
                //執行git linux 命令 儲存日誌 slice
        gitlogs, err := util.RunCmds(createCmds())
        if err != nil {
            log.Fatal(err)
        }
                //解析日誌和hacknews新聞 生產email的html正文
                //傳送郵件
        if err, mailBody := util.ParseEmailContent(gitlogs); err == nil {
            mailTitle := "md-genie+hacknews日誌:" + time.Now().Format(time.RFC3339)
            util.SendMsgToEmail(mailTitle, mailBody)
        } else {
            log.Fatal(err)
        }
                //每天執行4次 我的兩個GitHub賬號就可以每天活躍數量為兩次
        time.Sleep(6 * time.Hour)
    }
}

dejavzuhou/util包解析

• api.go獲取貓眼電影json的api
• command.go執行os系統命令
• ding.go傳送訊息到釘釘群機器人
• hacknews.go解析新聞,翻譯新聞,儲存redis
• mail.go傳送郵件
• markdown.go生成markdown檔案
• redditnews.go爬去reddit新聞(reddit被牆廢棄)
• scanfiles.go 掃描archives資料夾裡面的檔案給readme.md做資料來源
• translate.go呼叫翻譯api

md-genie原始碼