Golang 超大檔案讀取的兩個方案

bean發表於2018-06-05
Golang

Golang超大檔案讀取的兩個方案

  1. 流處理方式
  2. 分片處理

去年的面試中我被問到超大檔案你怎麼處理，這個問題確實當時沒多想，回來之後仔細研究和討論了下這個問題，對大檔案讀取做了一個分析

比如我們有一個log檔案，執行了幾年，有100G之大。按照我們之前的操作可能程式碼會這樣寫：

func ReadFile(filePath string) []byte{
    content, err := ioutil.ReadFile(filePath)
    if err != nil {
        log.Println("Read error")
    }
    return content
}

上面的程式碼讀取幾兆的檔案可以，但是如果大於你本身及其記憶體，那就直接翻車了。因為上面的程式碼，是把檔案所有的內容全部都讀取到記憶體之後返回，幾兆的檔案，你記憶體夠大可以處理，但是一旦上幾百兆的檔案，就沒那麼好處理了。那麼，正確的方法有兩種，第一個是使用流處理方式程式碼如下：

func ReadFile(filePath string, handle func(string)) error {
    f, err := os.Open(filePath)
    defer f.Close()
    if err != nil {
        return err
    }
    buf := bufio.NewReader(f)

    for {
        line, err := buf.ReadLine("\n")
        line = strings.TrimSpace(line)
        handle(line)
        if err != nil {
            if err == io.EOF{
                return nil
            }
            return err
        }
        return nil
    }
}

第二個方案就是分片處理，當讀取的是二進位制檔案，沒有換行符的時候，使用下面的方案一樣處理大檔案

func ReadBigFile(fileName string, handle func([]byte)) error {
    f, err := os.Open(fileName)
    if err != nil {
        fmt.Println("can't opened this file")
        return err
    }
    defer f.Close()
    s := make([]byte, 4096)
    for {
        switch nr, err := f.Read(s[:]); true {
        case nr < 0:
            fmt.Fprintf(os.Stderr, "cat: error reading: %s\n", err.Error())
            os.Exit(1)
        case nr == 0: // EOF
            return nil
        case nr > 0:
            handle(s[0:nr])
        }
    }
    return nil
}

希望能對學習go語言的同學有所幫助。

本作品採用《CC 協議》，轉載必須註明作者和本文連結

相關文章