Go語言版本的forgery

xingyys發表於2019-02-16
Go

使用過Python語言的朋友們可能使用過forgery_py，它是一個偽造資料的工具。能偽造一些常用的資料。在我們開發過程和效果展示是十分有用。但是沒有Go語言版本的，所以就動手摺騰吧。

從原始碼入手

在forgery_py的PyPi有一段的例項程式碼：

>>> import forgery_py
>>> forgery_py.address.street_address()
u`4358 Shopko Junction`
>>> forgery_py.basic.hex_color()
`3F0A59`
>>> forgery_py.currency.description()
u`Slovenia Tolars`
>>> forgery_py.date.date()
datetime.date(2012, 7, 27)
>>> forgery_py.internet.email_address()
u`brian@zazio.mil`
>>> forgery_py.lorem_ipsum.title()
u`Pretium nam rhoncus ultrices!`
>>> forgery_py.name.full_name()
u`Mary Peters`
>>> forgery_py.personal.language()
u`Hungarian`

從以上的方法呼叫我們可以看出forgery_py下有一系列的*.py檔案，裡面有各種方法，實現各種功能，我們在來通過分析下Python版本的forgery_py的原始碼來看看它的實現原理。

# ForgeryPy 包的一級目錄
├── dictionaries  # 偽造內容和來源目錄，目錄下存放的都是一些文字檔案
├── dictionaries_loader.py # 載入檔案指令碼
├── forgery       # 主目錄，實現各種資料偽造功能，目錄下存放的都是python檔案
├── __init__.py

我們在來看下forgery目錄下的指令碼

$ cat name.py
import random

from ..dictionaries_loader import get_dictionary

__all__ = [
    `first_name`, `last_name`, `full_name`, `male_first_name`,
    `female_first_name`, `company_name`, `job_title`, `job_title_suffix`,
    `title`, `suffix`, `location`, `industry`
]


def first_name():
    """Random male of female first name."""
    _dict = get_dictionary(`male_first_names`)
    _dict += get_dictionary(`female_first_names`)

    return random.choice(_dict).strip()

__all__設定能被呼叫的方法。
first_name()方法是forgery_py中一個典型偽造資料方法，我們只要來分析它就可以知道forgery_py的工作原理了。
這個方法程式碼很少，能容易就看出_dict = get_dictionary(`male_first_names`)和_dict += get_dictionary(`female_first_names`)獲取的資料合併，在最後的return random.choice(_dict).strip()返回隨機的資料。它的重點在於get_dictionary(),所以我們需要來看它的所在位置dictionaries_loader.py檔案。

$ cat dictionaries_loader
import random

DICTIONARIES_PATH = abspath(join(dirname(__file__), `dictionaries`))

dictionaries_cache = {}


def get_dictionary(dict_name):
    """
    Load a dictionary file ``dict_name`` (if it`s not cached) and return its
    contents as an array of strings.
    """
    global dictionaries_cache

    if dict_name not in dictionaries_cache:
        try:
            dictionary_file = codecs.open(
                join(DICTIONARIES_PATH, dict_name), `r`, `utf-8`
            )
        except IOError:
            None
        else:
            dictionaries_cache[dict_name] = dictionary_file.readlines()
            dictionary_file.close()

    return dictionaries_cache[dict_name]

以上就是dictionaries_loader.py檔案去掉註釋後的所以要內容。它的主要實現就是：定義一個全域性的字典引數dictionaries_cache作為快取，然後定義方法get_dictionary()獲取源資料，get_dictionary()中每次forgery目錄底下方法呼叫時先檢視快取，快取字典中存在資料就直接輸出，不存在就讀取dictionaries底下的對應檔案，並存入快取。最後是返回資料。
總的來說forgery_py的原理就是：一個方法呼叫，去讀記憶體中的快取，存在就直接返回，不存在就到對應的文字檔案中讀取並寫入快取並返回。返回來的資料再隨機選取輸出結果。

使用Go語言實現

在瞭解了forgery_py的工作原理之後，我們就可以來使用Go語言來實現了。

# forgery的基本目錄
$ cat forgery
├── dictionaries # 資料來源
│   ├── male_first_names
├── name.go   # 具體功能實現
└── loader.go # 載入資料

根據python版本的我們也來建立對應的目錄。
實現資料的讀取的快取：

// forgery/loader.go
package forgery

import (
    "os"
    "io"
    "bufio"
    "math/rand"
    "time"
    "strings"
)

// 全域性的快取map
var dictionaries map[string][]string = make(map[string][]string)

// 在獲取資料之後隨機輸出
func random(slice []string) string {
    rand.Seed(time.Now().UnixNano())
    n := rand.Intn(len(slice))
    return strings.TrimSpace(slice[n])
}

// 主要的資料載入方法
func loader(name string) (slice []string, err error) {
    slice, ok := dictionaries[name]
    // 快取中存在資料，直接返回
    if ok {
        return slice, nil
    }
    // 讀取對應檔案
    file, err := os.Open("./dictionaries/" + name)
    if err != nil {
        return slice, err
    }
    defer file.Close()
    rd := bufio.NewReader(file)
    for {
        line, err := rd.ReadString(`
`)
        slice = append(slice, line)
        if err != nil || io.EOF == err {
            break
        }
    }
    dictionaries[name] = slice
    return slice, nil
}

// 統一的錯誤處理
func checkErr(err error) (string, error) {
    return "", err
}

實現具體的功能：

// forgery/name.go
// Random male of female first name.
func FirstName() (string, error) {
    slice, err := loader("male_first_names")
    checkErr(err)
    slice1, err := loader("female_first_names")
    checkErr(err)
    slice = append(slice, slice1...)
    return random(slice), nil
}

這樣就將python語言版本的forgery_py使用Go來實現了。

最後

上面只是提及了一些工作原理，具體的原始碼可以看https://github.com/xingyys/fo…,也十分感謝https://github.com/tomekwojci…，具體的思路和裡面的資料來源都是他提供的。本人就是做了一些翻譯的的工作。

相關文章