推薦一款Python開源庫，技術人必備的造資料神器！

狂師發表於2020-07-08
Python

1. 背景

在軟體需求、開發、測試過程中，有時候需要使用一些測試資料，針對這種情況，我們一般要麼使用已有的系統資料，要麼需要手動製造一些資料。由於現在的業務系統資料多種多樣，千變萬化。在手動製造資料的過程中，可能需要花費大量精力和工作量，此項工作既繁複又容易出錯，比如要構造一批使用者三要素(姓名、手機號、身份證)、構造一批銀行卡資料、或構造一批地址通訊錄等。

這時候，人們常常為了偷懶快捷，測試資料大多數可能是類似這樣子的:

測試, 1300000 000123456
張三, 1310000 000123456
李四, 1320000 000234567
王五, 1330000 000345678

測試資料中包括了大量的“測試XX”，要麼就是隨手在鍵盤上一頓亂敲，都是些無意義的假資料。

你是不是這樣做的呢？坦白的說，有過一段時間，筆者偶爾也是這麼幹的。

但是，細想一下，這樣的測試資料，不僅要自己手動敲，還假的不能再假，浪費時間、浪費人力、資料價值低。

而且，部分資料的手工製造還無法保障：比如UUID類資料、MD5、SHA加密類資料等。

為了幫助大家解決這個問題，更多還是提供種一種解決方案或思路，今天給大家分享一款Python造資料利器：Faker庫，利用它可以生成一批各種各樣的看起來“像真的一樣”的假資料。

2. Faker介紹 、安裝

2.1 Faker是什麼

Faker是一個Python包，主要用來建立偽資料，使用Faker包，無需再手動生成或者手寫隨機數來生成資料，只需要呼叫Faker提供的方法，即可完成資料的生成。

專案地址：https://github.com/joke2k/faker

2.2 安裝

安裝 Faker 很簡單，使用 pip 方式安裝：

pip install Faker

除了pip 安裝，也可以通過上方提供的github地址，來下載編譯安裝。

(py3_env) ➜  py3_env pip show faker
Name: Faker
Version: 4.1.1
Summary: Faker is a Python package that generates fake data for you.
Home-page: https://github.com/joke2k/faker
Author: joke2k
Author-email: joke2k@gmail.com
License: MIT License
Location: /Users/xxx/work_env/py3_env/lib/python3.7/site-packages
Requires: python-dateutil, text-unidecode
Required-by:

3. Faker常用使用

3.1 基本用法

Faker 的使用也是很簡單的，從 faker 模組中匯入類，然後例項化這個類，就可以呼叫方法使用了：

from faker import Faker

fake = Faker()
name = fake.name()
address = fake.address()
print(name)
print(address)

# 輸出資訊
Ashley Love
074 Lee Village Suite 464
Dawnborough, RI 44234

這裡我們造了一個名字和一個地址，由於 Faker 預設是英文資料，所以如果我們需要造其他語言的資料，可以使用 locale引數，例如：

from faker import Faker

fake = Faker(locale='zh_CN')
name = fake.name()
address = fake.address()
print(name)
print(address)

# 輸出資訊
張豔
海南省上海市朝陽邱路y座 175208

是不是看起來還不錯，但是有一點需要注意，這裡的地址並不是真實的地址，而是隨機組合出來的，也就是將省、市、道路之類的隨機組合在一起。

這裡介紹幾個比較常見的語言代號：

  • 簡體中文：zh_CN
  • 繁體中文：zh_TW
  • 美國英文：en_US
  • 英國英文：en_GB
  • 德文：de_DE
  • 日文：ja_JP
  • 韓文：ko_KR
  • 法文：fr_FR

例如將語言修改為繁體中文fake = Faker(locale='zh_TW')，輸出資訊為：

楊志巨集
100 中壢博愛街10號9樓

3.2 常用函式

除了上述介紹的fake.name和fake.address生成姓名和地址兩個函式外，常用的faker函式按類別劃分有如下一些常用方法。

1、地理資訊類

  • fake.city_suffix()：市，縣
  • fake.country()：國家
  • fake.country_code()：國家編碼
  • fake.district()：區
  • fake.geo_coordinate()：地理座標
  • fake.latitude()：地理座標(緯度)
  • fake.longitude()：地理座標(經度)
  • fake.postcode()：郵編
  • fake.province()：省份
  • fake.address()：詳細地址
  • fake.street_address()：街道地址
  • fake.street_name()：街道名
  • fake.street_suffix()：街、路

2、基礎資訊類

  • ssn()：生成身份證號
  • bs()：隨機公司服務名
  • company()：隨機公司名（長）
  • company_prefix()：隨機公司名（短）
  • company_suffix()：公司性質
  • credit_card_expire()：隨機信用卡到期日
  • credit_card_full()：生成完整信用卡資訊
  • credit_card_number()：信用卡號
  • credit_card_provider()：信用卡型別
  • credit_card_security_code()：信用卡安全碼
  • job()：隨機職位
  • first_name_female()：女性名
  • first_name_male()：男性名
  • last_name_female()：女姓
  • last_name_male()：男姓
  • name()：隨機生成全名
  • name_female()：男性全名
  • name_male()：女性全名
  • phone_number()：隨機生成手機號
  • phonenumber_prefix()：隨機生成手機號段

3、計算機基礎、Internet資訊類

  • ascii_company_email()：隨機ASCII公司郵箱名
  • ascii_email()：隨機ASCII郵箱：
  • company_email()：
  • email()：
  • safe_email()：安全郵箱

4、網路基礎資訊類

  • domain_name()：生成域名
  • domain_word()：域詞(即，不包含字尾)
  • ipv4()：隨機IP4地址
  • ipv6()：隨機IP6地址
  • mac_address()：隨機MAC地址
  • tld()：網址域名字尾(.com,.net.cn,等等，不包括.)
  • uri()：隨機URI地址
  • uri_extension()：網址檔案字尾
  • uri_page()：網址檔案（不包含字尾）
  • uri_path()：網址檔案路徑（不包含檔名）
  • url()：隨機URL地址
  • user_name()：隨機使用者名稱
  • image_url()：隨機URL地址

5、瀏覽器資訊類

  • chrome()：隨機生成Chrome的瀏覽器user_agent資訊
  • firefox()：隨機生成FireFox的瀏覽器user_agent資訊
  • internet_explorer()：隨機生成IE的瀏覽器user_agent資訊
  • opera()：隨機生成Opera的瀏覽器user_agent資訊
  • safari()：隨機生成Safari的瀏覽器user_agent資訊
  • linux_platform_token()：隨機Linux資訊
  • user_agent()：隨機user_agent資訊

6、數字類

  • numerify()：三位隨機數字

  • random_digit()：0~9隨機數

  • random_digit_not_null()：1~9的隨機數

  • random_int()：隨機數字，預設0~9999，可以通過設定min,max來設定

  • random_number()：隨機數字，引數digits設定生成的數字位數

  • pyfloat()：

    left_digits=5 #生成的整數位數,
    right_digits=2 #生成的小數位數,
    positive=True #是否只有正數

  • pyint()：隨機Int數字（參考random_int()引數）

  • pydecimal()：隨機Decimal數字（參考pyfloat引數）

7、文字、加密類

  • pystr()：隨機字串

  • random_element()：隨機字母

  • random_letter()：隨機字母

  • paragraph()：隨機生成一個段落

  • paragraphs()：隨機生成多個段落，通過引數nb來控制段落數，返回陣列

  • sentence()：隨機生成一句話

  • sentences()：隨機生成多句話，與段落類似

  • text()：隨機生成一篇文章（不要幻想著人工智慧了，至今沒完全看懂一句話是什麼意思）

  • word()：隨機生成詞語

  • words()：隨機生成多個詞語，用法與段落，句子，類似

  • binary()：隨機生成二進位制編碼

  • boolean()：True/False

  • language_code()：隨機生成兩位語言編碼

  • locale()：隨機生成語言/國際 資訊

  • md5()：隨機生成MD5

  • null_boolean()：NULL/True/False

  • password()：隨機生成密碼,可選引數：length：密碼長度；special_chars：是否能使用特殊字元；digits：是否包含數字；upper_case：是否包含大寫字母；lower_case：是否包含小寫字母

  • sha1()：隨機SHA1

  • sha256()：隨機SHA256

  • uuid4()：隨機UUID

8、時間資訊類

  • date()：隨機日期

  • date_between()：隨機生成指定範圍內日期，引數：start_date，end_date

  • date_between_dates()：隨機生成指定範圍內日期，用法同上

  • date_object()：隨機生產從1970-1-1到指定日期的隨機日期。

  • date_time()：隨機生成指定時間（1970年1月1日至今）

  • date_time_ad()：生成公元1年到現在的隨機時間

  • date_time_between()：用法同dates

  • future_date()：未來日期

  • future_datetime()：未來時間

  • month()：隨機月份

  • month_name()：隨機月份（英文）

  • past_date()：隨機生成已經過去的日期

  • past_datetime()：隨機生成已經過去的時間

  • time()：隨機24小時時間

  • timedelta()：隨機獲取時間差

  • time_object()：隨機24小時時間，time物件

  • time_series()：隨機TimeSeries物件

  • timezone()：隨機時區

  • unix_time()：隨機Unix時間

  • year()：隨機年份

9、python 相關方法

  • profile()：隨機生成檔案資訊

  • simple_profile()：隨機生成簡單檔案資訊

  • pyiterable()

  • pylist()

  • pyset()

  • pystruct()

  • pytuple()

  • pydict()

可以用dir(fake)，看Faker庫都可以fake哪些資料，目前Faker支援近300種資料，此外還支援自己進行擴充套件。

有了這些生成資料函式之後用fake物件就可以呼叫不同的方法生成各種資料了。

3.3 常用資料場景

1、構造通訊錄記錄

from faker import Faker

fake = Faker(locale='zh_CN')
for _ in range(5):
    print('姓名：', fake.name(), ' 手機號：', fake.phone_number())
    
# 輸出資訊：
姓名： 駱柳  手機號： 18674751460
姓名： 薛利  手機號： 13046558454
姓名： 翟麗麗  手機號： 15254904803
姓名： 宋秀珍  手機號： 13347585045
姓名： 孔桂珍  手機號： 18258911504

2、構造信用卡資料

from faker import Faker

fake = Faker(locale='zh_CN')
print('Card Number:', fake.credit_card_number(card_type=None))
print('Card Provider:', fake.credit_card_provider(card_type=None))
print('Card Security Code:', fake.credit_card_security_code(card_type=None))
print('Card Expire:', fake.credit_card_expire())

# 輸出資訊：
Card Number: 676181530350
Card Provider: Diners Club / Carte Blanche
Card Security Code: 615
Card Expire: 09/21

3、生成個人檔案資訊

from faker import Faker

fake = Faker(locale='zh_CN')
print(fake.profile())

# 輸出資訊
{'job': '美術指導', 'company': '易動力傳媒有限公司', 'ssn': '370703197807179500', 'residence': '廣西壯族自治區旭縣薊州東莞街L座 784064', 'current_location': (Decimal('78.3608745'), Decimal('-95.946407')), 'blood_group': 'B+', 'website': ['https://www.jiewang.org/', 'https://www.longsong.cn/', 'https://jingyong.net/', 'https://58.cn/'], 'username': 'qinqiang', 'name': '唐偉', 'sex': 'F', 'address': '新疆維吾爾自治區建華市東麗拉薩街a座 875743', 'mail': 'shenyang@hotmail.com', 'birthdate': datetime.date(2014, 4, 27)}

4、生成Python相關結構資訊

from faker import Faker

fake = Faker(locale='zh_CN')
print('生成Python字典: {}'.format(fake.pydict(
    nb_elements=10, variable_nb_elements=True)))  # Python字典
print('生成Python可迭代物件:{}.'.format(fake.pyiterable(
    nb_elements=10, variable_nb_elements=True)))   # Python可迭代物件
print('生成Python結構：{}'.format(fake.pystruct(count=1)))  # Python結構


# 輸出資訊
成Python字典: {'論壇': 'nVcSbHlrcrhIBtwByVUM', '直接': 'drkyFUNcNxdbwYKhRLEZ', '成功': 'https://fang.cn/main/search/blog/search/', '沒有': datetime.datetime(2006, 2, 24, 15, 40, 14), '原因': 404, '作者': 'OTJjsFHQklpUvTPtLCqP'}
  
生成Python可迭代物件:{1088, 'ignqbohwYRxqolLEzSti', 'http://gang.cn/main/search.php', 'zRnNYdIpPXUxEVISHbvS', 'ToZxuBetghvlPHUumAvi', 9830, 'OYAjoKeVNGhHMLgnYUAw', 970446.888, -17681479853.4069, 872236250787063.0, datetime.datetime(2017, 12, 24, 5, 58, 58), 'aRSfxiUSuMqHXvKCCkMJ'}
  
生成Python結構：(['cKwOvdCEFOhCERMSMXSf'], {'只有': 'hhwGCmjkHMOUjBTDztXp'}, {'還有': {0: 'vjcNqpnRbNUUxXpgVyvh', 1: [8725, 7125, 'aTSJssAJUKpuRLcbiwyK'], 2: {0: 'RmWlFQQpVZIQkxZPfJnq', 1: 'efsUVLgeStXbCOJDuJCf', 2: ['FgZQLCRjUTmEbBdDMEPZ', 'https://min.cn/search/faq/']}}})

4. Faker常用使用

如果這些資料還不夠生成資料使用，Faker還支援建立自定義的Provider生成資料。

from faker import Faker
from faker.providers import BaseProvider

# 建立自定義Provider
class CustomProvider(BaseProvider):
    def customize_type(self):
        return 'test_Faker_customize_type'

# 新增Provider
fake = Faker()
fake.add_provider(CustomProvider)
print(fake.customize_type())

是不是十分簡單，以後常用的資料就可以自己建立Provider用自動化的方法生成了，不僅節省了時間，複用性也變高了。

5. 總結

這些只是其中的一些常見的資料，Faker 可以造的資料遠不止這些型別。相信通過本文的介紹，大家應該對 Faker 不陌生了吧。以後在需要造資料的時候，一定要想起 Faker 這個利器哦！

此外，作為一個開源的庫，Faker的原始碼是非常值得研究的，也是Python新手可以用來練開源專案的利器。

相關文章