PostgreSQL 資料加密之 pgcrypto
根據資訊保安的相關要求,使用者的敏感資訊通常需要在資料庫中進行加密儲存,例如登入密碼、信用卡號、身份證號等。PostgreSQL 提供了一個擴充套件的模組:pgcrypto ;今天我們就來介紹一下這個模組的使用方法和案例。
如果覺得文章有用,歡迎評論?、點贊?、推薦?
pgcrypto 簡介
pgcrypto 擴充套件模組可以用於 PostgreSQL 中實現加密和解密功能。從 PostgreSQL 13 版本開始 pgcrypto 屬於“可信”模組;只要使用者擁有當前資料庫上的 CREATE 許可權就可以安裝該模組,不再需要超級使用者許可權。
pgcrypto 提供了兩類加密演算法:單向加密和雙向加密。
單向加密屬於不可逆加密,無法根據密文解密出明文,適用於資料的驗證,例如登入密碼驗證。常用的單向加密演算法有 MD5、SHA、HMAC 等。雙向加密屬於可逆加密,根據密文和金鑰可解密出明文,適用於資料的安全傳輸,例如電子支付、數字簽名等。常用的雙向加密演算法有 AES、DES、RSA、ECC 等。
pgcrypto 安裝
首先,我們需要安裝 pgcrypto 模組。對於 Linux 作業系統,可以透過 postgresql-contrib 軟體包下載 PostgreSQL 擴充套件模組;對於 Windows 和 macOS,預設安裝已經包含了擴充套件模組。我們只需要執行以下語句在當前資料庫中安裝 pgcrypto 模組:
單向加密
通用雜湊函式
digest()
函式可以根據不同的演算法生成資料的二進位制雜湊值,語法如下:
其中,data 是原始資料;type 是加密演算法,包括 md5、sha1、sha224、sha256、sha384 以及 sha512;函式的返回結果為二進位制字串。
假如存在以下使用者表:
建立新使用者時,可以使用 digest() 函式對密碼進行加密儲存:
其中,encode 函式用於將二進位制字串轉換為十六進位制的文字。
當使用者登入時,使用同樣的方法加密輸入的密碼引數:
?PostgreSQL 還提供了內建的 md5()、sha224()、sha256()、sha384() 以及 sha512() 函式。
這類加密演算法的主要問題是相同的資料經過加密之後的結果相同。因此。在實際應用中可以將使用者名稱和密碼字串連線之後再進行加密。另一種方法就是使用
hmac()
函式:
其中,data 是原始資料;key 是加密金鑰;type 是加密演算法,包括 md5、sha1、sha224、sha256、sha384 以及 sha512;函式的返回結果為二進位制字串。
以下語句使用 hmac() 函式重新設定了使用者的密碼:
使用 username 作為金鑰,相同的密碼加密之後的結果不同。
對於 digest() 函式,如果同時被修改了原始資料和加密結果,無法進行識別;hmac() 函式只要金鑰沒有洩露的話,可以發現被篡改的資料。
密碼雜湊函式
crypt() 和 gen_salt() 函式專用於密碼加密,其中 crypt() 用於加密資料,gen_salt() 用於生成 salt(加鹽)。
crypt() 中的演算法和普通的 MD5 或者 SHA1 雜湊演算法存在以下不同之處:
- crypt() 中的演算法它們更慢。由於密碼包含的資料量很小,這是增加暴力破解難度的唯一方法。
- 它們使用了一個隨機值(稱為鹽值),因此密碼的使用者加密後的密碼不同。這也可以針對破解演算法提供一種額外的安全保護。
- 它們的結果中包括了演算法型別,因此可以針對不同使用者使用不同的演算法對密碼進行加密。
- 其中一些演算法具有自適應性,意味著當計算機效能變得更快時,可以調整演算法使其變得更慢,而不會產生與已有密碼的不相容性。
下表列出了 crypt() 函式支援的演算法:
演算法 | 密碼最大長度 | 自適應性 | 鹽值位元位數 | 輸出結果長度 | 描述 |
---|---|---|---|---|---|
bf | 72 | ✔️ | 128 | 60 | 基於 Blowfish 的 2a 變種演算法 |
md5 | 無限 | ❌ | 48 | 34 | 基於 MD5 的加密演算法 |
xdes | 8 | ✔️ | 24 | 20 | 擴充套件 DES |
des | 8 | ❌ | 12 | 13 | 原始 UNIX 加密演算法 |
crypt() 函式的語法如下:
該函式返回 password 字串 crypt(3) 格式的雜湊值,salt 引數由 gen_salt() 函式生成。例如:
對於相同的密碼,crypt() 函式每次也會返回不同的結果,因為 gen_salt() 函式每次都會生成不同的 salt。校驗密碼時可以將之前生成的雜湊結果作為 salt:
gen_salt() 函式用於生成鹽值 salt,語法如下:
該函式每次都會生成一個隨機的鹽值字串,該字串同時決定了 crypt() 函式使用的演算法;type 引數用於指定一個生成字串的雜湊演算法,可能的取值包括 des、xdes、md5 以及 bf。
每種演算法生成的 salt 擁有固定的格式,例如 bf 演算法結果中的 $2a$06$,2a 表示 Blowfish 的 2a 變種演算法,06 表示迭代的次數。
對於 xdes 和 bf 演算法,iter_count 引數用於指定迭代的次數。迭代次數越多,計算的時間越長,破解所需的時間也越長。過高的迭代次數可能使得計算一個雜湊值需要幾年的時間,但是這並沒有什麼實際用途。如果忽略 iter_count,將會使用預設的迭代次數。
演算法 | 預設次數 | 最小次數 | 最大次數 |
---|---|---|---|
xdes | 725 | 1 | 16777215 |
bf | 6 | 4 | 31 |
對於 xdes 演算法,迭代次數必須是一個奇數。
如果想要選擇一個合適的迭代次數,可以參考原始 DES 加密演算法設計時的效能是在當時的硬體上每秒執行 4 次加密。每秒少於 4 次加密可能會降低可用性,每秒多於 100 次加密又可能太快了。
下表給出了不同雜湊演算法的相對效能比較。表中還列出了它們遍歷所有由 8 字元組成的密碼所需的時間,密碼只包含小寫字母、或者大小寫字母及數字。 對於 crypt-bf 演算法,斜槓後面的數字代表了 gen_salt() 函式中的 iter_count 引數。
演算法 | 雜湊次數/秒 | [a-z] | [A-Za-z0-9] | 相當於 MD5 消耗的時間倍數 |
---|---|---|---|---|
crypt-bf/8 | 1792 | 4 年 | 3927 年 | 100k |
crypt-bf/7 | 3648 | 2 年 | 1929 年 | 50k |
crypt-bf/6 | 7168 | 1 年 | 982 年 | 25k |
crypt-bf/5 | 13504 | 188 天 | 521 年 | 12.5k |
crypt-md5 | 171584 | 15 天 | 41 年 | 1k |
crypt-des | 23221568 | 157.5 分鐘 | 108 天 | 7 |
sha1 | 37774272 | 90 分鐘 | 68 天 | 4 |
md5 (hash) | 150085504 | 22.5 分鐘 | 17 天 | 1 |
備註:
- 以上測試使用的機器是 Intel Mobile Core i3。
- crypt-des 和 crypt-md5 演算法的結果來自 John the Ripper v1.6.38 -test 結果。
- md5 雜湊的結果來自 mdcrack 1.2。
- sha1 的結果來自 lcrack-20031130-beta。
- crypt-bf 的結果透過簡單遍歷 1000 次 8 字元組成的密碼得到。這種方式可以比較不同迭代次數的效能。以下結果可以作為參考:john -test 顯示 crypt-bf/5 每秒迴圈 13506 次(結果中的細微差異說明 pgcrypto 中的 crypt-bf 實現和 John the Ripper 相同)。
?實際情況下並不會使用“遍歷所有組合”的破解方法,通常是利用一個包含常用詞彙及其各種變化形式的字典進行密碼破解。因此,一些類似於單詞的密碼可能會比上面的字串更快被破解;而由 6 個字元組成的不像單詞的密碼可能不會被破解,也可能會被破解。
雙向加密
PGP 加密函式
PGP 加密函式實現了 OpenPGP(RFC 4880)標準中的加密功能,包括對稱金鑰加密(私鑰加密)和非對稱金鑰加密(公鑰加密)。
一個加密後的 PGP 訊息由 2 部分(包)組成:
- 一個包含會話金鑰(加密後的對稱金鑰或者公鑰)的包;
- 一個使用會話金鑰對資料加密後的包。
對於對稱金鑰(也就是口令)加密:
- 使用 String2Key(S2K)演算法對金鑰進行加密,類似於執行一個特意減慢並且包含隨機 salt 的 crypt() 演算法,生成一個完整長度的二進位制金鑰。
- 如果要求使用一個單獨的會話金鑰,生成一個隨機的金鑰;否則,使用上面的 S2K 金鑰直接作為會話金鑰。
- 如果直接使用 S2K 金鑰,只將 S2K 設定加入會話金鑰包中;否則,使用 S2K 金鑰對會話金鑰進行加密,然後放入會話密碼包中。
對於公鑰加密:
- 生成一個隨機的會話金鑰。
- 使用公鑰對其進行加密後放入會話金鑰包中。
無論哪種情況,對於資料的加密過程如下:
- 執行可選的資料操作:壓縮、轉換為 UTF-8 以及/或者換行符的轉換。
- 在資料前面增加一個隨機位元組組成的塊,相當於使用了一個隨機的初始值(IV)。
- 計算隨機字首和資料的 SHA1 雜湊值,追加到資料的後面。
- 將所有內容使用會話金鑰進行加密後放入資料包中。
pgp_sym_encrypt()
函式用於對稱金鑰加密:
其中,data 是要加密的資料;psw 是 PGP 對稱金鑰;options 引數用於設定選項,參考下文。
pgp_sym_decrypt()
函式用於解密 PGP 對稱金鑰加密後的訊息:
其中,msg 是要解密的訊息;psw 是 PGP 對稱金鑰;options 引數用於設定選項,參考下文。為了避免輸出無效的字元,不允許使用 pgp_sym_decrypt 函式對 bytea 資料進行解密;可以使用 pgp_sym_decrypt_bytea 對原始文字資料進行解密。
pgp_pub_encrypt()
函式用於公共金鑰加密:
其中,data 是要加密的資料;key 是 PGP 公鑰,如果傳入一個私鑰將會返回錯誤;options 引數用於設定選項,參考下文。
pgp_pub_decrypt()
函式用於解密 PGP 公共金鑰加密後的訊息:
其中,key 是公共金鑰對應的私鑰;如果私鑰使用了密碼保護功能,必須在 psw 引數中指定密碼;如果沒有使用密碼保護,想要指定 options 引數時必須指定一個空的 psw。options 引數用於設定選項,參考下文。為了避免輸出無效的字元,不允許使用 pgp_pub_decrypt 函式對 bytea 資料進行解密;可以使用 pgp_pub_decrypt_bytea 對原始文字資料進行解密。
pgp_key_id()
函式用於提取 PGP 公鑰或者私鑰的金鑰 ID;如果傳入一個加密後的訊息,將會返回加密該訊息使用的金鑰 ID:
該函式可能返回 2 個特殊的金鑰 ID:
- SYMKEY,表明該訊息使用對稱金鑰進行加密。
- ANYKEY,表明該訊息使用公共金鑰進行加密,但是金鑰 ID 已經被刪除。這也意味著你需要嘗試所有的私鑰,查詢可以解密該訊息的私鑰。pgcrypto 不會產生這種加密訊息。
注意,不同的金鑰可能擁有相同的 ID,這種情況很少見但可能存在。客戶端應用程式需要自己嘗試使用不同的金鑰進行解密,就像處理 ANYKEY 一樣。
armor()
函式用於將二進位制資料轉換為 PGP ASCII-armor 格式,相當於 Base64 加上 CRC 以及額外的格式化。
dearmor()
函式用於執行相反的轉換:
其中,data 是需要轉換的資料;如果指定了 keys 和 values 數值,每個 key/value 對都會生成一個 armor header 並新增到編碼格式中;兩個陣列都是一維陣列,長度相同,並且不能包含非 ASCII 字元。
pgp_armor_headers()
函式用於返回資料中的 armor header:
返回結果是一個包含 key 和 value 兩個欄位的資料行集,如果其中包含任何非 ASCII 字元,都會被看作 UTF-8 字元。
下面我們來看一個例項,首先為 users 表增加一個信用卡欄位:
然後我們需要生成 PGP 金鑰,對於 Linux 作業系統可以使用 gpg 工具,對於 Windows 系統可以 下載 GnuPG。執行以下命令建立一個新的金鑰:
然後按照提示輸入相關資訊。推薦使用 DSA and Elgamal 金鑰;對於 RSA 加密,必須建立一個僅用於簽名的 DSA 或者 RSA 金鑰作為主控金鑰,然後使用 gpg --edit-key 增加一個 RSA 加密子金鑰。
然後可以使用 gpg --list-secret-keys 檢視建立的金鑰:
其中,2048R 是金鑰的位元長度, 92A1CA53 是私鑰,4A973FF0 是公鑰。
將公鑰和私鑰轉換為 ASCII-armor 格式:
其中,-a 表示 armour 格式;預設的金鑰是二進位制格式,不方便處理。在使用 pgcrypto PGP 加密/解密函式時需要利用 dearmor() 函式將金鑰轉換為二進位制再傳入引數;如果可以直接處理二進位制資料,也可以去掉 -a 選項。
?更多關於 GnuPG 的使用資訊,可以參考 The GNU Privacy Handbook 或者 其他文件。
直接檢視公鑰 public.key 的內容如下:
為了方便處理,可以建立一個儲存公鑰的表 keys:
把 public.key 的內容替換到 INSERT 語句,將公鑰插入該表中。
接下來我們就可以將信用卡號進行加密儲存:
查詢結果顯示 card 欄位已經被加密儲存。
我們可以使用 pgp_key_id() 函式驗證加密使用的公鑰:
應用程式可以透過私鑰 secret.key 解密信用卡號:
其中,1234567890 是建立金鑰時輸入的口令。
注意,PGP 程式碼存在以下限制:
- 不支援簽名。這也意味著它不會檢查加密子金鑰是否屬於主控金鑰。
- 不支援加密金鑰作為主控金鑰。由於通常並不鼓勵這種做法,因此這應該不是問題。
- 不支援多個子金鑰。由於實際應用中經常需要多個子金鑰,這可能是個問題。另一方面,不要使用常規 GPG/PGP 金鑰作為 pgcrypto 加密金鑰,而應該建立新的金鑰,因為這是非常不同的使用場景。
PGP 函式選項
pgcrypto 函式中的選項名稱和 GnuPG 類似,選項的值使用等號設定,每個選項使用逗號進行分隔。例如:
除了 convert-crlf 之外,其他選項僅適用於加密函式。解密函式從 PGP 資料中獲取引數。
最常設定的選項包括 compress-algo 和 unicode-mode,其他選項通常使用預設值。
選項 | 描述 | 取值 | 適用函式 |
---|---|---|---|
cipher-algo | 使用的密碼演算法。 | bf、aes128(預設值)、aes192、aes256;使用 OpenSSL 時還支援:3des、cast5 | pgp_sym_encrypt、pgp_pub_encrypt |
compress-algo | 使用的壓縮演算法,只有編譯 PostgreSQL 時使用了 zlib 引數可用。 | 0,不壓縮,預設值;1,ZIP 壓縮;2,ZLIB 壓縮(ZIP 加上後設資料和 CRC) | pgp_sym_encrypt、pgp_pub_encrypt |
compress-level | 壓縮級別,級別越高結果越小但速度更慢,0 表示不壓縮 | 0、1-9,預設為 6 | pgp_sym_encrypt、pgp_pub_encrypt |
convert-crlf | 加密時是否將 \n 轉換為 \r\n 並且解密時執行相反的轉換,RFC 4880 指定文字資料需要使用 \r\n 作為換行符。 | 0(預設值)、1 | pgp_sym_encrypt、pgp_pub_encrypt
pgp_sym_decrypt、pgp_pub_decrypt |
disable-mdc | 不使用 SHA-1 保護資料,僅用於相容古老的 PGP 產品。 | 0(預設值)、1 | pgp_sym_encrypt、pgp_pub_encrypt |
sess-key | 使用單獨的會話金鑰。公鑰加密總是使用單獨的會話金鑰;該選項用於對稱金鑰加密,因為它預設直接使用 S2K 金鑰。 | 0(預設值)、1 | pgp_sym_encrypt |
s2k-mode | 使用的 S2K 演算法。 | 0,不使用 salt,危險;1,使用 salt 但是迭代固定次數;3(預設值),使用 salt 同時迭代次數可變。 | pgp_sym_encrypt |
s2k-count | S2K 演算法的迭代次數。 | 大於等於 1024 並且小於等於 65011712,預設為 65536 到 253952 之間的隨機數。 | pgp_sym_encrypt 並且 s2k-mode=3 |
s2k-digest-algo | S2K 計算時的摘要演算法。 | md5、sha1(預設值) | pgp_sym_encrypt |
s2k-cipher-algo | 加密單獨會話金鑰時使用的密碼。 | bf、aes、aes128、aes192、aes256,預設使用 cipher-algo 的演算法。 | pgp_sym_encrypt |
unicode-mode | 是否將文字資料在資料庫內部編碼和 UTF-8 之間來回轉換。如果資料庫已經是 UTF-8、不會執行轉換,但是訊息將被標記為 UTF-8;如果沒有指定這個選項就不會被標記。 | 0(預設值)、1 | pgp_sym_encrypt、pgp_pub_encrypt |
原始加密函式
原始加密函式僅僅會對資料進行一次加密,不支援 PGP 加密的任何高階功能,因此存在以下主要問題:
- 直接將使用者金鑰作為加密金鑰。
- 不提供任何完整性檢查校驗加密後的資料是否被修改。
- 需要使用者自己關聯所有的加密引數,包括初始值(IV)。
- 不支援文字資料。
因此,在引入了 PGP 加密之後, 不建議使用這些原始加密函式:
其中,data 是需要加密的資料;type 用於指定加密方法。type 引數的語法如下:
其中 algorithm 的可能取值如下:
- bf,Blowfish 演算法
- aes,AES 演算法(Rijndael-128、-192 或者-256)
mode 的可能取值如下:
- cbc,下一個塊依賴於前一個塊(預設值)
- ecb,每個塊獨立加密(僅用於測試)
padding 的可能取值如下:
- pkcs,資料可以是任意長度(預設值)
- none,資料長度必須是密碼塊大小的倍數
例如,以下函式的加密結果相同:
對於函式 encrypt_iv 和 decrypt_iv,引數 iv 表示 CBC模式的初始值,ECB 模式忽略該引數。如果它的長度不是準確的塊大小,可能會被截斷或者使用 0 進行填充。對於沒有該引數的兩個函式,預設全部使用 0 填充。
隨機資料函式
gen_random_bytes()
函式用於生成具有強加密性的隨機位元組:
其中,count 表示返回的位元組數,取值從 1 到 1024。例如:
gen_random_uuid()
函式用於返回一個 version 4 的隨機 UUID,從 PostgreSQL 13 開始成為了一個內建函式:
其他事項
pgcrypto 配置
pgcrypto 可以根據 PostgreSQL 編譯時的 configure 指令碼進行自我配置,相關的選項包括 --with-zlib 以及 --with-openssl。
如果編譯時使用了 zlib 選項,PGP 加密函式可以在加密之前對資料進行壓縮。如果編譯時使用了 OpenSSL 選項,PGP 加密函式可以支援更多的演算法;同時公鑰加密函式速度會更快,因為 OpenSSL 提供了最佳化的 BIGNUM 函式。下表比較了使用或者不使用 OpenSSL 時支援的功能:
支援功能 | 內建 | OpenSSL |
---|---|---|
MD5 | ✔️ | ✔️ |
SHA1 | ✔️ | ✔️ |
SHA224/256/384/512 | ✔️ | ✔️ |
其他摘要演算法 | ❌ | ✔️ (1) |
Blowfish | ✔️ | ✔️ |
AES | ✔️ | ✔️ |
DES/3DES/CAST5 | ❌ | ✔️ |
原始加密 | ✔️ | ✔️ |
PGP 對稱加密 | ✔️ | ✔️ |
PGP 公鑰加密 | ✔️ | ✔️ |
備註 1:OpenSSL 支援的任何摘要演算法都是自動選擇的;無法支援密碼。
NULL 處理
所有函式都遵循 SQL 表中,如果任何引數為 NULL,結果返回 NULL。如果使用時不小心,可能會造成安全風險。
安全限制
所有的 pgcrypto 函式都在資料庫伺服器中執行,意味著資料和密碼在客戶端和 pgcrypto 之間使用明文進行傳輸。因此我們必須:
- 使用本地連線或者 SSL 連線;
- 信任系統管理員和資料庫管理員。
如果無法做到以上兩點,一個更好的方式就是在客戶端應用程式中完成加密/解密。
另外,pgcrypto 的實現無法抵抗旁路攻擊(Side Channel Attacks)。例如,對於指定大小的不同密文,pgcrypto 解密函式所需的時間不同。
關於 pgcrypto 模組的更多資訊可以參考 PostgreSQL 官方文件。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/30239065/viewspace-2728074/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Android資料加密之Aes加密Android加密
- Android資料加密之Rsa加密Android加密
- Android資料加密之Des加密Android加密
- Android資料加密之MD5加密Android加密
- 資料亂碼(之.net加密)加密
- 資料庫安全之TDE列加密資料庫加密
- Android資料加密之異或加密演算法Android加密演算法
- Android資料儲存之SQLCipher資料庫加密AndroidSQL資料庫加密
- Postgresql10資料庫之更改資料庫的名稱SQL資料庫
- 資料加密加密
- 資料庫加密資料庫加密
- iOS - 資料加密iOS加密
- oracle資料加密Oracle加密
- 透明資料加密加密
- 資料加密(對稱加密和非對稱加密)加密
- 資料加密-國密SM2對資料進行加密加密
- postgresql 資料庫基本操作SQL資料庫
- postgresql資料庫利用方式SQL資料庫
- PostgreSQL資料去重大法SQL
- Postgresql匯出部分資料SQL
- postgresql 資料庫基本管理SQL資料庫
- 資料庫_SQL-PostgreSQL資料庫SQL
- PostgreSQL-資料庫命令SQL資料庫
- 2.9.2 透明資料加密加密
- ORACLE資料加密(轉)Oracle加密
- JuiceFS 資料加密原理UI加密
- Oracle透明資料加密Oracle加密
- 資料加密方式:APM加密
- 區塊鏈之加密市場資料的良性迴圈區塊鏈加密
- Android資料加密之SHA安全雜湊演算法Android加密演算法
- 編碼、摘要和加密(三)——資料加密加密
- PostgreSQL 資料庫學習 - 1.資料庫體系結構之儲存結構SQL資料庫
- ETL資料整合丨PostgreSQL資料遷移至Hive資料庫SQLHive資料庫
- Rust 連線 PostgreSQL 資料庫RustSQL資料庫
- PostgreSQL:資料庫的選擇SQL資料庫
- PostgreSQL批次改資料型別SQL資料型別
- PostgreSQL關係型資料庫SQL資料庫
- PostgreSQL資料rotate用法介紹SQL