一、前言
核心隱私資料無論對於企業還是使用者來說尤其重要，因此要想辦法杜絕各種隱私資料的洩漏。下面陳某帶大家從以下三個方面講解一下隱私資料如何脫敏，也是日常開發中需要注意的：
- 配置檔案資料脫敏
- 介面返回資料脫敏
- 日誌檔案資料脫敏
文章目錄如下：
二、配置檔案如何脫敏？
經常會遇到這樣一種情況：專案的配置檔案中總有一些敏感資訊，比如資料來源的url、使用者名稱、密碼....這些資訊一旦被暴露那麼整個資料庫都將會被洩漏，那麼如何將這些配置隱藏呢？
以前都是手動將加密之後的配置寫入到配置檔案中，提取的時候再手動解密，當然這是一種思路，也能解決問題，但是每次都要手動加密、解密不覺得麻煩嗎？
今天介紹一種方案，讓你在無感知的情況下實現配置檔案的加密、解密。利用一款開源外掛：jasypt-spring-boot。專案地址如下：
https://github.com/ulisesbocchio/jasypt-spring-boot
使用方法很簡單，整合Spring Boot 只需要新增一個starter。
1. 新增依賴
<dependency>
<groupId>com.github.ulisesbocchio</groupId>
<artifactId>jasypt-spring-boot-starter</artifactId>
<version>3.0.3</version>
</dependency>
2. 配置祕鑰
在配置檔案中新增一個加密的祕鑰（任意），如下：
jasypt:
encryptor:
password: Y6M9fAJQdU7jNp5MW
當然將祕鑰直接放在配置檔案中也是不安全的，我們可以在專案啟動的時候配置祕鑰，命令如下：
java -jar xxx.jar -Djasypt.encryptor.password=Y6M9fAJQdU7jNp5MW
3. 生成加密後的資料
這一步驟是將配置明文進行加密，程式碼如下：
@SpringBootTest
@RunWith(SpringRunner.class)
public class SpringbootJasyptApplicationTests {
/**
* 注入加密方法
*/
@Autowired
private StringEncryptor encryptor;
/**
* 手動生成密文，此處演示了url，user，password
*/
@Test
public void encrypt() {
String url = encryptor.encrypt("jdbc\\:mysql\\://127.0.0.1\\:3306/test?useUnicode\\=true&characterEncoding\\=UTF-8&zeroDateTimeBehavior\\=convertToNull&useSSL\\=false&allowMultiQueries\\=true&serverTimezone=Asia/Shanghai");
String name = encryptor.encrypt("root");
String password = encryptor.encrypt("123456");
System.out.println("database url: " + url);
System.out.println("database name: " + name);
System.out.println("database password: " + password);
Assert.assertTrue(url.length() > 0);
Assert.assertTrue(name.length() > 0);
Assert.assertTrue(password.length() > 0);
}
}
上述程式碼對資料來源的url、user、password進行了明文加密，輸出的結果如下：
database url: szkFDG56WcAOzG2utv0m2aoAvNFH5g3DXz0o6joZjT26Y5WNA+1Z+pQFpyhFBokqOp2jsFtB+P9b3gB601rfas3dSfvS8Bgo3MyP1nojJgVp6gCVi+B/XUs0keXPn+pbX/19HrlUN1LeEweHS/LCRZslhWJCsIXTwZo1PlpXRv3Vyhf2OEzzKLm3mIAYj51CrEaN3w5cMiCESlwvKUhpAJVz/uXQJ1spLUAMuXCKKrXM/6dSRnWyTtdFRost5cChEU9uRjw5M+8HU3BLemtcK0vM8iYDjEi5zDbZtwxD3hA=
database name: L8I2RqYPptEtQNL4x8VhRVakSUdlsTGzEND/3TOnVTYPWe0ZnWsW0/5JdUsw9ulm
database password: EJYCSbBL8Pmf2HubIH7dHhpfDZcLyJCEGMR9jAV3apJtvFtx9TVdhUPsAxjQ2pnJ
4. 將加密後的密文寫入配置
jasypt預設使用ENC()包裹，此時的資料來源配置如下：
spring:
datasource:
# 資料來源基本配置
username: ENC(L8I2RqYPptEtQNL4x8VhRVakSUdlsTGzEND/3TOnVTYPWe0ZnWsW0/5JdUsw9ulm)
password: ENC(EJYCSbBL8Pmf2HubIH7dHhpfDZcLyJCEGMR9jAV3apJtvFtx9TVdhUPsAxjQ2pnJ)
driver-class-name: com.mysql.jdbc.Driver
url: ENC(szkFDG56WcAOzG2utv0m2aoAvNFH5g3DXz0o6joZjT26Y5WNA+1Z+pQFpyhFBokqOp2jsFtB+P9b3gB601rfas3dSfvS8Bgo3MyP1nojJgVp6gCVi+B/XUs0keXPn+pbX/19HrlUN1LeEweHS/LCRZslhWJCsIXTwZo1PlpXRv3Vyhf2OEzzKLm3mIAYj51CrEaN3w5cMiCESlwvKUhpAJVz/uXQJ1spLUAMuXCKKrXM/6dSRnWyTtdFRost5cChEU9uRjw5M+8HU3BLemtcK0vM8iYDjEi5zDbZtwxD3hA=)
type: com.alibaba.druid.pool.DruidDataSource
上述配置是使用預設的prefix=ENC(、suffix=)，當然我們可以根據自己的要求更改，只需要在配置檔案中更改即可，如下：
jasypt:
encryptor:
## 指定字首、字尾
property:
prefix: 'PASS('
suffix: ')'
那麼此時的配置就必須使用PASS()包裹才會被解密，如下：
spring:
datasource:
# 資料來源基本配置
username: PASS(L8I2RqYPptEtQNL4x8VhRVakSUdlsTGzEND/3TOnVTYPWe0ZnWsW0/5JdUsw9ulm)
password: PASS(EJYCSbBL8Pmf2HubIH7dHhpfDZcLyJCEGMR9jAV3apJtvFtx9TVdhUPsAxjQ2pnJ)
driver-class-name: com.mysql.jdbc.Driver
url: PASS(szkFDG56WcAOzG2utv0m2aoAvNFH5g3DXz0o6joZjT26Y5WNA+1Z+pQFpyhFBokqOp2jsFtB+P9b3gB601rfas3dSfvS8Bgo3MyP1nojJgVp6gCVi+B/XUs0keXPn+pbX/19HrlUN1LeEweHS/LCRZslhWJCsIXTwZo1PlpXRv3Vyhf2OEzzKLm3mIAYj51CrEaN3w5cMiCESlwvKUhpAJVz/uXQJ1spLUAMuXCKKrXM/6dSRnWyTtdFRost5cChEU9uRjw5M+8HU3BLemtcK0vM8iYDjEi5zDbZtwxD3hA=)
type: com.alibaba.druid.pool.DruidDataSource
5. 總結
jasypt還有許多高階用法，比如可以自己配置加密演算法，具體的操作可以參考Github上的文件。
三、介面返回資料如何脫敏？
通常介面返回值中的一些敏感資料也是要脫敏的，比如身份證號、手機號碼、地址.....通常的手段就是用*隱藏一部分資料，當然也可以根據自己需求定製。
言歸正傳，如何優雅的實現呢？有兩種實現方案，如下：
-
整合Mybatis外掛，在查詢的時候針對特定的欄位進行脫敏
-
整合Jackson，在序列化階段對特定欄位進行脫敏
-
基於
Sharding Sphere實現資料脫敏，檢視之前的文章：基於Sharding Sphere實現資料“一鍵脫敏”
第一種方案網上很多實現方式，下面演示第二種，整合Jackson。
1. 自定義一個Jackson註解
需要自定義一個脫敏註解，一旦有屬性被標註，則進行對應得脫敏，如下：
/**
* 自定義jackson註解，標註在屬性上
*/
@Retention(RetentionPolicy.RUNTIME)
@Target(ElementType.FIELD)
@JacksonAnnotationsInside
@JsonSerialize(using = SensitiveJsonSerializer.class)
public @interface Sensitive {
//脫敏策略
SensitiveStrategy strategy();
}
2. 定製脫敏策略
針對專案需求，定製不同欄位的脫敏規則，比如手機號中間幾位用*替代，如下：
/**
* 脫敏策略，列舉類，針對不同的資料定製特定的策略
*/
public enum SensitiveStrategy {
/**
* 使用者名稱
*/
USERNAME(s -> s.replaceAll("(\\S)\\S(\\S*)", "$1*$2")),
/**
* 身份證
*/
ID_CARD(s -> s.replaceAll("(\\d{4})\\d{10}(\\w{4})", "$1****$2")),
/**
* 手機號
*/
PHONE(s -> s.replaceAll("(\\d{3})\\d{4}(\\d{4})", "$1****$2")),
/**
* 地址
*/
ADDRESS(s -> s.replaceAll("(\\S{3})\\S{2}(\\S*)\\S{2}", "$1****$2****"));
private final Function<String, String> desensitizer;
SensitiveStrategy(Function<String, String> desensitizer) {
this.desensitizer = desensitizer;
}
public Function<String, String> desensitizer() {
return desensitizer;
}
}
以上只是提供了部分，具體根據自己專案要求進行配置。
3. 定製JSON序列化實現
下面將是重要實現，對標註註解@Sensitive的欄位進行脫敏，實現如下：
/**
* 序列化註解自定義實現
* JsonSerializer<String>：指定String 型別，serialize()方法用於將修改後的資料載入
*/
public class SensitiveJsonSerializer extends JsonSerializer<String> implements ContextualSerializer {
private SensitiveStrategy strategy;
@Override
public void serialize(String value, JsonGenerator gen, SerializerProvider serializers) throws IOException {
gen.writeString(strategy.desensitizer().apply(value));
}
/**
* 獲取屬性上的註解屬性
*/
@Override
public JsonSerializer<?> createContextual(SerializerProvider prov, BeanProperty property) throws JsonMappingException {
Sensitive annotation = property.getAnnotation(Sensitive.class);
if (Objects.nonNull(annotation)&&Objects.equals(String.class, property.getType().getRawClass())) {
this.strategy = annotation.strategy();
return this;
}
return prov.findValueSerializer(property.getType(), property);
}
}
4. 定義Person類，對其資料脫敏
使用註解@Sensitive註解進行資料脫敏，程式碼如下：
@Data
public class Person {
/**
* 真實姓名
*/
@Sensitive(strategy = SensitiveStrategy.USERNAME)
private String realName;
/**
* 地址
*/
@Sensitive(strategy = SensitiveStrategy.ADDRESS)
private String address;
/**
* 電話號碼
*/
@Sensitive(strategy = SensitiveStrategy.PHONE)
private String phoneNumber;
/**
* 身份證號碼
*/
@Sensitive(strategy = SensitiveStrategy.ID_CARD)
private String idCard;
}
5. 模擬介面測試
以上4個步驟完成了資料脫敏的Jackson註解，下面寫個controller進行測試，程式碼如下：
@RestController
public class TestController {
@GetMapping("/test")
public Person test(){
Person user = new Person();
user.setRealName("不才陳某");
user.setPhoneNumber("19796328206");
user.setAddress("浙江省杭州市溫州市....");
user.setIdCard("4333333333334334333");
return user;
}
}
呼叫介面檢視資料有沒有正常脫敏，結果如下：
{
"realName": "不*陳某",
"address": "浙江省****市溫州市..****",
"phoneNumber": "197****8206",
"idCard": "4333****34333"
}
6. 總結
資料脫敏有很多種實現方式，關鍵是哪種更加適合，哪種更加優雅.....
四、日誌檔案如何資料脫敏？
上面講了配置檔案、介面返回值的資料脫敏，現在總該輪到日誌脫敏了。專案中總避免不了列印日誌，肯定會涉及到一些敏感資料被明文列印出來，那麼此時就需要過濾掉這些敏感資料（身份證、號碼、使用者名稱.....）。
關於Spring Boot 日誌方面的問題有不理解的可以看我之前的文章：Spring Boot第三彈，一文帶你搞懂日誌如何配置？、Spring Boot第二彈，配置檔案怎麼造？。
下面以log4j2這款日誌為例講解一下日誌如何脫敏，其他日誌框架大致思路一樣。
1. 新增log4j2日誌依賴
Spring Boot 預設日誌框架是logback，但是我們可以切換到log4j2，依賴如下：
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
<!-- 去掉springboot預設配置 -->
<exclusions>
<exclusion>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-logging</artifactId>
</exclusion>
</exclusions>
</dependency>
<!--使用log4j2替換 LogBack-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-log4j2</artifactId>
</dependency>
2. 在/resource目錄下新建log4j2.xml配置
log4j2的日誌配置很簡單，只需要在/resource資料夾下新建一個log4j2.xml配置檔案，內容如下圖：
關於每個節點如何配置，含義是什麼，在我上面的兩篇文章中有詳細的介紹。
上圖的配置並沒有實現資料脫敏，這是普通的配置，使用的是PatternLayout
3. 自定義PatternLayout實現資料脫敏
步驟2中的配置使用的是PatternLayout實現日誌的格式，那麼我們也可以自定義一個PatternLayout來實現日誌的過濾脫敏。
PatternLayout的類圖繼承關係如下：
從上圖中可以清楚的看出來，PatternLayout繼承了一個抽象類AbstractStringLayout，因此想要自定義只需要繼承這個抽象類即可。
1、建立CustomPatternLayout，繼承抽象類AbstractStringLayout
程式碼如下：
/**
* log4j2 脫敏外掛
* 繼承AbstractStringLayout
**/
@Plugin(name = "CustomPatternLayout", category = Node.CATEGORY, elementType = Layout.ELEMENT_TYPE, printObject = true)
public class CustomPatternLayout extends AbstractStringLayout {
public final static Logger logger = LoggerFactory.getLogger(CustomPatternLayout.class);
private PatternLayout patternLayout;
protected CustomPatternLayout(Charset charset, String pattern) {
super(charset);
patternLayout = PatternLayout.newBuilder().withPattern(pattern).build();
initRule();
}
/**
* 要匹配的正規表示式map
*/
private static Map<String, Pattern> REG_PATTERN_MAP = new HashMap<>();
private static Map<String, String> KEY_REG_MAP = new HashMap<>();
private void initRule() {
try {
if (MapUtils.isEmpty(Log4j2Rule.regularMap)) {
return;
}
Log4j2Rule.regularMap.forEach((a, b) -> {
if (StringUtils.isNotBlank(a)) {
Map<String, String> collect = Arrays.stream(a.split(",")).collect(Collectors.toMap(c -> c, w -> b, (key1, key2) -> key1));
KEY_REG_MAP.putAll(collect);
}
Pattern compile = Pattern.compile(b);
REG_PATTERN_MAP.put(b, compile);
});
} catch (Exception e) {
logger.info(">>>>>> 初始化日誌脫敏規則失敗 ERROR：{}", e);
}
}
/**
* 處理日誌資訊，進行脫敏
* 1.判斷配置檔案中是否已經配置需要脫敏欄位
* 2.判斷內容是否有需要脫敏的敏感資訊
* 2.1 沒有需要脫敏資訊直接返回
* 2.2 處理: 身份證 ,姓名,手機號敏感資訊
*/
public String hideMarkLog(String logStr) {
try {
//1.判斷配置檔案中是否已經配置需要脫敏欄位
if (StringUtils.isBlank(logStr) || MapUtils.isEmpty(KEY_REG_MAP) || MapUtils.isEmpty(REG_PATTERN_MAP)) {
return logStr;
}
//2.判斷內容是否有需要脫敏的敏感資訊
Set<String> charKeys = KEY_REG_MAP.keySet();
for (String key : charKeys) {
if (logStr.contains(key)) {
String regExp = KEY_REG_MAP.get(key);
logStr = matchingAndEncrypt(logStr, regExp, key);
}
}
return logStr;
} catch (Exception e) {
logger.info(">>>>>>>>> 脫敏處理異常 ERROR:{}", e);
//如果丟擲異常為了不影響流程，直接返回原資訊
return logStr;
}
}
/**
* 正則匹配對應的物件。
*
* @param msg
* @param regExp
* @return
*/
private static String matchingAndEncrypt(String msg, String regExp, String key) {
Pattern pattern = REG_PATTERN_MAP.get(regExp);
if (pattern == null) {
logger.info(">>> logger 沒有匹配到對應的正規表示式 ");
return msg;
}
Matcher matcher = pattern.matcher(msg);
int length = key.length() + 5;
boolean contains = Log4j2Rule.USER_NAME_STR.contains(key);
String hiddenStr = "";
while (matcher.find()) {
String originStr = matcher.group();
if (contains) {
// 計算關鍵詞和需要脫敏詞的距離小於5。
int i = msg.indexOf(originStr);
if (i < 0) {
continue;
}
int span = i - length;
int startIndex = span >= 0 ? span : 0;
String substring = msg.substring(startIndex, i);
if (StringUtils.isBlank(substring) || !substring.contains(key)) {
continue;
}
hiddenStr = hideMarkStr(originStr);
msg = msg.replace(originStr, hiddenStr);
} else {
hiddenStr = hideMarkStr(originStr);
msg = msg.replace(originStr, hiddenStr);
}
}
return msg;
}
/**
* 標記敏感文字規則
*
* @param needHideMark
* @return
*/
private static String hideMarkStr(String needHideMark) {
if (StringUtils.isBlank(needHideMark)) {
return "";
}
int startSize = 0, endSize = 0, mark = 0, length = needHideMark.length();
StringBuffer hideRegBuffer = new StringBuffer("(\\S{");
StringBuffer replaceSb = new StringBuffer("$1");
if (length > 4) {
int i = length / 3;
startSize = i;
endSize = i;
} else {
startSize = 1;
endSize = 0;
}
mark = length - startSize - endSize;
for (int i = 0; i < mark; i++) {
replaceSb.append("*");
}
hideRegBuffer.append(startSize).append("})\\S*(\\S{").append(endSize).append("})");
replaceSb.append("$2");
needHideMark = needHideMark.replaceAll(hideRegBuffer.toString(), replaceSb.toString());
return needHideMark;
}
/**
* 建立外掛
*/
@PluginFactory
public static Layout createLayout(@PluginAttribute(value = "pattern") final String pattern,
@PluginAttribute(value = "charset") final Charset charset) {
return new CustomPatternLayout(charset, pattern);
}
@Override
public String toSerializable(LogEvent event) {
return hideMarkLog(patternLayout.toSerializable(event));
}
}
關於其中的一些細節，比如@Plugin、@PluginFactory這兩個註解什麼意思？log4j2如何實現自定義一個外掛，這裡不再詳細介紹，不是本文重點，有興趣的可以檢視log4j2的官方文件。
2、自定義自己的脫敏規則
上述程式碼中的Log4j2Rule則是脫敏規則靜態類，我這裡是直接放在了靜態類中配置，實際專案中可以設定到配置檔案中，程式碼如下：
/**
* 現在攔截加密的日誌有三類:
* 1，身份證
* 2，姓名
* 3，身份證號
* 加密的規則後續可以優化在配置檔案中
**/
public class Log4j2Rule {
/**
* 正則匹配 關鍵詞 類別
*/
public static Map<String, String> regularMap = new HashMap<>();
/**
* TODO 可配置
* 此項可以後期放在配置項中
*/
public static final String USER_NAME_STR = "Name,name,聯絡人,姓名";
public static final String USER_IDCARD_STR = "empCard,idCard,身份證,證件號";
public static final String USER_PHONE_STR = "mobile,Phone,phone,電話,手機";
/**
* 正則匹配，自己根據業務要求自定義
*/
private static String IDCARD_REGEXP = "(\\d{17}[0-9Xx]|\\d{14}[0-9Xx])";
private static String USERNAME_REGEXP = "[\\u4e00-\\u9fa5]{2,4}";
private static String PHONE_REGEXP = "(?<!\\d)(?:(?:1[3456789]\\d{9})|(?:861[356789]\\d{9}))(?!\\d)";
static {
regularMap.put(USER_NAME_STR, USERNAME_REGEXP);
regularMap.put(USER_IDCARD_STR, IDCARD_REGEXP);
regularMap.put(USER_PHONE_STR, PHONE_REGEXP);
}
}
經過上述兩個步驟，自定義的PatternLayout已經完成，下面將是改寫log4j2.xml這個配置檔案了。
4. 修改log4j2.xml配置檔案
其實這裡修改很簡單，原配置檔案是直接使用PatternLayout進行日誌格式化的，那麼只需要將預設的<PatternLayout/>這個節點替換成<CustomPatternLayout/>，如下圖：
直接全域性替換掉即可，至此，這個配置檔案就修改完成了。
5. 演示效果
在步驟3這邊自定義了脫敏規則靜態類Log4j2Rule，其中定義了姓名、身份證、號碼這三個脫敏規則，如下：
下面就來演示這三個規則能否正確脫敏，直接使用日誌列印，程式碼如下：
@Test
public void test3(){
log.debug("身份證：{}，姓名：{}，電話：{}","320829112334566767","不才陳某","19896327106");
}
控制檯列印的日誌如下：
身份證：320829******566767，姓名：不***，電話：198*****106
哦豁，成功了，so easy！！！
6. 總結
日誌脫敏的方案很多，陳某也只是介紹一種常用的，有興趣的可以研究一下。
五、總結
本篇文章從三個維度介紹了隱私資料的脫敏實現方案，碼字不易，趕緊點贊收藏吧！！！
原始碼已經上傳GitHub，需要的公眾號碼猿技術專欄，回覆關鍵詞
資料脫敏獲取。