# 1 前言
  檢視華為開發者聯盟網站的機器學習服務業務介紹（[https://developer.huawei.com/consumer/cn/doc/development/HMS-Guides/ml-introduction-4](https://developer.huawei.com/consumer/cn/doc/development/HMS-Guides/ml-introduction-4)）

可以看到華為HMS把機器學習服務分成了文字類、語言類、圖片類、人臉人體類四大服務，後面新特性也在不斷增加中，其中有一類是文字類服務，文字類服務裡面又含了文字識別、文件識別、身份證識別、銀行卡識別、通用卡證識別，這些子服務之間都有哪些差異和關聯呢，可能很多小夥伴會傻傻分不清，今天小編重點剖析下文字類服務，來看下這幾個子服務間的差異和關聯。

---

> 裝置端的API只在裝置端進行處理和分析，使用的是裝置自身CPU、GPU等器件的算力，雲端的API則需要把資料送到雲端，利用雲端的伺服器資源進行處理和分析，以上服務除了文件識別由於計算量較大需要在雲端進行處理外，其他服務均有裝置端API，本次為了簡化分析的範圍，我們只講裝置端API服務部分。

## 2.1 場景對比總結
透過以上對比表格我們可以看到，不同能力對應的應用場景是有所不同的：

- 2.1.1 文字識別：更像是一個全科考生，上知天文下知地理，只要是文字，都可以識別。
 
![文字識別使用場景 ](https://img-blog.csdnimg.cn/20200509093749308.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70#pic_center)
![文字識別服務本身不提供介面，介面由開發者實現](https://img-blog.csdnimg.cn/20200509094209326.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70#pic_center)
 - 2.1.2 身份證識別、銀行卡識別：更像是一個偏科生，其它不會，只會某一科，但這一科學的極好。
  針對身份證、銀行卡提供了預設的定製框，直接對準框就可以快速進行身份證、銀行卡號的提取和識別。
![ 銀行卡識別校準介面](https://img-blog.csdnimg.cn/20200509101710152.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70#pic_center)
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200509101747598.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70#pic_center)
 - 2.1.3 通用卡證：則介於以上兩類中間，在某一領域有一定的造詣，橫向廣度和縱向深度都處於中間位置。
   可以對所有的卡證進行文字類識別，同時提供了卡證類的對準框，提示使用者對準待識別的卡證。
 ![通用卡證識別校準介面](https://img-blog.csdnimg.cn/20200509101908795.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70#pic_center)

## 2.2 該怎麼選
  很簡單，身份證、銀行卡識別肯定選身份證識別服務、銀行卡識別服務啦，其他卡證類的識別就用通用卡證識別，剩下的場景就用文字識別服務。

---
# 3 服務整合差異
## 3.1 編譯依賴差異
  為了便於大家理解，先解釋下如下幾個概念：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200509102120321.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70#pic_center)

基礎SDK
  相關服務對開發者呈現的介面，所有的API透過基礎SDK對外開放。

外掛
  就是前面場景對比總結中講到的校準框，提供介面用於對影像幀的輸入質量做校驗，不滿足要求的可以提示使用者重新擺放。

模型包
  這個是華為HMS ML Kit各服務的核心所在，它包含透過機器學習平臺輸入大量樣本進行學習並生成的推理模型檔案，以及執行這些推理模型所依賴的輕量化推理框架，承載了所有的影像檢測與分析，我面我會在技術差異一節展開分析。

下面小編透過一張表來總結下不同服務對應的編譯依賴：

| 服務 | 編譯依賴 |示例程式碼（版本號以官方最新發布為準） |
|--|--|--|
| 文字識別 | 基礎SDK+通用模型包（可選拉丁、日韓、中英） |// 引入基礎SDK    implementation 'com.huawei.hms:ml-computer-vision-ocr:1.0.3.300'    // 引入拉丁語文字識別模型包   implementation 'com.huawei.hms:ml-computer-vision-ocr-latin-model:1.0.3.315'    // 引入日韓語文字識別模型包  implementation 'com.huawei.hms:ml-computer-vision-ocr-jk-model:1.0.3.300'   // 引入中英文文字識別模型包implementation 'com.huawei.hms:ml-computer-vision-ocr-cn-model:1.0.3.300' |
| 身份證識別 | 基礎SDK+外掛（身份證）+專有模型包（身份證） |// 引入基礎SDK  implementation 'com.huawei.hms:ml-computer-vision-icr:1.0.3.300'    // 引入身份證識別plugin包  implementation 'com.huawei.hms:ml-computer-card-icr-cn-plugin:1.0.3.315'     // 引入身份證識別模型包    implementation 'com.huawei.hms:ml-computer-card-icr-cn-model:1.0.3.315'|
| 銀行卡識別 | 基礎SDK+外掛（銀行卡）+專有模型包（銀行卡） |// 引入基礎SDK    implementation 'com.huawei.hms:ml-computer-vision-bcr:1.0.3.303'  // 引入銀行卡識別plugin包   implementation 'com.huawei.hms:ml-computer-card-bcr-plugin:1.0.3.300'   // 引入銀行卡識別模型包  implementation 'com.huawei.hms:ml-computer-card-bcr-model:1.0.3.300'|
| 通用卡證識別 | 基礎SDK+外掛（通用卡證）+通用模型包（拉丁） |// 引入基礎SDK implementation 'com.huawei.hms:ml-computer-vision-ocr:1.0.3.300'    // 引入拉丁語文字識別模型包    implementation 'com.huawei.hms:ml-computer-vision-ocr-latin-model:1.0.3.315'    // 引入銀行卡識別plugin包    implementation 'com.huawei.hms:ml-computer-card-gcr-plugin:1.0.3.300'|

## 3.2 編譯依賴總結
  透過以上編譯依賴可以看出，所有的服務均需要整合對應基礎SDK和模型包，但身份證識別、銀行卡識別以及通用卡證識別都有對應的外掛，也就是前面講到的校準框。模型方面，身份證識別和銀行卡識別都使用了專有的模型包，而通用卡證識別則使用了通用模型包。

## 3.3 開發差異
  先分別看下都是怎麼整合的，詳細步驟就不在細數了，大家可以直接到開發者聯盟上檢視對應服務的開發步驟
[https://developer.huawei.com/consumer/cn/doc/development/HMS-Guides/ml-introduction-4](https://developer.huawei.com/consumer/cn/doc/development/HMS-Guides/ml-introduction-4)

在這裡簡單總結下對應服務的開發步驟：
### 文字識別
 1. 建立識別器 MLTextAnalyzer analyzer =
    MLAnalyzerFactory.getInstance().getLocalTextAnalyzer(setting);
 2. 建立fram物件，傳入影像bitmap MLFrame frame = MLFrame.fromBitmap(bitmap);
 3. 把frame物件傳給識別器進行識別 Task<mltext> task = analyzer.asyncAnalyseFrame(frame);
 4. 結果處理Task<mltext> task = analyzer.asyncAnalyseFrame(frame); task.addOnSuccessListener(new OnSuccessListener<mltext>() {    @Override    public void onSuccess(MLText text) {        // 識別成功。    } }).addOnFailureListener(new OnFailureListener() {    @Override    public void onFailure(Exception e) {        // 識別失敗。    } });
 
 ### 身份證識別
 
 1. 啟動介面進行身份證識別 private void startCaptureActivity(MLCnIcrCapture.Callback callback, boolean isFront, boolean isRemote)
 2. 重寫callback回撥函式，實現對識別結果的處理
private MLCnIcrCapture.Callback idCallback = new MLCnIcrCapture.Callback() {    @Override    public void onSuccess(MLCnIcrCaptureResult idCardResult){        // 識別成功處理。    }     };

### 銀行卡識別
 1. 啟動介面進行銀行卡識別 private void startCaptureActivity(MLBcrCapture.Callback callback) {
 2. 重寫回撥函式，實現對識別結果處理
 private MLBcrCapture.Callback callback = new MLBcrCapture.Callback() {    @Override    public void onSuccess(MLBcrCaptureResult bankCardResult){        // 識別成功處理。    }     };

### 通用卡證識別

1. 啟動介面進行通用卡證識別 private void startCaptureActivity(Object object, MLGcrCapture.Callback callback)
 2. 重寫回撥函式，實現對識別結果處理
private MLGcrCapture.Callback callback = new MLGcrCapture.Callback() {      @Override    public int onResult(MLGcrCaptureResult cardResult){    
       //識別成功處理          return MLGcrCaptureResult.CAPTURE_STOP;// 處理結束，退出識別。    }  
 };

### 開發總結

透過以上對比可以發現，除了文字識別不提供介面外，其處理邏輯大同小異，基本都是傳要識別的影像給SDK，然後透過回撥函式獲得識別的結果，這裡最核心的差異在於返回內容的結構化資料不同，為了便於理解，小編整理了表格出來：
 返回內容總結：
 | 服務 | 返回內容 |返回內容說明 |
|--|--|--|
| 文字識別 | MLText text |表示影像檢測出的文字資訊。包含兩個屬性：1、getStringValue()：影像中檢測到的所有文字內容；2、getBlocks()：影像中檢測到的所有文字區塊，包含文字內容、文字區塊邊界和語種等資訊。 每個文字塊又包含了很多行getContents()，以及行的文字內容getStringValue()、邊界getBorder()和語種getLanguageList()等資訊，行內又包含了很多個字word，以及字的內容、邊界和語種資訊 |
| 身份證識別 | MLCnIcrCaptureResult idCardResult |public Bitmap cardBitmap 身份證圖片public String idNum 身份證號碼public String name 姓名public String sex 性別public String validDate 有效期限 |
| 銀行卡識別 | MLBcrCaptureResult bankCardResult|public String getNumber() 獲取銀行卡號。public android.graphics.Bitmap getNumberBitmap() 獲取校正後的銀行卡號圖片。public android.graphics.Bitmap getOriginalBitmap() 獲取原始送檢的未經校正的銀行卡圖片。 |
| 通用卡證識別 | MLGcrCaptureResult cardResult|public static final intCAPTURE_CONTINUE 對識別結果不滿意，要求繼續檢測。public static final int CAPTURE_STOP 退出檢測並銷燬外掛頁面。public Bitmap cardBitmap 送檢的通用卡證圖片。public MLText text 通用卡證識別結果。和上面的文字識別並無區別 |

透過以上對比可以發現，身份證和銀行卡返回的是直接處理好的識別內容，直接透過介面即可獲取身份證號碼、銀行卡號這些資訊，而不需要關心這些內容是如何提取出來的，而文字識別和通用卡證識別則是返回了識別到的全量資訊，裡面包含了塊、行、字等一級級的文字內容，此時如果開發者想獲取自己想要的資訊，需要針對識別到的全量資訊做提取，比如透過正規表示式匹配連續的x位數字識別為卡號，或者匹配識別到的某一關鍵字後面的內容。

透過以上分析我們可以得出開發難度對比：

開發難度對比總結
 | 服務 | 開發難度 |開發說明 |
|--|--|--|
 | 文字識別 | 簡單 |需要開發者獲取圖片傳給SDK，需要對識別後的結果進行資訊提取，提取出自己想要的內容 |
 | 通用卡證識別 | 很簡單 |直接透過介面即可啟動影像獲取介面，需要對識別後的結果進行資訊提取，提取出自己想要的內容 |
  | 身份證識別 | 極簡單 |直接透過介面即可啟動影像獲取介面，直接透過介面獲取已經提取好的文字內容，無需後處理 |
  | 銀行卡識別 | 極簡單 |直接透過介面即可啟動影像獲取介面，直接透過介面獲取已經提取好的文字內容，無需後處理|

---
# 4 技術差異分析
  透過以上的差異分析，我們可以看到文字類服務既存在場景、服務整合上的差異，也存在某些關聯，比如文字識別和通用卡證識別服務實際上用了相同的通用模型，下面小編從技術上來對以上的差異做一些分析和解釋。前面透過編譯依賴分析已經介紹過，文字類服務通常需要整合基礎SDK和模型包，有的服務則需要整合外掛用於生成校準框，那麼模型包又是個什麼東西呢？對機器學習有一定了解的小夥伴可能比較清楚，機器學習通常分為收集訓練樣本、特徵抽取、資料建模、預測等幾部分，模型實際上就是機器學習中透過訓練樣本、特徵抽取等動作學習到的一個“對映函式”。在華為HMS ML Kit機器學習服務中，僅僅有這個對映函式還不行，還需要有個東西可以執行它，我們可以稱之為推理框架，此外還有一些演算法需要對影像進行前後處理，比如把影像幀轉換為對應的特徵向量。為了便於理解，我們統稱以上所有內容為模型檔案。為了使這些模型檔案可以執行在手機上，還需要對這些模型檔案進行最佳化處理，比如最佳化在手機終端上的執行速度，以及減小模型檔案的大小等等。

##  差異和關聯分析
  有了以上基礎概念介紹，再來看下文字類服各服務間的差異和關聯，為了方便理解，小編畫了張圖，如下所示：
![ 文字類服務整合模式解析圖](https://img-blog.csdnimg.cn/20200509111323188.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDcwODI0MA==,size_16,color_FFFFFF,t_70#pic_center)

**文字識別**
  使用的是通用文字資料集進行的訓練，只要是文字都可以識別，他的優點是適用範圍廣，靈活度高，只要是文字內容，均可以識別。

**通用卡證識別**
  和文字識別採用的資料集是相同的，因此模型檔案也並無差別，只是增加了通用卡證外掛，主要的作用是確保使用者將卡證對準相機正中位置，另外對反光、模糊影像進行識別和過濾，不滿足要求提示使用者重新調整，這樣就可以提高卡證的識別準確率。

**身份證&銀行卡識別**
  身份證、銀行卡識別服務，採用了身份證、銀行卡的專有資料訓練集，我們都知道諸如銀行卡上的文字跟普通的印刷體問題有很大差別，而且存在凸起現象，如果使用通用模型的話，則很難達到非常高的準確率，採用銀行卡、身份證專有資料集進行訓練，可以讓身份證、銀行卡識別準確率更高，此外還針對身份證、銀行卡做了針對性的識別前處理，比如可以實時動態檢測影像質量和傾斜角度，可以生成對準框用於限制卡證的位置擺放，如果模糊、反光和未對準校準框則提示使用者重新對準。

DemoGithub地址：[https://github.com/HMS-MLKit/HUAWEI-HMS-MLKit-Sample](https://github.com/HMS-MLKit/HUAWEI-HMS-MLKit-Sample)

---
往期連結：[Android | 教你如何使用HwCameraKit接入相機人像模式](http://blog.itpub.net/69970551/viewspace-2694291/)
內容來源：[https://developer.huawei.com/consumer/cn/forum/topicview?tid=0201209905778120045&fid=18](https://developer.huawei.com/consumer/cn/forum/topicview?tid=0201209905778120045&fid=18)
原作者：AI_talking</mltext></mltext></mltext>

一文搞懂文字識別、銀行卡識別、通用卡證識別、身份證識別

相關文章