語音識別 (ASR) 模型測試之評估指標探索

iTestOps發表於2020-12-22

如上圖，我們通過微信傳送了一段語音，在對語音進行轉文字時。語音識別引擎首先會將把這段語音進行分幀（切分成若干小段），然後利用聲學模型將提取的每一幀的聲學特徵識別為一個個“狀態”，多個狀態會組合成一個音素（語音中的最小的單位），音素構成了諸多同音字，再利用語言模型從諸多同音字中挑選出可以使語義完整的字（例如不會把“吃飯”識別成“痴泛”），最後將文字展示出來。

語音識別(ASR) 過程

自動語音識別技術（Automatic Speech Recognition）是一種將人的語音轉換為文字的技術。

所謂語音識別，就是將一段語音訊號轉換成相對應的文字資訊，系統主要包含特徵提取、聲學模型，語言模型以及字典與解碼四大部分。

此外為了更有效地提取特徵往往還需要對所採集到的聲音訊號進行濾波、分幀等音訊資料預處理工作，將需要分析的音訊訊號從原始訊號中合適地提取出來。

特徵提取工作將聲音訊號從時域轉換到頻域，為聲學模型提供合適的特徵向量。

聲學模型中再根據聲學特性計算每一個特徵向量在聲學特徵上的得分，而語言模型則根據語言學相關的理論，計算該聲音訊號對應可能片語序列的概率。

最後根據已有的字典，對片語序列進行解碼，得到最後可能的文字表示。

其中大致過程梳理如下（為方便理解忽略部分嚴謹性）：

預處理：

首尾端的靜音切除，降低干擾，靜音切除的操作一般稱為VAD。
聲音分幀，也就是把聲音切開成一小段一小段，每小段稱為一幀，使用移動窗函式來實現，不是簡單的切開，各幀之間一般是有交疊的。

特徵提取

主要演算法有線性預測倒譜系數（LPCC）和Mel 倒譜系數（MFCC），目的是把每一幀波形變成一個包含聲音資訊的多維向量。

聲學模型（AM）

通過對語音資料進行訓練獲得，輸入是特徵向量，輸出為音素資訊。

字典

字或者詞與音素的對應，簡單來說，中文就是拼音和漢字的對應，英文就是音標與單詞的對應。

語言模型（LM）

通過對大量文字資訊進行訓練，得到單個字或者詞相互關聯的概率。

解碼

就是通過聲學模型，字典，語言模型對提取特徵後的音訊資料進行文字輸出。

語音識別流程的示例（為方便理解忽略部分嚴謹性）：

1語音訊號

今天又是美好的一天呀

*2特徵提取 *

今天又是美好的一天呀 → [[123456],[],[]]

*3聲學模型 *

[[123456],[],[]] → j i n t i a n y o u s h i m e i h a o d e y i t i a n

*4字典 *

今：j īn ；進：j ìn ；天：t i ān；填：t i án ；又：y òu；佑：y òu；是：sh ì；美：m ěi ；妹：m èi；好：h ǎo；的：d e；一：y ī；甜：t i án；

5語言模型（概率）

今天：0.7456；又：0.6524；是：0.9301；又是：0.6012；美好：0.7621，沒好：0.5049，的：0.9871,；一：0.9123，天：0.6785，一天：0.9043；呀：0.7849，壓：0.4356

6輸出文字

今天又是美好的一天呀

語音識別(ASR) 評估指標

句錯誤率(SER)

識別錯誤的句子個數除以總的句子個數，即為SER。

計算公式

SER = 錯誤句數 / 總句數 * 100%

可以理解為以下幾種情況會導致句子錯誤：

由於字多而導致句子不對。如：你好呀。被識別為：你丫好呀。
由於字少而導致句子不對。如：你好呀。被識別為：你好。
由於字不對應而導致句子不對。如：你好呀。被識別為：你好丫。

句正確率(S.Corr）

識別正確的句子個數除以總的句子個數，即為S.Corr。

計算公式

S.Corr = 1 - SER = 正確句數 / 總句數 * 100%

字錯誤率(WER/CER)

為了使識別出來的詞序列（實際識別結果）和標準的詞序列（期望識別結果）之間保持一致，需要進行替換、刪除或者插入某些詞，這些插入、替換或刪除的詞的總個數，除以標準的詞序列中詞的總個數的百分比，即為WER。

WER是語音識別領域的關鍵性評估指標，WER越低表示效果越好。

WER（Word Error Rate），詞錯誤率，但一般稱為字錯誤率。
CER（Character Error Rate），字元錯誤率，中文一般用CER來表示字錯誤率。

為什麼存在這兩種表示方式，原因如下：

英文: Today # 1個單詞
中文: 你好 # 2個字元

通俗點的解釋就是：

英文，最小單元是單詞，語音識別應該用"字錯誤率"（WER）。
中文，最小單元是字元，語音識別應該用“字元錯誤率”（CER）。計算公式

WER = (S + D + I ) / N = (S + D + I ) / (S + D + C) * 100%

公式註解

S: 替換的字數，如你好呀。被識別為：你好丫。
D: 刪除的字數，如你好呀。被識別為：你好。
I: 插入的字數，如你好呀。被識別為：你丫好呀。
C: 正確的字數.
N: 為（S替換 + D刪除 + C正確）的字數，需要注意的是這並不等於原句總字數或者識別結果字數。

同時，在計算公式中因為有插入字數的計算，所以理論上WER/CER存在大於100%的可能。但實際場景，特別是大樣本量的時候，基本太不可能出現。，否則就太差了，不可能被商用。

字準確率(W.Acc）

字準確率（Word Accuracy），就是1-字錯誤率的結果。

計算公式

W.Acc = 1 - WER(或CER) = (N - D - S - I) / N = (C - I) / (S + D + C) * 100%

公式註解

S: 替換的字數，如你好呀。被識別為：你好丫。
D: 刪除的字數，如你好呀。被識別為：你好。
I: 插入的字數，如你好呀。被識別為：你丫好呀。
C: 正確的字數.
N: 為（S替換 + D刪除 + C正確）的字數，需要注意的是這並不等於原句總字數或者識別結果字數。

字正確率(W.Corr）

字正確率（Word Correct），通常說的某某ASR識別率(識別正確率) 達到97%，就是指的字正確率，計算中忽略了插入的字數。

計算公式

W.Corr = ( N - D - S ) / N = C/ (S + D + C) * 100%

公式註解

S: 替換的字數，如你好呀。被識別為：你好丫。
D: 刪除的字數，如你好呀。被識別為：你好。
I: 插入的字數，如你好呀。被識別為：你丫好呀。
C: 正確的字數.
N: 為（S替換 + D刪除 + C正確）的字數，需要注意的是這並不等於原句總字數或者識別結果字數。

語音識別(ASR)評估指標計算示例

識別結果僅存在刪除（D）情況

示例:

語音輸入: 今天又是美好的一天呀
文字輸出: 今天又是美好

ASR 各指標計算結果，如下：

SER（句錯誤率) = 1 / 1 * 100%= 100 %
S.Corr（句正確率) = 1 - 1 * 100% = 0 %
WER/CER（字錯誤率) = (S + D + I ) / (S + D + C) = (0 + 4 + 0) / (0 + 4 + 6) = 40 %
W.Acc（字準確率) = (C - I) / (S + D + C) = (6 - 0) / (0 + 4 + 6) = 60 %
W.Corr（字正確率) = C/ (S + D + C) = 6 / (0 + 4 + 6) = 60 %

識別結果僅存在刪除（S）、替換（D）的情況

示例:

語音輸入: 今天又是美好的一天呀
文字輸出: 今天有是美好

ASR 各指標計算結果，如下：

SER（句錯誤率) = (1 / 1) * 100%= 100 %
S.Corr（句正確率) = (1 - 1) * 100% = 0 %
WER/CER（字錯誤率) = (S + D + I ) / (S + D + C) * 100% = (1 + 4 + 0) / (1 + 4 + 5) * 100% = 50 %
W.Acc（字準確率) = (C - I) / (S + D + C) * 100% = (5 - 0) / (1 + 4 + 5) * 100% = 50 %
W.Corr（字正確率) = C/ (S + D + C) * 100% = 5 / (1 + 4 + 5) * 100% = 50 %

識別結果存在刪除(S)、替換(D)、插入(I)的情況

示例:

語音輸入: 今天又是美好的一天呀
文字輸出: 今天有是更美好

ASR 各指標計算結果，如下：

SER（句錯誤率) = (1 / 1) * 100%= 100 %
S.Corr（句正確率) = (1 - 1) * 100% = 0 %
WER/CER（字錯誤率) = (S + D + I ) / (S + D + C) * 100% = (1 + 4 + 1) / (1 + 4 + 5) * 100% = 60 %
W.Acc（字準確率) = (C - I) / (S + D + C) * 100% = (5 - 1) / (1 + 4 + 5) * 100% = 40 %
W.Corr（字正確率) = C / (S + D + C) * 100% = 5 / (1 + 4 + 5) * 100% = 50 %

識別結果字數小於語料字數，且全錯的情況

示例:

語音輸入: 今天又是美好的一天呀
文字輸出: 上山打老虎

ASR 各指標計算結果，如下：

SER（句錯誤率) = (1 / 1) * 100%= 100 %
S.Corr（句正確率) = (1 - 1) * 100% = 0 %
WER/CER（字錯誤率) = (S + D + I ) / (S + D + C) * 100% = (5 + 5 + 0) / (5 + 5 + 0) * 100% = 100 %
W.Acc（字準確率) = (C - I) / (S + D + C) * 100% = (0 - 0) / (5 + 5 + 0) * 100% = 0 %
W.Corr（字正確率) = C / (S + D + C) * 100% = 0 / (5 + 5 + 0) * 100% = 0 %

識別結果字數大於語料字數，且全錯的情況
示例:

語音輸入: 今天又是美好的一天呀
文字輸出: 景甜有時妹號得億田丫上山打老虎

ASR 各指標計算結果，如下：

SER（句錯誤率) = (1 / 1) * 100%= 100 %
S.Corr（句正確率) = (1 - 1) * 100% = 0 %
WER/CER（字錯誤率) = (S + D + I ) / (S + D + C) * 100% = (10 + 0 + 5) / (10 + 0 + 0) * 100% = 150 %
W.Acc（字準確率) = (C - I) / (S + D + C) * 100% = (0 - 5) / (10 + 0 + 0) * 100% = -50 %
W.Corr（字正確率) = C / (S + D + C) * 100% = 0 / (10 + 0 + 0) * 100% = 0 %

最後

後續抽時間分享下，測試中技術難點，即如何基於編輯距離實現對 WER的計算，包括精確的解析出 “C\S\D\I” 資料。大致輸出如下對於每個音訊樣本的識別結果。


{    
     # 音訊標註文字
    "ref": "五六七八九十", 
     # 音訊預測文字
    "hyp": "五七捌九玖十",
    "result_detail": {
        # 所有對的字列表
        "C": [
            { "ref_value": "五",          # ref的值
              "hyp_value": "五",        # hyp的值
              "ref_index": 0,              # 該值在ref的索引位置
              "hyp_index": 0,            # 該值在hyp的索引位置
              "ref_syllable": "wu",     # ref中該值的音節
              "hyp_syllable": "wu",    # hyp中該值的音節
              "ref_tones": "3",           # ref中該值的音調
              "hyp_tones": "3"          # hyp中該值的音調 
            },{……}  ],
        # 所有編輯的字列表
        "S": [{……}, ],
        # 所有刪除的字列表
        "D": [{……}, ],
        # 所有插入的字列表
        "I": [{……}, ]
    },
    # 字句的指標 
    "result_indicator": {
        # 字錯率wer指標
        "wer": 0.500,
        # 句錯率ser指標
        "ser": 1
    },
    # 編輯距離計算出的各項值
    "result_count": {
        # 全部的數量 N = S + I + D + C
        "N": 6,
        # 正確的的數量
        "C": 4,
        # 錯誤的的數量 W = S + I + D
        "W": 3,
        # 插入的數量
        "I": 1,
        # 刪除的數量
        "D": 1,
        # 編輯的數量
        "S": 1
    },
    # 將 ref 與 hpy 建立相對索引，對齊後的字典，方便展示輸出
    "relative_index_value": {
        # 索引 1
        "1": {
            "ref_value": "五",         # ref的值
            "ref_index": 0,              # 該值在ref的索引位置 
            "hyp_value": "五",        # hyp的值
            "hyp_index": 0,             # 該值在hyp的索引位置
            "syllable_type": "C",     # 音節比對結果，C=正確 S=錯誤
            "hyp_syllable": "wu",     # hyp中該值的音節
            "ref_syllable": "wu",       # ref中該值的音節 
            "tones_type": "C",          # 音調比對結果，C=正確 S=錯誤
            "hyp_tones": "3",           # hyp中該值的音調
            "ref_tones": "3",             # ref中該值的音調
            "type": "C"                     # 字元比對結果，C=正確 S=編輯 I=插入 D=刪除
        },
        # 索引二
        "2": {{……},}
    }
}

人工智慧之語音識別(ASR)
2019-08-07
人工智慧
迴歸模型-評估指標
2018-06-02
模型指標
一文詳盡系列之模型評估指標
2020-02-15
模型指標
迴歸預測評估指標
2017-08-26
指標
機器學習筆記之效能評估指標
2018-04-25
機器學習筆記指標
效能測試之測試指標
2021-10-18
指標
評估指標與評分（上）：二分類指標
2022-05-28
指標
【機器學習】--模型評估指標之混淆矩陣，ROC曲線和AUC面積
2018-03-27
機器學習模型指標矩陣
機器學習之模型評估
2019-06-21
機器學習模型
IQA+不懂︱影像清洗：影像質量評估（評估指標、傳統檢測方法）
2017-03-10
指標
如何評估大語言模型
2023-03-29
模型
小愛同學語音模型評測 - 董沐
2020-06-04
模型
深度瞭解語音識別之發音詞典及語音資料採集標註
2023-02-03
分類演算法的評估指標
2020-04-06
演算法指標
工程團隊的10大評估指標
2022-11-23
指標
【推薦系統】評估指標總結
2018-05-01
指標
效能測試指標
2020-12-17
指標
評估類、評估類別、評估級別關係
2011-07-14
銀行智慧運維探索：打造通用指標趨勢預測模型
2022-02-08
運維指標模型
知識總結：模型評估與選擇
2017-12-25
模型
解密：依圖如何一年實現語音識別指標超巨頭玩家
2018-12-12
解密指標
效能測試各個指標之間關係
2020-12-25
指標
效能測試有哪些指標需要測試？
2022-05-06
指標
Amazon SageMaker新玩法——定製你的語音識別模型
2021-12-30
模型
帶你讀論文 | 端到端語音識別模型
2020-11-18
模型
探索式測試的思維模型
2017-07-10
模型
JavaScript的語音識別
2018-08-25
JavaScript
語音識別技術
2018-03-04
C語言指標基本知識
2021-02-21
C語言指標
魅藍3s評測金屬+指紋識別再次提升百元機標準
2016-07-28
AI 模型常見的評價指標彙總
2020-11-24
AI模型指標
機器學習模型在雲音樂指標異動預測的應用實踐
2022-11-21
機器學習模型指標
一文解碼語言模型：語言模型的原理、實戰與評估
2023-11-13
模型
openfoam 智慧指標探索
2023-03-02
指標
軟體效能測試常見指標。在哪裡測試測試？
2022-12-22
指標
深度學習之目標檢測與目標識別
2018-06-05
深度學習
OCR演算法識別率怎麼評估？
2020-12-11
演算法
壓力測試相關指標
2019-02-16
指標

語音識別 (ASR) 模型測試 之 評估指標探索

語音識別(ASR) 過程

預處理：

特徵提取

聲學模型（AM）

字典

語言模型（LM）

解碼

語音識別流程的示例（為方便理解忽略部分嚴謹性）：

語音識別(ASR) 評估指標

句錯誤率(SER)

句正確率(S.Corr）

字錯誤率(WER/CER)

字準確率(W.Acc）

字正確率(W.Corr）

語音識別(ASR)評估指標計算示例

識別結果僅存在刪除（D）情況

識別結果僅存在刪除（S）、替換（D）的情況

識別結果存在刪除(S)、替換(D)、插入(I)的情況

識別結果字數小於語料字數，且全錯的情況

最後

相關文章

語音識別 (ASR) 模型測試之評估指標探索