OpenAI 釋出新語音系統「Whisper 」，英文識別能力可接近人類水平

9月21日，OpenAI 釋出了一個名為「Whisper 」的神經網路，聲稱其在英語語音識別方面已接近人類水平的魯棒性和準確性。

「Whisper 」式一個自動語音識別（ASR）系統，研究團隊透過使用從網路上收集的68萬個小時多語音和多工監督資料，來對其進行訓練。

訓練過程中研究團隊發現，使用如此龐大且多樣化的資料集可以提高對口音、背景噪音和技術語言的魯棒性。

此前有不同研究表明，雖然無監督預訓練可以顯著提高音訊編碼器的質量，但由於缺乏同等高質量的預訓練解碼器，以及特定於資料集中的微調協議，因此在一定程度上限制了模型的有效性和魯棒性；而在部分有監督的方式預訓練語音識別系統中，其表現會比單一源訓練的模型呈現出更高的魯棒性。

對此，在「Whisper 」中，OpenAI 在新資料集比現有高質量資料集總和大幾倍的基礎上，將弱監督語音識別的數量級擴充套件至68萬小時；同時，研究團隊還演示了在這種規模下，所訓練模型在轉移現有資料集的零射擊表現，可消除任何特定於資料集微調的影響，以實現高質量結果。

圖注：方法概述

在許多不同的語音處理任務中訓練一個序列到序列的轉換器模型，包括多語言語音識別、語音翻譯、口頭語言識別和語音活動檢測；所有任務都表示為要由解碼器預測的標記序列，允許單一模型取代傳統語音處理管道的不同階段；多工訓練格式使用一組特殊的標記，作為任務指定者或分類目標。

Whisper 架構採用一種簡單的端到端方法，透過編碼器-解碼器 Transformer 來實現：輸入音訊被分成30秒的塊，轉換成 log-Mel 頻譜圖後傳遞到編碼器。解碼器可預測相應的文字標題，並與特殊標記混合，由這些標記指導單個模型執行諸如語言識別、短語級時間戳、多語言語音轉錄和英語語音翻譯等任務。

圖注：Whisper 架構

值得一提的是，由於「Whisper 」是在一個龐大且多樣的資料集上進行，沒有針對任何特定的資料集進行微調，因此它不會擊敗專門研究 LibriSpeech 效能的模型。

此外研究團隊還發現，當在許多不同的資料集上測量「Whisper 」的零樣本效能時，「Whisper 」相比其他模型表現更加穩健，錯誤率降低了 50%。

除了足夠大的資料集規模外，「Whisper 」還支援多種語言的轉錄，以及將這些語言翻譯成英語。

當前在68萬小時音訊中，共11.7萬個小時覆蓋了96中其他語言，還包括12.5萬個小時的轉錄和翻譯資料，即大約有三分之一是非英語的。

「Whisper 」會交替執行以原始語言轉錄或翻譯成英語的任務，對此研究團隊發現，這種方法在學習語音到文字的翻譯方面特別有效，並且優於 CoVoST2 到英語翻譯零樣本的監督 SOTA。

目前，「Whisper 」已開源，可用於對語音識別方面的進一步研究。

OpenAI 創始人 Ilya Sutskever 對此表示，“終於有一個能理解我說話的可靠的語音識別系統。”

前特斯拉人工智慧和自動駕駛部門負責人 Andrej Karpathy 也轉發了這一訊息稱“OpenAI 正處於最好的狀態中”。

但對使用 Whisper 上，有不少使用者也還存在疑慮。

網友 Vincent Lordier 提出，“此前在 GTP-3 和 Dalle-2 中出現對相關言論禁止行為，是否在使用 Whisper 時也會有， 是否會出現 Whisper 編輯/刪除使用者語音的情況？”

那麼大家怎麼看？

參考連結：https://openai.com/blog/whisper/

本文轉載於公眾號：BFT機器人，更多機器人資訊請關注。

BFT白芙堂機器人是一站式機器人工業網際網路平臺，能為客戶提供一站式機器人系統採購，包括協作機器人、工業機器人、移動機器人、服務機器人、3D機器視覺產品、工業相機、鏡頭、3D印表機等產品，也為客戶提供演算法及系統定製、職校教學、K12教育及科研實驗室平臺、機器人展廳，線上機械機加工等服務。透過BFT平臺，客戶可以快速找到合適的機器人本體、夾具及相關應用等產品和服務。目前，BFT機器人已與大量國內外機器人知名公司建立戰略合作或代理關係。