雖然從普通使用者眼中，使用語音向天貓精靈發起指令，然後收到後者的語音回覆，這個流程似乎很簡單，但背後實際上有著人工智慧中 ASR（語音識別）、NLP（自然語言處理）、TTS（語音合成）等自然語言處理技術的參與和整合。

我們先來看一個典型的使用者透過語音同天貓精靈互動的流程圖。

1. 使用者用語音喚醒天貓精靈，後者接收到使用者語音，上傳到智慧應用平臺。

2. 平臺使用 ASR（音訊轉文字）和 NLP（自然語言處理）技術，智慧解析出使用者發出語音包含的意圖(通俗的說，即使用者當前期望天貓精靈完成什麼樣的操作)。平臺會自動將當前使用者指令，匹配到開發人員建立的對應的技能和意圖去。具體的匹配過程，就是將平臺所有解析到的引數資訊，透過 HTTPS 請求訪問開發者提供的服務介面。

3. 開發者負責實現的服務(託管在自己的應用伺服器或者阿里雲 Serverless 環境)，接收到平臺傳送的請求引數，執行業務邏輯(比如天氣預報查詢，智力題，語音遊戲等)，並組裝回復結果。

4. 智慧應用平臺收到開發者服務執行完業務邏輯返回的響應資料後，使用 TTS（文字轉音訊）合成音訊，並將音訊推送回天貓精靈。

5. 天貓精靈將收到的音訊透過麥克風播報出來，本輪同使用者的互動就完成了。
![](https://img-blog.csdnimg.cn/img_convert/a87163cd0668619af0acded173255684.png)

分析這個互動場景，不難發現，需要開發人員動手操作的流程包含以下兩個方面：

1. 在 [AliGenie 技能應用平臺](https://iap.aligenie.com/)上建立新的技能和意圖，用於接收使用者透過語音傳送過來的請求。

2. 應用開發人員自己選擇在應用伺服器還是 Serveless 執行環境裡實現新的技能需要完成的業務邏輯編寫。

# 新技能的建立和意圖的定義

登入 [AliGenie 技能應用平臺](https://iap.aligenie.com/)，點選 `建立新技能`，透過嚮導建立一個新技能。

![](https://img-blog.csdnimg.cn/img_convert/269e86f980cac9853a2a73ca67ab122b.png)

下面是天貓精靈技能建立頁面。這個頁面的 url：

https://iap.aligenie.com/console/newskill/89247/basic?id=2022042968002&childType=skill

其中 skill id 為 `89247`，id 為 `2022042968002` ，取的是技能建立時間。
![](https://img-blog.csdnimg.cn/img_convert/05a477c54e2c21c8e3535d2874f959aa.png)

從開發流程狀態遷移圖能看出，一個新的語音技能，從建立後，依次要經過下列的步驟，最後才能正式釋出給使用者使用：

- 定義語音互動模型
- 構建後端服務邏輯
- 新增屏顯頁面(可選步驟，可跳過)
- 測試：可以用真機測試或者網頁上測試

在技能屬性維護的明細頁面，我們可以觀察到下列資訊：

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片儲存下來直接上傳(img-XI038Jh9-1652060198031)(https://upload-images.jianshu.io/upload_images/2085791-4d8866c75e1302ca.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]

技能最重要的屬性是維護技能呼叫詞，當使用者向天貓精靈發出的語音指令，包含技能呼叫詞時，天貓精靈才會進行相應的技能處理狀態。

在我的評測裡，我選用的技能呼叫詞為 `汪子熙是誰`，因為該呼叫詞不能和平臺已有的呼叫詞相沖突。

一個語音技能可以包含多個意圖。意圖代表使用者同天貓精靈進行互動對話的目的。比如我的自定義技能，包含了三個意圖：體重，天氣查詢和歡迎意圖。意圖示識即意圖 ID，需要在技能開發人員編寫的程式碼實現裡使用到。

![](https://img-blog.csdnimg.cn/img_convert/c4240c11d5dcd80d523d08a5497db4d1.png)

我們在上圖選擇一個意圖開啟，比如 `天氣查詢` 意圖，開啟其編輯頁面，能看到一個 `單輪對話表達` 的維護介面。因為之前已經說過，一個語音技能可以對應多個意圖，所以如果使用者向天貓精靈發起的語音指令，同單輪對話表達裡維護的語句相同或相似時，就被判定為命中了對應的意圖。

比如使用者向天貓精靈發起的對話，同下列型別的語句相似時：

- 杭州今天天氣怎麼樣
- 今天天氣怎麼樣
- 杭州天氣怎麼樣

![](https://img-blog.csdnimg.cn/img_convert/25d4e45b6a28f30c9dcd258da0dddcc5.png)

智慧應用平臺就會將這些請求引數，比如 `今天`，`杭州`，以及判定出的意圖 id，`weather`，傳入應用程式業務介面。在我們自己編寫的程式裡，拿到 `weather` id，就知道當前使用者期望 `查詢` `杭州` 這個城市 `今天` 的天氣情況，此時就可以呼叫天氣查詢的 Restful API 完成業務邏輯了。

# 單輪對話表示式的引數定義

我們觀察到了在意圖的單輪對話表示式維護介面裡，`杭州` 和 `今天` 這兩個詞都透過特殊的顏色進行高亮。這代表它們是對話表示式裡的`引數`。顯然，天氣預報業務要針對具體的城市和日期才有意義，因此這些引數也需要被髮送到應用開發人員編寫的服務介面中去。

![](https://img-blog.csdnimg.cn/img_convert/18c1616a71c26c9280c3f6872cb815d2.png)

下圖是 `weather`，天氣預報意圖的引數列表頁面，其中 `城市` 的 id 為 `city`，我們可以在應用介面的代表中使用該 id，獲取使用者語音請求中包含的 `城市` 名稱。
![](https://img-blog.csdnimg.cn/img_convert/7242b788456cd2cf03a44086411f26db.png)

上圖 `引數名稱` 右邊的一列，叫做 `關聯實體`。實體（Entity）是自然語言處理領域裡中表示一類短語的集合，包含了應用所在領域的關鍵詞和術語。

比如天氣預報領域，關鍵詞為時間，地點，天氣狀況。在智慧應用平臺的處理流程裡，實體負責告訴平臺，當從使用者語音請求中解析出引數時，這些引數的可能取值範圍。語音技能支援自定義實體或者引用平臺提供的公共實體。

上圖定義的引數，都有一個一一對應的實體，介面如下：

![](https://img-blog.csdnimg.cn/img_convert/d08d7797bc1cd91f5c685495171f86d2.png)

如果使用者發起的請求裡，並沒有顯式說明想知道哪一個城市的天氣狀況，此時我們可以使用 `精靈追問` 功能，向使用者發起一個新的提問，比如：`你問的是哪一個城市`？從而獲取 city 引數的值。

![](https://img-blog.csdnimg.cn/img_convert/f5229f9873d3139815a8022a32bd0fe7.png)

意圖編輯頁面裡的多輪對話編輯也是一個很有用的功能：

![](https://img-blog.csdnimg.cn/img_convert/a8e6f893588eeb12f0aec382a2c76fd4.png)

上圖的例子是，如果使用者當前的請求已經位於 `weather` 意圖的處理上下文，在這個情況下使用者再次追問：`那北京呢`？此時智慧平臺會判斷出，這一輪的對話仍舊屬於天氣預報的意圖，因此會將 `city = 北京` 這個引數串，傳送給使用者定義的業務實現介面。

# 技能後端編碼

技能的後端編碼是天貓精靈自定義技能開發的重頭戲。點選 `程式碼編輯` 皮膚，可以為該技能針對的業務介面實現，選擇對應的服務部署方式。

線上開發模式同阿里云云原生開發即 FAAS，這兩種方式均無需搭建自己的應用伺服器，區別在於前者作為一款免費的雲服務資源和線上開發環境，資源額度有限，更適合快速體驗天貓精靈技能應用的開發流程，而不適合用於技能的生產模式下部署。

![](https://img-blog.csdnimg.cn/img_convert/9d5610d8cbae3b0a431abe9a3028e50a.png)

因而我選擇了阿里雲的 Serverless 產品 FAAS，可以直接在瀏覽器裡進行技能後端服務的開發，除錯，部署和執行。

![](https://img-blog.csdnimg.cn/img_convert/7dacdeb8b3bb03a50c22e3c18964af59.png)

依次開通 API 閘道器，日誌服務，函式計算，物件儲存四個資源後，基於 Java Spring Boot 應用模板，快速建立一個服務實現：

![](https://img-blog.csdnimg.cn/img_convert/e5d908345d0c4069b55cc6ad438e9988.png)

![](https://img-blog.csdnimg.cn/img_convert/ab403db654c82c8fc79df43975e7b8e9.png)

訪問 FAAS 環境的控制檯 [url](https://workbench.aliyun.com/application/detail/2022042901718897/dev?orgId=626bfb21cfea268afc21ab8d&)：

這個後臺服務介面的 Java 實現程式碼，託管在 `codeup` 程式碼[倉庫](https://workbench.aliyun.com/application/detail/2022042901718897/dev?orgId=626bfb21cfea268afc21ab8d)上：

![](https://img-blog.csdnimg.cn/img_convert/d39309c409f0390cf61ea036f796cad5.png)

![](https://img-blog.csdnimg.cn/img_convert/69b0ab730957c3d18f380131b4d2f74a.png)

在開發部署頁面，我們可以檢視部署日誌，對 FAAS 例項的硬體引數進行調整等操作：

![](https://img-blog.csdnimg.cn/img_convert/27af39013f0f15dd2163a25728591410.png)

![](https://img-blog.csdnimg.cn/img_convert/a29b492e46d91515358f7a9335e5361a.png)

![](https://img-blog.csdnimg.cn/img_convert/ef084b289875f6c8c67d2fa65d2f8985.png)

API 閘道器和 FC 計算服務的關係如下圖所示：
![](https://img-blog.csdnimg.cn/img_convert/64554c5fc9a8683a79e2602d25fb1586.png)

點選 `前往開發`，就可以在瀏覽器裡使用 CloudIDE 進行 Java 開發了：

![](https://img-blog.csdnimg.cn/img_convert/fa927cebeb9b458ff1a961e7b0fd7a1a.png)

對於天天用 Visual Studio Code 進行 Angular 開發的筆者，對於這個瀏覽器裡使用的 Cloud IDE 的外觀再熟悉不過了：https://workbench.aliyun.com/intersys/2022042901718897/develop?orgId=626bfb21cfea268afc21ab8d
![](https://img-blog.csdnimg.cn/img_convert/0fd1978bc42ea08678f65e2c601b2794.png)

在 Cloud IDE 裡能完成絕大多數常規的開發操作，比如程式碼編輯，git 程式碼倉庫提交，Maven 構建，一鍵部署等等：

![](https://img-blog.csdnimg.cn/img_convert/6da7b2f17d5c37c169f1a065c2aeec22.png)

![](https://img-blog.csdnimg.cn/img_convert/f2fd9bd66c142c1ec4e9fd4c9007918a.png)

該 Cloud IDE 提供的更多功能，可以透過 `檢視`-> `命令皮膚` 裡檢視：

![](https://img-blog.csdnimg.cn/img_convert/653a50f3e6dc00dab41a92b6e61c4945.png)

![](https://img-blog.csdnimg.cn/img_convert/c333ccec005e9a4b7b8433d84238a6af.png)

接下來，就可以在 Cloud IDE 基於模板生成的專案裡，透過實現 GenieEntry 的 execute 方法，來編寫自定義技能的業務邏輯了：

![](https://img-blog.csdnimg.cn/img_convert/c669073401b076a262a2cc24b977de2b.png)

一個前端開發工程師的天貓精靈評測報告

相關文章