使用Azero遠端語音控制機械臂

一、框架介紹

這裡分為三個部分：控制裝置端、服務端、執行部分（機械臂）。

1. 控制裝置端：RTOS、Android、Linux、iOS、Windows 等主流系統和平臺均已支援。這些裝置既可以作為控制端的入口，也可作為被控制的 IoT 裝置，這裡採用音響作為語音採集控制裝置。

2. 服務端：技能的開發和部署屬於這一部分，開發者建立意圖、技能、IoT裝置來完成控制鏈路的打通，其中意圖就是說控制資訊的關鍵資訊；技能為自己開發的傳達指令程式，可作為私有技能僅供自己設計的產品使用，也可開放成公有技能供其他使用者配置呼叫； IoT 裝置主要指接入到網路的物聯網裝置，這裡就是機械臂在雲端的虛擬。

3. 裝置端，也就是機械臂。

在本次的專案中透過這三個部分的打通成功實現語音控制機械臂進行動作。

                      

實現步驟：

為機械臂與上位機相連並且上位機聯網後，透過控制裝置輸入語音訊號 -> Azero服務端分析語音訊號並判斷出對應的意圖 -> 傳指令到上位機 -> 由上位機實現對機械臂的寫字控制。

二、機械臂部分

1、連線方式

機械臂部分包括三個部分，機械臂與控制機相連、控制機與上位機相連都需要有線連線。

控制機與上位機的連線透過網線進行連線，連線方式如上圖所示透過有線網路進行資料傳輸。

2、實現方式

主要是透過這幾個部分功能實現，將文字的筆畫進行分解，分解成一步一步的動作用gcode形式儲存，將這些指令解析，解析為控制機械臂運動的moveit指令，控制機械臂執行指令就可以實現文字的書寫。將實現這些功能的語句事先寫好放在run.py檔案中，在接收到服務端傳入的命令後，執行這些動作，完成

3、可實現的功能

目前可透過語音控制進行文字書寫，而透過使用不同文字對應的gcode就可以書寫任意文字和任意想要的字型，都可以使用語音進行控制。目前還在進一步的開發中，將常用的文字編輯進入字型檔中後將能實現語音控制書寫任意文字。

三、雲端部分

為了達到遠端控制的效果，整個的控制鏈路為“ 透過控制裝置輸入音訊-> 服務端分析音訊並判斷技能和意圖 -> 傳指令到機械臂-> 機械臂執行動作” ，這樣除了機械臂執行的部分，在相應的服務端也要生成相應的指令，例如寫字。

 

技能配置

IoT 裝置配置

這部分可以在Azero 開發網站完成，具體實現可參考：

https://document-azero.soundai.com.cn/iot/docs

四、最終效果

五、討論

有任何的點子或者疑問，歡迎來論壇進行討論。

六、其它參考

https://cloud.tencent.com/developer/article/1709348

http://blog.hubwiz.com/2021/06/26/g-code-tutorial/

http://blog.hubwiz.com/2021/06/26/g-code-tutorial