使用Azero遠端語音控制機械臂
使用Azero遠端語音控制機械臂
一、框架介紹
這裡分為三個部分:控制裝置端、服務端、執行部分(機械臂)。
1. 控制裝置端:RTOS、Android、Linux、iOS、Windows 等主流系統和平臺均已支援。這些裝置既可以作為控制端的入口,也可作為被控制的 IoT 裝置,這裡採用音響作為語音採集控制裝置。
2. 服務端:技能的開發和部署屬於這一部分,開發者建立意圖、技能、IoT裝置來完成控制鏈路的打通,其中意圖就是說控制資訊的關鍵資訊;技能為自己開發的傳達指令程式,可作為私有技能僅供自己設計的產品使用,也可開放成公有技能供其他使用者配置呼叫; IoT 裝置主要指接入到網路的物聯網裝置,這裡就是機械臂在雲端的虛擬。
3. 裝置端,也就是機械臂。
在本次的專案中透過這三個部分的打通成功實現語音控制機械臂進行動作。
實現步驟:
為機械臂與上位機相連並且上位機聯網後,透過控制裝置輸入語音訊號 -> Azero服務端分析語音訊號並判斷出對應的意圖 -> 傳指令到上位機 -> 由上位機實現對機械臂的寫字控制。
二、機械臂部分
1、連線方式
機械臂部分包括三個部分,機械臂與控制機相連、控制機與上位機相連都需要有線連線。
控制機與上位機的連線透過網線進行連線,連線方式如上圖所示透過有線網路進行資料傳輸。
2、實現方式
主要是透過這幾個部分功能實現,將文字的筆畫進行分解,分解成一步一步的動作用gcode形式儲存,將這些指令解析,解析為控制機械臂運動的moveit指令,控制機械臂執行指令就可以實現文字的書寫。將實現這些功能的語句事先寫好放在run.py檔案中,在接收到服務端傳入的命令後,執行這些動作,完成
3、可實現的功能
目前可透過語音控制進行文字書寫,而透過使用不同文字對應的gcode就可以書寫任意文字和任意想要的字型,都可以使用語音進行控制。目前還在進一步的開發中,將常用的文字編輯進入字型檔中後將能實現語音控制書寫任意文字。
三、雲端部分
為了達到遠端控制的效果,整個的控制鏈路為“ 透過控制裝置輸入音訊-> 服務端分析音訊並判斷技能和意圖 -> 傳指令到機械臂-> 機械臂執行動作” ,這樣除了機械臂執行的部分,在相應的服務端也要生成相應的指令,例如寫字。
技能配置
IoT 裝置配置
這部分可以在Azero 開發網站完成,具體實現可參考:
https://document-azero.soundai.com.cn/iot/docs
四、最終效果
五、討論
有任何的點子或者疑問,歡迎來論壇進行討論。
六、其它參考
https://cloud.tencent.com/developer/article/1709348
http://blog.hubwiz.com/2021/06/26/g-code-tutorial/
http://blog.hubwiz.com/2021/06/26/g-code-tutorial
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70004634/viewspace-2784775/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 四軸機械臂控制機械臂
- 使用Actor-Critic的DDPG強化學習演算法控制雙關節機械臂強化學習演算法機械臂
- 如何遠端控制數位相機
- 6軸機械臂正逆解運算實現機械臂
- VNC遠端控制,VNC遠端控制連線WindowsVNCWindows
- 電腦網頁端遠端控制手機方法網頁
- 孿生工廠:機械臂加工產線 HMI 監控介面機械臂
- 使用遠端控制操作遠端xp sp2的問題
- vnc遠端控制linux主機(轉)VNCLinux
- 透過手機遠端控制計算機方法計算機
- 分手後美女設計師造機器人男友:機械臂解吊帶機器人機械臂
- win10語音關機怎麼實現_win10使用語音控制小娜關機的方法Win10
- vnc遠端控制軟體怎麼用,vnc遠端控制軟體怎麼用,使用教程VNC
- vnc遠端控制軟體,vnc遠端控制軟體怎麼使用,vnc server如何安裝?VNCServer
- 學習靈巧的手部操作,強化學習賦能機械臂強化學習機械臂
- ABB機械手維修-運動控制
- 電腦遠端控制怎麼弄 學會遠端控制電腦
- 遠端控制篇:抓取遠端螢幕影像 (轉)
- 語音控制智慧插座
- 電腦遠端控制怎麼弄 遠端控制別人的電腦
- vnc遠端控制軟體綠色,vnc遠端控制軟體綠色版下載,使用者登入使用教程VNC
- 危險!僅用一束鐳射就能遠端控制語音助手,開啟你的家門
- 遠端控制的操作流程
- 遠端控制監聽器
- 機械臂論文筆記(一)【基於卷積神經網路的二指機械手 抓取姿態生成研究 】機械臂筆記卷積神經網路
- Linux下VNC遠端控制的使用方法LinuxVNC
- 在MySql中新增遠端控制使用者(轉)MySql
- QQ、微信可以遠端控制對方的手機嗎?
- 怎麼遠端控制電腦 遠端控制電腦的兩種方法分享
- 乾元通5G遠端無人駕駛工程機械廣泛應用
- 物聯網雲平臺助力風機控制PLC遠端監控和遠端維護
- vnc遠端控制軟體x64,vnc遠端控制軟體x64安裝方法,及使用教程VNC
- 使用 Frp 和 Docker 通過遠端桌面和 SSH 來遠端控制 Windows(反向代理)FRPDockerWindows
- 從虛擬世界伸到現實的機械臂,靠攝像機就能玩轉任何物體虛擬世界機械臂
- 《遠端控制》-服務端實現(一)服務端
- 遠端桌面控制軟體,遠端桌面控制軟體推薦,及其連線方法
- vnc遠端控制軟體,vnc遠端控制軟體有什麼用,操作教程VNC
- VNC遠端控制軟體XP版,VNC遠端控制軟體XP版下載VNC