在 2023 年 PyTorch 大會上，一個深受大家關心的推理問題得到了很好的解決，會上宣佈了一個用於在邊緣和移動裝置上實現 AI 推理的解決方案：ExecuTorch，並且還是開源的，而促成這一研究的，正是 Meta AI 與 PyTorch 基金會。
ExecuTorch 地址：https://github.com/pytorch/executorch
學習文件：https://pytorch.org/executorch/stable/index.html
隨著 ExecuTorch 的開源，預示著 AI 應用程式在裝置上本地執行、而需連線到伺服器或雲成為可能。我們可以將 ExecuTorch 理解成一個 PyTorch 平臺，其能提供基礎設施來執行 PyTorch 程式，從 AR/VR 可穿戴裝置到標準的 iOS 和 Android 裝置的移動部署。
ExecuTorch 最大優勢是可移植性，能夠在移動和嵌入式裝置上執行。不僅如此，ExecuTorch 還可以提高開發人員的工作效率。
據瞭解，Meta 已經驗證了這項技術，並將其用於最新一代的雷朋智慧眼鏡，而這款眼鏡也是 Meta 最近釋出的 Quest 3 VR 頭顯的一部分。Meta 表示，作為開源 PyTorch 專案的一部分，他們旨在進一步推動該技術的研究，從而邁入在裝置上實現 AI 推理的新時代。
Facebook 創始人、Meta 董事長兼執行長祖克伯表示：「作為開源 AI 工作的一部分，我們與 PyTorch 基金會及其行業合作伙伴一起開源了 ExecuTorch。這一變化預示著將 PyTorch 引入了手機和可穿戴裝置等邊緣計算平臺。ExecuTorch 使 AI 模型能夠直接在裝置上執行，而無需連線到伺服器。」
Meta 軟體工程師 Mergen Nachin 指出，「今天的 AI 模型正在從伺服器擴充套件到邊緣裝置，如移動裝置、AR、VR 和 AR 頭顯、可穿戴裝置、嵌入式系統等。ExecuTorch 透過提供端到端的工作流來最佳化本地程式，從而解決邊緣裝置遇到的挑戰。」
ExecuTorch 關鍵元件
ExecuTorch 提供了緊湊的執行時和輕量級操作登錄檔，以覆蓋 PyTorch 模型生態系統，以及在邊緣裝置上執行 PyTorch 程式的簡化路徑。此外，ExecuTorch 還附帶 SDK 和工具鏈，為 ML 開發人員提供了更好的使用者體驗。
作為 PyTorch Edge 生態系統的一部分，ExecuTorch 可以有效地將 PyTorch 模型部署到邊緣裝置。ExecuTorch 的優點包括：
可移植性：與各種計算平臺相容，從高階移動手機到高度受限的嵌入式系統和微控制器。
提高生產力：開發人員能夠使用相同的工具鏈和 SDK，從而提高生產力。
提高效能：由於輕量級執行時和充分利用 CPU、NPU 和 DSP 等硬體功能，為終端使用者提供了無縫和高效能的體驗。
由於 ExecuTorch 嚴重依賴 PyTorch 相關知識，因而，想要熟練掌握 ExecuTorch，還需提前補充相關知識。官方文件已經提供了入門級教程。例如，在構建 ExecuTorch Android 演示應用程式示例當中，大家可以跟隨指導教程，從而熟悉如何使用 ExecuTorch。
最後，需要提醒大家的一點是，本次釋出的 ExecuTorch 是一個預覽版本，在測試和評估中可以使用，但是不建議在生產環境中使用。PyTorch 團隊歡迎來自社群的任何反饋、建議和錯誤報告，以幫助他們改進技術。
參考連結：
https://venturebeat.com/ai/pytorch-executorch-extends-open-source-ai-for-new-quests-at-the-edge/