以最經濟方式執行GPT-3開源模擬：GPT-J

生成式預訓練轉化器(Generative Pre-trained Transformer簡稱GPT)是一種NLP語言生成模型，能根據一些初始文字（對話的一部分或某些任務）生成類人文字。

最“炒作”的型號之一是 GPT-3。當您看到 GPT-3 生成的內容時，您會感覺“未來就在這裡”。

GPT-3模型由 OpenAI 公司（Elon Mask 是聯合創始人）訓練，目前只能作為付費 REST API 使用（ 2021 年 11 月 18 日 開放給任何人）。 

另一個名為 EleutherAI 的團隊在 Pile Dataset（他們收集的 825 GiB 文字資料）上 釋出了一個具有 60 億個引數的開源 GPT-J 模型。

EleutherAI 成立於 2020 年 7 月，定位為一個分散的志願者研究人員、工程師和開發人員集體，專注於 AI 對齊、擴充套件和開源 AI 研究。   

基本上，官方GitHub GPT-J 儲存庫 建議在稱為張量處理單元 (TPU) 的特殊硬體上執行他們的模型，該硬體可在谷歌雲平臺上使用。

最便宜的 TPU 是 v2-8（它有 版本 2 的 8 個核心），這樣的例項成本：

1. 4.50 美元/小時（3,285 美元/月）- 普通按需例項
2. 1.35 美元/小時（986 美元/月）- 更便宜的搶佔式例項（每 24 小時自動重啟，由於維護可能隨時停止，可能並不總是可用，不在 SLA 範圍內）

因此，對於許多處於啟動/實驗階段的專案來說，價格可能看起來不太舒服。

為了降低硬體的最終成本，我們可以 在具有 16  GB 視訊記憶體的 GPU 上執行模型。 為此，有來自 Devforth 的開源 GPT-J 容器 釋出到 Dockerhub GPT-J Image 。

順便說一句，用例名稱中有一些俚語：

1. 推理使用Inference usage ——意味著我們獲取模型（它的權重）並將它們載入到 GPU RAM 中，然後僅用於生成輸出（生成文字或分類事物）
2. 微調模型Fine-tuning the model ——一個完全不同的過程，我們將模型載入到記憶體中，然後輸入大量新輸入資料來調整和重新訓練模型。然後可以使用返回的模型進行推理。此用例需要更多資源

哪些硬體可以執行該模型：

1. 要在每月 200 美元到 300 美元的最低範圍內獲得每小時價格，您可以使用：Vast.ai – 一個分散式計算市場，個人出租他們的 GPU 並設定自己的價格。通過幾次點選，我以 0.33 美元/小時的價格獲得了一個具有 24 GB VideoRAM 的例項。但是有一個限制：不是直接訪問伺服器，而是通過 SSH 進入將在伺服器上生成的 Docker 容器。幸運的是，您可以指定要執行的映像和代理 SSH 埠，因此實際上它允許您將多個此類例項順利整合到任何複雜的實時應用程式中。
2. 您也可以找到一些便宜的每月選項，例如在 vps-mart.com / gpu-mart.com 上試用GPU-K80，如果您支付一個月的費用，每平方米的價格為 199.00 美元，甚至每年支付便宜 20 美元。24 GB VideoRAM，20 核 x64 CPU 128 GB RAM，具有 root 訪問許可權的 SSH。付款後花了 24 小時才拿到伺服器。缺點：沒有按小時租用的選項。
3. 如果您想使用按小時付費的大型雲服務以及一些伺服器可用性和執行時 (SLA) 保證，您可以使用 Scaleway Render S - 非常容易獲得，例項穩定（單擊幾下，您就獲得了SSH 和 root），有 16 GB VideoRAM，10 個 x64 CPU，45 GB RAM，花費 1.13 美元/小時（約 810 美元/月）
4. 甚至有人可能會說AWS EC2，例如p3.2xlarge。最低現貨獎成本為 1.14 美元/小時（840 美元/月），但是，它是不穩定的（可以終止）現貨例項，穩定的按需成本高出3倍。我們試圖從我們舊的受信任 AWS 賬戶中獲取此例項，但它需要增加 AWS G 例項限制（您必須指定 vCPU 核心的 UI 混亂）。花了一個星期，然後需要解釋為什麼我們需要這個例項等等（如果你還沒準備好浪費很多時間，不推薦）

最 有趣的選擇是 Vast.ai 平臺，它還允許您以最少的費用玩模型。因此，讓我們向您展示如何使用它。然後我們還將考慮使用普通 SSH 例項執行模型。

在 Vast.ai 上設定 GPT-J 點選標題