LLaMA快速上手指南

近期，Meta釋出了人工智慧大語言模型LLaMA，包含70億、130億、330億和650億這4種引數規模的模型。其中，最小的LLaMA 7B也經過了超1萬億個tokens的訓練。

本文我們將以7B模型為例，分享LLaMA的使用方法及其效果。

1. LLaMA的上手指南

這一部分，我們將step by step，展示LLaMA的使用流程。

1） 下載LLaMA模型檔案

以7B模型檔案為例，包含內容如下：

2）克隆LLaMA專案及環境配置

git clone https://github.com/facebookresearch/llama.git
cd llama
pip install -r requirements.txt
pip install -e

如下示例中，相關操作均可透過IDP終端進行。

3) LLaMA初體驗

在IDP的cell中執行如下程式碼，即可和LLaMA對話，接收LLaMA的回答啦！

對於7B模型：

TARGET_FOLDER=..
torchrun --nproc_per_node 1 example.py --ckpt_dir $TARGET_FOLDER/7B --tokenizer_path $TARGET_FOLDER/tokenizer.model

對於13B模型：

TARGET_FOLDER=..
torchrun --nproc_per_node 2 example.py --ckpt_dir $TARGET_FOLDER/13B --tokenizer_path $TARGET_FOLDER/tokenizer.model

對於不同大小的LLaMA模型檔案，上述命令需要調整的為TARGET_FOLDER中模型檔案的名稱和node引數。

讓我們來進行兩個簡單的問答測試。

Prompt 1:

Building a website can be done in 10 simple steps

LLaMA 7B模型的回答如下：

Prompt 2:

Please write a beautiful love poem

LLaMA 7B的模型回答如下：

LLaMA對這個提示詞問題，自行增加了一些場景預設，如“I need some new poems for my birthday（為慶生，我需要一些新詩）"。

輸入或調整提示詞prompt，可在example.py檔案中的prompts部分進行調整，如下圖所示。

關於這兩個對話示例，我們也同樣放上ChatGPT的答案，供大家對比參考。

LLaMA推出3天后，Nebuly AI的初創AI企業在LLaMA的基礎上，基於RLHF（基於人類反饋的強化學習）進行訓練，打造了對標ChatGPT的ChatLLaMA。

nebullvm/apps/accelerate/chatllama at main · nebuly-ai/nebullvm · GitHub

ChatLLaMA聲稱訓練過程比ChatGPT快15倍。同時，支援DeepSpeed ZERO，可以加快微調速度。

DeepSpeed是一個開源的深度學習訓練最佳化庫，ZeRO是一種視訊記憶體最佳化技術，用於提高大型模型的訓練效率，如提高訓練速度，降低成本和提高模型可用性等。

但ChatLLaMA並不提供LLaMA的模型權重，根據其license，也不可以商用。

正如文章標題所說，本文不僅是指南哦。

我們在IDP開源的AI IDE中，增加了LLaMA和Stable Diffusion的示例檔案，小夥伴們可以快速開啟LLaMA體驗之旅。