*日，由清華技術成果轉化的公司智譜AI 開源了 GLM 系列模型的新成員——中英雙語對話模型 ChatGLM-6B，支援在單張消費級顯示卡上進行推理使用。這是繼此前開源 GLM-130B 千億基座模型之後，智譜AI 再次推出大模型方向的研究成果。與此同時，基於千億基座模型的 ChatGLM 也同期推出，初具問答和對話功能，現已開啟邀請制內測（內測申請網址 chatglm.cn），後續還會逐步擴大內測範圍。
據悉，ChatGLM-6B 是一個開源的、支援中英雙語問答的對話語言模型，並針對中文進行了最佳化。該模型基於 General Language Model（GLM）架構，具有 62 億引數。結合模型量化技術，使用者可以在消費級的顯示卡上進行本地部署（INT4 量化級別下最低只需 6GB 視訊記憶體）。ChatGLM-6B 使用了和 ChatGLM 相同的技術，針對中文問答和對話進行了最佳化。經過約 1T 識別符號的中英雙語訓練，輔以監督微調、反饋自助、人類反饋強化學習等技術的加持，62 億引數的 ChatGLM-6B 雖然規模不及千億模型，但大大降低了推理成本，提升了效率，並且已經能生成相當符合人類偏好的回答。
模型開源地址：
https://github.com/THUDM/ChatGLM-6B。
具體來說，ChatGLM-6B 具備以下特點：
充分的中英雙語預訓練：ChatGLM-6B 在 1:1 比例的中英語料上訓練了 1T 的 token 量，兼具雙語能力。
最佳化的模型架構和大小：吸取 GLM-130B 訓練經驗，修正了二維 RoPE 位置編碼實現，使用傳統 FFN 結構。6B（62億）的引數大小，也使得研究者和個人開發者自己微調和部署 ChatGLM-6B 成為可能。
較低的部署門檻：FP16 半精度下，ChatGLM-6B 需要至少 13 GB 的視訊記憶體進行推理，結合模型量化技術，這一需求可以進一步降低到 10GB（INT8）和 6GB（INT4），使得 ChatGLM-6B 可以部署在消費級顯示卡上。
更長的序列長度：相比 GLM-10B（序列長度 1024），ChatGLM-6B 序列長度達 2048，支援更長對話和應用。
人類意圖對齊訓練：使用了監督微調（Supervised Fine-Tuning）、反饋自助（Feedback Bootstrap）、人類反饋強化學習（RLHF）等方式，使模型初具理解人類指令意圖的能力。輸出格式為 markdown，方便展示。
基於以上特點，ChatGLM-6B 在一定條件下具備較好的對話與問答能力，不過由於 ChatGLM-6B 模型的容量較小，不可避免的存在一些侷限和不足。
相對較弱的模型記憶和語言能力。在面對許多事實性知識任務時，ChatGLM-6B 可能會生成不正確的資訊，也不太擅長邏輯類問題（如數學、程式設計）的解答。
可能會產生有害說明或有偏見的內容：ChatGLM-6B 只是一個初步與人類意圖對齊的語言模型，可能會生成有害、有偏見的內容。
較弱的多輪對話能力：ChatGLM-6B 的上下文理解能力還不夠充分，在面對長答案生成和多輪對話的場景時，可能會出現上下文丟失和理解錯誤的情況。
特別值得注意的是，同屬於智譜AI的CodeGeeX：也是基於人工智慧大模型驅動的，快速編寫程式碼的程式碼生成工具。在VSCode和JetBrains IDEs外掛市場就可以免費下載使用！
CodeGeeX外掛擁有程式碼生成功能：可以根據自然語言註釋描述的功能，自動生成程式碼。也可以根據已有的程式碼自動生成後續程式碼，補全當前行或生成後續若干行，幫助你提高程式設計效率。
CodeGeeX程式碼翻譯功能：支援多種程式語言之間互譯，準確率高。目前程式碼翻譯功能支援八種最流行的程式語言: Python、Go、Java、JavaScript、C++、C#、PHP、TypeScript等；
CodeGeeX程式碼解釋功能：可以一鍵為你的程式碼逐行新增註釋；
同時，智譜AI 還開啟了 ChatGLM 線上模型的內測。相比起 ChatGLM-6B，ChatGLM 線上模型的能力提升主要來源於獨特的千億基座模型 GLM-130B。它採用了不同於 BERT、GPT-3 以及 T5 的 GLM 架構，是一個包含多目標函式的自迴歸預訓練模型。2022 年 11 月，史丹佛大學大模型中心對全球 30 個主流大模型進行了全方位的評測，GLM-130B 是亞洲唯一入選的大模型。在與 OpenAI、Google Brain、微軟、英偉達、Meta AI 的各大模型對比中，評測報告顯示 GLM-130B 在準確性和公*性指標上與 GPT-3 175B（davinci）接*或持*，魯棒性、校準誤差和無偏性優於 GPT-3 175B。
整體而言，ChatGLM 距離國際頂尖大模型研究和產品還有一定差距，GLM 團隊也在部落格中坦言了這一點，並表示將持續研發並開源更新版本的 ChatGLM 和相關模型。歡迎大家下載 ChatGLM-6B，基於它進行研究和（非商用）應用開發。GLM 團隊希望能和開源社群研究者和開發者一起，推動大模型研究和應用在中國的發展。
部落格連結請見：https://chatglm.cn/blog
本文由部落格一文多發*臺 OpenWrite 釋出！