大模型API，正式進入Flash時代。
最近一段時間，國內外的大模型行業卷的是「快速版」。
5 月谷歌 I/O 大會上，新發布的 Gemini 1.5 大模型序列中出現了 Flash 版，主打輕量化和響應速度。到 7 月，OpenAI 又在 GPT-4o 的基礎上推出了 Mini 版，號稱比當前最為先進的小模型能力更強，價格更低。
如果你現在訪問 ChatGPT，會發現原來的預設模型 GPT-3.5 已經消失，新的預設選項就是 GPT-4o mini。自 2022 年底一直沿用的 GPT-3.5 終於被取代了，這不禁讓人們感嘆 AI 技術進步速度之快。
這一波技術迭代的背後，是直面應用的底層邏輯。新一代大語言模型繼續保持多模態、長上下文等方面的效能優勢，又因為速度和效率的大幅提升獲得了更多開發者的青睞。
在實際應用場景中，新模型適用於處理高頻次、相對簡單的任務，禁得起人們的反覆呼叫。現在想要開發一個使用生成式 AI 技術的產品，不再是一件難事了。
最近，國內大模型平臺市場份額領先的智譜，也正式宣佈了新模型，並提出了一系列提升 AI 開發效率的工具。
大模型開發便捷化
智譜此前已經上線了大模型的一鍵微調工具，這次更是決定將 GLM-4-Flash 免費。
智譜的最新版大模型 GLM-4-Flash 在 6 月份剛剛上線，在開放時 API 價格就已低至每 100 萬 token 0.1 元，吸引了大量開發者使用。不論是國內還是國外，很多人都在社交網路上 po 出了自己的使用心得。
這款大模型 API 的能力如何？我們自己也上手試了試。
首先，要想呼叫大模型能力，有最簡單的方法：透過 Python 指令碼進行體驗。智譜的官網上提供了一些示例，只需將其中的 api key 替換成自己的並修改其中的具體內容，就能很方便地使用這個大模型，比如可以在 VS Code 中使用它。
當然，你也可以將其整合到任何支援 API 接入的應用之中。比如在這裡，我們可以將其引入到筆記軟體 Obsidian 中。選擇 BMO Chatbot 外掛，下載啟用之後，我們進入其設定選項，找到 API Connections 下的 OpenAI。這裡之所以選擇 OpenAI，是因為 GLM-4-Flash 的 API 協議基本與 OpenAI 一致。
之後在 OpenAI-Based URL 中填入智譜的模型連結：https://open.bigmodel.cn/api/paas/v4/，並在 OpenAI API Key 填入我們需要使用的 key。為了使用 GLM-4-Flash 模型，你還需要修改該外掛的 data.json 檔案，將 glm-4-flash 加入到 openAIBaseModels 中。
這樣你就可以將 GLM-4-Flash 引入到你的筆記工作流程之中，以下展示了部署好的示例，我們讓 GLM-4-Flash 分析了一篇有關視覺語言模型的文章並讓其建議了一些標題。
當然，你也可以直接使用 GLM-4-Flash 生成文字筆記：
看起來效果都很不錯。
另一方面，說到大模型微調，上週二 OpenAI 正式上線了大模型的微調功能，引發了 AI 領域的關注。
OpenAI 的初衷，是幫助開發者能夠低成本地構建個性化的應用。這次的智譜推出的大模型微調功能，也可以讓我們透過微調工具，加入自身獨有的場景資料，對平臺提供的基礎模型進行微調，快速使其定製化。這樣做既符合了業務場景，也不需要進行復雜的調整或重新訓練。
如果你認為基礎模型無法滿足複雜任務的需求時，使用微調可以獲得更好的效果。微調可以讓大模型表現出特定的風格，或是提高輸出的可靠性，讓大模型可以完成更加複雜的任務。
智譜目前已開放了 GLM-4-Flash、GLM-4-9B 等模型的 LoRA 微調和全引數微調能力。在微調的過程中，你需要準備並上傳訓練資料訓練大模型，嘗試部署並評估結果，最後完成的模型也可以快速部署。
我們可以看到，如今各家大模型公司提供的產品，越來越貼近實際需求了。這些充分考慮開發者，能夠用起來的工具，對於 AI 的大規模應用來說意義重大。
Flash 大模型意味著什麼？
智譜提供的一系列新能力，背後作為支撐的基礎都是 GLM-4-Flash 大模型。
GLM-4 大模型是智譜在今年 1 月推出的新一代基座大模型，它在十餘項指標上逼近或達到了大模型標杆 GPT-4 的水準。與此同時，GLM-4 支援了更長的上下文、更強的多模態、更快的推理速度，以及更多併發請求，大大降低了推理成本。
在此基礎上發展出的 GLM-4-Flash，則帶來了一系列技術優勢：
資料預訓練：引入大語言模型進入資料篩選流程，使用 10T 高質量多語言資料進行了訓練。
預訓練技術：採用 FP8 技術進行高效預訓練，顯著提高了訓練效率和計算量。
模型能力：GLM-4-FLASH 模型具備強大的推理效能，支援 128K 長上下文推理和多語言處理。
生成速度：輸出速度高達 72.14 token/s，約等於每秒 115 個字元。
GLM-4-Flash 模型實測
GLM-4-Flash 模型已經在大量測試中展現了能力。
從模型介面來看，GLM-4-Flash 支援多輪對話、自定義系統指令構建（比如設定模型身份、任務目標）以及網頁搜尋、知識庫搜尋和函式呼叫等工具呼叫功能。
此外，使用者也可以自由調整 GLM-4-Flash 對話視窗的最大 tokens 數量（輸入上下文長度）、模型溫度（控制生成的隨機性和創造性）、top_p（控制回答風格，保證輸出結果正確性的同時增加多樣性）。
體驗地址：https://open.bigmodel.cn/
邏輯推理能力，從簡單到複雜，包含一般邏輯推理和數學推理。
測試 1：先來一道前段時間讓很多大模型翻車的「9.11 和 9.9 哪個更大」問題，很容易就答對了。
類似的數字比較同樣答對了。從解題思路來看，GLM-4-Flash 掌握了正確的小數位比較方法。
而目前版本的 GPT-4o 全都翻車了。
測試 2：此前研究機構 LAION 在一項研究中發現，GPT-3.5/4、Llama、Gemini、Claude 和 Mistral 等大模型回答「愛麗絲（女性）有 N 個兄弟，有 M 個姐妹，那麼愛麗絲的兄弟有多少個姐妹呢？」問題時，正確率非常低。
我們讓 GLM-4-Flash 試了試，回答正確。
改變了主角性別和親屬關係之後，GLM-4-Flash 同樣可以理解，再次回答對了。
測試 3：對於多人真假話判斷問題，GLM-4-Flash 能夠理清各種假設情況，並最終給出了正確答案。
作為對比，GPT-4o 回答錯誤。
函式呼叫能力，允許 GLM-4-Flash 呼叫外部函式或服務。
網頁檢索能力，實時獲取網際網路最新資訊。
比如 2024 巴黎奧運會中國體育代表團斬獲金銀銅牌的總數量，結果無誤。
還有程式碼生成、影片指令碼製作、角色扮演、文章擴寫等一系列能力，據說能力都不錯。
通用化 AI 的應用，已經跑起來了
如今，GLM-4-Flash 已經上線兩個月，人們都在用這款大模型做什麼？很多人展示了自己的應用方向，或許能給我們帶來一些啟發。據介紹：
有生物學博士正在利用 GLM-4-Flash 模型處理複雜分子資料，大大提高了科研工作中資料處理的效率。透過 AI+Science，生物學和大模型的結合，我們可以探索基因序列與人類健康之間的深層聯絡；
有一群年輕科研人員正在使用 Flash 模型生成高質量資料材料。這些資料可以用於自身研究，也可以用於給其他領域的大模型進行訓練；
有獨立開發者發現 Flash 模型可用於高效翻譯，開發出來的中英文翻譯 APP 不僅提供翻譯能力，還有互動學習模組。透過基於智譜大模型的 APP，小朋友可以在輕鬆愉快的環境下學習英語。這款 APP 已經幫助了大量學習者；
還有廣告公司發現了 Flash 模型在內容創作上的巨大潛力。他們構建了應用對文章進行潤色，幫助編輯和文案人員在創作過程中提升效率。AI 大模型可以聯網獲取最新資訊，並提供創意靈感，保證了文案的質量和一致性。
看來，在速度更快，效能足夠強大的 GLM-4-Flash 版本上，一些簡單垂直，需要快速響應的應用已經得到了充分的驗證。
不過對於通用的大模型來說，還有很多功能有待人們的發掘。
8 月 27 日，智譜 BigModel 開放平臺正式宣佈：GLM-4-Flash 全部免費，同時開啟限時免費微調活動。
GLM-4-Flash 是智譜首次開放免費 API 的大模型，支援長度達 128K 的上下文。在使用者呼叫量上，智譜做到了原有呼叫使用者併發不變，新使用者有兩個併發，還可以申請進一步提高。
而在 GLM-4-Flash 微調贈送額度上，如果立即申請，你可以獲得 500 萬 token （3 個月）的訓練資源包，限額 2000 位，先到先得。智譜還將開放 GLM-4-Flash 模型的微調權重下載，很快人們將可以自由選擇部署平臺。
這一系列行動，展示了國內大模型公司在應用層面的獨特優勢。在大模型技術對標國際先進水平的同時，國內 AI 的先頭部隊已經打磨好「內功」，透過系統最佳化大幅提升了推理效率。
現在，免費開放的大模型已經可以惠及廣大開發者，讓人不花一分錢就可以上線基於大模型的智慧應用。
不論如何，是時候體驗大模型的開發了，羊毛薅起來！
點選此連結，立即開始使用。