切爾克斯語是一種屬於印歐語系的語言，主要使用於高加索地區的切爾克斯人中。它屬於北高加索語族，是高加索語系中的一個分支。隨著時間的推移，使用該語言的人數逐漸減少，現今切爾克斯語面臨著語言保護和傳承的挑戰。
切爾克斯語是一種非常難學的凝集語，形態和語法都很複雜。
在這些年裡，我煞費苦心地從稀缺資源中整理出 64K 個翻譯對，並訓練了專門的模型（T5、MLM-100、NLLB-200 等），以實現像樣的俄語-卡巴爾語機器翻譯。
我決定用 Claude Opus 做一次實驗。我開始了一個新的聊天，並附上了 5.7K 隨機選擇的單詞/句子翻譯對--這只是我 64K 資料集的一小部分，甚至沒有涵蓋全部詞彙。我想看看它是否能根據這些例子翻譯新句子。
我並沒有抱太大希望，只是要求它將一個簡單的句子--"我躺在床上 "從俄語翻譯成切爾克斯語。
Claude 不僅提供了完美的翻譯，還分解了語法和詞法。
我想，肯定是運氣好
我試著想出了一個資料中不可能出現的新穎獨特的句子。Claude 翻譯和分析再次完美無瑕。Claude只用了很少的資料樣本，就接近了我專門為機器翻譯訓練的專業模型的效能。我簡直不敢相信自己的眼睛。
Claude用文學作品中的複雜段落、最近的新聞報導，甚至是語法和書寫系統明顯不同的切爾克斯方言文字進行了進一步測試，他始終表現出對語言結構的深刻理解，智慧地推斷出未知單詞，恰當地使用藉詞，給出可信的詞源分析，在翻譯中保持原文的風格，甚至在被問及時創造出新的術語。
完成這些任務需要對語言有深刻的理解，如果輸入相同的內容，不熟悉該語言的語言學家需要一年左右的時間才能完成。而 Opus 只用了不到一分鐘的時間，就從 5.7K 個隨機翻譯對中輕鬆掌握了這些微妙之處。
作為對比，我在 GPT-4 上進行了同樣的測試，結果完全失敗。它甚至拒絕翻譯最簡單的句子，更不用說掌握複雜的語法了。我之前也在類似的資料集上試過微調 GPT-3.5，結果只是噪音。
我不知道人類學在這個模型上做了什麼，但它與其他模型完全不同。很多人對它在合成基準測試中的領先地位持懷疑態度，但我親眼目睹的是，它在一個全新的、極具挑戰性的基準測試中取得了驚人的成績，而這個基準測試在訓練資料集中是不可能出現的。
為了測試可能的汙染，我在沒有附上翻譯樣本的情況下嘗試了同樣的提示，結果Claude失敗了，拒絕回答，說它不熟悉切爾克斯語。
這件事影響深遠。我花了兩年的心血，Claude只用了幾千個例子就完成了。這對於低資源語言和許多其他領域來說，確實是一個質的飛躍。
總結
- 也就是說，我們給Claude提供了少量的翻譯資料時，這些翻譯資料是一種在網際網路上幾乎沒有資料或資訊的生僻語言（在 Opus 的訓練集中為零），而它卻能進行復雜的翻譯，並以其他 LLM 無法做到的方式高度理解和掌握這種語言。
- 而 GPT4 在這項任務中卻完全失敗了。