人工智慧 (AI) 世界正在不斷髮展，更強大的模型不斷湧現。然而，這些模型通常需要大量的計算資源，限制了它們對個人裝置的訪問。微軟正在透過推出有史以來最小的人工智慧模型Phi-3來打破這一障礙。該模型擁有令人印象深刻的功能，同時保持足夠的效率以在智慧手機上執行。
要點：
- Phi-3是迄今為止建立的最小的 AI 模型，旨在在處理能力有限的裝置上實現高效效能。
- Phi-3 為強大的裝置人工智慧功能鋪平了道路，將智慧直接帶入您的口袋。
- 從更智慧的助手到個性化體驗，Phi-3 有望徹底改變我們與技術互動的方式。
什麼是 Phi-3 人工智慧？
Microsoft Phi-3是小語言模型 (SLM)領域的一項突破。與需要大量資料和處理能力的大型同類產品不同，Phi-3 的設計是輕量級且高效的。這是透過使用受兒童故事啟發的獨特訓練方法來實現的，使 Phi-3 能夠從較小的資料集中有效地學習。
Phi 3 人工智慧的優勢
Phi-3 的緊湊尺寸為使用者帶來了眾多好處：
- 裝置上的人工智慧： Phi-3 可以直接在智慧手機和其他個人裝置上執行，無需持續的網際網路連線。這意味著更快的響應時間、更好的隱私性以及潛在的更低的資料消耗。
- 增強的使用者體驗： Phi-3 有潛力為更智慧的虛擬助理提供支援，使他們能夠更準確地理解自然語言，並以更符合上下文和個性化的方式做出響應。想象一下，語音助手可以預測您的需求，提供主動建議，甚至進行更自然的對話。
- 可訪問性和可承受性： 與較大的 AI 模型相比，Phi-3 的尺寸較小，開發和部署起來更加經濟實惠。這為將人工智慧更廣泛地整合到各種應用程式中開啟了大門，即使對於資源有限的企業也是如此。
是什麼讓Phi-3 如此出色？
網友體驗：
1、我一直在為 RAG 測試Phi-3 ，我得到的響應與 Mistral7B 沒有什麼區別。
- 它非常擅長遵循指示。
- 不是最擅長“創意”任務，
- 但非常適合 RAG。
2、微軟開發這款軟體的目的，基本上是想看看在不需要人類全部知識的情況下，他們能在推理和理解方面走多遠。過去幾個重要版本表明，資料整理是多麼重要。我的理解是，PHI 的秘訣主要是在課程式學習中使用合成資料來教授演繹推理和邏輯。
3、我真的等不及微軟釋出於 14b 型號了。Seb Bubek 說，Phi-3 的效能擴充套件速度比其他任何 llm 都要快得多。這一定會很有趣。
- 不過，不要抱太大希望。微軟有一個非常不好的習慣，那就是宣佈釋出卻不執行。
4、這是未來人工智慧的基礎。每 6 個月根據所有新資訊重新訓練一個模型是不可能持續的，它也不可能包含所有知識。始終有必要利用上下文學習作為 LLM 的知識基礎。
一旦你擁有了推理能力+注意力，並有足夠大的上下文視窗來支援它，你就不需要一個根據最新資訊訓練出來的模型了。這樣做的後果是，使用者而不是模型建立者有責任調整模型。
這也意味著人工智慧的體積可以更小，因此可以在更多硬體上執行。
5、另外還有一個問題，那就是人類的偏見會被植入任何根據自然人類資料訓練出來的人工智慧模型中，這就使得像 SD 這樣的影像擴散模型極度偏向於美女，而不是普通女性或男性。這種偏見也存在於 LLM 中，可以透過讓 LLM 生成影像提示來進行測試。
6、Phi-3 是否具有類似於 gpt4 的推理加註意力，但知識庫更小？
- 不，它們在結構上是不同的。每一種都有比另一種做得更好的地方。
- 理論上，更大的模型應該總是更好。
- 然而，Phi 的注意力和上下文大小更大，而且執行在更小的硬體上。
7、雖然他們本質上是在提煉 GPT4，但他們使用的不是直接教學，而是過濾和生成訓練資料。
他們不惜一切代價避免使用 "distillation：提煉/蒸餾 "一詞，因為這樣一來，他們的方法顯然無法超越教師模式。
- distillation ：提煉是指提取隱藏狀態，然後以隱藏狀態為目標訓練一個更小的模型。
8、我在 Godot 引擎中實施了 RAG，作為名為 Mind Game 的附加元件的一部分，目前我製作的所有遊戲都預設使用 Phi-3。我的大部分測試都是使用 Mistral Instruct v0.2 完成的，Llama3 也很不錯，但 Phi-3 的佔用空間之小無可匹敵。
目前，我更關注模型的大小和效率，輸出質量 "足夠好 "就可以了。
- 它甚至可以執行 "生成一個農民角色的名字，格式為 Name：[名][姓]的格式生成一個農民角色的名字，不含任何其他內容 "這樣的指令。
- 我正在努力實現一個強制 JSON 輸出的功能，以便生成任何型別的字元/統計表。
9、Phi-3 是在非常好的資料基礎上以一種新的方式進行訓練的。
他們使用了來自網路的訓練資料，也使用了其他語言模型（比如抄襲別人的作業）。因此，從本質上講，他們是將其他 LLM 的精華部分提煉到一個更小的模型中。雖然有點過度簡化，但這就是事實。
10、已經有相當多的基於瀏覽器的 RAG 實現。一些隨機連結：
- https://poloclub.github.io/mememo/<a>
- https://github.com/do-me/SemanticFinder
- https://colbert.aiserv.cloud/<a>
- https://github.com/James4Ever0/prometheous
- https://felladrin-minisearch.hf.space/<a>
- https://github.com/tantaraio/voy
我個人想用它來搜尋許多文件，並建立一個可以為使用者做一些初步研究的機器人。例如，透過下載一堆維基百科頁面，然後對其進行排名/壓縮。