Phi-3-Mini-4K-Instruct 是一個 3.8B 引數、輕量級、最先進的開放模型，使用 Phi-3 資料集進行訓練，其中包括合成資料和經過過濾的公開可用網站資料，重點是高品質和推理密集的屬性。該型號屬於 Phi-3 系列，Mini 版本有4K和128K兩種變體，這是它可以支援的上下文長度（以令牌為單位）。
該模型經歷了訓練後過程，其中結合了監督微調和針對指令遵循和安全措施的直接偏好最佳化。當根據測試常識、語言理解、數學、程式碼、長上下文和邏輯推理的基準進行評估時，Phi-3 Mini-4K-Instruct 在引數少於 130 億的模型中展示了強大且最先進的效能。
主要用例
該模型旨在用於英語的商業和研究用途。該模型適用於需要以下功能的應用：
- 記憶體/計算受限環境
- 延遲限制場景
- 強大的推理能力（尤其是程式碼、數學和邏輯）
我們的模型旨在加速語言和多模式模型的研究，用作生成人工智慧驅動功能的構建塊。
用例注意事項
我們的模型並非針對所有下游目的而專門設計或評估。開發人員在選擇用例時應考慮語言模型的常見限制，並在特定下游用例中使用之前評估和減輕準確性、安全性和複雜性，特別是對於高風險場景。開發人員應瞭解並遵守與其用例相關的適用法律或法規（包括隱私、貿易合規法等）。
本模型卡中包含的任何內容均不應解釋為或視為對該模型釋出所依據的許可的限制或修改。
訓練模型
- 架構：Phi-3 Mini-4K-Instruct 有 3.8B 引數，是一個密集的僅解碼器 Transformer 模型。該模型透過監督微調 (SFT) 和直接偏好最佳化 (DPO) 進行微調，以確保符合人類偏好和安全指南。
- 輸入：文字。它最適合使用聊天格式的提示。
- 上下文長度：4K 令牌
- GPU：512 H100-80G
- 培訓時間：7天
- 訓練資料：3.3T 代幣
- 輸出：響應輸入生成的文字
- 日期：我們的模型在 2024 年 2 月至 4 月期間接受訓練
- 狀態：這是在離線資料集上訓練的靜態模型，截止日期為 2023 年 10 月。隨著我們改進模型，可能會發布調整模型的未來版本。
基準測試
我們報告了 Phi-3-Mini-4K-Instruct 在標準開源基準上的結果，衡量模型的推理能力（常識推理和邏輯推理）。我們與 Phi-2、Mistral-7b-v0.1、Mixtral-8x7b、Gemma 7B、Llama-3-8B-Instruct 和 GPT-3.5 進行比較。
所有報告的數字都是透過完全相同的管道生成的，以確保這些數字具有可比性。由於評估中的選擇略有不同，這些數字可能與其他公佈的數字有所不同。
硬體
請注意，預設情況下，Phi-3-mini 型號使用快閃記憶體關注，需要特定型別的 GPU 硬體才能執行。我們在以下型別的 GPU 上進行了測試：
- 英偉達™（NVIDIA®）A100
- 英偉達™（NVIDIA®）A6000
- 英偉達 H100
如果您想在以下裝置上執行該模型
- 英偉達 V100 或更早一代的 GPU：呼叫 AutoModelForCausalLM.from_pretrained()，同時使用 attn_implementation="eager"。
- CPU：使用 GGUF 量化模型 4K
- 在 GPU、CPU 和移動裝置上最佳化推理：使用 ONNX 模型 4K
該模型已獲得MIT 許可。
還有 128k-instruct：https://huggingface.co/microsoft/Phi-3-mini-128k-instruct-onnx
所有型號：https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3
https://ollama.com/library/phi3
網友測試：
1、很多常識性問題都是錯誤的。
例如：
Ted 是Sam 的父親，但Sam 不是Ted 的兒子，這如何成為可能？
（正確答案應該是 山姆 是個女孩。）
Phi-3的回答：
如果 Sam 是 Ted 兄弟姐妹（例如 Ted 的姐妹或兄弟）的孩子，則可能出現這種情況。在這種情況下，Ted 是叔叔或阿姨，Sam 是他們的侄女或侄子。
2、一個非常強大的 8B 模型，具有 128k 上下文，對於注入我的大型程式碼庫來說聽起來太棒了！
今天晚些時候將使用它，看看它如何處理 C++ 和 Rust 程式碼庫。
3、這個模型一定是我用過的最受審查的模型。任何越獄都無法對其起作用。即使是強制的序言也不起作用。這幾乎就像預訓練本身被審查了一樣。嘗試將單詞強行放入人工智慧嘴中，它會立即掉頭說出下一句話。
4、我一開始就不喜歡 Phi 模型，但現在我開始感受到炒作！對我來說，基線始終是 Mistra7B（我也不喜歡 Llama2-7B）。
然而，如果 4B 真如他們所說的那麼好，那對於消費類硬體擁有者來說將是一個巨大的改變
本地安裝教程：
1、下載LM Studio -這是一款免費的開源軟體，可讓您執行任何開源AI模型。 去 http://lmstudio.ai，然後下載並安裝適用於您的作業系統的版本。
2、獲取Phi-3 在主頁上搜尋“Phi-3”。 選擇“microsoft/Phi-3-mini-4k-instruct-gguf”，然後在右側列表中下載第4季度版本。 Q4版本更輕，速度更快，但比“fp 16”的損耗更大。
3、開始使用Phi-3 點選左側選單中的聊天選項卡和“新聊天”。 在頂部欄中選擇Phi-3型號。 然後寫併傳送你的提示！
它可以100%離線和在您的計算機上工作。 所以這是最好的方式來使用一個相當強大的LLM私人.而且是免費的