【NLP高頻面題 - LLM架構篇】LLM對Transformer都有哪些最佳化？
⚠︎ 重要性：★★★ 💯
NLP Github 專案：
-
NLP 專案實踐：fasterai/nlp-project-practice
介紹：該倉庫圍繞著 NLP 任務模型的設計、訓練、最佳化、部署和應用，分享大模型演算法工程師的日常工作和實戰經驗
-
AI 藏經閣：https://gitee.com/fasterai/ai-e-book
介紹：該倉庫主要分享了數百本 AI 領域電子書
-
AI 演算法面經：fasterai/nlp-interview-handbook#面經
介紹：該倉庫一網打盡網際網路大廠NLP演算法面經，演算法求職必備神器
-
NLP 劍指Offer：https://gitee.com/fasterai/nlp-interview-handbook
介紹：該倉庫彙總了 NLP 演算法工程師高頻面題
目前主流的大模型架構都是基於LLaMa架構的改造，LLaMa（Large Language Model Meta AI）是由Meta AI開發的一種大語言模型，其核心架構是基於Transformer模型，這是一種由多層自注意力機制和前饋神經網路組成的深度學習結構。
具體來說，LLaMa模型主要由Attention和MLP層堆疊而成，並採用了前置層歸一化、RMSNorm歸一化函式、SwiGLU啟用函式、分組查詢注意力機制和旋轉位置編碼等技術進行改進。
LLaMa模型具有多種引數規模版本，包括7B、13B、33B和65B等多種不同的引數量，這是目前語言領域領先模型中的主流架構。
NLP 大模型高頻面題彙總
NLP基礎篇
-
【NLP 面試寶典 之 模型分類】 必須要會的高頻面題
-
【NLP 面試寶典 之 神經網路】 必須要會的高頻面題
-
【NLP 面試寶典 之 主動學習】 必須要會的高頻面題
-
【NLP 面試寶典 之 超引數最佳化】 必須要會的高頻面題
-
【NLP 面試寶典 之 正則化】 必須要會的高頻面題
-
【NLP 面試寶典 之 過擬合】 必須要會的高頻面題
-
【NLP 面試寶典 之 Dropout】 必須要會的高頻面題
-
【NLP 面試寶典 之 EarlyStopping】 必須要會的高頻面題
-
【NLP 面試寶典 之 標籤平滑】 必須要會的高頻面題
-
【NLP 面試寶典 之 Warm up 】 必須要會的高頻面題
-
【NLP 面試寶典 之 置信學習】 必須要會的高頻面題
-
【NLP 面試寶典 之 偽標籤】 必須要會的高頻面題
-
【NLP 面試寶典 之 類別不均衡問題】 必須要會的高頻面題
-
【NLP 面試寶典 之 交叉驗證】 必須要會的高頻面題
-
【NLP 面試寶典 之 詞嵌入】 必須要會的高頻面題
-
【NLP 面試寶典 之 One-Hot】 必須要會的高頻面題
-
......
BERT 模型面
-
【NLP 面試寶典 之 BERT模型】 必須要會的高頻面題
-
【NLP 面試寶典 之 BERT變體】 必須要會的高頻面題
-
【NLP 面試寶典 之 BERT應用】 必須要會的高頻面題
-
......
LLMs 微調面
-
【NLP 面試寶典 之 LoRA微調】 必須要會的高頻面題
-
【NLP 面試寶典 之 Prompt】 必須要會的高頻面題
-
【NLP 面試寶典 之 提示學習微調】 必須要會的高頻面題
-
【NLP 面試寶典 之 PEFT微調】 必須要會的高頻面題
-
【NLP 面試寶典 之 Chain-of-Thought微調】 必須要會的高頻面題
-
......
本文由mdnice多平臺釋出