Google釋出pQRNN新NLP模型：基於投影的高效模型架構
谷歌釋出了一種NLP模型，稱為pQRNN，它以最小的模型尺寸提高了NLP效能的最新水平。pQRNN的新穎之處在於它如何將簡單的投影操作與準RNN編碼器相結合，以實現快速，並行的處理。該模型可在文字分類任務上實現接近BERT級別的效能，同時使用的模型引數要少幾個數量級。
通常上一代模型PRADO的做法是：首先將輸入到NLP模型的文字處理為適合於神經網路的形式，方法是將文字分割成與預定義的通用字典（所有可能的標記列表）中的值相對應的片段（標記）。然後，神經網路使用可訓練的引數向量（包含嵌入表）唯一地標識每個段。但是，文字的分割方式會對模型的效能，大小和延遲產生重大影響。
基於PRADO改進的pQRNN模型由三個構建塊組成：一個將文字中的令牌轉換為三元向量序列的投影運算子，一個密集的瓶頸層和一個QRNN編碼器堆疊組成。
點選標題見原文
相關文章
- 基於PaddlePaddle的官方NLP模型總覽模型
- 基於bert架構的精準知識表徵模型架構模型
- 業內首次，彩雲科技釋出基於DCFormer架構通用大模型雲錦天章ORM架構大模型
- 重磅：谷歌釋出最強大AI模型【Google Gemini】谷歌AI模型Go
- Hadoop的架構模型Hadoop架構模型
- You Only Cache Once:YOCO 基於Decoder-Decoder 的一個新的大語言模型架構模型架構
- 基於 Istio 的灰度釋出架構方案實踐之路架構
- Tomcat 架構模型Tomcat架構模型
- 京東零售基於NLP的風控演算法模型構建實踐演算法模型
- MiniMax：如何基於 JuiceFS 構建高效能、低成本的大模型 AI 平臺UI大模型AI
- java之JVM的架構模型JavaJVM架構模型
- 區塊鏈的架構模型區塊鏈架構模型
- 模型的威力：基於模型，快速梳理原始碼模型原始碼
- 伸縮架構原理也適用於大模型架構大模型
- 基於 Quanto 和 Diffusers 的記憶體高效 transformer 擴散模型記憶體ORM模型
- LNMP架構下的程式模型分析LNMP架構模型
- 基於Go的語義解析開源庫FMR，“屠榜”模型外的NLP利器Go模型
- Facebook 自然語言處理新突破：新模型能力趕超人類 & 超難 NLP 新基準自然語言處理模型
- CatchAdmin 釋出，基於 Element 重構
- Google multitask模型SNRGo模型
- 微服務架構設計基礎之立方體模型微服務架構模型
- 基於飛槳PaddlePaddle的多種影像分類預訓練模型強勢釋出模型
- 秒殺架構模型設計架構模型
- MOSN 1.0 釋出，開啟新架構演進架構
- 中文任務全面超越 BERT：百度正式釋出NLP預訓練模型ERNIE模型
- 大模型Grok-1.5釋出大模型
- CV之後，純MLP架構又來搞NLP了，效能媲美預訓練大模型架構大模型
- 基於Python的Xgboost模型實現Python模型
- 基於python的事件處理模型Python事件模型
- nlp中的傳統語言模型與神經語言模型模型
- CesiumJS 2022^ 原始碼解讀[6] - 三維模型（ModelExperimental）新架構JS原始碼模型架構
- C4模型的軟體架構圖模型架構
- 逆向工程 O1模型架構模型架構
- ChineseGLUE：為中文NLP模型定製的自然語言理解基準模型
- NLP論文解讀：無需模板且高效的語言微調模型（上）模型
- 史上最強通用NLP模型GPT-2：OpenAI剛又釋出7.74億引數版本模型GPTOpenAI
- RabbitMQ架構詳解(7大架構原理模型圖解)MQ架構模型圖解
- Google 釋出最新開放大語言模型 Gemma 2，現已登陸 Hugging Face HubGo模型GemmaHugging Face