DAN Text Classification
Deep Unordered Composition Rivals Syntactic Methods for Text Classification
- 文中提出了DAN(Deep average network)，說白了就是對於一個句子或者一個段落，把每個單詞的embedding進行平均求和，得到第一層固定維度的向量，然後在套幾層全連線神經網路。
- 沒有套全連線層的網路叫NBOW, 這個之前經常用，原來叫這個名字
- 第二個baseline 是 Syntactic Composition， 具體結構可見論文，其時間複雜度高，且比較消耗計算資源
DAN模型
- 訓練速度快，且結果較好，和Syntactic Composition效能差不多，但是消耗的計算資源少
- 對於否定詞敏感，比如but,not等，常常判斷為negative。
- 本質來講，這個模型沒有考慮單詞之間的順序，not在第一個位置和在最後一個位置對於DAN來講輸入都是一樣的，所以自然conver不住這種情況。這是模型本身的問題，沒有辦法改進，除非換模型，比如textcnn就能很好的解決這種情況
- 這個模型相比於傳統的NBOW，就是多了幾層全連線層，文中提出全連線層能擴大輸入的微小變化，所以效能比NBOW好
- 作為有監督學習任務來講，可以試一試。但是由於全連線層，無法進行無監督學習。相反，NBOW可以無監督學習，比如文字相似度計算等。當然。對於DAN而言，可以通過遷移學習，預訓練好全連線引數，實現無監督學習
相關文章
- 論文解讀（ FGSM）《Adversarial training methods for semi-supervised text classification》AI
- 論文泛讀《T-Miner: A Generative Approach to Defend Against Trojan Attacks on DNN-based Text Classification》APPAIDNN
- 論文解讀（XR-Transformer）Fast Multi-Resolution Transformer Fine-tuning for Extreme Multi-label Text ClassificationORMASTREM
- 建模：標識欄位 - Dan
- image-classification-dataset
- CA Data Classification algorithmGo
- SAP Table Relationship of Material Classification
- React函式式元件和類元件[Dan]React函式元件
- MLE 5217 : Take-Home Dataset Classification
- Machine Learning (6) - Logistic Regression (Binary Classification)Mac
- Machine Learning (8) - Logistic Regression (Multiclass Classification)Mac
- text
- 經典鏈式呼叫 Person("Dan").sleep(2).eat("dinner")
- text/html和text/plain的區別HTMLAI
- Text Representation
- SGM:Sequence Generation Model for Multi-Label Classification(SGM)
- WEKA把分類(Classification)和迴歸(Regression)
- DAN：2020年中國廣告支出增長3.9%
- [譯]react的setState如何知道該做什麼 --Dan AbramovReact
- CSS 文字裝飾 text-decoration & text-emphasisCSS
- 被diss效能差，Dan連夜優化React新文件優化React
- 簡單軟體架構的一些好處 - Dan架構
- SRPCore Material classification與最佳化Screen Space ReflectionRPC
- PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation3DSegmentation
- SAP ERP classification和C4C的同步
- Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency MapsIDE
- text1
- text-to-motion
- ORACLE TEXT(轉)Oracle
- WPF Text MultiBinding StringFormatORM
- CSS text-strokeCSS
- CSS text-shadowCSS
- CSS text-overflowCSS
- Oracle Text簡介Oracle
- 深入char、varchar、text
- ASBFAT：Sublime Text 3
- Leetcode 68 Text JustificationLeetCode
- DAN：預計2020年印度語音市場達到5840萬美元