Learning Semantic Concepts and Order for Image and Sentence Matching筆記
SCO模型閱讀筆記
論文：Learning Semantic Concepts and Order for Image and Sentence Matching
發表會議：CVPR2018
作者：
一、為什麼看？
好多關於影像-文字檢索的文章，但是大多數都忽略了影像的語義順序，當語義順序被忽略時，會造成檢索不準確，影像和文字的語義完全相反。
看點：影像的語義順序如何構建
應用：於跨模態影像-文字檢索
二、論文思路
影像語義之間存在差距，特別是畫素級影像缺乏語義資訊。本文提出語義增強影像和句子匹配模型，來通過學習語義概念和用一個正確的順序語義順序提高影像表示。
給定一張影像，用多區域多標籤CNN預測語義概念，包括物件、屬性、動作；
由於區域沒有順序，如何給這些語義概念排序，將全域性上下文和語義概念融合；
對應的句子用LSTM生成，並且對融合後的句子進行監督，對比相似度。
疑問？
為什麼要提取語義概念？
語義概念是影像與句子匹配的基本內容，畫素級無法完成；
為什麼不直接用影像描述？
影像描述和匹配是有區別的，影像匹配重點實在細粒度上找最相似的。影像描述體現在語義上，它不一定能夠捕獲到影像的細節。
為什麼不從語義概念上直接學習語義順序？
不同的順序就有不同的意義，語義上有意義但可能是錯誤的順序。
三、具體工作
句子表示學習：
一個完整的句子包括名詞、動詞和形容詞，分別對應語義概念中的物件、動作和屬性。對於一個句子，語義相關詞的概念本質上表現為句子的順序性。
採用傳統的LSTM來捕獲語義相關的詞和構建語義順序。
影像的語義概念提取：
目前存在的資料集中，只有影像和匹配的句子。資料集不能提供物件、屬性和動作的資訊。所以必須用多區域 多標籤的CNN進行預測。（被faster R-CNN取代） 預測語義概念等價於多標籤分類問題。
只挑選句子中的名詞、形容詞、動詞和數字，刪除同一語義相關的詞，忽略頻率低的詞。
影像語義順序學習
使用影像全域性上下文為參考和句子生成為監督。
影像全域性上下文
將全域性上下文和語義概念全部疊加在一起，不可取。因為語義概念和全域性是的重要性是不相同的。
生成的句子為監督
損失函式：
相關文章
- LeetCode - 解題筆記 - 10- Regular Expression MatchingLeetCode筆記Express
- Machine Learning Yearning 要點筆記Mac筆記
- 論文閱讀筆記：Fully Convolutional Networks for Semantic Segmentation筆記Segmentation
- Machine Learning 機器學習筆記Mac機器學習筆記
- 論文解讀（S^3-CL）《Structural and Semantic Contrastive Learning for Self-supervised Node Representation Learning》StructAST
- 十一：引數binlog_row_image（筆記）筆記
- Semantic Kernel 學習筆記：初步體驗用 Semantic Memory 生成 Embedding 並進行語義搜尋筆記
- 【論文筆記】Recommendations as Treatments: Debiasing Learning and Evaluation筆記
- Deep Transfer Learning綜述閱讀筆記筆記
- 【論文筆記】Learning Fashion Compatibility with Bidirectional LSTMs筆記
- Zero-shot Learning零樣本學習 論文閱讀（三）——Semantic Autoencoder for Zero-Shot Learning
- 度量學習筆記(一) | Metric Learning for text categorization筆記Go
- 深度學習 DEEP LEARNING 學習筆記（一）深度學習筆記
- 深度學習 DEEP LEARNING 學習筆記（二）深度學習筆記
- 【論文筆記】A Survey on Deep Learning for Named Entity Recognition筆記
- 【論文筆記】A review of applications in federated learning（綜述）筆記ViewAPP
- 論文筆記 SimpleNet A Simple Network for Image Anomaly Detection and Localization筆記
- Docker 學習筆記（第二集：image）Docker筆記
- 文章學習29“Crafting a Toolchain for Image Restoration by Deep Reinforcement Learning”RaftAIREST
- 【論文筆記】A Survey on Federated Learning: The Journey From Centralized to Distributed On-Site Learning and Beyond（綜述）筆記Zed
- [論文][半監督語義分割]Adversarial Learning for Semi-Supervised Semantic SegmentationSegmentation
- Django筆記九之model查詢filter、exclude、annotate、order_byDjango筆記Filter
- 【論文筆記】Neural machine translation by jointly learning to align and translate筆記Mac
- 《A Discriminative Feature Learning Approach for Deep Face Recognition》閱讀筆記APP筆記
- Ensemble distillation for robust model fusion in federated learning論文筆記筆記
- 讀書筆記-增量學習-Large Scale Incremental Learning筆記REM
- [論文閱讀筆記] Adversarial Learning on Heterogeneous Information Networks筆記ORM
- 論文筆記：What makes instance discrimination good for transfer learning?筆記Go
- 學習筆記（十六）：ArkUi-顯示圖片 (Image)筆記UI
- 《Hierarchical Text-Conditional Image Generation with CLIP Latents》閱讀筆記筆記
- UnFlow:Unsupervised Learning of Opitical Flow with a Biderectional Census Loss 閱讀筆記IDE筆記
- Auto Machine Learning 自動化機器學習筆記Mac機器學習筆記
- 吳恩達《Machine Learning》Jupyter Notebook 版筆記釋出！吳恩達Mac筆記
- 筆記：ML-LHY-17/18: Unsupervised Learning - Deep Generative Model筆記
- Zero shot Learning 論文學習筆記（未完待續）筆記
- 論文筆記 Deep Patch Learning for Weakly Supervised Object Classication and Discovery筆記Object
- 強化學習-學習筆記8 | Q-learning強化學習筆記
- [論文閱讀筆記] Adversarial Mutual Information Learning for Network Embedding筆記ORM