Learning Semantic Concepts and Order for Image and Sentence Matching筆記
SCO模型閱讀筆記
論文:Learning Semantic Concepts and Order for Image and Sentence Matching
發表會議:CVPR2018
作者:
一、為什麼看?
好多關於影像-文字檢索的文章,但是大多數都忽略了影像的語義順序,當語義順序被忽略時,會造成檢索不準確,影像和文字的語義完全相反。
看點:影像的語義順序如何構建
應用:於跨模態影像-文字檢索
二、論文思路
影像語義之間存在差距,特別是畫素級影像缺乏語義資訊。本文提出語義增強影像和句子匹配模型,來通過學習語義概念和用一個正確的順序語義順序提高影像表示。
給定一張影像,用多區域多標籤CNN預測語義概念,包括物件、屬性、動作;
由於區域沒有順序,如何給這些語義概念排序,將全域性上下文和語義概念融合;
對應的句子用LSTM生成,並且對融合後的句子進行監督,對比相似度。
疑問?
為什麼要提取語義概念?
語義概念是影像與句子匹配的基本內容,畫素級無法完成;
為什麼不直接用影像描述?
影像描述和匹配是有區別的,影像匹配重點實在細粒度上找最相似的。影像描述體現在語義上,它不一定能夠捕獲到影像的細節。
為什麼不從語義概念上直接學習語義順序?
不同的順序就有不同的意義,語義上有意義但可能是錯誤的順序。
三、具體工作
句子表示學習:
一個完整的句子包括名詞、動詞和形容詞,分別對應語義概念中的物件、動作和屬性。對於一個句子,語義相關詞的概念本質上表現為句子的順序性。
採用傳統的LSTM來捕獲語義相關的詞和構建語義順序。
影像的語義概念提取:
目前存在的資料集中,只有影像和匹配的句子。資料集不能提供物件、屬性和動作的資訊。所以必須用多區域 多標籤的CNN進行預測。(被faster R-CNN取代) 預測語義概念等價於多標籤分類問題。
只挑選句子中的名詞、形容詞、動詞和數字,刪除同一語義相關的詞,忽略頻率低的詞。
影像語義順序學習
使用影像全域性上下文為參考和句子生成為監督。
影像全域性上下文
將全域性上下文和語義概念全部疊加在一起,不可取。因為語義概念和全域性是的重要性是不相同的。
生成的句子為監督
損失函式:
相關文章
- Machine Learning 機器學習筆記Mac機器學習筆記
- 【《TOP》讀書筆記】<2> Key Concepts筆記
- ORACLE APP培訓筆記(2) -- Order ManagementOracleAPP筆記
- 【筆記】9i concepts 學習(一)筆記
- sol6459:Order of precedence for virtual server matching (9.x - 11.2.1)Server
- Machine Learning Yearning 要點筆記Mac筆記
- LeetCode - 解題筆記 - 10- Regular Expression MatchingLeetCode筆記Express
- Semantic Kernel 學習筆記:初步體驗用 Semantic Memory 生成 Embedding 並進行語義搜尋筆記
- 十一:引數binlog_row_image(筆記)筆記
- Auto Machine Learning 自動化機器學習筆記Mac機器學習筆記
- Deep Transfer Learning綜述閱讀筆記筆記
- 論文閱讀筆記:Fully Convolutional Networks for Semantic Segmentation筆記Segmentation
- sentence structures經典句型Struct
- Docker 學習筆記(第二集:image)Docker筆記
- 論文解讀(S^3-CL)《Structural and Semantic Contrastive Learning for Self-supervised Node Representation Learning》StructAST
- Zero-shot Learning零樣本學習 論文閱讀(三)——Semantic Autoencoder for Zero-Shot Learning
- 深度學習 DEEP LEARNING 學習筆記(一)深度學習筆記
- 深度學習 DEEP LEARNING 學習筆記(二)深度學習筆記
- 度量學習筆記(一) | Metric Learning for text categorization筆記Go
- 【論文筆記】A Survey on Deep Learning for Named Entity Recognition筆記
- Reinforcement Learning 第十一週課程筆記筆記
- Oracle Appliactions 11i concepts 讀書筆記總彙OracleAPP筆記
- Django筆記九之model查詢filter、exclude、annotate、order_byDjango筆記Filter
- 學習筆記(十六):ArkUi-顯示圖片 (Image)筆記UI
- 【論文筆記】A review of applications in federated learning(綜述)筆記ViewAPP
- AI學習筆記之——如何理解機器學習(Machine Learning)AI筆記機器學習Mac
- Ensemble distillation for robust model fusion in federated learning論文筆記筆記
- 讀書筆記-增量學習-Large Scale Incremental Learning筆記REM
- Deep Learning(深度學習)學習筆記整理系列深度學習筆記
- 機器學習《Machine Learning》筆記--偏差(Bias)和方差(Variance)機器學習Mac筆記
- 文章學習29“Crafting a Toolchain for Image Restoration by Deep Reinforcement Learning”RaftAIREST
- 學習《Hardware-Efficient Bilateral Filtering for Stereo Matching》一文筆記。Filter筆記
- 《Hierarchical Text-Conditional Image Generation with CLIP Latents》閱讀筆記筆記
- 論文筆記 SimpleNet A Simple Network for Image Anomaly Detection and Localization筆記
- 【論文筆記】Neural machine translation by jointly learning to align and translate筆記Mac
- 強化學習-學習筆記8 | Q-learning強化學習筆記
- Zero shot Learning 論文學習筆記(未完待續)筆記
- 《Learning R》筆記 Chapter 13 Cleaning data 下 dataframe清洗筆記APT