MIT計算機視覺課件總結Lecture1-Lecture5

網站：http://people.csail.mit.edu/torralba/courses/6.869/6.869.computervision.htm

Lecture 1 關於計算機視覺這門課的簡單介紹

課程語言：Matlab
課本：Rick Szeliski大牛的《Computer Vision: Algorithms and Applications》
開篇明義，視覺是什麼，David Marr認為視覺是從影象中得到外界環境有什麼，在哪裡，發生什麼即：to know what is where by looking。
但是，想要從視覺中獲取資訊又是非常困難的，首先我們要知道成像原理，就是小孔成像模型：

環境光的分佈是很複雜的，並不是說所有的反射光都能夠被成像元件捕捉到，就像單孔成像一樣，光只能沿著一定的路徑達到感測器，從而得到一張影象，人眼也是類似。

到實際應用的時候，由於物體外表的千變萬化，光線跟人感知的差異，會導致求解視覺問題是一個病態問題ill-posed problem，這是必然的，因為成像就是3維世界到2維平面的一個對映過程，只有用多個感測器或者作出一些先驗假設，才能彌補資訊的丟失。
還有統計影象模型的應用，比如說去模糊，基於（變分）貝葉斯假設；紋理分析和合成；2D人臉檢測；輔助駕駛；影象配準；影象檢索（這些都是2010年前計算機視覺領域已經取得的一些研究成果，經過近幾年的發展，有些已經發展得相當成熟了）。

　 　

Lecture 2 影象結構

影象的特徵跟影象結構息息相關，一開始介紹類邊緣結構，即灰度畫素值的突變，但是人眼跟簡單的邊緣定義又是不同的，會對視覺訊號經過很多處理才能得到我們能夠理解的邊緣資訊：

影象特徵是什麼：形狀，顏色，紋理？？
這些是我們大腦已經形成的一些認知，我們要怎麼來得到這些確切地表達，這樣才能夠讓這些特徵為我們所用，答案是靠濾波器。
線性濾波（需要數字訊號處理的一些知識，對學深度學習非常有用）
一些非常有用的濾波器：

• 脈衝，位移濾波器
• 模糊濾波器
  
  • 矩形模糊
  • 高斯模糊
  • 雙邊濾波
  • 漸近濾波：運動模糊
• 邊緣濾波器
  
  • [-1 1]
  • 導數濾波器
  • 高斯導數濾波器
  • 方向濾波
  • Gabor濾波
  • 正交濾波器

Lecture 3 影象結構

傅立葉變換和訊號取樣，不同的取樣率對訊號的復原有一定的影響：

區域性和全域性關注，對稱（跟紋理有關），尺度無關，這些都是人眼容易實現，而計算機視覺較難實現的特性，這些特性與特徵提取有很重要的聯絡。

Lecture 4 影象結構

繼續影象結構的內容，Lecture 3提到了小波的一些基礎知識，小波的某些特性跟人眼是類似的。比如Gabor小波對於紋理的敏感性。（需要較多的矩陣分析相關的知識）下面以Harr小波變換舉例：

訊號處理有兩個大的分類：訊號分解和訊號合成。而小波是在這兩個分類裡面比較成熟而且理論背景非常強大的一個工具。一種好的小波通常有這樣的特點：
- 濾波器組是有各個方向的
- 不會在合成訊號的時候有位置的偏移
- 要易於進行變換
可用來去除噪聲，紋理分解和合成，超解析度重建，陰影/塗改的區分。
但是，它也會有過完備冗餘的缺點。以下是幾種變換的比較：

影象先驗：
- 高斯先驗：用於去噪和畫素插值
- 長尾分佈先驗（拉普拉斯先驗）：去噪
- 多維先驗：去噪

Lecture 5 紋理

這裡主要的兩個問題是：紋理描述和紋理相似度度量。

紋理的單元：texton(紋理子)，描述紋理要考慮的要素：
- 它們的子元素是什麼，如何找到它們？（回想一下相關或者卷積操作）
- 子元素可以通過濾波器找到，比如響應幅值大的認為是紋理的子元素
- 經驗建議是選擇不同尺度下的點濾波器和方向濾波器
- 此時，細小的結構（如小邊緣）顯得沒那麼重要
- 會有怎樣的統計特性？（在合理的範圍內，統計越多紋理越好）
- 至少含有均值和標準差，最好還有多種條件下的直方圖
度量紋理的相似性開始是採用最簡單的方形濾波平均值匹配，相當於直接用最簡單的顏色（梯度）匹配，然後過渡到採用濾波器響應邊緣分佈的匹配。因為根據統計得到的假設，基於子帶的紋理表示相比基於畫素值表示的方法能夠提供跟人眼感知更類似的度量。
還有另一種方法就是引數法，用高斯混合模型對紋理進行建模，但是描述1種紋理引數要接近1000個。
這個Lecture剩下的都在講各種紋理合成和分解的方法。

剩餘的Lecture課程總結在這。