網路攝像機-ISP基礎一

伍意發表於2017-08-08



什麼是ISP，他的工作原理是怎樣的？

　　ISP是Image Signal Processor的縮寫，全稱是影像處理器。在相機成像的整個環節中，它負責接收感光元件（Sensor）的原始訊號資料，可以理解為整個相機拍照、錄影的第一步處理流程，對影象質量起著非常重要的作用。

ISP的功能比較雜，基本上跟影象效果有關的它都有份。它內部包含多個影象演算法處理模組，其中比較有代表性的是：扣暗電流（去掉底電流噪聲），線性化（解決資料非線性問題），shading（解決鏡頭帶來的亮度衰減與顏色變化），去壞點（去掉sensor中壞點資料），去噪（去除噪聲），demosaic（raw資料轉為RGB資料），3A（自動白平衡，自動對焦，自動曝光），gamma（亮度對映曲線，優化區域性與整體對比度），旋轉（角度變化），銳化（調整銳度），縮放（放大縮小），色彩空間轉換（轉換到不同色彩空間進處理），顏色增強（可選，調整顏色），膚色增強（可選，優化膚色表現）等。

　　實際情況下，不同晶片的ISP，其處理流程和模組可能會稍有不同，但是其原理、實現功能都是一樣的。


1、專業術語

【ColorTemp】 色溫

        所謂色溫，簡而言之，就是定量地以開爾文溫度（K）來表示色彩。英國著名物理學家開爾文認為，假定某一黑體物質，能夠將落在其上的所有熱量吸收，而沒有損失，同時又能夠將熱量生成的能量全部以“光”的形式釋放出來的話，它便會因受到熱力的高低而變成不同的顏色。例如，當黑體受到的熱力相當於500—550℃時，就會變成暗紅色，達到1050－1150℃時，就變成黃色，溫度繼續升高會呈現藍色。光源的顏色成分與該黑體所受的熱力溫度是相對應的，任何光線的色溫是相當於上述黑體散發出同樣顏色時所受到的“溫度”，這個溫度就用來表示某種色光的特性以區別其它，這就是色溫。打鐵過程中，黑色的鐵在爐溫中逐漸變成紅色，這便是黑體理論的最好例子。色溫現象在日常生活中非常普遍，相信人們對它並不陌生。鎢絲燈所發出的光由於色溫較低表現為黃色調，不同的路燈也會發出不同顏色的光，天然氣的火焰是藍色的，原因是色溫較高。正午陽光直射下的色溫約為5600 K，陰天更接近室內色溫3200K。日出或日落時的色溫約為2000K，燭光的色溫約為1000K。

【備註】

黑體的定義：

⑴在任何溫度下，完全吸收任何波長的外來輻射而無任何反射的物體。
⑵吸收比為1的物體。
⑶在任何溫度下，對入射的任何波長的輻射全部吸收的物體。
黑體，是一個理想化了的物體，它能夠吸收外來的全部電磁輻射，並且不會有任何的反射與透射。換句話說，黑體對於任何波長的電磁波的吸收係數為1，透射係數為0。但黑體不見得就是黑色的，即使它沒辦法反射任何的電磁波，它也可以放出電磁波來，而這些電磁波的波長和能量則全取決於黑體的溫度，不因其他因素而改變。當然，黑體在700K以下時看起來是黑色的，但那也只是因為在700K之下的黑體所放出來的輻射能量很小且輻射波長在可見光範圍之外。若黑體的溫度高過上述的溫度的話，黑體則不會再是黑色的了，它會開始變成紅色，並且隨著溫度的升高，而分別有橘色、黃色、白色等顏色出現，即黑體吸收和放出電磁波的過程遵循了光譜，其軌跡為普朗克軌跡（或稱為黑體軌跡）。黑體輻射實際上是黑體的熱輻射。在黑體的光譜中，由於高溫引起高頻率即短波長，因此較高溫度的黑體靠近光譜結尾的藍色區域而較低溫度的黑體靠近紅色區域。
在室溫下，黑體輻射的能量集中在長波電磁輻射和遠紅外波段；當黑體溫度到幾百攝氏度之後，黑體開始發出可見光。以鋼材為例根據溫度的升高過程，分別變為紅色，橙色，黃色，當溫度超過1300攝氏度時開始發白色和藍色。當黑體變為白色的時候，它同時會放出大量的紫外線。

 

        色溫規律：

        色溫越高，光色越偏藍；色溫越低則偏紅。

        某一種色光比其它色光的色溫高時，說明該色光比其它色光偏藍，反之則偏紅；

        同樣，當一種色光比其它色光偏藍時說明該色光的色溫偏高，反之偏低。

 

   由於人眼具有獨特的適應性，使我們有的時候不能發現色溫的變化。比如在鎢絲燈下呆久了，並不會覺得鎢絲燈下的白紙偏紅，如果突然把日光燈改為鎢絲燈照明，就會覺查到白紙的顏色偏紅了，但這種感覺也只能夠持續一會兒。

       攝像機的CCD並不能像人眼那樣具有適應性，所以如果攝像機的色彩調整同景物照明的色溫不一致就會發生偏色。白平衡就是為了避免偏色的出現。從而引出白平衡概念。

 

【AWB】Auto White Balance 

概念

       白平衡就是針對不同色溫條件下，通過調整攝像機內部的色彩電路使拍攝出來的影像抵消偏色，更接近人眼的視覺習慣。白平衡可以簡單地理解為在任意色溫條件下，攝像機鏡頭所拍攝的標準白色經過電路的調整，使之成像後仍然為白色。這是一種經常出現的情況，但不是全部，白平衡其實是通過攝像機內部的電路調整（改變藍、綠、紅三個CCD電平的平衡關係）使反射到鏡頭裡的光線都呈現為消色。如果以偏紅的色光來調整白平衡，那麼該色光的影像就為消色，而其他色彩的景物就會偏藍（補色關係）。

      【備註】消色就是指黑白灰三種顏色。黑白灰的物體對光源的光譜成分不是有選擇地吸收和反射而是等量吸收和等量反射各種光譜成分。這時物體看上去沒有了色彩。對各種光譜成分全部吸收的表面，看上去是黑色，等量吸收一部分等量反射一部分的表面是灰色，反射絕大部分而吸收極小部分是白色。消色和任何色彩搭配在一起，都顯得和諧協調。

       白平衡是一個很抽象的概念，最通俗的理解就是讓白色所成的像依然為白色，如果白是白，那其他景物的影像就會接近人眼的色彩視覺習慣。調整白平衡的過程叫做白平衡調整，白平衡調整在前期裝置上一般有三種方式：預置白平衡、手動白平衡調整和自動跟蹤白平衡調整。通常按照白平衡調整的程式，推動白平衡的調整開關，白平衡調整電路開始工作，自動完成調校工作，並記錄調校結果。如果掌握了白平衡的工作原理，那麼使用起來會更加有的放矢，得心應手。

工作原理

         攝像機內部有三個CCD電子耦合元件，他們分別感受藍色、綠色、紅色的光線，在預置情況下這三個感光電路電子放大比例是相同的，為1：1：1的關係，白平衡的調整就是根據被調校的景物改變了這種比例關係。比如被調校景物的藍、綠、紅色光的比例關係是2：1：1（藍光比例多，色溫偏高），那麼白平衡調整後的比例關係為1：2：2，調整後的電路放大比例中明顯藍的比例減少，增加了綠和紅的比例，這樣被調校景物通過白平衡調整電路到所拍攝的影像，藍、綠、紅的比例才會相同。也就是說如果被調校的白色偏一點藍，那麼白平衡調整就改變正常的比例關係減弱藍電路的放大，同時增加綠和紅的比例，使所成影像依然為白色

       換一個思路來考慮白平衡調整的問題，攝像機在白平衡調整容度之內不會“拒絕”放在鏡頭前面的被調校景物，就是說鏡頭可以對著任何景物來調整白平衡。大多情況下使用白色的調白板（卡）來調整白平衡，是因為白色調白板（卡）可最有效地反映環境的色溫，其實很多時候某種環境下白板（卡）並不是白色，多多少少會偏一點藍或其它的顏色，經驗豐富的攝像也會利用藍天來調白平衡，從而得到偏紅黃色調的畫面。搞清楚白平衡的工作原理之後，再使用的時候就會大膽地嘗試不同的效果，豐富了攝像創作。

       數碼相機白平衡的調整通常有三種模式；自動白平衡，分檔設定白平衡，精確設定白平衡（手動設定模式）。不同的相機設有不同調節白平衡的方式。一般的普及型的數碼相機大都採用自動白平衡。準專業數碼相機大都設有分檔設定白平衡。專業的數碼相機設有精確白平衡（手動設定模式）。專業數碼相機這三種模式的白平衡都擁有，準專業數碼相機擁有自動和分檔設定白平衡。可根據使用者的不同需要而選用。

       自動白平衡，是依賴數碼相機裡的測色溫系統，測出紅光和藍光的相對比例。再依據次資料調整曝光，產生紅、綠、藍電訊號的增益。自動白平衡最大的優勢是；簡單、快潔。但有時按它的調整拍攝離準確的色彩還原還相距甚遠。有時它還會幫倒忙。

       分檔設定白平衡，是按光源種類分和色溫值分兩類。大多數數碼相機都是按光源種類分的這類。在相機上分別設有日光、陰天、日光燈、白熾燈、閃光燈的圖示檔位。拍攝時只需將拍攝時的光源種類和相機上的白平衡檔位相吻合就可拍出較為準確的色彩。但由於分設檔位少，分設檔位的精度不高，在一些特殊光照條件下拍攝就不能準確的記錄色彩。按色溫分類的白平衡，理論上講其精度要高於按光源種類分檔。但它要求使用者要記住各種光源的色溫值，這就給使用者帶來極大的麻煩。故用此分檔白平衡的相機較少。

 

精確白平衡（手動設定模式），是在拍攝現場光的條件下，用白紙或白色物體充滿鏡頭視野進行白平衡調節。經過這樣的除錯再拍攝，記錄的色彩將是非常準確的這是目前最準確的白平衡調節方式。白平衡的功能給我們攝影帶來了許多的便利和意想不到的效果。如攝影棚攝影對燈光的色溫要求就可不必那麼高。白熾燈下依然可拍出準確的色彩。也不必為日光燈給我們帶來的青色而煩惱。我們可以在較高色溫條件下設定白平衡，在較低色溫情況下拍攝，使畫面帶上暖色調。反之，也可在低色溫條件下設定，在高色溫下拍攝也可產生特別的效果。在分檔設定白平衡裡，也可有意的將光源檔與現場光設定不一致，亦可同樣的產生不同的藝術效果

【AE】Auto Exposure

       自動曝光是相機根據光線的強弱自動調整曝光量，防止曝光過度或者不足，但是，在場景反差很大的時候會出現誤差（比如舞臺的場景），光圈優先和快門優先都是自動曝光的範疇，除非很高檔的相機，這兩種功能不會同時出現在一個相機上，在自動曝光的同時也讓你有部分選擇的權利，當使用光圈優先的功能時，特別是小光圈時，要注意此時的快門速度會相應的調得很低，端穩相機防止影象不清晰

       自動曝光，主要分為三類，全自動程式曝光、光圈先決曝光、快門先決曝光

 

【CCM】Color Correction Matrix

【IMP】？

【AI】Auto Iris 自動光圈

【AntiFlicker 】 抗閃爍

 

【ColorTone】冷暖色調

色彩的冷暖分別。色彩學上根據心理感受，把顏色分為暖色調（紅、橙、黃）、冷色調（青、藍）和中性色調（紫、綠、黑、灰、白）。

 

【RDC】Dynamic Range Compression

  即動態範圍壓縮，目的是調整影象的動態範圍，使得影象顯示出更多的資訊。 DRC 模組是一個基於人眼視覺系統特性的高階區域性色階對映（多空間動態範圍壓縮）引擎。

【AntiFalseColor】去假彩

 

    真彩色（True Color）：真彩色是指在組成一幅彩色影象的每個畫素值中，有R、G、B三個基色分量，每個基色分量直接決定顯示裝置的基色強度產生彩色。

    偽彩色（Pseudo Color）：每個畫素的顏色不是由每個基色分量的數值直接決定，而是把畫素值當作顏色查詢表(color look-up table，CLUT)的表項入口地址，去查詢一個顯示影象時使用的R，G，B強度值，用查詢出的R，G，B強度值合成產生彩色。

 

    假彩色（False Color）：將多波段單色影像合成為假彩色影像，如landsat 7/ETM+有八個波段，用其中三個合成就是假彩色。

從實現技術上講，假彩色與真彩色是一致的，都是R、G、B分量組合顯示；偽彩色顯示呼叫的是顏色表。

【AntiFog】去霧

去霧原理很複雜，可以參考連結：

http://blog.csdn.net/baimafujinji/article/details/27206237

http://blog.csdn.net/occupy8/article/details/40322683

【Defect Pixel】壞點

【ShadingAttr】暗角校正屬性

【ShadingTable】暗角補償查詢表

【Denoise】噪點抑制

【SharpenAttr】邊緣銳化屬性

【DemosaicAttr】去馬賽克屬性

【NoiseProfile】噪聲型式表

【CrosstalkAttr】CrossTalk remove Attr

【DIS】?

【FPN】


相關文章