相機成像相關知識總結

LyleChen發表於2020-12-21

1. 成像曝光模型

曝光量 = 光線強度×通光孔徑×曝光時間×感光強度

成像曝光的天平模型:

  • 光線強度:相當於雨的大小,單位時間內的降雨量;
  • 通光孔徑:鏡頭的光圈大小,相當於盛水的杯子的口徑,能夠同時接雨水的截面積;
  • 曝光時間:也稱快門速度,相當於用杯子接雨水的持續時間;
  • 感光強度:感光元件的訊號增益係數,即對光線的敏感程度,可以理解為天平兩邊的壁不等長,增大感光度,相當於放杯子側的力臂變長了。

曝光模型

理解了這一曝光模型,很多曝光上的問題就很好理解了,舉幾個例子:

  • 當逆光的時候,特別是強光源(比如太陽)出現在畫面裡的時候,拍攝主體會變暗;
  • 相機上有個設定叫曝光補償,夜晚拍照時,發現太暗,拍虛了,是否應該提高曝光補償;
  • 我有特別的需求,希望畫面比正常的更亮或更暗。

2. 顏色模式

光本質是一種電磁波,波長大約在400~760nm之間。不同波長的光進入人眼,就會產生不同的顏色感覺。

描述顏色的方式成為顏色模式,在數字時代,常見的顏色模式大致有以下幾種:

  • HSV:人眼觀察世界的模式
  • RGB:光的成像模式
  • CMYK:顏料的印刷模式
  • Lab:理論中的顏色模式
  • YUV:視訊常用的顏色模式

2.1 HSV模式

基於人眼的一種顏色模式,它符合人類感官上的直覺性,是人腦理解色彩的方式。

  • H:Hue,色相,在0~360°的標準色相環上,用角度標識的顏色的相位。
  • S:Saturation,飽和度,即顏色的純度,表示色相中彩色成分所佔的比例。
  • V:Value,亮度值,即顏色的明暗程度。

HSV

2.2 RGB模式

RGB被稱為光的三原色

通道:RGB模式具有三個通道。

  • **R ** :Red,紅 。
  • G :Green,綠 。
  • B :Blue,藍 。

RGB

混色原理:通過三種光的不同配比,就可以混合出其他的顏色。

如紅+綠=黃,紅+藍=品紅,綠+藍=青,紅+綠+藍=白。

混合模式: 投射入眼睛的光線越多,人眼感知到的色彩就越亮。因此RGB又被稱為加色模式。

應用:RGB應該是我們最常接觸到的顏色模式,普通的圖片在電腦上一般都是以這種方式開啟。

電腦顯示器是一個發光體,它發出的光投射入人眼,形成色覺。

引數:R、G、B分別賦以0~255的值,就可以表現出各種顏色。

2.3 CMYK模式

CMYK被稱為色的三原色,即顏料的三原色。

通道:CMYK模式具有四個通道。

  • **C ** :Cyan,青。
  • **M ** :Magenta,品。
  • **Y ** :Yellow,黃。
  • **K ** :Black,黑(B已被Blue佔用)。

CMYK

混色原理: 通過三種油墨的不同配比,就可以混合出其他的顏色。

如青+品=藍,青+黃=綠。品+黃=紅,青+品+黃=黑。

混合模式: 在紙上印刷的油墨層數越多,每一層油墨越重,形成的顏色也越深,因此CMYK又被稱為減色模式。

應用: CMYK主要被用於印刷。

理論上用三種油墨一起混合可以得到黑色,但實際印刷時由於工藝的問題,油墨純度達不到理想值,因此得不到標準的黑色,同時,印三層油墨的成本很高,而黑色又是印刷時最常用的顏色之一,因此將黑色油墨做成了一種專色油墨,CMYK一起被合稱為印刷四原色。

引數: C、M、Y、K分別賦以0~100%的值,就可以表現出各種顏色。

RGB與CMYK的關係

結合前面說到的RGB模式,從色相環中可以看到,C、M、Y在位置上分別對應R、G、B,互為補色

這不是巧合,依然可以從人眼的感色原理進行解釋。

一定顏色的顏料會吸收特定波長的可見光,當自然光(白光)照射到這種顏料印刷的表面時,將其中一部分光吸收,剩餘部分的光就會反射入人眼,形成人眼能感知的顏色。

進一步的思想實驗

  1. 讓白光(紅光+綠光+藍光)照射到青色的印刷品上,紅光被吸收,剩下綠光和藍光的部分,反射入人眼,混合成為青色。
  2. 讓黃光( 紅光+綠光 )照射到青色的印刷品上,紅光被吸收,剩下綠光的部分,反射入人眼,這個青色的顏料在人眼的感覺中就是綠色的。
  3. 讓紅光照射到青色的印刷品上,紅光全部被吸收,沒有光反射,理論上人眼看不到任何顏色,顯示為黑色。

肉眼看到的顏色不一定就是實際的顏色。

2.4 Lab模式

Lab模式既不依賴光線,也不依賴顏料,是一種理論上包括了對人眼所有可見色彩的描述的顏色模式。

通道:Lab 模式具有三個通道。

  • L:亮度通道。
  • a:顏色通道a, 從深綠色(低亮度值)到灰色(中亮度值)再到粉紅色(高亮度值)。
  • b:顏色通道b,從亮藍色(底亮度值)到灰色(中亮度值)再到黃色(高亮度值)

LAB

混色原理:在長期的觀察和研究中發現,人眼對於三對顏色一般不會混淆,紅-綠、藍-黃、黑-白。於是提出了人的視覺系統中存在三條顏色通道的理論,分別是感知顏色的紅綠通道(a)和藍黃通道(b)以及感知明暗的明度通道(L)。

各種不同的顏色模式色域比較:

color-area

應用: 由於RBG和CMYK模型自身的一些缺陷,都無法表示出所有的顏色,相互轉換時也會產生損失,造成顏色失真。而 Lab模式可以彌補這種缺陷。它最初是用來從一種色彩模式轉換為另一種色彩模式時使用的內部色彩模式。

2.5 YUV模式

YUV大致可以理解為HSV模式的一種簡化,只要應用於視訊空間。因為人眼對於明度和顏色的敏感程度不同,可以壓縮顏色資訊的表達空間,使得視訊資料的資料量降下來。

通道:YUV模式具有三個通道。

  • Y:亮度通道。
  • U:色調通道。
  • V:飽和度通道。

比如典型的 YUV422 格式,U/V通道的取樣頻率只有Y通道的一半,每2個Y值共用一對U/V值,通過這種方式來壓縮資料量。

3. Sensor

3.1 Sensor型別:CCD & CMOS

  • CCD成像效果好,功耗高
  • CMOS結構簡單,成本低,晶片整合程度高

目前車載行業CMOS成為主流。

3.2 快門形式

捲簾快門 & 全域性快門

  • 捲簾快門:逐行曝光,Sensor逐行掃描逐行進行曝光,直至所有畫素點都被曝光
  • 全域性快門:同步曝光,所有畫素點同時收集光線,同時曝光,同時結束

捲簾&全域性

對於捲簾快門,拍攝高速移動物體時,會有可能發生形變。

捲簾

這種變形稱為果凍效應,其他的一些例子:

果凍效應

果凍效應

但全域性快門也有一些固有的問題,比如:

  • 成本高
  • 在長時間曝光時噪點高

3.3 其他關鍵特性

3.3.1 HDR

HDR(WDR),High dynamic range

  • 單幀HDR:用軟體的方法去進行模擬
  • 多幀HDR:在連續幀中,控制不同的曝光引數,得到不同曝光程度的影像,再進行多幀合成

3.3.2 Strobe

Sensor曝光的同步訊號,用來同步觸發外部閃光燈,在Sensor曝光期間進行照明

一般全域性快門的Sensor才會有strobe輸出

與LED PWM的區別:

  • Strobe的頻率跟視訊幀率一致,一般為25Hz/30Hz等
  • LED PWM的頻率要遠高於視訊幀率,一般可設為1kHz-100kHz,對於一次曝光來說,LED或多次亮滅,來實現輸出功率的調整

3.3.3 LFM

LED Flicker Mitigation

LED光源的閃爍頻率一般高於人眼可感知的頻率,但與攝像頭的快門間隔有部分重合,因此在視訊連續幀中,可能拍到間隔幀的亮滅變化或條紋現象。

LFM

LFM實現的原理,本質上就是在保證正確曝光的情況下,通過各種手段延長曝光時間,使得一幀影像的曝光時間能夠覆蓋LED的閃爍週期。

可能的途徑包括:

  • LOFIC 技術(提升單個畫素的電容容量)
  • 斬波技術(轉移部分電荷)
  • 分離畫素技術(使用大/小兩種光電二極體)

結合開頭將的曝光模型,可以更好地理解這些不同實現方式的原理。

  • 換一套更大的天平、杯子和砝碼
  • 當杯子滿時,清空杯子裡的水,並記錄清空的次數
  • 同時用大/小兩套天平來進行這個實驗

相關文章