【Camera專題】Qcom-你應該掌握的Camera基礎一

c楓_擼碼的日子發表於2019-02-26

一、吐槽

日常吐槽:
12月27號入職,從MTK平臺轉到展訊平臺,導師給安排關於Camera了2個棘手的任務,

展訊那邊都沒有找到解決方案的,最終靠自己解決了,也證明了自己一波。

當然也被導師表揚瞭解決問題的效率和方法。

這邊主要做高通的旗艦機,因此,又要研究高通平臺的Camera這一塊。

折騰來去,一下子3個平臺都接觸了,也是挺心累的,沒人指導,也沒有能探討這一塊技術的人!

算了,修行靠個人,自己慢慢積累吧!摸索出自己的方法。

本文涉及知識點:


  • 1.Camera啟動速度分析(Hal層的耗時)
  • 2.如何檢視Camera的幀率(fps):拍照和視訊
  • 3.獲取資料流的幀(YUV圖)

二、知識點

如何看log是我們新手工程師很頭疼的問題,很多新手工程師遇到了問題,
卻不知道log怎麼分析,看著幾萬行的log,就頭大!
我覺得,想要分析問題,學會看log很重要,無法就以下2個方面:

  • 1 掌握相關模組的知識
    例如:你要做Camera驅動和Hal層這一塊,
    首先你得掌握它的流程吧,比如open、preview、takePicture等流程,
    其次你得掌握資料流是怎麼傳送的吧等等
    這些就要你自己看部落格,看官方文件,跟原始碼,向老師傅請假去學習了。
  • 2 經驗積累
    這些經驗可能是高通工程師教你的,也可能是老前輩,比如他們會告訴你
    搜尋xxx關鍵字去檢視,比如怎麼看檢視拍照時的幀率(fps)等

老前輩的經驗分享
趕緊做筆記!!!

ps:以下操作需要在adb root情況下進行

1.Camera啟動速度(Hal層的耗時)

Camera的啟動速度,是我們經常做優化的地方,除了通過儀器去測量,還可以通過Log來檢視!
搜尋關鍵字:[KPI Perf]

01-24 17:55:57.657   371  4074 D QCamera2HWI: [KPI Perf] int qcamera::QCamera2HardwareInterface::openCamera(hw_device_t**): 
E PROFILE_OPEN_CAMERA camera id 0  //這裡開啟攝像頭
01-24 17:55:58.139   371  2380 D QCamera2HWI: [KPI Perf] 
static int qcamera::QCamera2HardwareInterface::start_preview(camera_device*):
 E PROFILE_START_PREVIEW
01-24 17:55:58.528   371 16975 D QCamera2HWI: int qcamera::QCamera2HardwareInterface::startPreview(): X
01-24 17:55:58.528   371  2380 D QCamera2HWI: [KPI Perf] static int qcamera::QCamera2HardwareInterface::
start_preview(camera_device*): X
01-24 17:55:58.530  2971  2971 D CameraManager: {CameraManager.initVideoCamera-199} 
攝像頭開啟預覽.
01-24 17:55:58.654   371 17015 D QCamera2HWI: [KPI Perf] static void qcamera::QCamera2HardwareInterface::
preview_stream_cb_routine(mm_camera_super_buf_t*, qcamera::QCameraStream*, void*) : 
PROFILE_FIRST_PREVIEW_FRAME  //第一幀預覽畫面出現
複製程式碼

開啟Camera的時間點:01-24 17:55:57.657
第一幀預覽畫面出現的時間點:01-24 17:55:58.654
耗時:0.997s(將近1s左右)
注意這是從進入開始Hal層的計算的耗時
我們來看看原始碼,

int QCamera2HardwareInterface::openCamera(struct hw_device_t **hw_device)
{
··· 
    CDBG_HIGH("[KPI Perf] %s: E PROFILE_OPEN_CAMERA camera id %d", __func__,mCameraId);
    rc = openCamera();
···
}
複製程式碼
void QCamera2HardwareInterface::preview_stream_cb_routine(mm_camera_super_buf_t *super_frame,
                                                          QCameraStream * stream,
                                                          void *userdata)
{
    ALOGD("[KPI Perf] %s : BEGIN", __func__);
···
    if(pme->m_bPreviewStarted) {
       CDBG_HIGH("[KPI Perf] %s : PROFILE_FIRST_PREVIEW_FRAME", __func__);
       pme->m_bPreviewStarted = false ;
    }
···
}
複製程式碼

事實上,高通也只是在呼叫地方列印了一下當前的時間點,因此如果你想分析某個功能的耗時,
就按照高通的思路,呼叫前後列印一下當前函式就可以了,最後再通過時間戳計算耗時!
當然了,在哪裡加log就要自己對流程熟悉了!!!

2.如何檢視Camera的幀率(fps):拍照和視訊

  • 1 拍照幀率
    原始碼:
    hardware/qcom/camera/QCamera2/HAL/QCamera2HWICallbacks.cpp
void QCamera2HardwareInterface::debugShowPreviewFPS()
{
    static int n_pFrameCount = 0; 
    static int n_pLastFrameCount = 0; 
    static nsecs_t n_pLastFpsTime = 0; 
    static double n_pFps = 0; 
    n_pFrameCount++;
    nsecs_t now = systemTime();
    nsecs_t diff = now - n_pLastFpsTime;
    if (diff > ms2ns(250)) {
        n_pFps = (((double)(n_pFrameCount - n_pLastFrameCount)) *
                (double)(s2ns(1))) / (double)diff;
        CDBG_HIGH("[KPI Perf] %s: PROFILE_PREVIEW_FRAMES_PER_SECOND : %.4f", __func__, n_pFps);
        n_pLastFpsTime = now; 
        n_pLastFrameCount = n_pFrameCount;
    }    
}
複製程式碼

hal層是如何計算實際輸出的幀率:

  n_pFps = (((double)(n_pFrameCount - n_pLastFrameCount)) *(double)(s2ns(1))) / (double)diff;
複製程式碼

搜尋關鍵字:PROFILE_PREVIEW_FRAMES_PER_SECOND
預設fps是不輸出的,需要用到adb命令開啟

【Camera專題】Qcom-你應該掌握的Camera基礎一
拍照幀率
  • 2.視訊幀率
    原始碼:
    hardware/qcom/camera/QCamera2/HAL/QCamera2HWICallbacks.cpp
void QCamera2HardwareInterface::debugShowVideoFPS()
{
    static int n_vFrameCount = 0; 
    static int n_vLastFrameCount = 0; 
    static nsecs_t n_vLastFpsTime = 0; 
    static double n_vFps = 0; 
    n_vFrameCount++;
    nsecs_t now = systemTime();
    nsecs_t diff = now - n_vLastFpsTime;
    if (diff > ms2ns(250)) {
        n_vFps = (((double)(n_vFrameCount - n_vLastFrameCount)) *
                (double)(s2ns(1))) / (double)diff;
        ALOGE("Video Frames Per Second: %.4f", n_vFps);
        n_vLastFpsTime = now; 
        n_vLastFrameCount = n_vFrameCount;
    }    
}
複製程式碼

搜尋關鍵字:Video Frames Per Second
執行命令

adb root
adb shell setprop persist.debug.sf.showfps 1 
adb shell
logcat | grep  "Video Frames Per Second"
複製程式碼
視訊幀率

3.獲取資料流的幀(YUV圖)

原始碼:
hardware/qcom/camera/QCamera2/HAL/QCamera2HWICallbacks.cpp

void QCamera2HardwareInterface::dumpFrameToFile(QCameraStream *stream,
        mm_camera_buf_def_t *frame, uint32_t dump_type)
{
    char value[PROPERTY_VALUE_MAX];
    property_get("persist.camera.dumpimg", value, "0");
    uint32_t enabled = (uint32_t) atoi(value);
    uint32_t frm_num = 0;
    uint32_t skip_mode = 0;

    if (stream)
        mDumpFrmCnt = stream->mDumpFrame;
    if(enabled & QCAMERA_DUMP_FRM_MASK_ALL) {
        if((enabled & dump_type) && stream && frame) {
            frm_num = ((enabled & 0xffff0000) >> 16);
            if(frm_num == 0) {
                frm_num = 10; //default 10 frames
            }
            if(frm_num > 256) {
                frm_num = 256; //256 buffers cycle around
            }
            skip_mode = ((enabled & 0x0000ff00) >> 8);
            if(skip_mode == 0) {
                skip_mode = 1; //no-skip
            }
            if(stream->mDumpSkipCnt == 0)
                stream->mDumpSkipCnt = 1;

            if( stream->mDumpSkipCnt % skip_mode == 0) {
                if((frm_num == 256) && (mDumpFrmCnt >= frm_num)) {
                    // reset frame count if cycling
                    mDumpFrmCnt = 0;
                }
            if (timeinfo != NULL)
                strftime (timeBuf, sizeof(timeBuf), "/data/misc/camera/%Y%m%d%H%M%S", timeinfo);
···   
}
複製程式碼

從原始碼中我們可以得出很多資訊:

如果你想檢視預覽、視訊、快照、縮圖、Raw 或 JPEG 幀,那麼:

【Camera專題】Qcom-你應該掌握的Camera基礎一

以下命令可在啟動攝像頭應用之前啟用幀轉儲設定。

adb root 
adb shell chmod 777 /data/misc/camera 
adb shell setprop persist.camera.dumpimg 655615  
複製程式碼

在本例中,655615(十六進位制表示為 0xA00FF)是指根據攝像頭應用的工作模式,

連續十 個幀的所用預覽、視訊、快照、縮圖、Raw 或 JPEG 幀

都會被轉儲到 /data/misc/camera 資料夾。 /vendor/qcom/hardware/qcom/camera/QCamera2/HAL/QCamera2HWICallbacks.cpp

檔案的 QCamera2HardwareInterface::dumpFrameToFile() 函式用於轉儲 /data 資料夾下的檔案。

有關每種幀型別使用的檔案命名約定,可參見原始碼中的 dumpFrameToFile() 函式.

我們來看實際效果:

以下是預覽的時候的yuv圖,使用YUVViewer工具檢視

YUVView工具下載連結

提取碼: h6j6

預覽流YUV圖

為啥是從第三張開始:

因為預設跳過了前2幀影像

vendor/qcom/proprietary/mm-camera/mm-camera2/media-controller/
modules/sensors/sensor_libs/ov5675_d5v15b/ov5675_d5v15b_lib.c
static sensor_lib_t sensor_lib_ptr = {
···
  /* number of frames to skip after start stream */
  .sensor_num_frame_skip = 2, 
···
}
複製程式碼
第3張和第8張
第9張和第13張

以上就是本篇Camera的知識積累了!

一會就要開年會了,

下期再見!!!

Stay hungry,Stay foolish!

相關文章