【Camera專題】Qcom-你應該掌握的Camera基礎一

c楓_擼碼的日子發表於2019-02-26

一、吐槽

日常吐槽：
12月27號入職，從MTK平臺轉到展訊平臺，導師給安排關於Camera了2個棘手的任務，

展訊那邊都沒有找到解決方案的，最終靠自己解決了，也證明了自己一波。

當然也被導師表揚瞭解決問題的效率和方法。

這邊主要做高通的旗艦機，因此，又要研究高通平臺的Camera這一塊。

折騰來去，一下子3個平臺都接觸了，也是挺心累的，沒人指導，也沒有能探討這一塊技術的人！

算了，修行靠個人，自己慢慢積累吧！摸索出自己的方法。

本文涉及知識點：

  • 1.Camera啟動速度分析(Hal層的耗時)
  • 2.如何檢視Camera的幀率(fps):拍照和視訊
  • 3.獲取資料流的幀(YUV圖)

二、知識點

如何看log是我們新手工程師很頭疼的問題，很多新手工程師遇到了問題，
卻不知道log怎麼分析，看著幾萬行的log，就頭大！
我覺得，想要分析問題，學會看log很重要，無法就以下2個方面：

  • 1 掌握相關模組的知識
    例如：你要做Camera驅動和Hal層這一塊，
    首先你得掌握它的流程吧，比如open、preview、takePicture等流程，
    其次你得掌握資料流是怎麼傳送的吧等等
    這些就要你自己看部落格，看官方文件，跟原始碼，向老師傅請假去學習了。
  • 2 經驗積累
    這些經驗可能是高通工程師教你的，也可能是老前輩，比如他們會告訴你
    搜尋xxx關鍵字去檢視，比如怎麼看檢視拍照時的幀率(fps)等

老前輩的經驗分享
趕緊做筆記！！！

ps:以下操作需要在adb root情況下進行

1.Camera啟動速度(Hal層的耗時)

Camera的啟動速度，是我們經常做優化的地方，除了通過儀器去測量，還可以通過Log來檢視！
搜尋關鍵字：[KPI Perf]

01-24 17:55:57.657   371  4074 D QCamera2HWI: [KPI Perf] int qcamera::QCamera2HardwareInterface::openCamera(hw_device_t**): 
E PROFILE_OPEN_CAMERA camera id 0  //這裡開啟攝像頭
01-24 17:55:58.139   371  2380 D QCamera2HWI: [KPI Perf] 
static int qcamera::QCamera2HardwareInterface::start_preview(camera_device*):
 E PROFILE_START_PREVIEW
01-24 17:55:58.528   371 16975 D QCamera2HWI: int qcamera::QCamera2HardwareInterface::startPreview(): X
01-24 17:55:58.528   371  2380 D QCamera2HWI: [KPI Perf] static int qcamera::QCamera2HardwareInterface::
start_preview(camera_device*): X
01-24 17:55:58.530  2971  2971 D CameraManager: {CameraManager.initVideoCamera-199} 
攝像頭開啟預覽.
01-24 17:55:58.654   371 17015 D QCamera2HWI: [KPI Perf] static void qcamera::QCamera2HardwareInterface::
preview_stream_cb_routine(mm_camera_super_buf_t*, qcamera::QCameraStream*, void*) : 
PROFILE_FIRST_PREVIEW_FRAME  //第一幀預覽畫面出現
複製程式碼

開啟Camera的時間點:01-24 17:55:57.657
第一幀預覽畫面出現的時間點:01-24 17:55:58.654
耗時:0.997s(將近1s左右)
注意這是從進入開始Hal層的計算的耗時
我們來看看原始碼，

int QCamera2HardwareInterface::openCamera(struct hw_device_t **hw_device)
{
··· 
    CDBG_HIGH("[KPI Perf] %s: E PROFILE_OPEN_CAMERA camera id %d", __func__,mCameraId);
    rc = openCamera();
···
}
複製程式碼
void QCamera2HardwareInterface::preview_stream_cb_routine(mm_camera_super_buf_t *super_frame,
                                                          QCameraStream * stream,
                                                          void *userdata)
{
    ALOGD("[KPI Perf] %s : BEGIN", __func__);
···
    if(pme->m_bPreviewStarted) {
       CDBG_HIGH("[KPI Perf] %s : PROFILE_FIRST_PREVIEW_FRAME", __func__);
       pme->m_bPreviewStarted = false ;
    }
···
}
複製程式碼

事實上，高通也只是在呼叫地方列印了一下當前的時間點，因此如果你想分析某個功能的耗時，
就按照高通的思路，呼叫前後列印一下當前函式就可以了，最後再通過時間戳計算耗時！
當然了，在哪裡加log就要自己對流程熟悉了！！！

2.如何檢視Camera的幀率(fps):拍照和視訊

  • 1 拍照幀率
    原始碼:
    hardware/qcom/camera/QCamera2/HAL/QCamera2HWICallbacks.cpp
void QCamera2HardwareInterface::debugShowPreviewFPS()
{
    static int n_pFrameCount = 0; 
    static int n_pLastFrameCount = 0; 
    static nsecs_t n_pLastFpsTime = 0; 
    static double n_pFps = 0; 
    n_pFrameCount++;
    nsecs_t now = systemTime();
    nsecs_t diff = now - n_pLastFpsTime;
    if (diff > ms2ns(250)) {
        n_pFps = (((double)(n_pFrameCount - n_pLastFrameCount)) *
                (double)(s2ns(1))) / (double)diff;
        CDBG_HIGH("[KPI Perf] %s: PROFILE_PREVIEW_FRAMES_PER_SECOND : %.4f", __func__, n_pFps);
        n_pLastFpsTime = now; 
        n_pLastFrameCount = n_pFrameCount;
    }    
}
複製程式碼

hal層是如何計算實際輸出的幀率：

  n_pFps = (((double)(n_pFrameCount - n_pLastFrameCount)) *(double)(s2ns(1))) / (double)diff;
複製程式碼

搜尋關鍵字：PROFILE_PREVIEW_FRAMES_PER_SECOND
預設fps是不輸出的，需要用到adb命令開啟

【Camera專題】Qcom-你應該掌握的Camera基礎一
拍照幀率
  • 2.視訊幀率
    原始碼:
    hardware/qcom/camera/QCamera2/HAL/QCamera2HWICallbacks.cpp
void QCamera2HardwareInterface::debugShowVideoFPS()
{
    static int n_vFrameCount = 0; 
    static int n_vLastFrameCount = 0; 
    static nsecs_t n_vLastFpsTime = 0; 
    static double n_vFps = 0; 
    n_vFrameCount++;
    nsecs_t now = systemTime();
    nsecs_t diff = now - n_vLastFpsTime;
    if (diff > ms2ns(250)) {
        n_vFps = (((double)(n_vFrameCount - n_vLastFrameCount)) *
                (double)(s2ns(1))) / (double)diff;
        ALOGE("Video Frames Per Second: %.4f", n_vFps);
        n_vLastFpsTime = now; 
        n_vLastFrameCount = n_vFrameCount;
    }    
}
複製程式碼

搜尋關鍵字：Video Frames Per Second
執行命令

adb root
adb shell setprop persist.debug.sf.showfps 1 
adb shell
logcat | grep  "Video Frames Per Second"
複製程式碼
視訊幀率

3.獲取資料流的幀(YUV圖)

原始碼：
hardware/qcom/camera/QCamera2/HAL/QCamera2HWICallbacks.cpp

void QCamera2HardwareInterface::dumpFrameToFile(QCameraStream *stream,
        mm_camera_buf_def_t *frame, uint32_t dump_type)
{
    char value[PROPERTY_VALUE_MAX];
    property_get("persist.camera.dumpimg", value, "0");
    uint32_t enabled = (uint32_t) atoi(value);
    uint32_t frm_num = 0;
    uint32_t skip_mode = 0;

    if (stream)
        mDumpFrmCnt = stream->mDumpFrame;
    if(enabled & QCAMERA_DUMP_FRM_MASK_ALL) {
        if((enabled & dump_type) && stream && frame) {
            frm_num = ((enabled & 0xffff0000) >> 16);
            if(frm_num == 0) {
                frm_num = 10; //default 10 frames
            }
            if(frm_num > 256) {
                frm_num = 256; //256 buffers cycle around
            }
            skip_mode = ((enabled & 0x0000ff00) >> 8);
            if(skip_mode == 0) {
                skip_mode = 1; //no-skip
            }
            if(stream->mDumpSkipCnt == 0)
                stream->mDumpSkipCnt = 1;

            if( stream->mDumpSkipCnt % skip_mode == 0) {
                if((frm_num == 256) && (mDumpFrmCnt >= frm_num)) {
                    // reset frame count if cycling
                    mDumpFrmCnt = 0;
                }
            if (timeinfo != NULL)
                strftime (timeBuf, sizeof(timeBuf), "/data/misc/camera/%Y%m%d%H%M%S", timeinfo);
···   
}
複製程式碼

從原始碼中我們可以得出很多資訊：

如果你想檢視預覽、視訊、快照、縮圖、Raw 或 JPEG 幀，那麼：

【Camera專題】Qcom-你應該掌握的Camera基礎一

以下命令可在啟動攝像頭應用之前啟用幀轉儲設定。

adb root 
adb shell chmod 777 /data/misc/camera 
adb shell setprop persist.camera.dumpimg 655615  
複製程式碼

在本例中，655615（十六進位制表示為 0xA00FF）是指根據攝像頭應用的工作模式，

連續十 個幀的所用預覽、視訊、快照、縮圖、Raw 或 JPEG 幀

都會被轉儲到 /data/misc/camera 資料夾。 /vendor/qcom/hardware/qcom/camera/QCamera2/HAL/QCamera2HWICallbacks.cpp

檔案的 QCamera2HardwareInterface::dumpFrameToFile() 函式用於轉儲 /data 資料夾下的檔案。

有關每種幀型別使用的檔案命名約定，可參見原始碼中的 dumpFrameToFile() 函式.

我們來看實際效果:

以下是預覽的時候的yuv圖,使用YUVViewer工具檢視

YUVView工具下載連結

提取碼: h6j6

預覽流YUV圖

為啥是從第三張開始:

因為預設跳過了前2幀影像

vendor/qcom/proprietary/mm-camera/mm-camera2/media-controller/
modules/sensors/sensor_libs/ov5675_d5v15b/ov5675_d5v15b_lib.c
static sensor_lib_t sensor_lib_ptr = {
···
  /* number of frames to skip after start stream */
  .sensor_num_frame_skip = 2, 
···
}
複製程式碼
第3張和第8張
第9張和第13張

以上就是本篇Camera的知識積累了！

一會就要開年會了，

下期再見！！！

Stay hungry，Stay foolish！

相關文章