利用C++ 設計快取佇列實現高效傳輸相機資料(SampleBuffer)

小東邪發表於2018-02-24
C++快取佇列

利用C++ 設計快取佇列實現高效傳輸相機資料

需求：

在做例如直播功能，有時我們可能要對相機捕獲的影象資料做一些額外操作(Crop, Scale, 美顏等)但由於某些操作演算法本身很耗時，以fps為30為例，如果某一幀處理較慢將可能會掉幀，所以設計一個緩衝佇列先將捕獲到的相機資料放入空閒佇列中，隨後程式中如果需要使用到相機資料則從工作佇列中取出需要的資料。

適用情況

  • 在相機回撥中對每一幀影象進行耗時操作(Crop, Scale...)
  • 提升處理影象的效率
  • 高效處理其他大資料量工作

注意：本例通過設計使用C++ 佇列來實現相機SampleBuffer的快取工作，需要使用Objective-C 與 C++混編。

GitHub地址(附程式碼) : C++快取佇列

簡書地址 : C++快取佇列

部落格地址 : C++快取佇列

掘金地址 : C++快取佇列

總體流程：

  • 設定始終橫屏，初始化相機引數設定代理
  • 在捕捉相機資料的回撥中將samplebuffer放入空閒佇列
  • 開啟一條執行緒每隔10ms從工作佇列中取出samplebuffer可在此對資料處理，處理完後將結點放回空閒佇列

佇列實現及解析

1.原理

初始化固定數量的結點裝入空閒佇列，當相機回撥產生資料後，從空閒佇列頭部取出一個結點將產生的每一幀影象buffer裝入，然後入隊到工作佇列的尾部，處理buffer的執行緒從工作佇列的頭部取出一個結點中的Buffer進行處理，處理完成後會將裝有次buffer的結點中data置空並重新放入空閒佇列的頭部以供下次使用。

原理.png

解析

  • 我們將空閒佇列設計為頭進頭出，影響不大，因為我們每次只需要從空閒佇列中取出一個空結點以供我們裝入相機資料，所以沒必要按照尾進頭出的方式保證結點的順序。
  • 我們將工作佇列設計為尾進頭出，因為我們要確保從相機中捕獲的資料是連續的，以便後期我們播放出來的畫面也是連續的，所以工作佇列必須保證尾進頭出。
  • 這樣做我們相當於實現了用空閒佇列當做緩衝佇列，在正常情況下(fps=30,即每秒產生30幀資料，大約每33ms產生一幀資料)，如果在33ms內對資料進行的操作可以正常完成，則工作佇列會保持始終為0或1，但是如果長期工作或遇到某一幀資料處理較慢的情況(即處理時間大於33ms)則工作佇列的長度會增加，而正因為我們使用了這樣的佇列會保護那一幀處理慢的資料在仍然能夠正常處理完。
注意：這種情景僅用於短時間內僅有幾幀資料處理較慢，如果比如1s內有20幾幀資料都處理很慢則可能導致工作佇列太長，則提現不出此佇列的優勢。
2.結構
  • 結點
typedef struct XDXCustomQueueNode {
    void    *data;
    size_t  size;  // data size
    long    index;
    struct  XDXCustomQueueNode *next;
} XDXCustomQueueNode;
複製程式碼

結點中使用void *型別的data存放我們需要的sampleBuffer,使用index記錄當前裝入結點的sampleBuffer的索引，以便我們在取出結點時比較是否是按照順序取出，結點中還裝著同型別下一個結點的元素。

  • 佇列型別
typedef struct XDXCustomQueue {
    int size;
    XDXCustomQueueType type;
    XDXCustomQueueNode *front;
    XDXCustomQueueNode *rear;
} XDXCustomQueue;
複製程式碼

佇列中即為我們裝載的結點數量，因為我們採用的是預先分配固定記憶體，所以工作佇列與空閒佇列的和始終不變(因為結點中的元素不在工作佇列就在空閒佇列)

  • 類的設計
class XDXCustomQueueProcess {
    
private:
    pthread_mutex_t free_queue_mutex;
    pthread_mutex_t work_queue_mutex;
    
public:
    XDXCustomQueue *m_free_queue;
    XDXCustomQueue *m_work_queue;
    
    XDXCustomQueueProcess();
    ~XDXCustomQueueProcess();
    
    // Queue Operation
    void InitQueue(XDXCustomQueue *queue,
                   XDXCustomQueueType type);
    void EnQueue(XDXCustomQueue *queue,
                 XDXCustomQueueNode *node);
    XDXCustomQueueNode *DeQueue(XDXCustomQueue *queue);
    void ClearXDXCustomQueue(XDXCustomQueue *queue);
    void FreeNode(XDXCustomQueueNode* node);
    void ResetFreeQueue(XDXCustomQueue *workQueue, XDXCustomQueue *FreeQueue);
};
複製程式碼

因為涉及到非同步操作，所以需要對結點的操作加鎖，使用時需要先初始化佇列，然後定義了入隊，出隊，清除佇列中元素，釋放結點，重置空閒佇列等操作。

3.實現
  • 初始化佇列
const int XDXCustomQueueSize = 3;
XDXCustomQueueProcess::XDXCustomQueueProcess() {
    m_free_queue = (XDXCustomQueue *)malloc(sizeof(struct XDXCustomQueue));
    m_work_queue = (XDXCustomQueue *)malloc(sizeof(struct XDXCustomQueue));
    
    InitQueue(m_free_queue, XDXCustomFreeQueue);
    InitQueue(m_work_queue, XDXCustomWorkQueue);
    
    for (int i = 0; i < XDXCustomQueueSize; i++) {
        XDXCustomQueueNode *node = (XDXCustomQueueNode *)malloc(sizeof(struct XDXCustomQueueNode));
        node->data = NULL;
        node->size = 0;
        node->index= 0;
        this->EnQueue(m_free_queue, node);
    }
    
    pthread_mutex_init(&free_queue_mutex, NULL);
    pthread_mutex_init(&work_queue_mutex, NULL);
    
    NSLog(@"XDXCustomQueueProcess Init finish !");
}
複製程式碼

假設空閒佇列結點總數為3.首先為工作佇列與空閒佇列分配記憶體，其次對其分別進行初始化操作，具體過程可參考Demo,然後根據結點總數來為每個結點初始化分配記憶體，並將分配好記憶體的結點入隊到空閒佇列中。

注意：結點的重用，我們僅僅初始化幾個固定數量的結點，因為處理資料量較大，沒有必要讓程式始終做malloc與free，為了優化我們這裡的佇列相當於一個靜態連結串列，即結點的複用，因為當結點在工作佇列中使用完成後會將其中的資料置空並重新入隊到空閒佇列中，所以結點的總數始終保持不變。
  • 入隊Enqueue
void XDXCustomQueueProcess::EnQueue(XDXCustomQueue *queue, XDXCustomQueueNode *node) {
    if (queue == NULL) {
        NSLog(@"XDXCustomQueueProcess Enqueue : current queue is NULL");
        return;
    }
    
    if (node==NULL) {
        NSLog(@"XDXCustomQueueProcess Enqueue : current node is NULL");
        return;
    }
    
    node->next = NULL;
    
    if (XDXCustomFreeQueue == queue->type) {
        pthread_mutex_lock(&free_queue_mutex);
        
        if (queue->front == NULL) {
            queue->front = node;
            queue->rear  = node;
        }else {
            /*
             // tail in,head out
             freeQueue->rear->next = node;
             freeQueue->rear = node;
             */
            
            // head in,head out
            node->next = queue->front;
            queue->front = node;
        }
        queue->size += 1;
        NSLog(@"XDXCustomQueueProcess Enqueue : free queue size=%d",queue->size);
        pthread_mutex_unlock(&free_queue_mutex);
    }
    
    if (XDXCustomWorkQueue == queue->type) {
        pthread_mutex_lock(&work_queue_mutex);
        //TODO
        static long nodeIndex = 0;
        node->index=(++nodeIndex);
        if (queue->front == NULL) {
            queue->front = node;
            queue->rear  = node;
        }else {
            queue->rear->next   = node;
            queue->rear         = node;
        }
        queue->size += 1;
        NSLog(@"XDXCustomQueueProcess Enqueue : work queue size=%d",queue->size);
        pthread_mutex_unlock(&work_queue_mutex);
    }
}
複製程式碼

如上所述，入隊操作如果是空閒佇列，則使用頭進的方式，即始終讓入隊的結點在佇列的頭部，具體程式碼實現即讓當前結點的next指向空閒佇列的頭結點，然後將當前結點變為空閒佇列的頭結點；如果入隊操作是工作佇列，則使用尾進的方式，並對結點的index賦值，以便我們在取出結點時可以列印Index是否連續，如果連續則說明入隊時始終保持順序入隊。

這裡使用了簡單的資料結構中的知識，如有不懂可上網進行簡單查閱

  • 出隊
XDXCustomQueueNode* XDXCustomQueueProcess::DeQueue(XDXCustomQueue *queue) {
    if (queue == NULL) {
        NSLog(@"XDXCustomQueueProcess DeQueue : current queue is NULL");
        return NULL;
    }
    
    const char *type = queue->type == XDXCustomWorkQueue ? "work queue" : "free queue";
    pthread_mutex_t *queue_mutex = ((queue->type == XDXCustomWorkQueue) ? &work_queue_mutex : &free_queue_mutex);
    XDXCustomQueueNode *element = NULL;
    
    pthread_mutex_lock(queue_mutex);
    element = queue->front;
    if(element == NULL) {
        pthread_mutex_unlock(queue_mutex);
        NSLog(@"XDXCustomQueueProcess DeQueue : The node is NULL");
        return NULL;
    }
    
    queue->front = queue->front->next;
    queue->size -= 1;
    pthread_mutex_unlock(queue_mutex);
    
    NSLog(@"XDXCustomQueueProcess DeQueue : %s size=%d",type,queue->size);
    return element;
}
複製程式碼

出隊操作無論空閒佇列還是工作佇列都是從頭出，即取出當前佇列頭結點中的資料。

注意：該結點為空與該結點中的資料為空不可混為一談，如果該結點為空則說明沒有從佇列中取出結點，即空結點沒有記憶體地址，而結點中的資料則為node->data,在本Demo中為相機產生的每一幀sampleBuffer資料。
  • 重置空閒佇列資料
void XDXCustomQueueProcess::ResetFreeQueue(XDXCustomQueue *workQueue, XDXCustomQueue *freeQueue) {
    if (workQueue == NULL) {
        NSLog(@"XDXCustomQueueProcess ResetFreeQueue : The WorkQueue is NULL");
        return;
    }
    
    if (freeQueue == NULL) {
        NSLog(@"XDXCustomQueueProcess ResetFreeQueue : The FreeQueue is NULL");
        return;
    }
    
    int workQueueSize = workQueue->size;
    if (workQueueSize > 0) {
        for (int i = 0; i < workQueueSize; i++) {
            XDXCustomQueueNode *node = DeQueue(workQueue);
            CFRelease(node->data);
            node->data = NULL;
            EnQueue(freeQueue, node);
        }
    }
    NSLog(@"XDXCustomQueueProcess ResetFreeQueue : The work queue size is %d, free queue size is %d",workQueue->size, freeQueue->size);
}
複製程式碼

當我們將執行一些中斷操作，例如從本View跳轉到其他View，或進入後臺等操作，我們需要將工作佇列中的結點均置空然後重新放回空閒佇列，這樣可以保證我們最初申請的結點還均有效可用，保證結點不會丟失。

--------------------------------------------------------

流程

1.初始化相機相關引數

常規流程，Demo中有實現，在此不復述

2.將samplebuffer放入空閒佇列

設定相機代理後，在 - (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection 方法中將samplebuffer裝入空閒佇列

- (void)addBufferToWorkQueueWithSampleBuffer:(CMSampleBufferRef)sampleBuffer {
    XDXCustomQueueNode *node = _captureBufferQueue->DeQueue(_captureBufferQueue->m_free_queue);
    if (node == NULL) {
        NSLog(@"XDXCustomQueueProcess addBufferToWorkQueueWithSampleBuffer : Data in , the node is NULL !");
        return;
    }
    CFRetain(sampleBuffer);
    node->data = sampleBuffer;
    _captureBufferQueue->EnQueue(_captureBufferQueue->m_work_queue, node);

    NSLog(@"XDXCustomQueueProcess addBufferToWorkQueueWithSampleBuffer : Data in ,  work size = %d, free size = %d !",_captureBufferQueue->m_work_queue->size, _captureBufferQueue->m_free_queue->size);
}

複製程式碼

注意：因為相機回撥中捕捉的sampleBuffer是有生命週期的所以需要手動CFRetain一下使我們佇列中的結點持有它。

3.開啟一條執行緒處理佇列中的Buffer

使用pthread建立一條執行緒，每隔10ms取一次資料,我們可以在此對取到的資料進行我們想要的操作，操作完成後再將清空釋放sampleBuffer再將其裝入空閒佇列供我們迴圈使用。

- (void)handleCacheThread {
    while (true) {
        // 從佇列取出在相機回撥中放入佇列的執行緒
        XDXCustomQueueNode *node = _captureBufferQueue->DeQueue(_captureBufferQueue->m_work_queue);
        if (node == NULL) {
            NSLog(@"Crop handleCropThread : Data node is NULL");
            usleep(10*1000);
            continue;
        }
        
        CMSampleBufferRef sampleBuffer     = (CMSampleBufferRef)node->data;
        // 列印結點的index，如果連續則說明在相機回撥中放入的samplebuffer是連續的
        NSLog(@"Test index : %ld",node->index);
        
        /* 可在此處理從佇列中拿到的Buffer，用完後記得釋放記憶體並將結點重新放回空閒佇列
         * ........
         */
        
        CFRelease(sampleBuffer);
        node->data = NULL;
        _captureBufferQueue->EnQueue(_captureBufferQueue->m_free_queue, node);
    }
}
複製程式碼

相關文章