Kinect開發學習筆記之（八）彩色、深度、骨骼和使用者摳圖結合

【原文：http://blog.csdn.net/zouxy09/article/details/8163265】

Kinect開發學習筆記之（八）彩色、深度、骨骼和使用者摳圖結合

zouxy09@qq.com

http://blog.csdn.net/zouxy09

 

我的Kinect開發平臺是：

Win7 x86 + VS2010 + Kinect for Windows SDK v1.6 + OpenCV2.3.0

開發環境的搭建見上一文：

http://blog.csdn.net/zouxy09/article/details/8146055

 

本學習筆記以下面的方式組織：程式設計前期分析、程式碼與註釋和重要程式碼解析三部分。

 

要實現目標：整合前面所說的彩色影象、深度影象和骨骼影象，就是實現和SDK自帶的那個SkeletonView例程差不多的功能。另外，再增加使用者摳圖功能，這個功能和SDK自帶的那個Green Screen功能差不多。我們通過OpenCV來顯示。

 

一、程式設計前期分析

       這裡因為是整合前面幾個學習筆記提到的功能，所以要了解的東西前面都已經瞭解了，這裡就不贅述了。這裡唯一有一個新的點就是使用者摳圖，我們再學習學習。

       那麼叫摳圖啊？用過Photoshop或者AE等一般的影象或者視訊處理軟體的人應該不會陌生。所謂摳圖，就是把圖片或影像的某一部分從原始圖片或影像中分離出來成為單獨的圖層。主要功能是為了後期的合成做準備。如果還不瞭解的話，我們看過科幻電影或者一個特效視訊吧？某個人在恐龍旁邊、某個人在懸崖邊打架、某個人在天上飛等等，這些場景大家有沒有想過它是怎樣實現的啊？難道真的是實景拍的？你都會說了“怎麼可能！”。實際上很大一部分就是採用摳圖這個技術的，如果搞視訊特效處理的話，這個技術行業內好像叫“鍵控”。它在電視製作和電影製作中很常見，這種技術叫做綠屏摳像，就是演員或者播音員站在綠色底板前，然後錄完節目後，綠色背景摳出，換成其他場景，在一些科幻電影中演員不可能在實景中表演時常採用的造景手法。

       在Kinect中我們也可以達到類似的效果。Kinect SDK使得這個很容易實現。這實際上就是現實增強的一個基本例子，現實增強應用非常有趣而且能夠獲得非常好的使用者體驗。許多藝術家使用Kinect來進行現實增強互動展覽。另外，這種技術也通常作為廣告和營銷的工具。

 

二、程式碼與註釋

 

三、程式碼解析

       這裡，在對前面所說的彩色影象、深度影象和骨骼影象的整合功能的實現上，就是通過整合前面工作的程式碼而已（請參考之前的博文）。然後唯一有一個新的東西就是摳圖，我們需要把使用者扣出來，顯示與背景不一樣的顏色，具體的函式就是：

void getTheContour(Mat &image, int whichone, Mat &mask)；

       呼叫它的時候，傳入的是深度影象image，我們在深度影象處理的時候，也就是getDepthImage 函式裡面對深度資料已經做了處理，已經將玩家的ID資料轉換為RGBQUAD 格式的資料了，所以使用者的ID資料已經隱含的在深度影象的每個畫素中表示了，所以這裡我們只需要分析每個畫素的RGB值就可以對應的知道是哪個ID了，那麼屬於某個ID的畫素我們就用某種顏色來表示，其他背景畫素我們就用藍色來表示。這樣就完成了摳圖。

       實際上，我們之前提到的getDepthImage 函式就是處理深度資料的每一個畫素，如果屬於同一個使用者的ID，那麼畫素就標為同種顏色，不同的使用者，其ID不一樣，顏色的標示也不一樣，如果不屬於某個使用者的畫素，那麼就採用原來的深度值，而getTheContour函式實際上就是這裡不一樣而已。“如果不屬於某個使用者的畫素，那麼就採用原來的深度值”，這裡改為“如果不屬於某個使用者的畫素，那麼就將畫素值賦值為藍色”。

既然你都把使用者扣出來了，那麼把他弄到你給定的一個圖片場景裡面應該不難了吧。呵呵，相信大家都有各種辦法的。

       至此，本文的目標就達到了，下面是結果。其實右邊是彩色影象，在彩色影象裡面使用者的骨架也是被標註出來的，只是本人不宜拋頭露面，所以就拋棄這部分的截圖了。

 

        另外，感覺到這裡，Kinect SDK能提供的基本資料我們會獲取了，也就是勉勉強強把地基打好了，那麼後面的工作就是在上面創造屬於你的世界了。我們後面會學習基於Kinect的姿態、手勢識別等等的內容，通過他們去構建良好的人機互動程式。當然，Kinect還包含有語音識別的功能，這裡暫時就不涉及了。