2018Android實驗室CV培訓總結

薛定諤的貓兒發表於2019-03-30
Android

Android實驗室CV培訓

OpenCV

傅立葉變換（空間域 -> 頻率域）

什麼是傅立葉變換？

維基百科：

傅立葉變換（法語：Transformation de Fourier、英語：Fourier transform）是一種線性積分變換，用於訊號在時域（或空域）和頻域之間的變換，在物理學和工程學中有許多應用。因其基本思想首先由法國學者約瑟夫·傅立葉系統地提出，所以以其名字來命名以示紀念。實際上傅立葉變換就像化學分析，確定物質的基本成分；訊號來自自然界，也可對其進行分析，確定其基本成分。

通俗的講就是可以將任何具有周期性變換的函式分解為諸多個不同頻率的三角函式的疊加

傅立葉變換

從頻率的方向觀察整個分解的三角函式

變換結果

傅立葉變換在影像處理中有什麼作用？

1.影像增強與影像去噪

  • 絕大部分噪音都是影像的高頻分量，通過低通濾波器來濾除高頻——噪聲; 邊緣也是影像的高頻分量，可以通過新增高頻分量來增強原始影像的邊緣；

2.影像分割之邊緣檢測

  • 提取影像高頻分量

3.影像特徵提取：

  • 形狀特徵：傅立葉描述
  • 紋理特徵：直接通過傅立葉係數來計算紋理特徵
  • 其他特徵：將提取的特徵值進行傅立葉變換來使特徵具有平移、伸縮、旋轉不變性

4.影像壓縮

  • 可以直接通過傅立葉係數來壓縮資料；常用的離散餘弦變換是傅立葉變換的實變換；

垂直邊緣檢測

邊緣是影像中灰度發生急劇變化的區域邊界。影像當中存在有畫素的躍變，而邊緣檢測的目的就是找到這些畫素點。數字影像中求導是利用差分近似微分來進行的.

垂直邊緣檢測I.=png

首先要說的就是邊緣檢測運算元

一階導數運算元

  1. Roberts運算元

Roberts運算元是一種斜向偏差分的梯度計算方法，梯度的大小代表邊緣的強度，梯度的方向與邊緣的走向垂直,Roberts運算元定位精度高，在水平和垂直方向的效果好,兩個卷積核Gx、Gy分別為：

Roberts運算元

  1. Sobel運算元

Sobel運算元是一組方向運算元，從不同的方向檢測邊緣。Sobel運算元通常對灰度漸變和噪聲較多的影像處理的比較好。兩個卷積核Gx、Gy分別為：

Sobel運算元

  1. Prewitt運算元

Prewitt運算元是一種邊緣樣板運算元，利用畫素點上下左右鄰點灰度差，在邊緣處達到極值檢測邊緣，對噪聲具有平滑的作用。兩個卷積核Gx、Gy分別為：

Prewitt運算元

二階導數運算元

  1. Laplacian運算元

拉普拉斯運算元是一種常用的二階導數運算元。實際中可根據二階導數運算元過零點的性質來確定邊緣的位置。常用的兩種模板分別如圖所示：

Laplacian運算元

  1. Canny運算元 Canny運算元把邊緣檢測問題轉換為檢測單位函式極大值的問題來考慮。而OpenCV提供了更加簡便的Canny函式。
#include <iostream>
#include <opencv2/opencv.hpp>
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
#include <stdlib.h>
#include <stdio.h>

using namespace std;
using namespace cv;

int main(int argc, int argv)
{
    //載入影像
    Mat srcImage = imread("D:\\Desktop\\pic.jpg");
    if (srcImage.empty())
    {
        cout << "can not find the img" << endl;
    }
    //顯示原始圖
    imshow("【原圖】Canny邊緣檢測", srcImage);
    Mat edge, greyImage; //引數定義

    //【1】將原影像轉換為灰度影像
    cvtColor(srcImage, greyImage, CV_BGR2GRAY);

    //【2】先使用3×3核心來降噪
    blur(greyImage, edge, Size(3, 3));

    //【3】執行Canny運算元
    Canny(edge, edge, 3, 9, 3);

    //【4】顯示效果圖
    imshow("均值濾波【效果圖】", edge);

    waitKey(0); //等待任意按鍵按下
    return 0;
}
複製程式碼

影像濾波

影像濾波，即在儘量保留影像細節特徵的條件下對目標影像的噪聲進行抑制,即去掉無關的噪音，保留有用的資訊

  • 平滑 -- 去噪，例如剔除到影像上的一隻鳥，根據周圍兩邊的畫素值計算一個近似值，換為均值，即對影像積分。
  • 銳化 -- 將噪點變得更強，例如加強一隻鳥的顯示，將影像邊緣的差值變得更大，即對影像進行微分。

濾波常用API

  • 邊緣檢測
  • Sobel，拉普拉斯運算元
  • 影像去噪/平滑
  • GaussianBlur

中心差分


#include <opencv2/opencv.hpp>
#include "opencv2/highgui/highgui.hpp"
#include <iostream>
#define WINDOW_NAME "【程式視窗】"

using namespace cv;
using namespace std;

int main(int argc, char **argv)
{
    Mat srcImage = imread("D:\\Desktop\\lena.jpg", 1); //讀取圖片
    cvtColor(srcImage, srcImage, COLOR_BGR2GRAY);      //轉為灰度影像

    namedWindow("srcImage", WINDOW_AUTOSIZE); //新建視窗
    imshow("srcImage", srcImage);             //顯示影像
    //waitKey(0);  //影像顯示為一幀

    //由於中心差分的原因，輸出影像比原始圖象少了兩列
    Mat dImage = Mat(srcImage.rows, srcImage.cols - 2, CV_8UC1);

    //迴圈遍歷整個影像
    for (int i = 0; i < srcImage.rows; i++)
    {
        for (int j = 1; j < srcImage.cols - 1; j++)
        {
            //對整型資料型別進行運算,進行中心差分
            dImage.at<uchar>(i, j - 1) = srcImage.at<uchar>(i, j + 1) - srcImage.at<uchar>(i, j - 1);
        }
    }
    namedWindow("dImage", WINDOW_AUTOSIZE); //處理後影像視窗
    imshow("dImage", dImage);               //顯示處理後的影像

    waitKey(0); //影像顯示為一幀
    return 0;
}

複製程式碼

中型差分結果演示：

結果演示

高斯模糊

首先要清楚高斯模糊的原理是什麼？

高斯模糊，聽起來很高大上，但是其實是一門很基礎的演算法應用，普遍運用在Android及其他方面，高斯模糊之所以叫做高斯模糊，是因為它運用了概率統計上的正態分佈(高斯分佈)的密度函式，即：

正態分佈(高斯分佈)的密度函式

其中u是x的均值，σ是x的標準差，由於每次進行計算的時候都是以當前的點為原點，所以我們將u設為0，即化簡為正態分佈的一維方程：

正態分佈的一維方程

正態分佈的一維方程是一種山型圖形，越靠近中間，取值越大，越遠離中間，取值越小。

正態分佈圖示

而高斯模糊的原理就是將影像上各個點的畫素值等效於其邊緣的畫素均值，並且這個均值不只是簡單的平均值，而是加權平均值，即將中心點”看作正態分佈的原點，其他值按照正態分佈的值取權重，相加可得。將加權平均值應用到整個影像，就會產生模糊的效果。顯然，二維的影像使用一維的正態分佈是不合適的，因此我們要使用的是正態分佈的二維方程，即：

正態分佈二維函式方程

在二維上的影像：

正態分佈二維影像

假如現在整個影像共有9個畫素點,中心點為原點，並且令σ為1(標準正態分佈)：

9個畫素點

帶入高斯公式當中，求出每位上的值：

取值

現在這九個畫素值加起來等於4.8976，由於加權平均權值的和必須等於1，因此這九個畫素值嗎每個都必須都除以4.8976，得：

加權平均值

這樣影像中的每個畫素值都被加權平均化，與周圍的畫素點的畫素差值變小，整個影像看起來更加柔和，更加模糊。

接著將該正態分佈的權值放入卷積核當中，然後對整個影像進行卷積。卷積結束之後，高斯模糊就算是完成了。

什麼是"卷積"？

其實卷積（Convolution）是影像處理中最基本的操作，就是一個二維矩陣A（MN）和一個二維矩陣B（mn）做若干操作，生成一個新的二維矩陣C（M*N），其中m和n遠小於M和N，B稱為卷積核（kernel），又稱濾波器矩陣或模板。

卷積

卷積

而濾波器(卷積核)又分為很多種，一種是均值濾波器，中心原點加權值為0，周圍元素值相等，並且和等於1，另一種就是我們現在用的高斯濾波器，高斯濾波器是均值濾波器的高階版本，唯一的區別在於，均值濾波器的卷積核的每個元素都相同，而高斯濾波器的卷積核的元素服從高斯分佈。稍微介紹一下其他常用的濾波器：

影像銳化濾波器

即在邊緣檢測得基礎上，將邊緣檢測得到的畫素值再加到原影像上，使得整個影像的邊緣顯得更加銳化。也就是在邊緣檢測得卷積核基礎上，中心再加1，接著再對影像進行卷積。

影像銳化濾波器 小型卷積核
影像銳化濾波器 大型卷積核

浮雕濾波器

浮雕濾波器浮雕濾波器可以給影像一種3D陰影的效果。只要將中心一邊的畫素減去另一邊的畫素就可以了。

浮雕濾波器 小型卷積核

浮雕濾波器 大型卷積核

A：原影像。B：銳化。C：邊緣檢測。D：浮雕

濾波器

那影像的模糊程度取決於什麼？

  • 1.取決於σ，也就是x的標準差。σ越大，整個影像的畫素值就會變得更加平緩，也就是更模糊；而σ越小，整個影像的畫素變化很小甚至基本不變，導致結果看不到高斯模糊。

取決於σ

  • 2.取決於卷積核的大小，卷積核越大，中心點畫素被周圍畫素(核越大使得這些周圍的畫素越遠)權值化的就更加明顯，影像也就更加模糊。

取決於卷積核的大小

取決於卷積核的大小

程式碼

匯入標頭檔案

#include <opencv2/opencv.hpp>
#include "opencv2/highgui/highgui.hpp"
#include <iostream>
#define WINDOW_NAME "【程式視窗】"
#define PI 3.1415926

using namespace cv;
using namespace std;

複製程式碼

呼叫攝像頭

VideoCapture video(0);
while (true)
{
   Mat frame;//視訊的每一幀
   video >> frame;  //將視訊寫入每一幀
   cvtColor(frame,frame,COLOR_RGB2GRAY);
   cvNamedWindow("frame", WINDOW_AUTOSIZE);
   imshow("frame",frame);
   waitKey(30);
}
複製程式碼

高斯模糊 -- 卷積核進行實現

Mat srcImage = imread("D:\\Desktop\\lena.jpg", 1);  //讀取圖片
cvtColor(srcImage, srcImage,COLOR_BGR2GRAY);  //轉為灰度影像

namedWindow("srcImage", WINDOW_AUTOSIZE);  //新建視窗
imshow("srcImage", srcImage);  //顯示影像
//waitKey(0);  //影像顯示為一幀

//由於中型差分的原因，輸出影像比原始圖象少了兩列
Mat dImage = Mat(srcImage.rows,srcImage.cols - 2,CV_8UC1);

//迴圈遍歷整個影像
for (int i = 0; i < srcImage.rows; i++)
{
    for (int j = 1; j < srcImage.cols - 1; j++)
    {
        //對整型資料型別進行運算,進行中型差分
        dImage.at<uchar>(i, j - 1) = srcImage.at<uchar>(i, j + 1) - srcImage.at<uchar>(i, j - 1);
    }
}
namedWindow("dImage", WINDOW_AUTOSIZE);  //處理後影像視窗
imshow("dImage", dImage);  //顯示處理後的影像

waitKey(0);  //影像顯示為一幀

Mat srcImage = imread("D:\\Desktop\\lena.jpg", 1); //讀取圖片
cvtColor(srcImage, srcImage, COLOR_BGR2GRAY);      //轉為灰度影像
namedWindow("srcImage", WINDOW_AUTOSIZE);          //新建視窗
imshow("srcImage", srcImage);                      //顯示影像

/*高斯模糊*/

//5×5卷積模板
Mat model = Mat(5, 5, CV_64FC1);
double sigma = 80;  //超引數，根據經驗所得
for (int i = - 2; i <= 2 ; i++)  //進行遍歷
{
    for (int j = -2; j <= 2; j++)
    {
        //正態分佈
        model.at<double>(i + 2, j + 2) =
            exp(-(i * i + j * j) / (2 * sigma * sigma)) /
            (2 * PI * sigma * sigma);
    }
}

//歸一化
double gaussSum = 0;
gaussSum = sum(model).val[0];  //卷積核 求和
for (int i = 0; i < model.rows; i++)
{
    for (int j = 0; j < model.cols; j++)
    {
        model.at<double>(i, j) = model.at<double>(i, j)
            / gaussSum;
    }
}

Mat dst = Mat(srcImage.rows - 4,srcImage.cols - 4,CV_8UC1);

//對整個圖片進行遍歷卷積
for (int i = 2; i < srcImage.rows - 2; i++)
{
    for (int j = 2; j < srcImage.cols - 2; j++)
    {
        double sum = 0;  //求和目標值
        for (int m = 0; m < model.rows; m++)
        {
            for (int n = 0; n < model.cols; n++)
            {
                sum += (double)srcImage.at<uchar>(i + m - 2, j + n - 2) * 
                    model.at<double>(m,n);  //對整個卷積核進行卷積
            }
        }
        dst.at<uchar>(i - 2, j - 2) = (uchar)sum;  //結果賦值到dst影像當中
    }
}
namedWindow("gaussBlur", WINDOW_AUTOSIZE);
imshow("gaussBlur", dst);
waitKey(0); //影像顯示為一幀
複製程式碼

呼叫高斯模糊庫函式 -- 一行程式碼實現

Mat dst = srcImage.clone();
//一行程式碼高斯模糊
GaussianBlur(srcImage, dst, Size(17, 17), 180);
namedWindow("gaussBlur", WINDOW_AUTOSIZE);
imshow("gaussBlur", dst);
waitKey(0); //影像顯示為一幀
複製程式碼

高斯模糊(5×5卷積核+sigma = 80)結果演示：

高斯模糊結果演示

參考

Android影像處理 - 高斯模糊的原理及實現 高斯模糊的原理是什麼，怎樣在介面中實現？ 高斯模糊與影像卷積濾波一些知識點

相關文章