譜圖（Spectral Graph Theory）理解（2）

田神發表於2018-09-19
Graph Theory

參考文章：Introduction to Spectral Graph Theory and Graph Clustering
作者：Chengming Jiang，ECS 231 Spring 2016 University of California, Davis
本文的目的是進行計算機影像分割：
在這裡插入圖片描述
圖1 影像分割

一、預備知識

關於圖（G）、度矩陣（D）、鄰接矩陣（A）皆在上一篇理解中交代過，現補充一些新的定義：
1、權重矩陣
A weighted graph is a pair G=(V,W) where

  • V={vi}V=\{v_i\} is a set of vertices and ∣V∣=n\vert V\vert=n;
  • W∈Rn×nW\in \mathbb R^{n\times n} is called weight matrix with
    wij={wij≥0if i≠j0i=j w_{ij}=\begin{cases} w_{ij}\ge 0 & \text{if $i\neq j$}\\ 0 & \text{i=j}\end{cases}
    W是權重矩陣，V是頂點，它們構成對G=(V,W)，即是權重圖G。
    The underlying graph of G is G^=(V,E)\hat G=(V,E) with
    E={{vi,vj}∣wij>0}E=\{\{v_i,v_j\}\vert w_{ij}\gt 0\}
  • If wij∈{0,1},W=Aw_{ij}\in\{0,1\},W=A, the adjacency matrix of G^\hat G
  • Since wii=0w_{ii}=0, there is no self-loops in G^\hat G
    W是對A的一個擴充套件，當wij∈{0,1}w_{ij}\in\{0,1\}，W即是A。定義W後，需要重新定義頂點的度（degree of a vertex）和度矩陣（degree matrix）：
    d(vi)=∑j=1nwijdegree of vid(v_i)=\sum_{j=1}^n w_{ij} \qquad \text{degree of $v_i$}
    Let d(vi)=diD=D(G)=diag(d(v1),⋯ ,d(vn))=diag(d1,⋯ ,dn)\text{Let $d(v_i)=d_i$} \\D=D(G)=diag(d(v_1),\cdots,d(v_n))=diag(d_1,\cdots,d_n)
    2、A的體積（Volume）
    對於V的一個子集A（A⊆VA\subseteq V），定義A的體積（Volume）：
    vol(A)=∑vi∈Ad(vi)=∑vi∈A∑j=1nwij vol(A)=\sum_{v_i \in A}d(v_i)=\sum_{v_i\in A}\sum_{j=1}^n w_{ij}
    即A中所有頂點的度和，若A中所有頂點都是孤立的（isolated），則vol(A)=0，舉例如下：
    在這裡插入圖片描述
    圖2 vol(A)的計算方法
    3、頂點集間的連線（links）
    Given two subsets of vertices A,B⊆VA,B\subseteq V, we define the links links(A,B)links(A,B) by
    links(A,B)=∑vi∈A,vj∈Bwijlinks(A,B)=\sum_{v_i\in A, v_j \in B} w_{ij}
    Remarks:
    • A and B are not necessarily distinct;
    • Since W is symmetric, links(A,B)=links(B,A)links(A,B)=links(B,A)
    • vol(A)=links(A,V)vol(A)=links(A,V)
      有了連線（links）定義，就可以定義分割（cut），它的定義如下：
      cut(A)=links(A,V−A)cut(A)=links(A,V-A)
      在連線（links）基礎上，還可以定義一個量assoc，如下：
      assoc(A)=links(A,A)assoc(A)=links(A,A)
      即A中頂點自己的連線。cut是A和外部的links，assoc是A與內部的links。因此有：cut(A)+assoc(A)=vol(A)cut(A)+assoc(A)=vol(A)
      4、Graph Laplacian
      對於權重圖 G=(V,W)，the (graph) Laplacian L of G is defined by
      L=D−WL=D-W
      Laplacian具有以下的屬性：
    • xTLx=12∑i,j=1nwij(xi−xj)2x^TLx=\frac{1}{2}\sum_{i,j=1}^n w_{ij}(x_i-x_j)^2 for ∀x∈Rn\forall x\in \mathbb R^n，這是一個二次型
    • L≥0L\ge 0 if wij≥0w_{ij}\ge 0 for all i,j;
    • L⋅1=0L\cdot \mathbf 1=\mathbf 0
    • If the underlying graph of G is connected, then
      0=λ1≤λ2≤λ3⋯≤λn0=\lambda_1\le\lambda_2\le\lambda_3\cdots \le\lambda_n
    • If the underlying graph of G is connected, then the dimension of the nullspace of L is 1.

圖的聚類（Graph clustering）

1、k-way partitioning
給定一個權重圖 G=(V,W)，要找到一個對V的分割，使以下條件得到滿足：

  • A1∪A2⋯∪Ak=VA_1\cup A_2 \cdots\cup A_k=V
  • A1∩A2⋯∩Ak=∅A_1\cap A_2 \cdots\cap A_k=\emptyset
  • for any i and j, the edges between (Ai,Aj)(A_i,A_j) have low weight and the edges within AiA_i have high weight.
    要使分割後各子集之間的edges的權重最小，對於2-way分割有：
    cut(A)=links(A,Aˉ)=∑vi∈A,vj∈Aˉwijcut(A)=links(A,\bar A)=\sum_{v_i\in A,v_j\in \bar A}w_{ij}, where Aˉ=V−A\bar A = V-A
    分割問題轉化成了優化問題：min⁡cut(A)=min⁡∑vi∈A,vj∈Aˉwij\min cut(A)=\min \sum_{v_i\in A,v_j \in \bar A}w_{ij}
    在這裡插入圖片描述
    圖3 通常最小化分割會得到不平衡的分割
    通常最小化分割會得到不平衡的分割，因而引入“Normalized cut”，定義如下：
    Ncut(A)=cut(A)vol(A)+cut(Aˉ)vol(Aˉ)Ncut(A)=\frac{cut(A)}{vol(A)}+\frac{cut(\bar A)}{vol(\bar A)}
    對圖3採用歸一化分割會得到：
    在這裡插入圖片描述
    圖4 採用Normailized cut
    定義一個示性向量（indicator vector）x=(x1,x2,⋯ ,xn)\mathbf x=(x_1, x_2,\cdots,x_n)，有：
    xi={1if vi∈A−1if vi∈Aˉx_i=\begin{cases}1&\text{if $v_i\in A$}\\ -1 & \text{if $v_i\in \bar A$} \end{cases}
    則有：
    • (1+x)TD(1+x)=4∑vi∈Adi=4⋅vol(A)(1+x)^TD(1+x)=4\sum_{v_i\in A}d_i=4\cdot vol(A)
    • (1+x)TW(1+x)=4∑vi∈A,vj∈Awij=4⋅assoc(A)(1+x)^TW(1+x)=4\sum_{v_i\in A,v_j\in A}w_{ij}=4\cdot assoc(A)
    • (1+x)TL(1+x)=4⋅(vol(A)−assoc(A))=4⋅cut(A)(1+x)^TL(1+x)=4\cdot(vol(A)-assoc(A))=4\cdot cut(A)
      以下是處理（1-x）與上對應
    • (1−x)TD(1−x)=4∑vi∈Aˉdi=4⋅vol(Aˉ)(1-x)^TD(1-x)=4\sum_{v_i\in \bar A}d_i=4\cdot vol(\bar A)
    • (1−x)TW(1−x)=4∑vi∈Aˉ,vj∈Aˉwij=4⋅assoc(Aˉ)(1-x)^TW(1-x)=4\sum_{v_i\in \bar A,v_j\in \bar A}w_{ij}=4\cdot assoc(\bar A)
    • (1−x)TL(1−x)=4⋅(vol(Aˉ)−assoc(Aˉ))=4⋅cut(Aˉ)(1-x)^TL(1-x)=4\cdot(vol(\bar A)-assoc(\bar A))=4\cdot cut(\bar A)
      於是Ncut(A) 可以被寫成(公式的書寫太繁瑣了，我直接貼了過來)：
      在這裡插入圖片描述
      在這裡插入圖片描述
      在這裡插入圖片描述
      要求解這個最優問題，需引入變分原則（Variational principle）:關於這部分的解釋詳細可以參考：https://ccjou.wordpress.com/2010/03/16/hermitian-矩陣特徵值的變化界定/
      在這裡插入圖片描述
      在這裡插入圖片描述
      對於上述Variational Principle，應用於(2)有：(因為D是對角矩陣)
      yTLyyTDy=yTLyyTD12D12y=yTD12D−12LD12D−12y(D12y)TD12yLet z=D12y, so yTLyyTDy=zTD−12LD−12zzTz \frac {y^TLy}{y^TDy}=\frac {y^TLy}{y^TD^{\frac{1}{2}}D^{\frac{1}{2}}y}=\frac {y^TD^{\frac{1}{2}}D^{-\frac{1}{2}}LD^{\frac{1}{2}}D^{-\frac{1}{2}}y}{(D^{\frac{1}{2}}y)^TD^{\frac{1}{2}}y}\\ \text{Let $z=D^{\frac{1}{2}}y $, so }\\ \frac {y^TLy}{y^TDy}=\frac {z^TD^{-\frac{1}{2}}LD^{-\frac{1}{2}}z}{z^Tz}
      即求 D−12LD−12D^{-\frac{1}{2}}LD^{-\frac{1}{2}} 的第二小的特徵值，以及該特徵值對應的特徵向量，每個特徵向量對應一個分割。
      《Normalized cuts and image segmentation》的例子：
      在這裡插入圖片描述
      圖5 原圖
      將原圖看成是graph，並定義權重：
      在這裡插入圖片描述
      在這裡插入圖片描述
      圖6 權重圖G=(V,W)
      求Normailized cut 的第二個特徵向量，及對應分割：
      在這裡插入圖片描述
      在這裡插入圖片描述

相關文章