Erdos-Renyi隨機圖的生成方式及其特性

orion發表於2022-05-10
隨機

1 隨機圖生成簡介

1.1 \(G_{np}\)和\(G_{nm}\)

以下是我學習《CS224W：Machine Learning With Graphs》[1]中隨機圖生成部分的筆記，部分補充內容參考了隨機演算法教材[2]和wiki[3]。隨機圖生成演算法應用非常廣泛，在NetworkX網路資料庫中也內建的相關演算法。我覺得做圖機器學習的童鞋很有必要了解下。

Erdos-Renyi隨機圖[4]以兩位著名的匈牙利數學家P.Erdős和A. Rényi的名字命名的，是生成隨機無向圖最簡單和常用的方法，包括以下兩種緊密相關的變體：

  • \(G_{np}\): 擁有\(n\)個節點，且邊\((u, v)\)以獨立同分布的概率\(p\)產生的無向圖

  • \(G_{nm}\): 擁有\(n\)個節點，且其中\(m\)條邊按照均勻分佈取樣生成的無向圖。

(八卦：最常被討論的\(G_{np}\)其實是Gilbert[5]提出的，不過由於P.Erdős和A. Rényi提出的\(G_{nm}\)更早一些，後來就將兩種都統稱Erdos-Renyi隨機圖了)

1.2 生成方法

  • \(G_{np}\)：按某個次序考慮\(\tbinom{n}{2}\)條可能邊中的每一條，然後以概率\(p\)獨立地往圖上新增每條邊。
  • \(G_{nm}\): 均勻選取\(\tbinom{n}{2}\)條可能邊中的一條，並將其新增為圖的邊，然後再獨立且均勻隨機地選取剩餘\(\tbinom{n}{2}-1\)可能邊中的一條，並將其新增到圖中，直到\(m\)邊為止（可以證明，雖然是無放回取樣，但是每次取樣是獨立的，任意一種\(m\)條邊的選擇結果是等概率的）。

值得一提的是，在\(G_{np}\)中，一個有\(n\)個頂點的圖具有\(m\)條邊的概率滿足分佈：

\[\tbinom{\tbinom{n}{2}}{m} p^m(1-p)^{\tbinom{n}{2}-m} \]

該分散式二項分佈，邊的期望數為\(\tbinom{n}{2}p\)，每個頂點度的期望為\((n-1)p\)。

1.3 兩種方法比較

  • 兩者的相同點：節點數量都為\(n\)，且邊數量的期望為\(p\tbinom{n}{2}\)；

  • 兩者的區別：\(G_{np}\)的可能邊數量在\(\tbinom{n}{2}p\)上下波動，而\(G_{nm}\)則恆定有\(m\)條邊。

2 \(G_{np}\)隨機圖

2.1 只用\(n\)和\(p\)夠嗎？

\(n\)和\(p\)並不能完全決定一個圖。我們發現即使給定\(n\)和\(p\)，圖也有許多實現形式。如當\(n=10, p=1/6\)時，就可能產生如下的圖：

遷移學習和多工學習之間的區別

2.2 \(G_{np}\)的圖屬性

接下來我們考慮給定\(n\)和\(p\)，圖\(G_{np}\)所可能擁有的不屬性，包括度分佈\(p(k)\)、聚類係數\(C\)、連通分量、平均最短路徑長度\(\bar{h}\)等。

  • 度分佈

\(G_{np}\)的度分佈是滿足二項分佈的，我們設\(p(k)\)為任意節點度數的概率分佈函式。當節點數\(n\)足夠大時，\(p(k)\)可視為對度為\(k\)的節點所佔比例的近似。我們有：

\[p(k)=\left(\begin{array}{c} n-1 \\ k \end{array}\right) p^{k}(1-p)^{n-1-k}\quad (k=0, 1,..., n-1) \]

其中\(\left(\begin{array}{c} n-1 \\ k \end{array}\right)\)表示從\(n-1\)個節點中選\(k\)個節點，\(p\)為邊產生的概率。該分佈是二項分佈，所以我們有以下均值和方差：

\[\begin{aligned} & \bar{k} =(n-1)p \\ & \sigma^2 = (n-1)p(1-p) \end{aligned} \]

二項分佈的離散分佈影像如下圖所示：

遷移學習和多工學習之間的區別

當\(n\)足夠大時，二項分佈可以用正態分佈去近似。

  • 聚類係數

我們設

\[C_{i}=\frac{e_{i}}{\tbinom{k_i}{2}} \]

此處\(e_i\)為節點\(i\)鄰居之間的邊數，\(k_i\)為節點\(i\)的度，\(\tbinom{k_i}{2}\)為節點\(i\)的鄰居間可能存在的邊總數。由於\(G_{np}\)中邊都按照概率\(p\)獨立同分布，我們有

\[\mathrm{E}(e_i)= \tbinom{k_i}{2}p \]

其中\(p\)為節點\(i\)的鄰居間兩兩結合的概率，\(\tbinom{k_i}{2}\)為節點\(i\)的鄰居間可能存在的邊總數。

我們進一步可推知聚類係數：

\[C =\mathrm{E}(C_i)= \frac{\mathrm{E}(e_i)}{\tbinom{k_i}{2}}=p=\frac{\bar{k}}{n-1} \approx \frac{\bar{k}}{n} \]

  • 連通分量

圖\(G_{np}\)的圖結構會隨著\(p\)變化，如下圖所示：

遷移學習和多工學習之間的區別

觀察可知其中當巨大連通分量（gaint connected component）出現時，\(p = 1/(n-1)\)，此時平均度\(\bar{k} = (n-1)p=1\)。

平均度\(k=1-\varepsilon\)(即小於1)時，所有的連通分量大小為\(\Omega(\log n)\)；

平均度\(k = 1 + \varepsilon\)（即高於1）時，存在一個連通分量大小為\(\Omega(n)\)，其它的大小為\(\Omega(\log n)\)。且每個節點在期望值上至少有一條邊。

如下圖所示為\(G_{np}\)中，\(n=100000\)，\(\bar{k}=(n-1)p=0.5,..., 3\) 時的模擬實驗影像：

遷移學習和多工學習之間的區別

根據模擬實驗，在\(G_{np}\)中，平均度大於1時，巨大連通分量恰好出現。

  • 平均最短路徑長度

Erdos-Renyi隨機圖即使擴充套件到很大，仍然可以保證節點之間只有幾跳(hops)的距離，如下所示為圖的平均最短路徑長度\(\bar{h}\)隨節點數量變化的關係圖：

遷移學習和多工學習之間的區別

可以看到平均最短路徑長度\(\bar{h}\)隨著節點數量\(n\)增長並滿足\(O(\log n)\)的增長階。

2.3 真實網路和\(G_{np}\)的對比

相似點： 存在大的連通分量，平均最短路徑長度

不同點： 聚類係數，度分佈

在實際應用中，隨機圖模型可能有以下問題：

  • 度分佈可能和真實網路不同，畢竟真實網路不是隨機的。
  • 真實網路中巨大連通分量的出現可能不具有規律性。
  • 可能不存在區域性的聚類結構，以致聚類係數太小。

3 程式碼庫

NetworkX中內建了Erdos-Renyi隨機圖的生成函式，包括\(G_{np}\)和\(G_{nm}\)。就是需要注意\(G_{np}\)的API[6]是

erdos_renyi_graph(n, p, seed=None, directed=False)

該API與nx.binomial_graph 、nx.gnp_random_graph作用是相同的。

而\(G_{nm}\)的API[7]是

nm_random_graph(n, m, seed=seed, directed=False)

故大家在實際使用中要注意區分。

參考

相關文章