深度學習與圖神經網路學習分享：Graph Embedding 圖嵌入

1.圖嵌入是一種將圖資料（通常為高維稠密的矩陣）對映為低微稠密向量的過程,如圖。圖嵌入需要捕捉到圖的拓撲結構，頂點與頂點的關係，以及其他的資訊 （如子圖，連邊等）。如果有更多的資訊被表示出來，那麼下游的任務將會獲得更好的表現。在嵌入的過程中存在著一種共識：向量空間中保持連線的節點彼此靠近。

總的來說圖嵌入技術大致可以分為兩種：節點嵌入和圖嵌入。當需要對節點進行分類，節點相似度預測，節點分佈視覺化時一般採用節點的嵌入；當需要在圖級別（graph-level）上進行預測或者整個圖結構預測，需要將整個圖表示為一個向量進行嵌入表示。

常用的圖嵌入方法有DeepWalk, node2vec, SDNE和graph2vec等。

2. 為什麼要做圖嵌入（或者說圖嵌入的作用）

圖是一種易於理解的表示形式，除此之外出於下面的原因需要對圖進行嵌入表示：

在graph上直接進行機器學習具有一定的侷限性，我們都知道圖是由節點和邊構成，這些向量關係一般只能使用數學，統計或者特定的子集進行表示，但是嵌入之後的向量空間具有更加靈活和豐富的計算方式。

圖嵌入能夠壓縮資料， 我們一般用鄰接矩陣描述圖中節點之間的連線。 連線矩陣的維度是|V| x |V|，其中|V| 是圖中節點的個數。矩陣中的每一列和每一行都代表一個節點。矩陣中的非零值表示兩個節點已連線。將鄰接矩陣用用大型圖的特徵空間幾乎是不可能的。一個具有1M節點和1Mx1M的鄰接矩陣的圖該怎麼表示和計算呢？但是嵌入可以看做是一種壓縮技術，能夠起到降維的作用。

向量計算比直接在圖上操作更加的簡單、快捷。

分享安排

1. 人工智慧、深度學習的發展歷程

2. 深度學習框架

3. 神經網路訓練方法

4. 卷積神經網路，卷積核、池化、通道、啟用函式

5. 迴圈神經網路，長短時記憶LSTM、門控迴圈單元GRU

6. 引數初始化方法、損失函式Loss、過擬合

7. 對抗生成網路GAN

8. 遷移學習TL

9. 強化學習RF

10. 圖神經網路GNN

一、演算法和場景融合理解

1.空間相關性的非結構化資料，CNN演算法。典型的影像資料，畫素點之間具有空間相關性，例如影像的分類、分割、檢測都是CNN演算法。

2.時間相關性的非結構化資料，RNN演算法。這類場景普遍的一個現象就是資料之間具有時序相關性，也就是資料之間存在先後依賴關係。例如自然語言處理、語音相關演算法都是基於RNN演算法。

3.非歐氏資料結構， GNN。這類場景典型的可以用圖來表示。例如社交網路等。

案例摘要講解

醫療領域：如流行疾病、腫瘤等相關疾病檢測

遙感領域：如遙感影像中的場景識別

石油勘探：如石油油粒大小檢測

軌道交通：如地鐵密集人流檢測

檢測領域：如故障檢測

公安領域：如犯罪行為分析

國防領域：目標檢測、訊號分析、態勢感知…

經濟領域：如股票預測

二、資料理解及處理

分析典型場景中的典型資料，結合具體的演算法，對資料進行處理

1.結構化資料，如何對資料進行讀取，進行組織。

2.影像資料，在實際應用過程中的處理方法，怎樣做資料的預處理、進行資料增強等。

3.時序訊號，將單點的資料如何組合成一個序列，以及對序列資料處理的基本方法。

三、技術路徑設計

針對具體的場景設計特定的神經網路模型，對典型資料適配的網路結構進介紹。

1.DNN模型搭建的基本原則

2.CNN模型中常見的網路結構，以及引數分析。

3.RNN中支援的一些基本運算元，如何對序列資料進行組織。

四、模型驗證及問題排查

簡單的演算法或者模型對典型的場景進行快速驗證，並且針對一些頻發的問題進行講解。

1. 模型收斂狀態不佳

2. 分類任務重最後一層啟用函式對模型的影響

五、高階-模型最佳化的原理

不同的模型需要採用的最佳化函式以及反向傳播中引數的最佳化方法

1.模型最佳化的演算法介紹，基於隨機梯度下降的演算法介紹。

2.不同場景適應的損失函式介紹。

3.針對典型場景的反向傳播梯度的推到過程。

六、高階-定製化思路

結合往期學員的一些專案，簡單介紹一下解決一個具體問題的思路。

遙感成像中，地塊農作物種類的識別。

實操解析與訓練

第一階段：

神經網路實踐

實驗：神經網路

1.神經網路中基本概念理解：epoch、batch size、學習率、正則、噪聲、啟用函式等。

2.不同的資料生成模型、調整網路引數、調整網路規模

3.神經網路分類問題

4.不同資料特徵的作用分析、隱含層神經元數目

5.過擬合

高頻問題：

1.輸入資料與資料特徵          2.模型設計的過程中的引數與功能的關係。

關鍵點：

1.掌握神經網路的基本概念      2.學會搭建簡單的神經網路結構

3.理解神經網路引數

實操解析與訓練

第二階段：

深度學習三種程式設計思想

實驗：Keras實踐

1.理解Keras基本原理           2.學會Keras程式設計思想

3.三種不同的深度神經網路構建程式設計方式

4.給定資料集，採用Keras獨立完成實際的工程專案

高頻問題：

1.如何程式設計實現深度神經網路     2.三種開發方式的具體使用

關鍵點：

1.掌握Keras程式設計思想           2.採用三種不同方式編寫深度神經網路

實操解析與訓練

第三階段：CNN實踐

實驗：影像分類

1.使用CNN解決影像分類問題     2.搭建AlexNet   3.VGG16/19

4.GoogleNet   5.ResNet

高頻問題：

1.CNN更復雜的模型在哪裡可以找到程式碼

關鍵點：

1.使用卷積神經網路做影像分類    2.常見開原始碼以及適用的問題

實驗：影片人物行為識別

1.基於C3D的影片行為識別方法    2.基於LSTM的影片行為識別方法

3.基於Attention的影片行為識別方法

高頻問題：

1.2D卷積與3D卷積               2.影片的時空特徵

關鍵點：

1.C3D網路的構建                 2.Attention機制

實操解析與訓練

第四階段：

R-CNN及YOLO實踐

實驗：目標檢測

1.目標檢測發展現狀及代表性方法

2.兩階段目標檢測方法：R-CNN系列模型

3.一階段目標檢測方法：YOLO系列模型

高頻問題：

1.提名與分類       2.BBOX實現策略       3.YOLO Loss函式

關鍵點：

1.提名方法       2.ROI Pooling       3.SPP Net       4.RPN       5.YOLO

實操解析與訓練

第五階段：

RNN實踐

實驗：股票預測

1.股票資料分析       2.同步預測       3.非同步預測

高頻問題：

1.歷史資料的使用

關鍵點：

1.構建RNN       2.採用Keras程式設計實現

實操解析與訓練

第六階段：

Encoder-Decoder實踐

實驗：去噪分析

1.自編碼器          2.去噪自編碼器

高頻問題：

1.噪聲的引入與去除

關鍵點：

1.設計去噪自編碼器

實驗：影像標題生成

結合計算機視覺和機器翻譯的最新進展，利用深度神經網路生成真實的影像標題。

1.掌握Encoder-Decoder結構     2.學會Seq2seq結構

3.影像CNN +文字RNN            4.影像標題生成模型

高頻問題：

1.如何能夠根據影像生成文字？

關鍵點：

1.提取影像特徵CNN，生成文字RNN    2.構建Encoder-Decoder結構

實操解析與訓練

第七階段：

GAN實踐

實驗：藝術家作品生成

1. 生成對抗網路原理       2.GAN的生成模型、判別模型的設計

高頻問題：

1.生成模型與判別模型的博弈過程

關鍵點：

1.掌握GAN的思想與原理    2.根據需求學會設計生成模型與判別模型

實操解析與訓練

第八階段：

強化學習實踐

實驗：遊戲分析

1.遊戲場景分析            2.強化學習的要素分析       3.深度強化學習

高頻問題：

1.DNN 與DQN              2.探索與利用

關鍵點：

1.深度強化學習的原理      2.根據實際需求，設計深度強化學習模型

實操解析與訓練

第九階段：

圖卷積神經網路實踐

實驗：社交網路分析

1.圖神經網路的原理         2.圖卷積神經網路的思想

3.設計圖卷積神經網路進行社交網路分析

高頻問題：

1.如何從圖神經網路的原理轉化到實際程式設計

關鍵點：

1. 掌握圖神經網路原理       2. 圖卷積神經網路程式設計實現

實操解析與訓練

第十階段：

Transformer實踐

實驗：基於Transformer的對話生成

1. Transformer原理         2. 基於Transformer的對話生成

3.基於 Transformer 的應用

高頻問題：

1.如何應用自注意力機制      2.如何應用於自然語言處理與計算機視覺

關鍵點：

1.self-Attention機制       2.position

學習和關注人工智慧技術與諮詢，更多詳情可諮詢175-3102-1189（v同號）。