### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

- **Wikipedia Edit Stream**是Flink官網上的經典demo，功能是實時處理來自維基百科的訊息，訊息的內容是當前每個使用者對維基內容的操作，地址是：https://ci.apache.org/projects/flink/flink-docs-release-1.2/quickstart/run_example_quickstart.html

- 在demo中，WikipediaEditsSource類作為資料來源負責向Flink提供實時訊息，今天我們們一起來分析其原始碼，瞭解Flink是怎麼獲取到來自Wiki的實時資料的，這對我們今後做自定義資料來源也有很好的參考作用；

### 官方解釋
- 以下是官網對訊息來源的說明，維基百科提供了一個IRC協議的通道，從這個通道可以獲取對維基百科所做的編輯行為的日誌：

```shell
Wikipedia provides an IRC channel where all edits to the wiki are logged.
```
- IRC是應用層協議，更多細節請看：https://en.wikipedia.org/wiki/Internet_Relay_Chat

### 繼承關係
- 先看WikipediaEditsSource類的繼承關係，做個初步瞭解，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20181223182351670.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 如上圖所示，RichFunction介面負責資源開啟關閉以及環境上下文，而SourceFunction介面則是和資料生產行為的開始和停止有關，這些介面最終都在WikipediaEditSource實現；

### 構造方法
- 透過構造方法來了解有哪些引數被確定了：

```java
	//遠端連線的域名
	public static final String DEFAULT_HOST = "irc.wikimedia.org";
	//遠端連線的埠
	public static final int DEFAULT_PORT = 6667;
	//IRC協議的channel
	public static final String DEFAULT_CHANNEL = "#en.wikipedia";

private final String host;
	private final int port;
	private final String channel;

public WikipediaEditsSource() {
		this(DEFAULT_HOST, DEFAULT_PORT, DEFAULT_CHANNEL);
	}

public WikipediaEditsSource(String host, int port, String channel) {
		this.host = host;
		this.port = port;
		this.channel = Objects.requireNonNull(channel);
	}
```

- 透過上述程式碼可以見到，資料的來源是**irc.wikimedia.org**這個網址；

### 主業務程式碼
- 主要的業務邏輯是WikipediaEditsSource的run方法，該方法在任務啟動的時候會被StreamSource.run方法呼叫：

```java
	@Override
	public void run(SourceContext<wikipediaeditevent> ctx) throws Exception {
		try (WikipediaEditEventIrcStream ircStream = new WikipediaEditEventIrcStream(host, port)) {
			// 建立一個IRC協議的連線
			ircStream.connect();
			//進入指定的channel
			ircStream.join(channel);

try {
				while (isRunning) {
					//從阻塞佇列中獲取資料
					WikipediaEditEvent edit = ircStream.getEdits().poll(100, TimeUnit.MILLISECONDS);
					//如果取到了資料，就呼叫ctx.collect方法，將資料生產到Flink環境，給其他operator使用
					if (edit != null) {
						ctx.collect(edit);
					}
				}
			} finally {
				//結束時要向伺服器傳送資料表示離開
				ircStream.leave(channel);
			}
		}
	}
```

- 上面的程式碼，我們挑幾處重要的展開看一看；

### 和維基百科訊息伺服器建立連線後做的事情
- 為了弄明白Flink是如何與維基百科的資料來源建立連線的，先把**ircStream.connect()**這段程式碼展開，對應的是IRCConnection類的connect方法：

```java
public void connect() throws IOException {
		if (level != 0) // otherwise disconnected or connect
			throw new SocketException("Socket closed or already open ("+ level +")");
		IOException exception = null;
		Socket s = null;
		for (int i = 0; i < ports.length && s == null; i++) {
			try {
				//建立的是普通Socket連線
				s = new Socket(host, ports[i]);
				exception = null;
			} catch (IOException exc) {
				if (s != null)
					s.close();
				s = null;
				exception = exc;
			}
		}
		if (exception != null)
			throw exception; // connection wasn't successful at any port

prepare(s);
	}
```
- 上述程式碼表明，Flink與維基百科的資料來源伺服器之間建立的是普通的Socket連線，至於IRC協議，都是在這個Socket連線的通道里的一些讀寫操作；

- 上面的prepare方法比較關鍵，展開看看：

```java
protected void prepare(Socket s) throws IOException {
		if (s == null)
			throw new SocketException("Socket s is null, not connected");
		socket = s;
		level = 1;
		s.setSoTimeout(timeout);
		in  = new BufferedReader(new InputStreamReader(s.getInputStream(),
				encoding));
		out = new PrintWriter(new OutputStreamWriter(s.getOutputStream(),
				encoding));

//IRCConnection是Thread的子類，執行start方法就表明會啟動一個執行緒來執行IRCConnection的run方法
		start();
		//遵守IRC協議約定，傳送一些註冊相關的內容
		register();
	}
```
- 可以看出，prepare方法做了兩個重要的事情：啟動一個子執行緒、傳送IRC協議的註冊資訊，接下來看啟動的子執行緒做了什麼；

- 開啟IRCConnection的run方法：

```java
public void run() {
		try {
			String line;
			while (!isInterrupted()) {
				line = in.readLine();
				if (line != null)
					get(line);
				else
					close();
			}
		} catch (IOException exc) {
			close();
		}
	}
```
- run方法中的內容很簡單，就是讓這個子執行緒負責讀取遠端傳送的字串，每讀到一行就呼叫get方法去處理；

- get方法的內容很多，做的事情是根據IRC協議解析這個字串再做不同的處理，這裡我們只要關注下面這段，就是收到一條業務訊息後如何處理：

```java
//每當有人編輯了維基百科，這裡就會收到一條command為PRIVMSG的記錄
if (command.equalsIgnoreCase("PRIVMSG")) { // MESSAGE
			IRCUser user = p.getUser();
			String middle = p.getMiddle();
			String trailing = p.getTrailing();
			for (int i = listeners.length - 1; i >= 0; i--)
				//呼叫listener的onPrivmsg方法
				listeners[i].onPrivmsg(middle, user, trailing);
		}
```
- 如上所示，每收到一條遠端發來的訊息，都會呼叫listener的onPrivmsg方法，這裡的註冊的linstener是WikipediaIrcChannelListener物件；

- 開啟WikipediaIrcChannelListener的onPrivmsg方法，看看收到訊息後做了什麼：

```java
@Override
public void onPrivmsg(String target, IRCUser user, String msg) {
	LOG.debug("[{}] {}: {}.", target, user.getNick(), msg);
	//根據訊息構造一個WikipediaEditEvent物件，就是Flink的業務流程中用到的資料物件
	WikipediaEditEvent event = WikipediaEditEvent.fromRawEvent(
		System.currentTimeMillis(),
		target,
		msg);

if (event != null) {
		//eidts是個阻塞佇列，WikipediaEditEvent被放入佇列
		if (!edits.offer(event)) {
			LOG.debug("Dropping message, because of full queue.");
		}
	}
}
```

- 上面的程式碼已經分析把主要邏輯展現出來了，從Socket讀到的資料被解析成Flink實時計算時用到的WikipediaEditEvent物件後，被放入阻塞佇列中，這也就是負責讀取的子執行緒的主要工作了；

### 如何消費佇列中的資料
- 前面的分析中我們得知：收到的資料被放入了阻塞佇列中，現在回到WikipediaEditsSource的run方法再看看，這裡面就有從阻塞佇列取出資料的操作：

```java
while (isRunning) {
		//從阻塞佇列中獲取資料
		WikipediaEditEvent edit = ircStream.getEdits().poll(100, TimeUnit.MILLISECONDS);
		//如果取到了資料，就呼叫ctx.collect方法，將資料生產到Flink環境，給其他operator使用
		if (edit != null) {
			ctx.collect(edit);
		}
}
```
- 如上所示，一個while迴圈不停的從阻塞佇列中獲取資料，取到了就呼叫SourceContext的collect，把一條資料生產到在Flink環境中，給後面的流程使用；

### 小結
- 至此，WikipediaEditsSource原始碼的分析就完成了，在此小結一下：
1. 和irc.wikimedia.org這個網站建立Socket連線；
2. 連線建立後，讀寫相關的內容都是基於IRC協議的，這是個應用層的協議，有自己的格式、關鍵字、命令字等約定，本次分析中我們沒有花太多時間在這個協議上，有興趣的讀者在這裡瞭解更多：https://en.wikipedia.org/wiki/Internet_Relay_Chat
3. 啟動一個子執行緒讀取Socket資訊，收到資料後，構造成WikipediaEditEvent物件，放入阻塞佇列中；
4. 原先的那個執行緒在一個while迴圈中從阻塞佇列中取資料，如果取到了資料就呼叫ctx.collect方法，這樣資料就生產到了Flink環境，其他operator就可以使用了；

- 以上就是拆解WikipediaEditsSource的過程，現在我們對Flink資料來源有了更進一步的瞭解，後續在開發自定義資料來源的時候也有了參考實現；

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)</wikipediaeditevent>

Flink資料來源拆解分析(WikipediaEditsSource)

相關文章