#### 課程目標：
1）幫助大家對Nginx有一定的認識
2）熟悉Nginx有哪些應用場景
3）熟悉Nginx特點和架構模型以及相關流程
4）熟悉Nginx定製化開發的幾種模組分類

#### 課程大綱：
1. Nginx簡介及特點
2. Nginx應用場景
3. Nginx框架模型介紹
4. Nginx內部流程介紹
5. Nginx自定義模組開發介紹
6. Nginx核心時間點模組介紹
7. Nginx分流模組介紹
8. Nginx動態upstream模組介紹
9. Nginx query_upstrem模組介紹
10. Nginx query_conf模組介紹
11. Nginx 共享記憶體支援redis協議模組介紹
12. Nginx 日誌回放壓測工具介紹

#1. Nginx簡介以及特點
**Nginx簡介:**

Nginx (engine x) 是一個高效能的web伺服器和反向代理伺服器，也是一個IMAP/POP3/SMTP伺服器
- 俄羅斯程式設計師Igor Sysoev於2002年開始 
- Nginx是增長最快的Web伺服器，市場份額已達33.3％
- 全球使用量排名第二2011年成立商業公司

**Nginx社群分支：**
- Openresty作者@agentzh(章宜春)開發的，最大特點是引入了ngx_lua模組，支援使用lua開發外掛，並且集合了很多豐富的模組，以及lua庫。
- Tengine主要是淘寶團隊開發。特點是融入了因淘寶自身的一些業務帶來的新功能。
- Nginx官方版本，更新迭代比較快，並且提供免費版本和商業版本。

**Nginx原始碼結構：**

- 程式碼量大約11萬行C程式碼
- 原始碼目錄結構
  - core （主幹和基礎設定）
  - event （事件驅動模型和不同的IO複用模組）
  - http （HTTP伺服器和模組）
  - mail （郵件代理伺服器和模組）
  - os （作業系統相關的實現）
  - misc （雜項）

**Nginx特點：**

- 反向代理，負載均衡器
- 高可靠性、單master多worker模式
- 高可擴充套件性、高度模組化
- 非阻塞
- 事件驅動
- 低記憶體消耗
- 熱部署

# 2. Nginx應用場景

**場景如下：**

- 靜態檔案伺服器
- 反向代理，負載均衡
- 安全防禦
- 智慧路由(企業級灰度測試、地圖POI一鍵切流)
- 灰度釋出
- 靜態化
- 訊息推送
- 圖片實時壓縮
- 防盜鏈

# 3. Nginx框架模型介紹

**程式元件角色：**

- master程式
  - 監視工作程式的狀態
  - 當工作程式死掉後重啟一個新的
  - 處理訊號和通知工作程式
- worker程式
  - 處理客戶端請求
  - 從主程式處獲得訊號做相應的事情
- cache loader程式
  - 載入快取索引檔案資訊，然後退出
- cache manager程式
  - 管理磁碟的快取大小，超過預定值大小後最少使用資料將被刪除

**框架模型：**
![image.png](https://upload-images.jianshu.io/upload_images/2099201-0bf59b45444dc96e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

**框架模型流程：**
![image.png](https://upload-images.jianshu.io/upload_images/2099201-4b658647aa125a1c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

# 4. Nginx內部流程介紹
## 4.1 框架模型流程
![image.png](https://upload-images.jianshu.io/upload_images/2099201-fb679fb4e47b2818.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

![image.png](https://upload-images.jianshu.io/upload_images/2099201-2ea2ee9bf2895042.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## 4.2 master初始化流程
![master初始化流程.png](https://upload-images.jianshu.io/upload_images/2099201-bc25f127d3fd0d1b.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## 4.3 worker初始化
![image.png](https://upload-images.jianshu.io/upload_images/2099201-f01d986182c84e82.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## 4.4 worker初始化流程
![worker程式初始化流程.png](https://upload-images.jianshu.io/upload_images/2099201-bcd7e52338e84bdd.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## 4.5 靜態檔案請求IO流程
![image.png](https://upload-images.jianshu.io/upload_images/2099201-b5005a213bef2090.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## 4.6 http請求流程
![HTTP請求流程.png](https://upload-images.jianshu.io/upload_images/2099201-39041753c9c77d50.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## 4.7 http請求11個階段
![image.png](https://upload-images.jianshu.io/upload_images/2099201-cceca7333bb7f5d9.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## 4.8 upstream模組

- 訪問第三方Server伺服器
- 底層HTTP通訊非常完善
- 非同步非阻塞
- 上下游記憶體零複製，節省記憶體
- 支援自定義模組開發

### 4.8.1 upstream框架流程
![image.png](https://upload-images.jianshu.io/upload_images/2099201-d8254e0481b8a507.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

### 4.8.2 upstream內部流程
![upstream流程.png](https://upload-images.jianshu.io/upload_images/2099201-dfe91248b0938d74.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## 4.9 反向代理流程
![image.png](https://upload-images.jianshu.io/upload_images/2099201-6bf1a1e1f1ce0001.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

# 5. Nginx定製化模組開發

## 5.1 Nginx的模組化設計特點

- 高度抽象的模組介面
- 模組介面非常簡單，具有很高的靈活性
- 配置模組的設計
- 核心模組介面的簡單化
- 多層次、多類別的模組設計

## 5.1 內部核心模組
![image.png](https://upload-images.jianshu.io/upload_images/2099201-8cb7b6914b40ed2b.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

![Nginx核心模組.png](https://upload-images.jianshu.io/upload_images/2099201-7173c5a937548851.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## 5.2 handler模組
- 接受來自客戶端的請求並構建響應頭和響應體。    
![handler.png](https://upload-images.jianshu.io/upload_images/2099201-dd88eaaf2479f087.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## 5.3 filter模組
- 過濾（filter）模組是過濾響應頭和內容的模組，可以對回覆的頭和內容進行處理。它的處理時間在獲取回覆內容之後，向使用者傳送響應之前。
![filter.png](https://upload-images.jianshu.io/upload_images/2099201-d8db7067b3a44ec8.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## 5.4 upstream模組
- 使nginx跨越單機的限制，完成網路資料的接收、處理和轉發，純非同步的訪問後端服務。
![upstream.png](https://upload-images.jianshu.io/upload_images/2099201-b9b6252f37a574e7.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

**load_balance：**
- 負載均衡模組，實現特定的演算法，在眾多的後端伺服器中，選擇一個伺服器出來作為某個請求的轉發伺服器。
![load_balabce.png](https://upload-images.jianshu.io/upload_images/2099201-e5794e5713b82014.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## 5.3 ngx_lua模組

- 指令碼語言
- 記憶體開銷小
- 執行速度快
- 強大的 Lua 協程
- 非阻塞
- 業務邏輯以自然邏輯書寫

![ngx_lua_phase.png.jpg](https://upload-images.jianshu.io/upload_images/2099201-f029d1c935c696d5.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

## 5.4 定製化開發Demo
**Handler模組：**
- 編寫config檔案
- 編寫模組產生內容響應資訊

```
#配置檔案：
server {
    ...    
    location test {
        test_counter on;
    }
}
#config
ngx_addon_name=ngx_http_test_module
HTTP_MODULES="$HTTP_MODULES ngx_http_test_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_test_module.c"
#ngx_http_test_module.c
static ngx_int_t
ngx_http_test_handler(ngx_http_request_t *r)
{
	ngx_int_t								rc;
	ngx_buf_t								*b;
	ngx_chain_t								out;
	ngx_http_test_conf_t				    *lrcf;
	ngx_str_t								ngx_test_string = ngx_string("hello test");

lrcf = ngx_http_get_module_loc_conf(r, ngx_http_test_module);
	if ( lrcf->test_counter == 0 ) {
		return NGX_DECLINED;
	}
	
	/* we response to 'GET' and 'HEAD' requests only */
	if ( !(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD)) ) {
			return NGX_HTTP_NOT_ALLOWED;
	}

/* discard request body, since we don't need it here */
	rc = ngx_http_discard_request_body(r);

if ( rc != NGX_OK ) {
		return rc;
	}
	
	/* set the 'Content-type' header */
	/*
	 *r->headers_out.content_type.len = sizeof("text/html") - 1;
	 *r->headers_out.content_type.data = (u_char *)"text/html";
    */
	ngx_str_set(&r->headers_out.content_type, "text/html");

/* send the header only, if the request type is http 'HEAD' */
	if ( r->method == NGX_HTTP_HEAD ) {
		r->headers_out.status = NGX_HTTP_OK;
		r->headers_out.content_length_n = ngx_test_string.len;

return ngx_http_send_header(r);
	}
	
	/* set the status line */
	r->headers_out.status = NGX_HTTP_OK;
	r->headers_out.content_length_n =  ngx_test_string.len;

/* send the headers of your response */
	rc = ngx_http_send_header(r);
	if ( rc == NGX_ERROR || rc > NGX_OK || r->header_only ) {
		return rc;
	}

/* allocate a buffer for your response body */
	b = ngx_pcalloc(r->pool, sizeof(ngx_buf_t));
	if ( b == NULL ) {
		return NGX_HTTP_INTERNAL_SERVER_ERROR;
	}
	
	/* attach this buffer to the buffer chain */
	out.buf = b;
	out.next = NULL;

/* adjust the pointers of the buffer */
	b->pos = ngx_test_string.data;
	b->last = ngx_test_string.data + ngx_test_string.len;
	b->memory = 1;    /* this buffer is in memory */
	b->last_buf = 1;  /* this is the last buffer in the buffer chain */
	
	/* send the buffer chain of your response */
	return ngx_http_output_filter(r, &out);
}
```
# 6. Nginx核心時間點模組介紹
解決接入層故障定位慢的問題，幫助OP快速判定問題根因，優先自證清白，提高接入層高效的生產力。
![image.png](https://upload-images.jianshu.io/upload_images/2099201-9c3e50030523dbb2.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

# 7. Nginx分流模組介紹
**特點：**
實現非常靈活的動態的修改策略從而進行切流量。
實現平滑無損的方式進行流量的切換。
透過秒級切換流量可以縮小影響範圍，從而減少損失。
按照某一城市或者某個特徵，秒級進行切換流量或者禁用流量。
容忍單機房級別容量故障，縮短了單機房故障的止損時間。
快速的將流量隔離或者流量抽樣。
高效的灰度測試，提高生產力。
![image.png](https://upload-images.jianshu.io/upload_images/2099201-a15479be8aaea41a.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

# 8. Nginx動態upstream模組介紹
讓接入層可以適配動態排程的雲環境，實現服務的平滑上下線、彈性擴/縮容。
從而提高接入層高效的生產力以及穩定性，保證業務流量的平滑無損。
![image.png](https://upload-images.jianshu.io/upload_images/2099201-c960757e90abde41.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

# 9. Nginx query_upstream模組介紹
鏈路追蹤，梳理介面到後端鏈路的情況。查詢location介面對應upstream server資訊。
![image.png](https://upload-images.jianshu.io/upload_images/2099201-c9834ca1f26f60c3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

# 10. Nginx query_conf模組介紹
獲取nginx配置檔案格式化為json格式資訊。
![image.png](https://upload-images.jianshu.io/upload_images/2099201-3089ecc028a01852.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

# 11.Nginx 共享記憶體支援redis協議模組介紹
根據配置檔案來動態的新增共享記憶體。
https://github.com/lidaohang/ngx_shm_dict
- ngx_shm_dict
  共享記憶體核心模組(紅黑樹，佇列)

- ngx_shm_dict_manager
  新增定時器事件，定時的清除共享記憶體中過期的key
  新增讀事件，支援redis協議，透過redis-cli get,set,del,ttl

- ngx_shm_dict_view
  共享記憶體檢視
![image.png](https://upload-images.jianshu.io/upload_images/2099201-eff270d5cc6a3400.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

# 12. Nginx日誌回放壓測工具
*   解析日誌進行回放壓測，模擬後端伺服器慢等各種異常情況
[https://github.com/lidaohang/playback-testing](https://github.com/lidaohang/playback-testing)

#### [](https://github.com/lidaohang/playback-testing#%E6%96%B9%E6%A1%88%E8%AF%B4%E6%98%8E)方案說明

*   客戶端解析access.log構建請求的host,port,url,body
*   把後端響應時間，後端響應狀態碼，後端響應大小放入header頭中
*   後端伺服器獲取相應的header，進行模擬響應body大小，響應狀態碼，響應時間

#### [](https://github.com/lidaohang/playback-testing#%E4%BD%BF%E7%94%A8%E6%96%B9%E5%BC%8F)使用方式

*   複製需要測試的access.log的日誌到logs資料夾裡面
*   搭建需要測試的nginx伺服器，並且配置upstream 指向後端伺服器斷埠
*   啟動後端伺服器例項 server/backserver/main.go
*   進行壓測 bin/wrk -c30 -t1 -s conf/nginx_log.lua [http://localhost:8095](http://localhost:8095/)

####作者：李航

現在註冊滴滴雲，有機會可得30元無門檻滴滴出行券

新購雲服務1月5折 3月4.5折 6月低至4折

滴滴雲使者招募，推薦最高返傭50%

接入層Nginx架構及模組介紹分享

相關文章