OpenResty入門

捉蟲大師發表於2022-03-04

OpenResty介紹

OpenResty通過匯聚各種設計精良的 Nginx模組(主要由 OpenResty 團隊自主開發),從而將 Nginx 有效地變成一個強大的通用 Web 應用平臺。這樣,Web 開發人員和系統工程師可以使用 Lua 指令碼語言調動 Nginx 支援的各種 C 以及 Lua 模組,快速構造出足以勝任 10K 乃至 1000K 以上單機併發連線的高效能 Web 應用系統。OpenResty的目標是讓你的Web服務直接跑在 Nginx 服務內部,充分利用 Nginx 的非阻塞 I/O 模型,不僅僅對 HTTP 客戶端請求,甚至於對遠端後端諸如 MySQL、PostgreSQL、Memcached 以及 Redis 等都進行一致的高效能響應。

OpenResty安裝

可參考 http://openresty.org/en/linux-packages.html

以centos為例:

hello world程式

  • mkdir -p /home/roshi/opensty/conf /home/roshi/opensty/logs
  • 寫個輸出”hello world“的配置
worker_processes  1;
error_log logs/error.log;
events {
    worker_connections 1024;
}

http {
    server {
        listen 6699;
        location / {
            default_type text/html;


            content_by_lua_block {
                ngx.say("HelloWorld")
            }
        }
    }
}
  • 執行
    用上述的安裝方式,nginx會安裝在/usr/local/openresty目錄,執行
/usr/local/openresty/nginx/sbin/nginx -p /home/roshi/openresty -c /home/roshi/openresty/conf/nginx.conf
  • 測試
curl http://127.0.0.1:6699

image

處理流程

OpenResty處理一個請求,它的處理流程參考如下圖
image

實戰

nginx最常用的是反向代理功能,例如通過URL上的特徵將同一個域名下的請求按照規則分發給不同的後端叢集,舉個例子:

http://example.com/user/1http://example.com/product/1

是同個域名下的兩個請求,他們分別對應使用者與商品,後端提供服務的叢集很可能是拆分的,這種情況使用nginx就可以很容易地分流;

但如果這個分流的特徵不在header或者URL上,比如在post請求的body體中,nginx原生就沒法支援,此時可以藉助OpenResty的lua指令碼來實現。

我就遇到過這樣一個需求,同樣的請求需要路由到不同的叢集處理,但特徵無法通過header或者URL來區分,因為在前期的設計中,不需要區分;這個請求可以處理單個的請求,也可以處理批量的情況,現在批量的請求效能不如人意,需要一個新叢集來處理,抽象為以下請求

curl -X "POST" -d '{"uids":[1,2]}' -H "Content-Type:application/json" 'http://127.0.0.1:6699/post'

期望分離當body體中uids是多個和單個的請求,當uids只有1個uid時請求路由到後端A,uids中uid數量大於1時路由到後端B

在之前的nginx.conf基礎上修改

worker_processes  1;
error_log logs/error.log info;
events {
    worker_connections 1024;
}

http {
   upstream single.uid {
       server host.docker.internal:8888;
   }
   upstream multiple.uids {
       server host.docker.internal:9999;
   }

    server {
        listen 6699;
        location / {
            default_type application/json;
            # default upstream
            set $upstream_name 'multiple.uids';

            rewrite_by_lua_block {

                cjson = require 'cjson.safe'
                ngx.req.read_body()
                local body = ngx.req.get_body_data()
                if body then
                    ngx.log(ngx.INFO, "body=" .. body)
                    local data = cjson.decode(body)

                    if data and type(data) == "table" then
                        local count = 0
                        for k,v in pairs(data["uids"]) do
                            count = count + 1
                        end

                        ngx.log(ngx.INFO, "count = " .. count)

                        if count == 1 then
                            ngx.var.upstream_name = "single.uid"
                        end
                    end
                end
            }
            proxy_pass http://$upstream_name;
        }
    }
}
  • 第二行將日誌級別調整為info,方便除錯觀察
  • 定義兩個upstream,對應不同的後端,由於我的openresty在docker容器中,後端服務在物理機中,所有這裡使用了host.docker.internal代替後端ip
  • 使用rewrite_by_lua_block(可以對照上文中的處理流程圖)
  • 使用cjson來解析body,判斷uids中的數量,這段都是lua程式碼,注意lua程式碼和nginx配置的語法是不一樣的,lua中獲取nginx的變數使用ngx.var.upstream_name

後端程式碼這裡也貼一下,使用golang編寫,用到了echo框架

package main

import (
   "github.com/labstack/echo/v4"
   "github.com/labstack/echo/v4/middleware"
   "os"
   "strconv"
)

type Response struct {
   Success bool `json:"success"`
   Message string `json:"message"`
   Port int `json:"port"`
   Uids []int `json:"uids"`
}

type Request struct {
   Uids []int `json:"uids"`
}

var port = 8888

func main() {

   e := echo.New()
   e.Use(middleware.Logger())
   e.Use(middleware.Recover())

   e.POST("/post", post)

   if len(os.Args) >= 2 {
      p, err := strconv.Atoi(os.Args[1])
      if err == nil {
         port = p
      }
   }
   e.Logger.Fatal(e.Start(":"+strconv.Itoa(port)))
}

func post(c echo.Context) error {
   req := Request{}
   err := c.Bind(&req)
   if err != nil {
      c.JSON(500, Response{
         Success: false,
         Port: port,
         Message: "bind body error",
      })
      return err
   }
   response := Response{
      Success: true,
      Port: port,
   }
   for _, uid := range req.Uids {
      response.Uids = append(response.Uids, uid + 100)
   }
   c.JSON(200, response)
   return nil
}

分別監聽在8888和9999埠,執行後,請求6699埠(nginx監聽)觀察
image

同時,在日誌/home/roshi/openresty/logs/error.log中也能看到

image

最後

本文從安裝,基本原理上簡單介紹了OpenResty,並從一個實際的例子展示了OpenResty的能力,希望看完的你也能入門OpenResty。


搜尋關注微信公眾號"捉蟲大師",後端技術分享,架構設計、效能優化、原始碼閱讀、問題排查、踩坑實踐。

image

相關文章