基於 Nginx&Lua 實現自建服務端埋點系統

前言

埋點資料一般取決於服務提供商想從使用者身上獲取什麼資訊。通常來講，主要分為使用者的基本屬性資訊和行為資訊。使用者的基本屬性資訊主要包括：年齡、性別、裝置等。行為資訊即使用者的點選行為和瀏覽行為，在什麼時間，哪個使用者點選了哪個按鈕，瀏覽了哪個頁面，瀏覽時長等等的資料。基本屬性資訊和行為資訊又可以稱之為一個簡單的報文。報文是網路中交換與傳輸的資料單元，即站點一次性要傳送的資料塊。報文包含了將要傳送的完整的資料資訊，其長短很不一致，長度不限且可變。簡單來說就是使用者在 App 內有一個操作行為，就會上報一組帶有資料的欄位。

亞馬遜雲科技開發者社群為開發者們提供全球的開發技術資源。這裡有技術文件、開發案例、技術專欄、培訓影片、活動與競賽等。幫助中國開發者對接世界最前沿技術，觀點，和專案，並將中國優秀開發者或技術推薦給全球雲社群。如果你還沒有關注/收藏，看到這裡請一定不要匆匆劃過，點這裡讓它成為你的技術寶庫！

本文會演示如何利用開源軟體和 Amazon 服務來構建服務端埋點系統，客戶端部分不在本文的討論範圍內。

軟體架構

Lua 是一種輕量級、可嵌入式的指令碼語言，可以非常容易的嵌入到其他語言中使用。另外 Lua 提供了協程併發，即以同步呼叫的方式進行非同步執行，從而實現併發，比起回撥機制的併發來說程式碼更容易編寫和理解，排查問題也會容易。Lua 還提供了閉包機制，函式可以作為 First Class Value 進行引數傳遞，另外其實現了標記清除垃圾收集。

OpenResty® 是一個基於 Nginx 與 Lua 的高效能 Web 平臺，其內部整合了大量精良的 Lua 庫、第三方模組以及大多數的依賴項。用於方便地搭建能夠處理超高併發、擴充套件性極高的動態 Web 應用、Web 服務和動態閘道器。OpenResty® 透過匯聚各種設計精良的 Nginx 模組，從而將 Nginx 有效地變成一個強大的通用 Web 應用平臺。這樣，Web 開發人員和系統工程師可以使用 Lua 指令碼語言調動 Nginx 支援的各種 C 以及 Lua 模組，快速構造出足以勝任 10K 乃至 1000K 以上單機併發連線的高效能 Web 應用系統。

通常會利用 Nginx&Lua 實現服務端日誌的統一收集，筆者會利用這項技術實現埋點資料的收集，思路如下：

以 Http 請求的方式將埋點資料傳送至 Nginx 端；
透過 Lua 模組解析請求體，再將埋點資料以非同步的方式傳送至後端 Kafka。這個過程中資料不用落盤，大大節約了儲存空間和提高了效率；
最終後端會有一組消費者（例如 Spark）從 Kafka 中將資料落盤（例如 S3）；

下圖是本文軟體層面的架構圖。

整體架構

架構分為四大塊：

Amazon EKS，本文會將 Nginx 和 Lua 以容器的形式部署在 Amazon EKS 中，充分利用 EKS 的彈性；
Amazon MSK，本文會使用託管的 Kafka，也就是 Amazon MSK，降低部署和後期運維的壓力；
Amazon EFS，考慮到整體架構的可用性和永續性，如果在 MSK 端發生了故障，雖然機率極低，本文會使用 Amazon EFS 來儲存 Nginx 的錯誤日誌，儘量保證訊息的完整性；
Amazon NLB，本文會使用 NLB 來暴露服務；
Amazon ECR，本文會使用 ECR 來儲存容器映象；

步驟

在開始之前，請先確保您具有登入 Amazon 全球區控制檯的賬號，並具備管理員許可權。

前提條件

一臺 Linux 終端
足夠的 Amazon 賬號許可權
安裝 Amazon CLI
安裝 Docker
安裝 eksctl
安裝 kubectl
一、建立 Amazon VPC和Security Group
參考此連結，建立 1個 VPC、3個公有子網、3個私有子網和其他 VPC 資源。接下來筆者會使用 vpcid, publicsubnetid01, publicsubnetid02, publicsubnetid03, privatesubnetid01, privatesubnetid02, privatesubnetid03來代替相關 VPC 和子網資源。

建立一個安全組供後續其他服務使用，為了簡便配置，筆者會將本文使用到的資源放入同一個安全組中。讀者可以在自己環境中將安全組進行拆分。

###
$ aws ec2 create-security-group --group-name my-poc-sg --description " my-poc-sg " --vpc-id vpcid
###

記錄 Security Group ID, 筆者會使用 securitygroupid 來代替它。

###
$ aws ec2 authorize-security-group-ingress \
     --group-id securitygroupid\
     --protocol all\
     --port -1 \
     --source-group securitygroupid
###

二、建立 Amazon MSK

建立 Amazon MSK 叢集來接收訊息，並記錄 Broker 地址，筆者會使用 broker01, broker02, broker03 來代替。

###
$ aws kafka create-cluster \
     --cluster-name "my-poc-msk-cluster" \
     --broker-node-group-info file://brokernodegroupinfo.json \
     --kafka-version "2.6.2" \
     --number-of-broker-nodes 3 \
     --encryption-info EncryptionInTransit={ClientBroker=TLS_PLAINTEXT}
###

brokernodegroupinfo.json
~~~
{
    "InstanceType": "kafka.m5.large",
    "BrokerAZDistribution": "DEFAULT",
    "ClientSubnets": [
      "privatesubnetid01",
      "privatesubnetid02",
      "privatesubnetid03"
    ],
    "SecurityGroups": [
      "securitygroupid "
    ],
    "StorageInfo": {
      "EbsStorageInfo": {
        "VolumeSize": 100
      }
    }
}
~~~

三、構建映象

使用到的檔案包含：

Dockerfile
sh
conf
conf
my-poc-send2kafka.lua

###
$ mkdir workdir
$ cd workdir
###

依次按照如下內容建立檔案。

Dockerfile
~~~
FROM amazonlinux
COPY install.sh /
RUN chmod +x /install.sh
RUN /install.sh
COPY nginx.conf /opt/openresty/nginx/conf/nginx.conf
COPY common.conf /opt/openresty/nginx/conf/conf.d/common.conf
COPY my-poc-send2kafka.lua /opt/openresty/nginx/lua/my-poc-send2kafka.lua
EXPOSE 80
CMD sed -i "s/\$mypodip/$(hostname -i)/g" /opt/openresty/nginx/conf/conf.d/common.conf && /opt/openresty/nginx/sbin/nginx -c /opt/openresty/nginx/conf/nginx.conf
~~~

install.sh
~~~
#!/bin/sh
yum -y install readline-devel pcre-devel openssl-devel gcc wget tar gzip perl make unzip hostname
mkdir /opt/software
mkdir /opt/module
cd /opt/software/
wget https://openresty.org/download/openresty-1.9.7.4.tar.gz
tar -xzf openresty-1.9.7.4.tar.gz -C /opt/module/
cd /opt/module/openresty-1.9.7.4
./configure --prefix=/opt/openresty \
--with-luajit \
--without-http_redis2_module \
--with-http_iconv_module
make
make install
cd /opt/software/
wget https://github.com/doujiang24/lua-resty-kafka/archive/master.zip
unzip master.zip -d /opt/module/
cp -rf /opt/module/lua-resty-kafka-master/lib/resty/kafka/ /opt/openresty/lualib/resty/
mkdir /opt/openresty/nginx/lua/
mkdir /var/log/nginx/
~~~

nginx.conf
~~~
worker_processes auto;
worker_rlimit_nofile 100000;
daemon off;

events {
    worker_connections 102400;
    multi_accept on;
    use epoll;
}

http {
    include mime.types;
    default_type application/octet-stream;
    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
    '$status $body_bytes_sent "$http_referer" '
    '"$http_user_agent" "$http_x_forwarded_for"';
    access_log /var/log/nginx/access.log main;
    resolver 8.8.8.8;
    #resolver 127.0.0.1 valid=3600s;
    sendfile on;
    keepalive_timeout 65;
    underscores_in_headers on;
    gzip on;
    include /opt/openresty/nginx/conf/conf.d/common.conf;
}
~~~

common.conf
~~~
lua_package_path "/opt/openresty/lualib/resty/kafka/?.lua;;";
lua_package_cpath "/opt/openresty/lualib/?.so;;";
lua_shared_dict ngx_cache 128m;
lua_shared_dict cache_lock 100k;

server {
    listen 80;
    server_name 127.0.0.1;
    root html;
    lua_need_request_body on;
    access_log /var/log/nginx/access.log main;
    error_log /var/log/nginx/error-$mypodip.log notice;
    location = /putmessage {
        lua_code_cache on;
        charset utf-8;
        default_type 'application/json';
        content_by_lua_file "/opt/openresty/nginx/lua/my-poc-send2kafka.lua";
    }
}
~~~

my-poc-send2kafka.lua
~~~
local producer = require("resty.kafka.producer")
local json = require("cjson")

local broker_list = {
  {host = "broker01", port = 9092},
  {host = "broker02", port = 9092},
  {host = "broker03", port = 9092}
}

local log_json = {}

log_json["body"] = ngx.req.read_body()
log_json["body_data"] = ngx.req.get_body_data()

local topic = ngx.req.get_headers()["topic"]


local producer_error_handle = function(topic, partition_id, queue, index, err, retryable)
  ngx.log(ngx.ERR, "Error handle: index ", index, ' partition_id ', partition_id, ' retryable ', retryable, ' json ', json.encode(queue))
end


local bp = producer:new(broker_list, { producer_type = "async", batch_num = 200, error_handle = producer_error_handle})

local sendMsg = json.encode(log_json)

local ok, err = bp:send(topic, nil, sendMsg)
~~~

###
$ docker build -t  my-poc-image .
###

四、建立 Amazon ECR 並上傳映象

aws ecr create-repository \
    --repository-name my-poc-ecr/nginx-lua

###
$ aws ecr get-login-password --region regioncode | docker login --username AWS --password-stdin youraccountid.dkr.ecr.regioncode.amazonaws.com
$ docker tag my-poc-image:latest youraccountid.dkr.ecr.regioncode.amazonaws.com/my-poc-ecr/nginx-lua:latest
$ docker push youraccountid.dkr.ecr.regioncode.amazonaws.com/my-poc-ecr/nginx-lua:latest
###

五、建立 Amazon EFS

###
aws efs create-file-system \
    --performance-mode generalPurpose \
    --throughput-mode bursting \
    --encrypted \
    --region ap-northeast-1 \
    --tags Key=Name,Value=my-poc-efs
###

記錄 FileSystemId，筆者會使用 fsid 來代替它。

###
aws efs create-mount-target \
    --file-system-id fsid  \
    --subnet-id privatesubnetid01 \
    --security-groups securitygroupid

aws efs create-mount-target \
    --file-system-id fsid \
    --subnet-id privatesubnetid02 \
    --security-groups securitygroupid

aws efs create-mount-target \
    --file-system-id fsid \
    --subnet-id privatesubnetid03 \
    --security-groups securitygroupid
###

六、建立Amazon EKS叢集並安裝元件

cluster.yaml
###
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: my-poc-eks-cluster
  region: ap-northeast-1
  version: "1.21"

iam:
  withOIDC: true

addons:
- name: vpc-cni
  version: v1.11.2-eksbuild.1
- name: coredns
  version: v1.8.4-eksbuild.1
- name: kube-proxy
  version: v1.21.2-eksbuild.2

vpc:
  subnets:
    private:
      ap-northeast-1a: { id: "privatesubnetid01" }
      ap-northeast-1c: { id: "privatesubnetid02" }
      ap-northeast-1d: { id: "privatesubnetid03" }

managedNodeGroups:
  - name: my-poc-ng-1
    instanceType: m5.large
    desiredCapacity: 2
    volumeSize: 100
    privateNetworking: true
###

###
$ eksctl create cluster -f cluster.yaml
###

參考此連結安裝 Amazon Load Balancer Controller。

參考此連結安裝 Amazon EFS CSI driver。

七、在 Amazon EKS 中部署

###
$ kubectl apply -f deploy.yaml
###

deploy.yaml
~~~
---
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: efs-sc
provisioner: efs.csi.aws.com
parameters:
  provisioningMode: efs-ap
  fileSystemId: fsid
  directoryPerms: "700"
  gidRangeStart: "1000"
  gidRangeEnd: "2000"
  basePath: "/dynamic_provisioning"
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: my-poc-pvc
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: efs-sc
  resources:
    requests:
      storage: 5Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-lua
  labels:
    app: nginx-lua
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx-lua
  template:
    metadata:
      labels:
        app: nginx-lua
    spec:
      containers:
      - name: nginx-lua
        image: youraccountid.dkr.ecr.regioncode.amazonaws.com/my-poc-ecr/nginx-lua:latest
        ports:
        - containerPort: 80
        resources:
          limits:
            cpu: 500m
          requests:
            cpu: 200m
        volumeMounts:
        - name: my-poc-volume
          mountPath: /var/log/nginx
      volumes:
      - name: my-poc-volume
        persistentVolumeClaim:
          claimName: my-poc-pvc
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-lua-svc
  annotations:
    service.beta.kubernetes.io/aws-load-balancer-type: external
    service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: ip
    service.beta.kubernetes.io/aws-load-balancer-scheme: internet-facing
    service.beta.kubernetes.io/aws-load-balancer-subnets: publicsubnetid01, publicsubnetid02, publicsubnetid03
    service.beta.kubernetes.io/aws-load-balancer-name: my-poc-nginx-lua
    service.beta.kubernetes.io/aws-load-balancer-attributes: load_balancing.cross_zone.enabled=true
spec:
  selector:
    app: nginx-lua
  type: LoadBalancer
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
~~~

使用以下命令獲取 EXTERNAL-IP 地址，筆者會使用 nlbdns 來代替。

###
$ kubectl get svc nginx-lua-svc
###

八、功能測試

參考此連結安裝 kafka 客戶端。

建立測試用 Topic。

###
$ ./kafka-topics.sh --topic my-poc-topic-01 --create --bootstrap-server broker01:9092, broker02:9092, broker03:9092 --partitions 3 --replication-factor 2
###

安裝 ApacheBench 測試工具，並進行測試。

###
$ sudo yum -y install httpd-tools
$ ab -T 'application/json' -H "topic: my-poc-topic-01" -n 1000 -p postdata.json http://nlbdns/putmessage
###

postdata.json
~~~
{
    "uuid": "2b8c376e-bd20-11e6-9ebf-525499b45be6",
    "event_time": "2016-12-08T18:08:12",
    "page": "www.example.com/poster.html",
    "element": "register",
    "attrs": 
    {
        "title": "test",
        "user_id": 1234
    }
}
~~~

檢視訊息是否可以成功消費。

###
./kafka-console-consumer.sh --bootstrap-server broker01:9092, broker02:9092, broker03:9092 --topic my-poc-topic-01 --from-beginning
###

訊息已經成功消費。

接下來筆者會給一個不存在的 topic 傳送訊息，用來模擬生產環境中後端 MSK 不可用的情況。

###
$ ab -T 'application/json' -H "topic: my-poc-topic-noexist" -n 1000 -p postdata.json http://nlbdns/putmessage
###

按照預想狀況，這部分訊息會以錯誤日誌的形式保留在 Amazon EFS 中。

###
$ ab -T 'application/json' -H "topic: my-poc-topic-noexist" -n 1000 -p postdata.json http://nlbdns/putmessage
###

進入 EFS 中，開啟帶有 pod ip 的錯誤日誌，可以看到錯誤資訊被記錄了下來。

本篇作者

楊探
亞馬遜雲科技解決方案架構師，負責網際網路行業雲端架構諮詢和設計。

文章來源：https://dev.amazoncloud.cn/column/article/6309d47976658473a32...