在Docker上部署自動更新ssl證書的nginx + .NET CORE

波多爾斯基發表於2020-11-17

突發奇想要搞一個ssl的伺服器，然後我就打起了docker的主意，想著能不能搞一個基於Docker的伺服器，這樣維護起來也方便一點。

設想

想法是滿足這麼幾點：

.NET Core on Docker
Let’s Encypt on Docker
nginx on Docker用於反向代理
Let’s Encypt證書有效期很短，需要能夠自動更新

nginx與dotnet都提供了docker部署的方案，但是Let’s Encypt的certbot提供的文件強調了這個方法不是很推薦，主要原因是從其他位置不太方便訪問certbot的證書。當然可以通過volumes對映檔案訪問，但是埠80和443的獨立佔用也不好解決，或許DNS驗證的方法可行？

這方面我也不是很懂啊，就換一種思路，將nginx和certbot放在一個container，.NET Core單獨放在一個地方。由nginx載入證書並提供反向代理，.NET Core程式提供一個http訪問即可，不需要證書。如果後續續期了，還可以順帶一併處理nginx重新整理的事情。

方法

準備

確定你有一個能夠正確解析到主機的域名，假設是yourdomain.com。我這裡操作的主機是CentOS 8的，其他發行版，包括windows也應該操作方式類似。

接下來我們先看看兩個單獨都應該怎麼配置。

nginx+certbot

首先是製作docker image，選擇一個比較簡單的linux發行版，比如alpine進行。先建立一個Dockerfile

FROM nginx:alpine
RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.ustc.edu.cn/g' /etc/apk/repositories
RUN sed -i 's/http/https/g' /etc/apk/repositories
RUN apk update
RUN apk add certbot certbot-nginx
RUN mkdir /etc/letsencrypt
COPY nginx.conf /etc/nginx/nginx.conf

然後在當前目錄建立一個nginx配置檔案

為什麼不使用conf.d的網站配置，而是直接修改nginx.conf？由於我想直接使用certbot的--nginx指令直接配置nginx，如果使用了子配置的形式，certbot認不出來。

user  nginx;
worker_processes  auto;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;
     
    #include /etc/nginx/conf.d/*.conf;
	server {
	    listen       80;
	    server_name  yourdomain.com;# 注意名稱一定要是你需要驗證的域名
	
	    location / {
	        root   /usr/share/nginx/html;
	        index  index.html index.htm;
	    }
	
	    error_page   500 502 503 504  /50x.html;
	    location = /50x.html {
	        root   /usr/share/nginx/html;
	    }
	}
}

然後在當前目錄執行

docker build . -t nginx-certbot --network=host

編譯完成之後，就是執行了，需要開啟80埠用於驗證。

docker run -v $(pwd)/letsencrypt:/etc/letsencrypt -d -p 80:80 -p 443:443 nginx-certbot

第一次執行需要手動申請一下新的證書，執行

docker exec -it [你的container_name] sh

進入了互動式介面，繼續執行

certbot --nginx -d yourdomain.com

按照提示一步一步即可完成域名驗證。

然後需要增加一個自動執行的服務，可以使用crond，先增加一條執行任務。

echo "0 0 1 * * /usr/bin/certbot renew --quiet" >> /etc/crontabs/root

具體的crond設定的方法，可以參考其他文章，上面設定每個月1號執行。不能設定太勤，會被block
執行ps，如果crond不在執行，手動執行一下crond即可。
全部完成之後，執行exit退出container的shell。

.NET Core app

首先dotnet new webapp，然後直接build，即可生成一個預設釋出在5000埠的app，反向代理需要有一個設定，新增一個請求頭：

app.UseForwardedHeaders(new ForwardedHeadersOptions
{
        ForwardedHeaders = ForwardedHeaders.XForwardedFor | ForwardedHeaders.XForwardedProto
});

然後執行dotnet publish命令，就可以生成可以釋出執行的檔案了。（這裡可以參考官方的文件，不是本文重點我就不寫了。）

下一步是製作Dockerfile。

FROM mcr.microsoft.com/dotnet/core/aspnet:3.0 AS runtime
WORKDIR /app
COPY published/* ./
ENTRYPOINT ["dotnet", "dot.dll"]

注：現在dotnet版本不同，可能生成所在的監聽埠也有不同。

整合

掌握了上面的基礎之後，我們需要整合了，
修改nginx.conf

# For more information on configuration, see:
#   * Official English Documentation: http://nginx.org/en/docs/
#   * Official Russian Documentation: http://nginx.org/ru/docs/

user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;

# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;

events {
    worker_connections 1024;
}

http {
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    keepalive_timeout   65;
    types_hash_max_size 2048;

    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;

    # Load modular configuration files from the /etc/nginx/conf.d directory.
    # See http://nginx.org/en/docs/ngx_core_module.html#include
    # for more information.
    # include /etc/nginx/conf.d/*.conf;

    server {
    listen        80;
    server_name   yourdomain.com; 
    location / {
        proxy_pass         http://192.168.48.2:5000;
        proxy_http_version 1.1;
        proxy_set_header   Upgrade $http_upgrade;
        proxy_set_header   Connection keep-alive;
        proxy_set_header   Host $host;
        proxy_cache_bypass $http_upgrade;
        proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header   X-Forwarded-Proto $scheme;
    }
}


}

設定好了之後，還是前面分部的步驟來，就先啟動ASP.NET Core然後再啟動nginx就好了。注意需要提前建立bridge網路，並將兩個container加入進來，並且將上面的IP設定成對應的IP，要不會導致無法正常轉發。

優化與改進

有的老鐵已經發現了，這種方法比較麻煩，第一次啟動的時候，需要做的事情很多，第二次啟動很多配置也會丟失，而且還要手動建立網路，有沒有什麼好辦法呢？
有兩個地方可以進行優化：

crond部分有一個增加自動化任務的工作，我這裡使用了echo方法向crond增加記錄，其實完全可以自動化這個步驟並確保這個服務啟動。其實可以將這個內容在build中打包進去，或者也可以使用docker-compose設定啟動的命令。
將nginx.conf提取出來，以更好服務.NET Core，可以使用volume進行對映，通過本機對映檔案的形式進行管理。

按照上面的思路，使用docker-compose優化一下，首先編寫一個docker-compose.yml：

version: '3.7'

services: 
    aspnetcoreapp:
        image: aspdot  
        container_name: "aspnetcoreapp"  
        networks:  
        - mynetwork  

    proxy:  
        depends_on:
        - aspnetcoreapp  
        image: nginx-cerbot 
        container_name: "nginxcore"  
        ports:   
        - 80:80
        - 443:443 
        command: sh -c "echo '0 0 1 * * /usr/bin/certbot renew  --quiet' >> /etc/crontabs/root & crond & nginx -g 'daemon off;'" 
        volumes:
        - ./nginx.conf:/etc/nginx/nginx.conf
        - ./letsencrypt:/etc/letsencrypt
        # - ./default.conf:/etc/nginx/conf.d/default.conf
        # - ./html/:/usr/share/nginx/html/
        - ./logs/:/var/log/nginx/
        restart: always
        networks:  
        - mynetwork  

networks:
    mynetwork: 
        driver: bridge

注：alpine版本的nginx啟動的cmd預設是nginx -g daemon off;，docker-compose的command段只能覆蓋預設CMD，不能追加，所以需要在命令中最後執行這個才行。另外，這個crond預設在後臺不能正常執行，需要在Command命令中指定才能正常觸發執行（在container中只有執行crond -f才能正常工作）。

之後，執行

docker-compose up -d

程式正常執行，然後再按照上面nginx+certbot的操作進行即可，certbot會自動處理nginx的ssl轉換問題，可以看到我的nginx.conf變成了這樣：

# For more information on configuration, see:
#   * Official English Documentation: http://nginx.org/en/docs/
#   * Official Russian Documentation: http://nginx.org/ru/docs/

user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;

# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;

events {
    worker_connections 1024;
}

http {
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    keepalive_timeout   65;
    types_hash_max_size 2048;

    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;

    # Load modular configuration files from the /etc/nginx/conf.d directory.
    # See http://nginx.org/en/docs/ngx_core_module.html#include
    # for more information.
    # include /etc/nginx/conf.d/*.conf;

    server {
    server_name   yourdomain.com;
    location / {
        proxy_pass         http://192.168.48.2:5000;
        proxy_http_version 1.1;
        proxy_set_header   Upgrade $http_upgrade;
        proxy_set_header   Connection keep-alive;
        proxy_set_header   Host $host;
        proxy_cache_bypass $http_upgrade;
        proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header   X-Forwarded-Proto $scheme;
    }

    listen 443 ssl; # managed by Certbot
    ssl_certificate /etc/letsencrypt/live/yourdomain.com/fullchain.pem; # managed by Certbot
    ssl_certificate_key /etc/letsencrypt/live/yourdomain.com/privkey.pem; # managed by Certbot
    include /etc/letsencrypt/options-ssl-nginx.conf; # managed by Certbot
    ssl_dhparam /etc/letsencrypt/ssl-dhparams.pem; # managed by Certbot

}




    server {
    if ($host = yourdomain.com) {
        return 301 https://$host$request_uri;
    } # managed by Certbot


    listen        80;
    server_name   yourdomain.com;
    return 404; # managed by Certbot


}}

至此，整個系統已經正常執行了。

FAQ

1. 自動更新證書成功，訪問服務的時候，依然提示證書過期錯誤。

nginx證書如果是手動載入的話，自動更新證書之後，nginx不會自動載入新的證書，只有重新nginx -s reload之後才能正確載入。如果是certbot --nginx的話，後續的renew會自動重新載入nginx配置的。

2. docker build中下載資源出現temporary error錯誤

由於docker的bridge模式導致的，有兩種方案可以處理，可以在build命令中指定--network=host或者直接指定docker全域性的DNS。參考這篇文章。

3. 刪除映象的時候，提示還有container在引用，無法刪除。

docker ps顯示並沒有活動的容器，但是容器其實還在的，有幾條命令可以派上用場。

docker ps -a # 顯示所有容器
docker stop $(docker ps -a -q） # 停止所有容器
docker rm $(docker ps -a -q) # 刪除所有容器
通過這幾個命令就可以把殘留的container刪除乾淨了。

4. nginx提示502 bad gateway

這裡需要提醒一下，由於docker網路bridge的機制，不同contianer之間是不能使用localhost或者127.0.0.1進行相互訪問的，需要使用到該container的IP（實際上是docker分配的虛擬IP）。可以使用docker inspect [containerId]檢視容器分配的ip地址。

參考

CentOS 6.7下nginx SSL證書部署的方法
2019-03-30
CentOSNginx
在Nginx下部署SSL證書並重定向至HTTPS的教程
2019-12-11
NginxHTTP
Jenkins + Docker + ASP.NET Core自動化部署
2021-05-13
JenkinsDockerASP.NET
用Certbot 獲取和自動更新SSL證書
2018-04-26
利用 ACME 實現SSL證書自動化配置更新
2024-10-10
ACM
在網上配置部署SSL證書的原因是什麼
2023-01-03
Docker部署Halo部落格並配置SSL證書
2021-09-07
Docker
Nginx伺服器上安裝SSL證書？
2024-01-31
Nginx伺服器
更新：為 NGINX 配置免費的 Let's Encrypt SSL/TLS 證書
2022-11-24
NginxTLS
西部數碼更新SSL證書
2024-06-02
Asp.Net Core WebAPI+PostgreSQL部署在Docker中
2019-08-13
ASP.NETWebAPISQLDocker
翻譯 - ASP.NET Core 託管和部署 - 在 Linux 上使用 Nginx 託管 ASP.NET Core 網站
2021-01-18
ASP.NETLinuxNginx網站
如何使用Docker生成SSL證書
2023-01-16
Docker
SSL證書部署最佳實踐
2021-09-17
自簽名ssl證書
2024-11-29
SSL證書很關鍵！為什麼有些公司會忽略SSL證書的部署？
2023-04-10
NET Core+MySql+Nginx 容器化部署
2018-08-20
MySqlNginx
自簽名的SSL證書與專業的SSL證書有哪些區別？
2021-03-18
使用 Docker CertBot 獲取 SSL 證書
2018-09-18
Docker
Winows+Nginx下SSL證書安裝
2020-04-13
Nginx
最詳細之教你Jenkins+github自動化部署.Net Core程式到Docker
2021-08-19
JenkinsGithubDocker
使用certbot在centos7搭建ssl證書並且自動續約
2024-10-24
CentOS
阿里雲伺服器部署 nodejs + mongodb + nginx 反向代理 + https配置 ssl證書
2019-01-19
阿里伺服器NodeJSMongoDBNginxHTTP
Mac 上製作 SSL 證書
2022-01-23
Mac
為什麼需要定期更新SSL證書？
2023-04-24
[python][nginx][https] Nginx 伺服器 SSL 證照安裝部署
2022-03-07
PythonNginxHTTP伺服器
免費ssl證書獲取以及部署
2022-07-12
nginx配置SSL證書實現https服務
2019-05-28
NginxHTTP
Nginx/Tengine 伺服器安裝 SSL 證書
2021-06-15
Nginx伺服器
申請並部署免費的 SSL/TLS 證書
2024-05-28
TLS
自簽名SSL證書安全嗎？
2020-08-19
什麼是自簽名證書？自簽名SSL證書的優缺點?
2021-10-19
Linux Docker 部署 ASP.NET Core應用
2021-06-04
LinuxDockerASP.NET
阿里雲負載均衡SSL證書配置(更新)
2018-04-22
阿里負載
如何申請SSL證書以及SSL證書的費用
2020-06-23
自簽名證書 nginx tomcat
2019-02-28
NginxTomcat
Dynamics CRM IFD部署如何更換SSL證書
2018-06-15
Tomcat 伺服器輕鬆部署 SSL 證書
2021-06-06
Tomcat伺服器