ChatGPT 點燃了通用AI浪潮，繼農業革命、工業革命、計算機技術革命後，也將可能掀起 AI 技術革命。

業界對 ChatGPT 的 AI 演算法關注得比較多，但是 OpenAI 已經演變為服務數億使用者的平臺服務。近3個月 ChatGPT 的 SLA 大約99%，也就是說平均每天大約有15分鐘不可用，整體技術架構和可靠性也備受關注。

![OpenAI 網站近90天狀態圖](http://img.blog.itpub.net/blog/2023/03/28/92592278f8c9626b.png?x-oss-process=style/bb)

OpenAI 網站近90天狀態圖(綠色表示可用，其它表示異常)

**ChatGPT 沒有對外正式分享他們的技術架構，所以很難準確知道架構大圖，本文嘗試從以下幾個方面：**

-   網際網路公開資訊（twitter、linkedIn等）
-   OpenAI 最新招聘崗位要求
-   OpenAI 幾次故障報告
-   Github 程式碼

繪製了 ChatGPT 的主要軟體技術棧大圖。

![ChatGPT軟體技術棧大圖](http://img.blog.itpub.net/blog/2023/03/28/a0a32a861081b9fd.png?x-oss-process=style/bb "ChatGPT軟體技術棧大圖")

# 1、雲服務

OpenAI 是雲時代的 AI 創業公司，所有業務都是架設在公有云上，在創業初期得到 AWS 的支援，下面這個對話是 OpenAI 截止2021年公開資訊的回答：

![OpenAI 使用了AWS雲服務](http://img.blog.itpub.net/blog/2023/03/28/f218120225535344.png?x-oss-process=style/bb "OpenAI 使用了AWS雲服務")

![OpenAI 截止2021年公開資訊顯示使用了AWS雲服務](http://img.blog.itpub.net/blog/2023/03/28/329b6ff1b8d6e298.png?x-oss-process=style/bb "OpenAI 截止2021年公開資訊顯示使用了AWS雲服務")

上面這段話來自 OpenAI 的官網早期文章介紹，可以看到曾使用了大量 AWS 服務。

近兩年又得到微軟鉅額投資，並且明確了要由 Azure 提供服務。可以肯定 ChatGPT 是在轉向以 Azure 為主的多雲方案，AWS 服務會逐漸減少。

另外使用了 Terraform 多雲管理服務來做雲資源的管理。

# 2、資料庫

![ChatGPT 的核心業務資料儲存在關係型資料庫 PostgreSQL 中](http://img.blog.itpub.net/blog/2023/03/28/91aba8c9b2f57999.png?x-oss-process=style/bb)

首先問 ChatGPT 自己，基本上都沒有明確的答案。不過從官網職位和故障報告可以得到比較準確的資訊：

ChatGPT 的核心業務資料儲存在關係型資料庫 PostgreSQL 中，這個在官方網站有介紹，數億使用者的賬號、AK和對話等資訊都儲存在這裡。

2023.2.20號的故障報告也說明了主資料庫 PostgreSQL 發生問題。並且提到使用了PgBouncer的連線池服務。

同時使用了 Redis 叢集作為快取服務，在2023.3.20 ChatGPT 爆出了安全漏洞，部分使用者可以看到其他人的聊天記錄，就是因為踩了 Redis-py 在連線取消狀態下會話錯亂的 bug，CEO Sam Altman 也在 twitter 出來道歉。

![Redis-py 在連線取消狀態下會話錯亂的 bug，CEO Sam Altman 也在 twitter 出來道歉。](http://img.blog.itpub.net/blog/2023/03/28/d43eaeb2e3edd73a.png?x-oss-process=style/bb)

另外還在招聘中希望懂 CosmosDB，這個目前還不確認用在什麼場景，CosmosDB 是 Azure 推出的多模資料庫，支援 MongoDB、Cassandra、PostgreSQL、Gremlin 等相容性介面，是微軟在 NoSQL 領域的旗艦產品。

之前 Patrick-McFadin (Cassandra Committer)在 LinkedIn 上提到 OpenAI 使用了 Cassandra，但最終討論下來是 ChatGPT 自己胡說的，還不能確認是否真的使用了 Cassandra 或者是在 CosmosDB 中使用了 Cassandra 的 API。

另外CosmosDB也透過收購過來的Citus提供的分散式PostgreSQL的介面。不確認是否使用了Citus來完成分散式資料庫架構。

ChatGPT 使用了 Snowflake 這個新一代的雲原生資料倉儲，並且使用了 Tableau 來做資料分析。支援多雲部署的 Snowflake 對於業務從 AWS 到 Azure的跨雲遷移是非常有利的。

# 3、前端

在Web前端方面，比較明確的是使用了 TypeScript 語言和 React 框架。

移動端目前 ChatGPT 還沒有正式的 APP 釋出，不過已經在招聘 iOS 和 Android 工程師，應該快了。

# 4、應用與服務程式語言

作為以 AI 為基礎的科技公司，OpenAI 選擇 Python 為核心語言，不管是 AI 崗位還是平臺軟體工程師崗位，都是需要精通 Python 語言。

平臺服務選擇 Python，使用了 Python 裡比較流行的 Flask 框架，並使用了 OpenAPI 等元件。

# 5、AI 技術框架

AI 技術框架核心是 Pytorch，可能也使用了 Tensorflow。

OpenAI 自己研發了面向 GPU 的演算法框架 Triton，並且在 github 上開源了(  
https://github.com/openai/triton)，用於代替 NVIDIA 的 CUDA，目標是能更高效的開發機器學習演算法。Triton 的程式語言使用了 c++和 python。

關於更細節的 AI 訓練和部署服務架構還待挖掘。下圖是來自網上陳巍博士分享的一張大模型典型架構圖，供參考：

![更細節的 AI 訓練和部署服務架構還待挖掘。下圖是來自網上陳巍博士分享的一張大模型典型架構圖](http://img.blog.itpub.net/blog/2023/03/28/6ab3880d8000d273.png?x-oss-process=style/bb)

來源：https://zhuanlan.zhihu.com/p/611464068

# 6、應用部署與監控運維

**容器服務**：Kubernetes

**監控與運維**：Prometheues（招聘運維開發工程師提到需要懂PromQL）

**日誌服務：** Splunk

**程式語言：** Golang、Python

# 7、參考文件

1. ChatGPT軟體工程師崗位描述：

https://openai.com/careers/software-engineer-chatgpt

2. OpenAI 2023.2.20 故障分析報告：

https://status.openai.com/incidents/mq5jgswy45fr

3. OpenAI開源Triton的Github地址：

https://github.com/openai/triton

4. Patrick McFadin在Linkin上討論ChatGPT是否使用了Cassandra:

https://www.linkedin.com/posts/patrick-mcfadin-53a8046_this-isnt-your-regular-chatgpt-post-so-activity-7031372446536515584-P8fg/?utm_source=share&utm_medium=member_desktop

# 8、最後

本文作者：葉正盛，NineData 程式設計師，玖章算術CEO，原阿里雲資 深技術專家。

NineData 官網：www.ninedata.cloud，提供企業級資料庫 SQL 開發工具，資料複製、對比、備份等產品，並提供了類似ChatGPT的SQL服務（SQL AI Copilot），免費使用，無需下載。

**歡迎大家留言或者轉載！**

ChatGPT軟體技術棧解密

相關文章