0620 - 關於 Klib 分享的技術選型,各種糾結之後,我選瞭如下方案

atJason發表於2017-06-20

技術方案選型是件很有意思的事,各個環節都有各種選擇,可以組合出各種可能。在這些可能性中,挑選出最佳方案,是我很喜歡做的事

最近剛剛完成 Klib 的標註分享,趁著熱乎勁,小結一下:過程中糾結了哪些方案,以後最後選擇了什麼。

0) 先來看看最終效果

0620 - 關於 Klib 分享的技術選型,各種糾結之後,我選瞭如下方案

這就是 Klib 分享標註的操作流程:點選分享,立即得到可以全球訪問的網頁。操作不能更簡單,背後的技術邏輯卻很複雜:

實際的開發是混在一起的、思路也是交叉的,不過,為了介紹方便,我大致按照資料流來推演。

0620 - 關於 Klib 分享的技術選型,各種糾結之後,我選瞭如下方案

1) Klib 與介面伺服器

這部分的功能比較直接:Klib 將標註內容傳送給介面伺服器,伺服器處理完後返回結果。

需要介紹的,倒是功能之外的東西:

  • 如何防止介面被攻擊
  • 如何做身份識別

這部分內容其實是很複雜的,我最終採用了和 Klib 安全性相稱的方案。

1.0) 防止介面被攻擊

1.0.0) 介面伺服器使用 https

這是最基礎、但非常有效的方式,全程使用 https 加密,已經可以大大提高安全性。

1.0.1) 防止介面被非法使用

如果介面是公開的、所有人都可以任意訪問,就可以隨意地向伺服器丟垃圾資料,迅速將伺服器擠爆。

比如好的做法是 使用非對稱加密,即使用一對私鑰、公鑰,使用 私鑰加密 的資料,只能使用 公鑰解密;反之,使用 公鑰加密 的資料,只能使用 私鑰解密。整體流程大致如下:

0620 - 關於 Klib 分享的技術選型,各種糾結之後,我選瞭如下方案

  • 介面伺服器開放 公鑰 A
  • 每個 Klib 客戶端生成新的 私鑰 B公鑰 B
  • Klib 客戶端使用 公鑰 A 加密 公鑰 B,並將其傳送給介面伺服器
  • 介面伺服器使用 私鑰 A 解密後,儲存該客戶端對應的 公鑰 B
  • 之後,Klib 客戶端傳送資料時,使用 私鑰 B 加密,介面伺服器收到後使用 公鑰 B 解密,並用 公鑰 B 加密後返回資料

聽起來有點像繞口令?

開發上也有點麻煩,畢竟伺服器還要儲存每個 Klib 客戶端對應的公鑰。如果有多個伺服器,則需要在不同伺服器間同步公鑰,更加麻煩。對於我這個小產品 + 實驗功能來說,暫時不需要這麼高的安全級別。

於是,我採用了更簡單、但夠用的 AES 對稱加密。即 Klib 客戶端和介面伺服器使用相同的 AES 加密方法、同一個密碼,加密請求和響應的資料;如果不能提供正確的加密,就無法使用伺服器介面。

這一方案主要的風險是:黑客可以反編譯 Klib 得到密碼。除了 Klib 本身會編譯並簽名,我還在程式碼里加密儲存密碼。基本上除了跟我有八輩子解不開的愁,99.9999% 的人是不會花精力來破解這個密碼的。

1.0.2) 使用時間戳 + MD5

即使加密過的資料,最終也只是表現為一個 http 請求,而這個請求是可能被本地攔截,進而用於模擬正常使用者請求。

對應的防護是,在 http 請求中加入時間戳,並對 http 頭的內容部分計算 MD5(或 CRC 等),伺服器端進行驗證,就可保證 http 頭不被濫用。

其實,這是 OAuth 的範疇。好在,我在開發 圖床神器 iPic 時,先後從客戶端的角度實現了七牛、又拍、阿里雲、Imgur、Flickr、Amazon S3 的 OAuth,這次實現一個簡單的伺服器端部分,也不算麻煩。

1.1) 如何做身份識別

上面說的是在面對黑客時的防護,聽著有點暈是吧?下面來說說正常情況下的身份識別。

比如:如果使用者嘗試停止一個分享,如何判斷該使用者是否有許可權?

如果有賬戶系統,這點比較容易解決。而 Klib 尚未引用賬戶系統,怎麼辦呢?比較高階的是使用區塊鏈(咳咳),我目前的做法是:使用者使用 Klib 分享一本書的標註時,伺服器會返回一個隨機數。下次使用者在停止分享時,只要能提供這個隨機數,即判定為有效請求。在上述各種防護的前提下,可以有效地防止被惡意停止分享。

2) 介面伺服器

介面伺服器是整個系統中最複雜的部分,它的職責比較多:

  • 驗證請求,並接收資料
  • 儲存資料
  • 根據資料生成靜態網頁
  • 將靜態網頁輸送給靜態伺服器
  • 更新、刪除分享時,更新資料儲存和靜態伺服器

驗證請求和前面的介紹是對應的,這裡略過不表。

2.0) 使用 Python + Flask 實現功能部分

所謂介面伺服器,首先就是要開放介面(開門接客)具體的,就是 http 請求的路由表。比如,當 Klib 客戶端向 api.klib.me/share 傳送資料時,要有相應的程式碼來接收處理這個請求。

在之前的文章 我入門 Python 後總結的基礎教程 中,我已經介紹了使用 Flask 框架,這裡不再重複。

2.1) 使用 Nginx + Gunicorn 搭建伺服器

同上,請參考 我入門 Python 後總結的基礎教程

另外,使用 Supervisorctl 保證服務可靠執行。

2.2) 使用 MySQL + SQLAlchemy 儲存資料

從資料儲存的角度看,書的標註都是很規整的,無非是書名、作者、筆記內容等等。於是我選擇了最常用的關係型資料庫:MySQL

如果直接使用 SQL 語句運算元據庫,既繁瑣又不安全,這裡我使用可稱為 ORM (Object Relational Mapping) 界事實標準的 SQLAlchemy 構建 Model、運算元據庫。

我本來想說「這沒什麼好介紹的」,但實際上,MySQL 的坑很多。比如,如果要支援 Emoji 表情,就要全程使用 utf8mb4 編碼。還有很多其他的坑,此處略去一萬字…

2.3) 使用 Jinja 模板生成靜態網頁

關於標註部分,Klib 傳送的是 Markdown 格式,如:

# 簡單思考

## 卷首語

- 商業的本質就是“持續提供使用者真正想要的東西”,除此無他。

- 召集具備回應使用者需求的熱情與能力的員工,併為他們營造出無拘無束可最大限度地發揮其才能的環境,除此無他。

## 第一章 經商不是“打仗”

- 重要的是不斷磨鍊對“大眾真實需求”的感知能力和使之實體化的技術。

- 音樂和體育不同,不用與任何人戰鬥。複製程式碼

需要使用 markdown 模式將其轉換成 html 格式,如:

<h1>簡單思考</h1>
<h2>卷首語</h2>
<ul>
   <li>
      <p>商業的本質就是“持續提供使用者真正想要的東西”,除此無他。</p>
   </li>
   <li>
      <p>召集具備回應使用者需求的熱情與能力的員工,併為他們營造出無拘無束可最大限度地發揮其才能的環境,除此無他。</p>
   </li>
</ul>
<h2>第一章 經商不是“打仗”</h2>
<ul>
   <li>
      <p>重要的是不斷磨鍊對“大眾真實需求”的感知能力和使之實體化的技術。</p>
   </li>
   <li>
      <p>音樂和體育不同,不用與任何人戰鬥。</p>
   </li>
</ul>複製程式碼

這裡讚歎一下:Python 輪子就是多。只需輕輕地匯入 markdown 模組,即可優雅地將 Markdown 轉換為 html 格式,舒爽。

import markdown
html_str = markdown.markdown(markdown_str)複製程式碼

對於最終生成的靜態網站,像 css/js 等部分都是一樣的,只是頁面標題、正文等內容性的東西不同。於是,使用 Jiaja 模式表示這些通用部分,並 {{ title }} 這樣的標註符表示各個分享所不同的內容部分;再用 render_template 方法替換模板中的內容,即可生成對應的靜態檔案。

感嘆:這樣簡潔直接的操作、無需各種複雜的配置,就能得到最後想要的東西,真真是程式設計中最可愛的環節

3) 靜態伺服器與 CDN

有了靜態伺服器,就像是有了寶貝,不能只是自己藏著,得拿出來讓大家瞧瞧,這就是靜態 (Web) 伺服器要乾的事。

當然,靜態伺服器和介面伺服器,在物理上可以是同一臺伺服器,這裡只是從角色上進行區分。

在展示靜態網頁方面,技術選型上主要有 2 方面的需求:

  • 網頁內容能實時更新
  • 使用者訪問速度快

其中,內容的更新對應使用者分享時的 3 種操作:

  • 建立分享
    • 對應建立靜態 html 檔案
  • 更新分享的內容
    • 對應更新 html 檔案內容
  • 停止分享
    • 對應刪除 html 檔案

好,帶著「實時」建立、更新、刪除 html 檔案這 3 個需求,我們來看看如何提高訪問速度

3.0) ? 僅使用單一伺服器

首先,如何什麼都不做,意味全球的使用者(Klib 必須是國際性產品,得考慮全球使用者,嗯)都要連線這臺伺服器。

且不說併發數等限制,單從網速上看,如果將伺服器放在國內,國外使用者勢必慢;反之亦然。更何況國內還是電信、網通、以及神奇的長寬,國外也有 N 多國家。

如果確實要這麼做,比較好的方案是使用 阿里雲香港伺服器,可以兼顧國內國外使用者。暫時,不採用這一方案,每月省下 $19…

3.1) ? CDN

進而,通常的做法是使用 CDN.

CDN 確實可以有效提高不同地區、不同網路環境下的訪問速度,且極大地降低對靜態伺服器的壓力。不過,CDN 有個致命的侷限:內容更新慢。尤其在更新、刪除內容時,這種慢會帶來業務上的問題

比如,使用者在 Klib 中分享標註後又停止,卻發現之前產生的網頁依然可以訪問,使用者會覺得這是 Bug,進而會帶來很大的客服壓力。於是,跳過這一方案。

3.2) ? 國內、國外多臺伺服器

下一方案是:國內、國外各一臺(或多臺)伺服器,通過 DNS 伺服器進行分流,相當於自建 CDN。

不料,卻遇到一個坑:國內伺服器的外網速度普遍較慢。比如我試了阿里雲上海節點,從國外伺服器使用 scp 或 rsync 傳輸一個 10 KB 的檔案需要 4s,跌破了我的眼鏡。並且,阿里雲我也只買了 1 MB 頻寬的小水管,併發時速度會很慢。於是,這一方案也被放棄。

3.3) ? 最終方案

0620 - 關於 Klib 分享的技術選型,各種糾結之後,我選瞭如下方案

如何實現 全國秒開、及更多詳盡分析,盡在「自在開發」公眾號:

0620 - 關於 Klib 分享的技術選型,各種糾結之後,我選瞭如下方案
自在開發


3.4) 搜尋引擎優化

4) 網頁的適配

5) 其他

5.0) 區分開發、測試、線上環境

5.1) 服務監控

5.2) 一定要有日誌

5.3) 一定要有備份

6) 事務諸葛亮

相關文章