電商網站秒殺與搶購的系統架構

架構說發表於2016-04-08

一、大規模併發帶來的挑戰

在過去的工作中,我曾經面對過5w每秒的高併發秒殺功能,在這個過程中,整個Web系統遇到了很多的問題和挑戰。如果Web系統不做針對性的優化,會輕而易舉地陷入到異常狀態。我們現在一起來討論下,優化的思路和方法哈。

1. 請求介面的合理設計

一個秒殺或者搶購頁面,通常分為2個部分,一個是靜態的HTML等內容,另一個就是參與秒殺的Web後臺請求介面。

通常靜態HTML等內容,是通過CDN的部署,一般壓力不大,核心瓶頸實際上在後臺請求介面上。這個後端介面,必須能夠支援高併發請求,同時,非常 重要的一點,必須儘可能“快”,在最短的時間裡返回使用者的請求結果。為了實現儘可能快這一點,介面的後端儲存使用記憶體級別的操作會更好一點。仍然直接面向 MySQL之類的儲存是不合適的,如果有這種複雜業務的需求,都建議採用非同步寫入。

當然,也有一些秒殺和搶購採用“滯後反饋”,就是說秒殺當下不知道結果,一段時間後才可以從頁面中看到使用者是否秒殺成功。但是,這種屬於“偷懶”行為,同時給使用者的體驗也不好,容易被使用者認為是“暗箱操作”。

2. 高併發的挑戰:一定要“快”

我們通常衡量一個Web系統的吞吐率的指標是QPS(Query Per Second,每秒處理請求數),解決每秒數萬次的高併發場景,這個指標非常關鍵。舉個例子,我們假設處理一個業務請求平均響應時間為100ms,同時, 系統內有20臺Apache的Web伺服器,配置MaxClients為500個(表示Apache的最大連線數目)。

那麼,我們的Web系統的理論峰值QPS為(理想化的計算方式):

20*500/0.1 = 100000 (10萬QPS)

咦?我們的系統似乎很強大,1秒鐘可以處理完10萬的請求,5w/s的秒殺似乎是“紙老虎”哈。實際情況,當然沒有這麼理想。在高併發的實際場景下,機器都處於高負載的狀態,在這個時候平均響應時間會被大大增加。

就Web伺服器而言,Apache開啟了越多的連線程式,CPU需要處理的上下文切換也越多,額外增加了CPU的消耗,然後就直接導致平均響應時間 增加。因此上述的MaxClient數目,要根據CPU、記憶體等硬體因素綜合考慮,絕對不是越多越好。可以通過Apache自帶的abench來測試一 下,取一個合適的值。然後,我們選擇記憶體操作級別的儲存的Redis,在高併發的狀態下,儲存的響應時間至關重要。網路頻寬雖然也是一個因素,不過,這種 請求資料包一般比較小,一般很少成為請求的瓶頸。負載均衡成為系統瓶頸的情況比較少,在這裡不做討論哈。

那麼問題來了,假設我們的系統,在5w/s的高併發狀態下,平均響應時間從100ms變為250ms(實際情況,甚至更多):

20*500/0.25 = 40000 (4萬QPS)

於是,我們的系統剩下了4w的QPS,面對5w每秒的請求,中間相差了1w。

然後,這才是真正的惡夢開始。舉個例子,高速路口,1秒鐘來5部車,每秒通過5部車,高速路口運作正常。突然,這個路口1秒鐘只能通過4部車,車流量仍然依舊,結果必定出現大塞車。(5條車道忽然變成4條車道的感覺)

同理,某一個秒內,20*500個可用連線程式都在滿負荷工作中,卻仍然有1萬個新來請求,沒有連線程式可用,系統陷入到異常狀態也是預期之內。

其實在正常的非高併發的業務場景中,也有類似的情況出現,某個業務請求介面出現問題,響應時間極慢,將整個Web請求響應時間拉得很長,逐漸將Web伺服器的可用連線數佔滿,其他正常的業務請求,無連線程式可用。

更可怕的問題是,是使用者的行為特點,系統越是不可用,使用者的點選越頻繁,惡性迴圈最終導致“雪崩”(其中一臺Web機器掛了,導致流量分散到其他正常工作的機器上,再導致正常的機器也掛,然後惡性迴圈),將整個Web系統拖垮。

3. 重啟與過載保護

如果系統發生“雪崩”,貿然重啟服務,是無法解決問題的。最常見的現象是,啟動起來後,立刻掛掉。這個時候,最好在入口層將流量拒絕,然後再將重啟。如果是redis/memcache這種服務也掛了,重啟的時候需要注意“預熱”,並且很可能需要比較長的時間。

秒殺和搶購的場景,流量往往是超乎我們系統的準備和想象的。這個時候,過載保護是必要的。如果檢測到系統滿負載狀態,拒絕請求也是一種保護措施。在 前端設定過濾是最簡單的方式,但是,這種做法是被使用者“千夫所指”的行為。更合適一點的是,將過載保護設定在CGI入口層,快速將客戶的直接請求返回。

二、作弊的手段:進攻與防守

秒殺和搶購收到了“海量”的請求,實際上裡面的水分是很大的。不少使用者,為了“搶“到商品,會使用“刷票工具”等型別的輔助工具,幫助他們傳送儘可 能多的請求到伺服器。還有一部分高階使用者,製作強大的自動請求指令碼。這種做法的理由也很簡單,就是在參與秒殺和搶購的請求中,自己的請求數目佔比越多,成功的概率越高。

這些都是屬於“作弊的手段”,不過,有“進攻”就有“防守”,這是一場沒有硝煙的戰鬥哈。

1. 同一個賬號,一次性發出多個請求

部分使用者通過瀏覽器的外掛或者其他工具,在秒殺開始的時間裡,以自己的賬號,一次傳送上百甚至更多的請求。實際上,這樣的使用者破壞了秒殺和搶購的公平性。

這種請求在某些沒有做資料安全處理的系統裡,也可能造成另外一種破壞,導致某些判斷條件被繞過。例如一個簡單的領取邏輯,先判斷使用者是否有參與記 錄,如果沒有則領取成功,最後寫入到參與記錄中。這是個非常簡單的邏輯,但是,在高併發的場景下,存在深深的漏洞。多個併發請求通過負載均衡伺服器,分配 到內網的多臺Web伺服器,它們首先向儲存傳送查詢請求,然後,在某個請求成功寫入參與記錄的時間差內,其他的請求獲查詢到的結果都是“沒有參與記錄”。 這裡,就存在邏輯判斷被繞過的風險。

應對方案:

在程式入口處,一個賬號只允許接受1個請求,其他請求過濾。不僅解決了同一個賬號,傳送N個請求的問題,還保證了後續的邏輯流程的安全。實現方案, 可以通過Redis這種記憶體快取服務,寫入一個標誌位(只允許1個請求寫成功,結合watch的樂觀鎖的特性),成功寫入的則可以繼續參加。

或者,自己實現一個服務,將同一個賬號的請求放入一個佇列中,處理完一個,再處理下一個。

2. 多個賬號,一次性傳送多個請求

很多公司的賬號註冊功能,在發展早期幾乎是沒有限制的,很容易就可以註冊很多個賬號。因此,也導致了出現了一些特殊的工作室,通過編寫自動註冊腳 本,積累了一大批“殭屍賬號”,數量龐大,幾萬甚至幾十萬的賬號不等,專門做各種刷的行為(這就是微博中的“殭屍粉“的來源)。舉個例子,例如微博中有轉 發抽獎的活動,如果我們使用幾萬個“殭屍號”去混進去轉發,這樣就可以大大提升我們中獎的概率。

這種賬號,使用在秒殺和搶購裡,也是同一個道理。例如,iPhone官網的搶購,火車票黃牛黨。

應對方案:

這種場景,可以通過檢測指定機器IP請求頻率就可以解決,如果發現某個IP請求頻率很高,可以給它彈出一個驗證碼或者直接禁止它的請求:

  1. 彈出驗證碼,最核心的追求,就是分辨出真實使用者。因此,大家可能經常發現,網站彈出的驗證碼,有些是“鬼神亂舞”的樣子, 有時讓我們根本無法看清。他們這樣做的原因,其實也是為了讓驗證碼的圖片不被輕易識別,因為強大的“自動指令碼”可以通過圖片識別裡面的字元,然後讓指令碼自 動填寫驗證碼。實際上,有一些非常創新的驗證碼,效果會比較好,例如給你一個簡單問題讓你回答,或者讓你完成某些簡單操作(例如百度貼吧的驗證碼)。
  2. 直接禁止IP,實際上是有些粗暴的,因為有些真實使用者的網路場景恰好是同一出口IP的,可能會有“誤傷“。但是這一個做法簡單高效,根據實際場景使用可以獲得很好的效果。

3. 多個賬號,不同IP傳送不同請求

所謂道高一尺,魔高一丈。有進攻,就會有防守,永不休止。這些“工作室”,發現你對單機IP請求頻率有控制之後,他們也針對這種場景,想出了他們的“新進攻方案”,就是不斷改變IP。

有同學會好奇,這些隨機IP服務怎麼來的。有一些是某些機構自己佔據一批獨立IP,然後做成一個隨機代理IP的服務,有償提供給這些“工作 室”使用。還有一些更為黑暗一點的,就是通過木馬黑掉普通使用者的電腦,這個木馬也不破壞使用者電腦的正常運作,只做一件事情,就是轉發IP包,普通使用者的電 腦被變成了IP代理出口。通過這種做法,黑客就拿到了大量的獨立IP,然後搭建為隨機IP服務,就是為了掙錢。

應對方案:

說實話,這種場景下的請求,和真實使用者的行為,已經基本相同了,想做分辨很困難。再做進一步的限制很容易“誤傷“真實使用者,這個時候,通常只能通過設定業務門檻高來限制這種請求了,或者通過賬號行為的”資料探勘“來提前清理掉它們。

殭屍賬號也還是有一些共同特徵的,例如賬號很可能屬於同一個號碼段甚至是連號的,活躍度不高,等級低,資料不全等等。根據這些特點,適當設定參與門檻,例如限制參與秒殺的賬號等級。通過這些業務手段,也是可以過濾掉一些殭屍號。

4. 火車票的搶購

看到這裡,同學們是否明白你為什麼搶不到火車票?如果你只是老老實實地去搶票,真的很難。通過多賬號的方式,火車票的黃牛將很多車票的名額佔據,部分強大的黃牛,在處理驗證碼方面,更是“技高一籌“。

高階的黃牛刷票時,在識別驗證碼的時候使用真實的人,中間搭建一個展示驗證碼圖片的中轉軟體服務,真人瀏覽圖片並填寫下真實驗證碼,返回給中轉軟體。對於這種方式,驗證碼的保護限制作用被廢除了,目前也沒有很好的解決方案。

因為火車票是根據身份證實名制的,這裡還有一個火車票的轉讓操作方式。大致的操作方式,是先用買家的身份證開啟一個搶票工具,持續傳送請 求,黃牛賬號選擇退票,然後黃牛買家成功通過自己的身份證購票成功。當一列車廂沒有票了的時候,是沒有很多人盯著看的,況且黃牛們的搶票工具也很強大,即 使讓我們看見有退票,我們也不一定能搶得過他們哈。

最終,黃牛順利將火車票轉移到買家的身份證下。

解決方案:

並沒有很好的解決方案,唯一可以動心思的也許是對賬號資料進行“資料探勘”,這些黃牛賬號也是有一些共同特徵的,例如經常搶票和退票,節假日異常活躍等等。將它們分析出來,再做進一步處理和甄別。

三、高併發下的資料安全

我們知道在多執行緒寫入同一個檔案的時候,會存現“執行緒安全”的問題(多個執行緒同時執行同一段程式碼,如果每次執行結果和單執行緒執行的結果是一 樣的,結果和預期相同,就是執行緒安全的)。如果是MySQL資料庫,可以使用它自帶的鎖機制很好的解決問題,但是,在大規模併發的場景中,是不推薦使用 MySQL的。秒殺和搶購的場景中,還有另外一個問題,就是“超發”,如果在這方面控制不慎,會產生髮送過多的情況。我們也曾經聽說過,某些電商搞搶購活 動,買家成功拍下後,商家卻不承認訂單有效,拒絕發貨。這裡的問題,也許並不一定是商家奸詐,而是系統技術層面存在超發風險導致的。

1. 超發的原因

假設某個搶購場景中,我們一共只有100個商品,在最後一刻,我們已經消耗了99個商品,僅剩最後一個。這個時候,系統發來多個併發請求,這批請求讀取到的商品餘量都是99個,然後都通過了這一個餘量判斷,最終導致超發。(同文章前面說的場景)

在上面的這個圖中,就導致了併發使用者B也“搶購成功”,多讓一個人獲得了商品。這種場景,在高併發的情況下非常容易出現。

2. 悲觀鎖思路

解決執行緒安全的思路很多,可以從“悲觀鎖”的方向開始討論。

悲觀鎖,也就是在修改資料的時候,採用鎖定狀態,排斥外部請求的修改。遇到加鎖的狀態,就必須等待。

雖然上述的方案的確解決了執行緒安全的問題,但是,別忘記,我們的場景是“高併發”。也就是說,會很多這樣的修改請求,每個請求都需要等待 “鎖”,某些執行緒可能永遠都沒有機會搶到這個“鎖”,這種請求就會死在那裡。同時,這種請求會很多,瞬間增大系統的平均響應時間,結果是可用連線數被耗 盡,系統陷入異常。

3. FIFO佇列思路

那好,那麼我們稍微修改一下上面的場景,我們直接將請求放入佇列中的,採用FIFO(First Input First Output,先進先出),這樣的話,我們就不會導致某些請求永遠獲取不到鎖。看到這裡,是不是有點強行將多執行緒變成單執行緒的感覺哈。

然後,我們現在解決了鎖的問題,全部請求採用“先進先出”的佇列方式來處理。那麼新的問題來了,高併發的場景下,因為請求很多,很可能一瞬 間將佇列記憶體“撐爆”,然後系統又陷入到了異常狀態。或者設計一個極大的記憶體佇列,也是一種方案,但是,系統處理完一個佇列內請求的速度根本無法和瘋狂湧 入佇列中的數目相比。也就是說,佇列內的請求會越積累越多,最終Web系統平均響應時候還是會大幅下降,系統還是陷入異常。

4. 樂觀鎖思路

這個時候,我們就可以討論一下“樂觀鎖”的思路了。樂觀鎖,是相對於“悲觀鎖”採用更為寬鬆的加鎖機制,大都是採用帶版本號 (Version)更新。實現就是,這個資料所有請求都有資格去修改,但會獲得一個該資料的版本號,只有版本號符合的才能更新成功,其他的返回搶購失敗。 這樣的話,我們就不需要考慮佇列的問題,不過,它會增大CPU的計算開銷。但是,綜合來說,這是一個比較好的解決方案。

有很多軟體和服務都“樂觀鎖”功能的支援,例如Redis中的watch就是其中之一。通過這個實現,我們保證了資料的安全。

四、小結

網際網路正在高速發展,使用網際網路服務的使用者越多,高併發的場景也變得越來越多。電商秒殺和搶購,是兩個比較典型的網際網路高併發場景。雖然我們解決問題的具體技術方案可能千差萬別,但是遇到的挑戰卻是相似的,因此解決問題的思路也異曲同工。

相關文章