百萬級訪問量網站的技術準備工作

　　當今從純網站技術上來說，因為開源模式的發展，現在建一個小網站已經很簡單也很便宜，所以很多人都把創業方向定位在網際網路應用。這些人裡大多數不是很懂技術，或者不是那麼精通，而網站開發維護方面的知識又很分散，學習成本太高，所以這篇文章將這些知識點結合起來，系統的來說，一個從日幾千訪問的小小網站，到日訪問一兩百萬的小網站，中間可能會產生什麼問題，以及怎麼才能在一開始做足工作儘量避免這些問題。

　　你的網站因為努力經營，訪問量逐漸升高，在升高的過程中，問題也可能開始顯現了。因為頻寬的增加、硬體的擴充套件、人員的擴張所帶來的成本提高是顯而易見的，而還有相當大的一部分成本是因為程式碼重構、架構重構，甚至底層開發語言更換引起的，最壞的情況就是資料丟失，所有努力付之一炬。這類成本支出大多數在一開始就可以避免，先打好基礎，往後可以省很多精力，少操很多心。

　　對於不同的初期投資成本，技術路線的選擇是不同的。這裡假設網站剛剛只是一個構想，計劃第一年伺服器硬體頻寬投入5萬左右。對於這個資金額度，有很多種方案可選擇，例如租用虛擬主機、租用單獨伺服器，或者流行的私有云，或者託管伺服器。前兩種選擇，網站發展到一定規模時需遷移，那時再重做規劃顯然影響更大。伺服器託管因為配置自主、能完全掌握控制權，所以有一定規模的網站基本都是這種模式。採用自己託管伺服器的網站，一開始要注意以下幾點——

一、開發語言

　　一般來說，技術人員（程式設計師）都是根據自己技術背景選擇自己最熟悉的語言，不過不可能永遠是一個人寫程式，所以在語言的選擇上還要是要費些心思。首先明確一點，無論用什麼語言，最終程式碼質量是看管理，因此我們從前期開發成本分析。現在國內流行的適用於網站的語言，大概有java、php、.net、python、ruby這五大陣營。python和ruby因為在國內流行的比較晚，現在人員還是相對難招一些。.net平臺的人相對多，但是到後期需要解決效能問題時，對人員技能的要求比較高。剩餘的java、php用人可以說是最多的。java和php無法從語言層面做比較，但對於初期，應用幾乎都是靠前端支撐的網站來說，php入門簡單、編寫快速，優勢相對大一點。至於後端例如行為分析、銀行介面、非同步訊息處理等，等真正需要時，就要根據不同業務需求來選擇不同語言了。

二、程式碼版本管理

　　稍微有點規模的網站就需要使用程式碼版本管理了。程式碼版本管理兩點最大的好處，一是方便協同工作，二是有歷史記錄可查詢比較。程式碼版本管理軟體有很多，vss/cvs/svn/hg等，目前國內都比較流行，其中svn的普及度還是很高的。

　　假設選了svn，那麼有幾點考慮。一是採用什麼樹結構。初期可能只有一條主幹，往後就需要建立分支，例如一條開發分支，一條上線分支，再往後，可能要每個小組一個分支。建議一開始人少時選擇兩條分支，開發和線上，每個功能本地測試無誤後提交到開發分支，最後統一測試，可以上線時合併到上線分支。如果每人都建自己的分支，合併時會浪費很大精力，對於幾乎每天都要修改幾次的WEB應用來說，所費時間太多。

　　向伺服器部署程式碼，可以手工部署也可以自動部署。手工部署相對簡單，一般可直接在伺服器上svn update，或者找個新目錄svn checkout，再把web root給ln -s過去。應用越複雜，部署越複雜，沒有什麼統一標準，只是別再用ftp上傳那種形式，一是上傳時檔案引用不一致錯誤率增加，二是很容易出現開發人員的版本跟線上版本不一致，導致本來想改個錯字結果變成回滾。如果有多臺伺服器還是建議自動部署，更換程式碼的機器從當前服務池中臨時撤出，更新完畢後再重新加入。

三、伺服器硬體

　　在各個機房裡，靠一臺伺服器孤獨支撐的網站數不清，但如果資金稍微充足，建議至少三臺的標準配置，分別用作web處理、資料庫、備份。web伺服器至少要8G記憶體，雙sata raid1，如果經濟稍微寬鬆，或靜態檔案或圖片多，則15k sas raid10。資料庫至少16G記憶體，15k sas raid 10。備份伺服器最好跟資料庫伺服器同等配置。硬體可以上整套品牌，也可以相容機，也可以半品牌半組裝，取決於經濟能力。當然，這是典型的搭配，有些型別應用的效能瓶頸首先出現在web上，那種情況就要單獨分析了。

　　web伺服器可以既跑程式又當記憶體快取，資料庫伺服器則只跑主資料庫（假如是MySQL的話），備份伺服器所承擔就相對多一些，web配置、快取配置、資料庫配置都要跟前兩臺一致，這樣WEB和資料庫任意一臺出問題，很容易就可以將備份伺服器切換過去臨時頂替，直到解決完問題。要注意，硬體是隨時可能壞掉的，特別是硬碟，所以寧可WEB伺服器跟資料庫伺服器放在一起，也一定不能省掉備份，備份一定要異機，並且有非同步，電力故障、誤操作都可能導致一臺機器上的所有資料丟失。很多的開源備份方案可選擇，最簡單的就是rsync，寫crontab裡，定時同步。備份和切換，建議多做測試，選最安全最適合業務的，並且儘可能異地備份。

四、機房

　　三種機房儘量不要選：聯通訪問特別慢的電信機房、電信訪問特別慢的聯通機房、電信聯通訪問特別慢的移動或鐵通機房。機房要儘可能多的實地參觀，多測試，找個網路質量好，管理嚴格的機房。機房可以說是非常重要，直接關係到網站訪問速度，網站訪問速度直接關係到使用者體驗，訪問速度很慢的網站，很難獲得使用者青睞。

五、架構

　　在大方向上，被熟知的架構是web負載均衡+資料庫主從+快取+分散式儲存+佇列。在一開始，按照可擴充套件的原則設計和程式設計就可以。只是要多考慮快取失效時的雪崩效應、主從同步的資料一致性和時間差、佇列的穩定性和失敗後的重試策略、檔案儲存的效率和備份方式等等意外情況。快取失效、資料庫複製中斷、佇列寫入錯誤、電源損壞，在實際運維中經常發生，如果不注意這些，出現問題時恢復期可能會超出預期很長時間。

六、伺服器軟體

　　作業系統Linux很流行。在沒有專業運維人員的情況下，應傾向於擇使用的人多、社群活躍、配置方便、升級方便的發行版，例如RH系列、debian、ubuntu server等，硬體和作業系統要一起選擇，看是否有適合的驅動，如果確定用某種商業軟體或解決方案，也要提前知曉其對哪種作業系統支援最佳。web伺服器方面，apache、nginx、lighttpd三大系列中，apache佔有量還是最大，但是想把效能調教好還是需要很專業的，nginx和lighttpd在不需要太多調整的情況下可以達到一個比較不錯的效能。無論選擇什麼軟體，除非改過這些軟體或你的程式真的不相容新版本，否則儘量版本越新越好，版本新，意味著新特性增多、BUG減少、效能增加。一個典型的php網站，基本上大多數人都沒改過任何伺服器軟體原始碼，絕大多數情況是能平穩的升級到新版本的。類似於jdk5到 jdk6，python2到python3這類變動比較大的升級還是比較少見的。看看ChangeLog，看看升級說明，結合自己情況評估測試一下，越早升級越好，升級的越晚，所花費的成本越高。對於軟體包，儘量使用發行版內建的包管理工具，沒有特殊要求時不建議自己編譯，那樣對將來運維不利。

七、資料庫

　　幾乎所有操作最後都要落到資料庫身上，它又最難擴充套件（儲存也挺難）。資料庫常見的擴充套件方法有複製、分片，設計時要考慮到每種應用的資料如何複製、分片，當然這種考慮一般會推遲到技術設計時期。在初期進行資料庫結構設計時，要根據不同的業務型別和增長量預期來考慮是否要分庫、分割槽，並且儘量不要使用聯合查詢、不使用自增ID以方便分片。複製延時問題、主從資料庫資料一致性問題，可以自己寫或者用已有的運維工具進行檢測。

　　用儲存過程是比較難擴充套件的，這種情形多發生於傳統C/S，特別是OA系統轉換過來的開發人員。低成本網站不是一兩臺小型機跑一個資料庫處理所有業務的模式，是機海作戰。方便水平擴充套件比那點預分析時間和網路傳輸流量要重要的多的多。

　　另外，現在流行一種概念叫NoSQL，可以理解為非傳統關係型資料庫。實際應用中，網站有著越來越多的密集寫操作、上億的簡單關係資料讀取、熱備等，這都不是傳統關聯式資料庫所擅長的，於是就產生了很多非關係型資料庫，比如Redis/TC&TT/MongoDB/Memcachedb等，在測試中，這些幾乎都達到了每秒至少一萬次的寫操作，記憶體型的甚至5萬以上。在設計時，可根據業務特點和效能要求來選擇是否使用這類資料庫。例如MongoDB，幾句配置就可以組建一個複製+自動分片+failover的環境，文件化的儲存也簡化了傳統設計庫結構再開發的模式。但是當你決定採用一項技術時，一定要真正瞭解其優劣，例如可能你所選擇的技術並不能支援你所需要的事務和資料一致性要求。

八、檔案儲存

　　儲存的分佈幾乎跟資料庫擴充套件一樣困難，不過只有百萬的PV的情況下，磁碟IO方面一般不會成大問題，一兩臺採用SATA做條帶RAID的機器可以應付，反而是自己做非同步備份比較複雜，因為小檔案多。如果只有一臺機器做儲存，可以做簡單的優化，例如放最小縮圖的分割槽和放中等縮圖的分割槽，根據平均大小調整一下塊大小。儲存要規劃好目錄結構，否則檔案增多後維護起來複雜，也不利於擴充套件。同時還要考慮將來擴容，例如採用LVM，或者把檔案根據不同規則雜湊到不同機器。磁碟IO繁重的情況下更容易出現故障，所以要做好備份，若發現有盤壞掉，要馬上行動更換，很多人的硬碟都是壞了一塊之後，接二連三的壞下去。

　　為了將來圖片走cdn做準備，一開始最好就將圖片的域名分開，且不用主域名。因為很多網站都將cookie設定到了.domain.ltd，如果圖片也在這個域名下，很可能因為cookie而造成快取失效，並且佔多餘流量，還可能因為瀏覽器併發執行緒限制造成訪問緩慢。

九、程式

　　一定硬體條件下，應用能承載多少訪問量，很大一部分也取決於程式如何寫。程式寫的不好，可能一萬的訪問都承載不了，寫的好，可能一兩臺機器就能承擔幾百萬PV。越是複雜、資料實時性要求越高的應用，優化起來越難，但對普通網站有一個統一的思路，就是儘量向前端優化、減少資料庫操作、減少磁碟IO。向前端優化指的是，在不影響功能和體驗的情況下，能在瀏覽器執行的不要在服務端執行，能在快取伺服器上直接返回的不要到應用伺服器，程式能直接取得的結果不要到外部取得，本機內能取得的資料不要到遠端取，記憶體能取到的不要到磁碟取，快取中有的不要去資料庫查詢。減少資料庫操作指減少更新次數、快取結果減少查詢次數、將資料庫執行的操作儘可能的讓你的程式完成（例如join查詢），減少磁碟IO指儘量不使用檔案系統作為快取、減少讀寫檔案次數等。程式優化永遠要優化慢的部分，換語法是無法“優化”的。

　　然而程式設計時不應該把重點放在優化上，應該關注擴充套件性。當今的WEB應用，需求變化非常之快，適應多種需求的架構是不存在的，我們的擴充套件性就要把要點放在跟底層互動的架構上，例如持久化資料的存取規則、快取的存取規則等，還有一些共用服務，例如使用者資訊等。先把不變的部分做完善，剩下的部分就很容易將精力放在業務邏輯上面了。