解密淘寶網的開源架構

suzhouclark發表於2009-03-01
解密淘寶網的開源架構[@more@]淘寶網,是一個線上商品數量突破一億,日均成交額超過兩億元人民幣,註冊使用者接近八千萬的大型電子商務網站,是亞洲最大的購物網站。那麼對於淘寶網這樣大 規模的一個網站,我猜想大家一定會非常關心整個網站都採用了什麼樣的技術、產品和架構,也會很想了解在淘寶網中是否採用了開源的軟體或者是完全採用的商業 軟體。那麼下面我就簡單的介紹一下淘寶網中應用的開源軟體。

對於規模稍大的網站來說,其IT必然是一個伺服器叢集來提供網站服務,資料庫也必然要和應用服務分開,有單獨的資料庫伺服器。對於像淘寶網這樣規模的網站 而言,就是應用也分成很多組。那麼下面,我就從應用伺服器作業系統、應用伺服器軟體、Web Server、資料庫、開發框架等幾個方面來介紹一下淘寶網中開源軟體的應用。

作業系統

我們首先就從應用伺服器的作業系統說起。一個應用伺服器,從軟體的角度來說他的最底層首先是作業系統。要先選擇作業系統,然後才是作業系統基礎上的應用軟 件。在淘寶網,我們的應用伺服器上採用的是Linux作業系統。Linux作業系統從1991年第一次正式被公佈到現在已經走過了十七個年頭,在PC Server上有廣泛的應用。硬體上我們選擇PC Server而不是小型機,那麼Server的作業系統供我們選擇的一般也就是Linux,FreeBSD, windows 2000 Server或者Windows Server 2003。如果不準備採用微軟的一系列產品構建應用,並且有能力維護Linux或者FreeBSD,再加上成本的考慮,那麼還是應該在Linux和 FreeBSD之間進行選擇。可以說,現在Linux和FreeBSD這兩個系統難分伯仲,很難說哪個一定比另外一個要優秀很多、能夠全面的超越對手,應 該是各有所長。那麼在選擇的時候有一個因素就是企業的技術人員對於哪種系統更加的熟悉,這個熟悉一方面是系統管理方面,另外一方面是對於核心的熟悉,對內 核的熟悉對於效能調優和對作業系統進行定製剪裁會有很大的幫助。而應用全面的最佳化、提升效能也是從作業系統的最佳化開始的。


應用伺服器

在確定了伺服器的硬體、伺服器的作業系統之後,下面我們來說說業務系統的構建。淘寶網有很多業務系統應用是基於JEE規範的系統。還有一些是C C++構建的應用或者是Java構建的Standalone的應用。那麼我們要選擇一款實現了JEE規範的應用伺服器。我們的選擇是JBoss Applcation Server。JBoss AS是RedHat的一個開源的支援JEE規範的應用伺服器。在幾年前,如果採用Java技術構建網際網路應用或者企業級應用,在開源軟體中的選擇一般也就 是Apache組織的Tomcat、JBoss的 JBoss AS和Resin。嚴格意義上講,Tomcat和Resin並不能算是一個應用伺服器,他們是實現了部分J2EE規範的一個容器。而商業軟體的選擇就是 IBM的WebSphere和BEA的WebLogic。到了現在,除了JBoss AS外,Apache的Geronimo,Sun的Glassfish也都是很優秀的JEE應用伺服器。也給現在的開發人員提供了更多的選擇。具體對於目 前JEE應用伺服器的比較。這邊就不在贅述。

在應用伺服器前端,我們採用了Web Server做了一次轉發,我們選擇的Web伺服器是大名鼎鼎的Apache。幾年前,Apache幾乎是Linux系統上開源Web Server的唯一選擇。那個時候雖然也有一些其他的開源的Web Server,但是從功能和穩定性上來說都無法和Apache相對。在今天來說,Lighty也會是一個非常好的選擇。Lighty是一個非常輕量級、佔 用記憶體資源也比較少的Web Server。雖然功能上沒有Apache強大,但是在不少場景下,效能是非常出色、強於Apache的。而微軟的IIS,就只能工作在Windows的 系統上了。並且使用IIS的話,基本上也就是選擇了ISAPI、ASP或者ASP.NET進行Web應用的開發了。


資料庫

說完了我們採用的作業系統、應用伺服器、WebServer後,下面就來談談我們的資料庫。在淘寶網的應用中,採用了兩種關係型資料庫管理系統。一個是 Oracle公司的Oracle 10g,另外一個是Sun MySQL的MySQL。Oracle是一款優秀的、廣泛採用的商業資料庫管理軟體。有很強大的功能和安全性,可以處理相對海量的資料。而MySQL是一 款非常優秀的開源資料庫管理軟體,非常適合用多臺PC Server組成多點的儲存節點陣列(這裡我所指的不是MySQL自身提供的叢集功能),每單位的資料儲存成本也非常的低廉。用多臺PC Server安裝MySQL組成一個儲存節點陣列,透過MySQL自身的Replication或者應用自身的處理,可以很好的保證容錯(允許部分節點失 效),保證應用的健壯性和可靠性。可以這麼說,在關聯式資料庫管理系統的選擇上,可以考慮應用本身的情況來決定。

一個網際網路應用,除了伺服器的作業系統,Web Server軟體,應用伺服器軟體,資料庫軟體外,我們還會涉及到一些其他的系統,比如一些中介軟體系統、檔案儲存系統、搜尋、分散式框架、快取系統等等。 在淘寶網,這些系統都是自主開發的,沒有采用目前商業的或者開源的產品。有些系統,會存在著一些開源的產品或者商業產品。但是,考慮到淘寶網自己的需求和 大併發量的壓力,這些系統都選擇了自主開發。


開發框架

前面談的都是系統級的產品,下面我們說說開發框架的使用。可能有朋友想問,作為一個如此大規模的網站,淘寶網的Web展現層採用的是什麼框架,是怎麼實現 的呢?曾經也有到淘寶的應聘者問過我這個問題,他問我說是不是用的struts。我告訴他說不是的。其實淘寶網的Web展現層的框架用的不是 struts,不是webwork,不是spring mvc等等。淘寶網的Web展現層的框架用的是集團內部自主開發的一套Web框架。這個框架能夠解決一些其他Web框架不能解決的、在淘寶的應用中又會出 現並需要解決的問題。在淘寶的多個應用中,也採用了一些開源的框架,比如Spring、iBatis、jBPM、Hessian、Mina等等。這些開源 軟體的採用為我們構建應用系統提供了很大的幫助。

採用開源軟體構建系統,我想有兩個很大的好處:

一個是降低成本。假設你有1000臺應用伺服器,如果你每臺伺服器上採用的不是JBoss AS或者其他開源的軟體,而是使用商業的Oracle BEA的Weblogic或者IBM的WebSphere,那麼為這1000臺機器的應用購買License的費用是非常高的。

另外一個好處(我覺得最大的好處)是你可以看到軟體的原始碼,你可以研究瞭解軟體內部的工作過程、原理。這對於應用設計、開發、查錯、最佳化都是非常有幫助的


淘寶網的開源觀

對於開源軟體的應用,有些人可能擔心質量的問題,有些人可能擔心軟體本身發展更新的問題,等等。對於質量的問題,我想現在很多的開源軟體尤其是一些很著名 的開源軟體都有很完善的組織,有完善的開發、測試、釋出流程。在一個新版本完成前,會有多次的測試版本釋出,最後才是正式版。這和商業軟體是一樣的。並且 因為程式碼公開,反而更加的容易發現錯誤,提高質量。至於第二個問題,我想跟第一個問題一樣,關鍵是組織和規劃而不在是否開源,並且在很多著名的開源軟體背 後,會有廠商在進行支援。軟體本身的發展應該是不會成為問題的,不太會出現軟體突然停止發展的情況。

在今後的發展中,我們還是會一如既往的關注開源軟體的發展,也還會根據需要採用不同的開源軟體。在選擇一個開源產品的時候,我會考慮以下幾點:

1.這個軟體目前的功能和它的RoadMap

2.軟體本身的架構

3.該軟體開發的活躍度

4.該開源軟體是否是遵守該領域內的國際規範的

5.在同類產品中,要挑選有比較優勢的。並且要考慮可能存在的移植代價。這個移植指的是採用了這款開源軟體後現有系統的移植,或者是從這個開源軟體到

其他軟體的移植

對於企業級系統、網際網路應用來說,採用開源軟體不僅可以降低成本,更重要的是能夠真正瞭解軟體的內部工作機制。還可以在現在的基礎上進行增強和定製,也能 夠從開源軟體中借鑑到很多好的設計和實現。希望國內能有更多的企業在使用開源軟體的同時,也能開源自身的一些軟體,或者能夠成為一些開源軟體的貢獻者。而 作為淘寶網,我們也會非常積極的參與到開源的活動中,也會努力為開源的發展做出我們應有的貢獻。

文/曾憲傑

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/9697/viewspace-1017924/,如需轉載,請註明出處,否則將追究法律責任。

相關文章