資料倉儲—資料倉儲—Sybase IQ 介紹

bq_wang發表於2007-01-27

軟體廠商: Sybase
授權方式: 商用軟體
版本號:
版本型別: 企業版
語言版本: 中文
軟體環境: WindowsUnixLinux作業系統



Sybase IQ 是一個高度可擴充套件的分析型資料庫引擎,專門為分析型應用與資料倉儲而設計,使資料倉儲應用具備卓越的查詢效能與最低的總擁有成本。不同於傳統資料庫主要考慮線上的事務程式的設計,IQ 是專門為分析型(非事務型)而構建的,首先關注的是查詢的效能,其垂直儲存、專利索引技術以及獨特的架構使其成為資料倉儲的最佳選擇。

帶壓縮的列儲存:IQ 按列儲存資料,而不是行—這與所有其他關係型資料庫引擎廣泛使用的儲存方法方向相反。決策處理中的很多查詢只需要很少量的列資料,因而與傳統的RDBMS相比,這種方法在選擇滿足查詢條件的資料時,只須涉及到很少的資料頁面。進一步講,列向量在磁碟上是壓縮儲存的。按列儲存資料時由於相鄰接的欄位值具有相同的資料型別,所以使Sybase IQ更容易對資料作壓縮處理。資料的列式儲存所帶來的另一好處是:當需要一列新資料時不會引起資料庫結構的改變.這對於很多傳統的RDBMS而言,恰恰是無可避免的一個弱項。

獨特的索引結構:IQ中使用的索引結構的組合是獨一無二的,為資料倉儲高度最佳化的。位元式(bit-wise)索引及相應的壓縮技術是Sybase的一項專利。Sybase IQ運用這一技術對資料倉儲中的所有欄位建立索引,由此不僅帶來查詢效率的大幅度提高,而且還降低了對磁碟空間的使用。在傳統RDBMS中,不僅實際資料佔用磁碟空間,相應的索引也佔用磁碟空間,在總量上後者超過前者的情形並不鮮見。但Sybase IQ的位元式索引根本無須增加磁碟空間,因為Sybase IQ中的索引就是資料庫。Sybase客戶的使用報告表明,IQ所需的磁碟一般只佔原始輸入資料所需的空間的40%-60%,而且,查詢速度會比傳統的資料庫引擎數以千倍的提高。

查詢最佳化:IQ還擁有一個出色的查詢最佳化器,能夠對謂詞評估、聯合型別、排序、分組、資料訪問以及其他查詢評估步驟做出複雜的決定。由於IQ架構允許維護大量索引,而且由於系統在多數情況下透過索引化的列值保留了精確的行的記錄數,最佳化器能夠比許多關係型引擎更好的利用這些資訊來生成更佳的查詢計劃。

並行操作—新的多線索體系結構:Sybase IQ支援並行操作。Sybase IQ 採用了新的體系結構,即單程式多線索結構。這種結構在處理多個併發使用者的請求時,能夠降低處理和記憶體方面的開銷,並能夠支援數百甚至上千個併發使用者的能力。本質上講,IQ 允許多個節點共享磁碟上的資料,每一個節點訪問整個IQ 的共享資料儲存區,並且對它直接進行物理存取。在傳統的關係型資料庫中,為了確保資料的一致性,必須跨節點協調資料庫鎖。由於在IQ 中每一個節點使用它自己的CPU和記憶體資源執行,節點之間僅需極少的通訊,因而確保了每個節點之間的零衝突。查詢效能與可擴充套件性相結合,其結果就是,IQ所擁有的構架使其可以服務於大規模的線上查詢使用者。

快速載入:IQ 支援批次與非批次資料庫載入。並行操作已經內建到面向插入與更新操作的載入器中,因此,無需為多數資料倉儲應用提交多個並行載入工作以獲得並行化。

IQMMPP的異同:IQ 共享磁碟,不需要對資料庫進行分割槽。MPP系統由於需要對資料表進行水平資料分割槽,大大增加了工作量及維護和管理資料庫所需的成本。IQ不受錯誤的資料和查詢的影響,與MPP系統不同,它能夠有效地管理不同規模的節點。

Sybase IQ 獨特的優勢

資訊正成為驅動企業的引擎,為了贏得, 你需要比你的對手更迅速的將巨量的資訊轉化為智慧的決策。因此,查詢效能與可擴充套件性是今天資料倉儲必不可少的功能特性。這意味著電子商務可以將資料轉化為 深邃的洞察力與真正的經濟價值,同時也意味著可以用更低的費用提供大規模使用者的查詢。對企業來說,它意味著資料倉儲的實現更加簡單,而無須再承擔高額的預 算所帶來的的威脅。

除此之外,IQ獨特的架構特徵還能帶來一些關鍵的智慧效果:

快速查詢:Sybase IQ為你的終端使用者提供的回答比使用傳統資料倉儲快101000倍,而不論存在多少數量的使用者和查詢。這意味著查詢結果將在幾秒或幾分鐘內返回,而傳統的技術卻需要花費幾小時或幾天。同時,由於Sybase IQ可以對資料進行實時載入,而不影響查詢效能,因此使用者可以高效的基於最實時的資訊做出最佳的決策。

高度的可擴充套件性與靈活性:Sybase IQ的設計允許資料倉儲從基礎開始擴充套件,從很小擴充套件到非常巨大的規模。這一點已經完全被驗證:

首先,它可以支援數以千計的使用者進行查詢;同時,它支援各種伺服器,幾十個節點,幾百個CPU48TB以上的輸入資料。可擴充套件性對Sybase IQ而言,舉重若輕,你可以從一個小型的資料倉儲開始,擴充套件到大型的資料倉儲,也可以從大型開始擴充套件到超大型的資料倉儲。

節約儲存成本/資料壓縮:Sybase IQ壓縮資料倉儲可以多至70%。由TPC測試專家Francois主持的基準測試中,Sybase IQ載入了48.2TB的原始資料,而將其壓縮到22TB的資料倉儲中。同樣的48.2TB資料可能會膨脹到120-240TB。與傳統資料庫相比,大大節約了儲存成本。

降低維護成本:Sybase IQ徹底消除了為每個查詢進行調優的需要,消除為管理和維護新增節點和資料花費大量時間和資源的需要,同時降低了資料管理成本,減少了維護工作量及其相關成本。

加快部署:由於Sybase IQ從下到上都是為分析而構建,所以相比傳統的資料庫,僅需很少的部署時間。使用它,不需要為分析而在資料庫上面花費很多工作。部署時間可以大幅減少多達80%

利用現有投資:正如所有Sybase技術一樣的特點,Sybase IQ基於開放標準,確保與企業現有IT資產的整合與協同工作。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/6517/viewspace-145469/,如需轉載,請註明出處,否則將追究法律責任。

相關文章