準備好迎接大資料爆炸時代麼? 3個重要的資料庫策略技巧

smile-無聲發表於2015-07-29

隨著企業收集的資料量以每年 40% 到 60% 的速率持續增長,IT 團隊面臨管理海量資訊的挑戰。

為了應對資料的容量、速度、類別等方面的爆發性增長,眾多企業正準備轉向 NoSQL 資料庫來代替傳統的關係資料,以實現更好的效能、伸縮性和易於開發。

傳統的關係型資料庫需要提前構造好整張表的資料型別和模式。而另一方面,NoSQL 資料庫更加靈活,允許新型別的資料快速插入,而且能讓不同型別的資料儲存在一起。這個特性對對期待分析大量非結構化資料的公司特別有幫助。非結構化資料是指不適合預定義的資料模型,例如 tweet、視訊或者從感測器採集的資料等。

這僅僅是 NoSQL 資料庫流行起來的一個原因。2015 年到 2020 年期間,NoSQL 資料庫的使用有望達到 21% 綜合年增長率。

”企業正在處理與分析越來越多的資料,需要能夠高效可靠的處理一定規模的資料“,NoSQL 資料庫提供商 Couchbase 的 CEO Bob Wiederhold 說到。“為了實現這個目標,他們拋棄了關係型資料庫。”

大約 80% 的企業現在仍然在使用關係型資料庫,Wiederhold 預測這個比例在接下來的 10 到 15 年將會降至不到 50%,企業遷移到 NoSQL 資料庫,尤其是 Web應用,移動應用以及物聯網(IoT)應用。

不過採用 NoSQL 資料庫也需要做出一些取捨。

“你需要兩種型別的資料庫做不同的事,有時甚至需要結合兩者一起使用,” 大資料分析初創公司 Metanautix 的 CEO Theo Vassilakis 說到。

在計劃如何儲存和處理大資料時,有三個因素需要考慮。

1.針對應用程式的考慮

兩種型別的資料庫都有其用武之地,Vassilakis 表示。

傳統的關聯式資料庫的好處之一是它們跑 ACID 事務,這保證了資料庫的變化能夠得到可靠準確地處理。

“銀行結算原型,一個賬戶出賬而另一個賬戶入賬,” 在這種形式下應用程式需要更多的事務處理,這時使用傳統的關係型資料庫更適合。Vassilakis 解釋說。

但這使關係型資料庫橫向擴充套件非常困難,增加了計算成本而且降低了資料檢索速度。

NoSQL 能夠輕鬆通過提升硬體效能花相對低的成本擴充套件服務效能。再加上,NoSQL 能夠處理不適合傳統關係型資料庫的非結構化資料。

“這種形式的資料庫架構對於儲存非結構化資料,縮放多資料庫例項和為那些同時通過 Web 和手機應用的迅速增加的大量使用者提供服務是最理想的。所以,如果那正是需求所在,NoSQL 是個更好的選擇,” Wiederhold 說到。

2.考慮兩者的優點

“隨著資料的爆炸性增長,企業正在抱怨他們現有的資料庫效能不佳,而且維護越來越昂貴。企業需要擴充套件商用硬體提供能力去維護同等級的服務,“ Splice Machine 的 CEO Monte Zweben 說到。

他補充:“但在遷移到 NoSQL 過程中,他們不分好壞,將以前的把寶貴的東西也一起丟掉了”。

關係型資料庫善於事務處理,使用許多技術員工已經熟悉的語言(SQL),並與現有的業務整合應用程式編寫 SQL,但是關係型資料庫效能不足,NoSQL 提供了擴充套件和收集的非結構化資料的能力。

所以一些企業橋接了這個兩種型別的資料。例如,Splice Machine 使用 Hadoop,將 NoSQL 資料庫作為它系統中的一部分,並在基於 NoSQL 優點的基礎上建立了一個兩全其美的資料庫。

3.更新和擴充套件方面的考慮

除了對資料庫基本結構做出重大改變,企業還可能會考慮第三種選擇:捨棄他們原有的資料庫架構,在頂層安置一個計算引擎,來跨多種資料庫(無論是關係型資料庫,還是NoSQL)查詢和組合資料。

Vassilakis 說道:“你可能想要獲取 NoSQL 資料庫中已經被廢棄的購物車資料,並且將那些資料和關係型資料庫中的關於銷售的結構化資料進行比較”。

企業同時使用兩種型別的資料庫更有意義,這樣分析師就可以專注於他們的業務分析了。它還可以防止你將需要分析的資料從一個資料庫移到另一個資料庫,轉移過程可能緩慢並且有風險。

由 Metanautix 建立的工具 Quest,可以讓分析師能夠使用熟悉的 SQL 語言查詢關聯式資料庫和 NoSQL 資料庫。

“考慮到你需要兩種型別的資料庫,我們想幫助那些使用資料的人,不需要關注底層的複雜性,並使用標準的邏輯模型和工具,” Vassilakis 解釋道。“我們還想讓 CIO 和 IT 部門協調系統底層而不打亂系統上層。”

雖然你的組織可能不知道哪種路徑是最好的,但重要的是,開始評估並準備應對大資料對資料庫帶來的各種巨大變化。

相關文章