分散式 Key-Value 儲存系統：Cassandra 入門

Java2King發表於2010-07-23
分散式

簡介： Apache Cassandra 是一套開源分散式 Key-Value 儲存系統。它最初由 Facebook 開發，用於儲存特別大的資料。 Cassandra 不是一個資料庫，它是一個混合型的非關係的資料庫，類似於 Google 的 BigTable。本文主要從以下五個方面來介紹 Cassandra：Cassandra 的資料模型、安裝和配製 Cassandra、常用程式語言使用 Cassandra 來儲存資料、Cassandra 叢集搭建。


 

Cassandra 的資料儲存結構

Cassandra 的資料模型是基於列族（Column Family）的四維或五維模型。它借鑑了 Amazon 的 Dynamo 和 Google's BigTable 的資料結構和功能特點，採用 Memtable 和 SSTable 的方式進行儲存。在 Cassandra 寫入資料之前，需要先記錄日誌 ( CommitLog )，然後資料開始寫入到 Column Family 對應的 Memtable 中，Memtable 是一種按照 key 排序資料的記憶體結構，在滿足一定條件時，再把 Memtable 的資料批量的重新整理到磁碟上，儲存為 SSTable 。

圖 1. Cassandra 的資料模型圖：

  2. Cassandra 的資料模型的基本概念：
  3. 1. Cluster : Cassandra 的節點例項，它可以包含多個 Keyspace
    2. Keyspace : 用於存放 ColumnFamily 的容器，相當於關聯式資料庫中的 Schema 或 database3. ColumnFamily : 用於存放 Column 的容器，類似關聯式資料庫中的 table 的概念 4. SuperColumn ：它是一個特列殊的 Column, 它的 Value 值可以包函多個 Column5. Columns：Cassandra 的最基本單位。由 name , value , timestamp 組成

下面是關於資料模型例項分析 :


圖 2. 資料模型例項分析
圖 2. 資料模型例項分析 

回頁首

Cassandra 節點的安裝和配置

獲取 Cassandra

 # wget  http://labs.renren.com/apache-mirror/cassandra/0.6.0/apache- 
 cassandra-0.6.0-rc1-bin.tar.gz 
 # tar -zxvf apache-cassandra-0.6.0-rc1-bin.tar.gz 
 # mv  apache-cassandra-0.6.0-rc1 cassandra 
 # ls Cassandra


Cassandra 的目錄說明
bin 存放與 Cassandra 操作的相關指令碼
conf 存放配置檔案的目錄
interface Cassandra 的 Thrift 介面定義檔案，可以用於生成各種程式語言的介面程式碼
Javadoc 原始碼的 javadoc
lib Cassandra 執行時所需的 jar 包

配製 Cassandra 節點的資料儲存目錄和日誌目錄

修改配製檔案 storage-conf.xml：


預設的內容
				
 <CommitLogDirectory>/var/lib/cassandra/commitlog</CommitLogDirectory> 
	 <DataFileDirectories> 
 <DataFileDirectory>/var/lib/cassandra/data</DataFileDirectory> 
	 </DataFileDirectories>


配置後的內容
				
	 <CommitLogDirectory>/data3/db/lib/cassandra/commitlog</CommitLogDirectory> 
	 <DataFileDirectories> 
 <DataFileDirectory>/data3/db/lib/cassandra/data</DataFileDirectory> 
	 </DataFileDirectories>

修改日誌配製檔案 log4j.properties：


log4j.properties 配置
				
 # 日誌路徑
 #log4j.appender.R.File=/var/log/cassandra/system.log 
 # 配置後的日誌路徑 : 
 log4j.appender.R.File=/data3/db/log/cassandra/system.log

建立檔案存放資料和日誌的目錄

 # mkdir – p /data3/db/lib/cassandra 
 # mkdir – p /data3/db/log/Cassandra

配製完成後，啟動 Cassandra

 # bin/Cassandra

顯示資訊

 INFO 09:29:12,888 Starting up server gossip 
 INFO 09:29:12,992 Binding thrift service to localhost/127.0.0.1:9160

看到這兩行啟動回顯資訊時，說明 Cassandra 已啟動成功。

連線到 Cassandra 並新增、獲取資料

Cassandra 的 bin 目錄已自帶了命令列連線工具 cassandra-cli，可使用它連線到 Cassandra，並新增、讀取資料。


連線到 Cassandra，並新增、讀取資料
				
 # bin/cassandra-cli --host localhost --port 9160 
 Connected to: "Test Cluster" on localhost/9160 
 Welcome to cassandra CLI. 
 Type 'help' or '?' for help. Type 'quit' or 'exit' to quit. 
 cassandra> 
 cassandra> set Keyspace1.Standard2['studentA']['age'] = '18'
 Value inserted 
 cassandra> get Keyspace1.Standard2['studentA'] 
 => (column=age, value=18, timestamp=1272357045192000) 
 Returned 1 results

停止 Cassandra 服務


查出 Cassandra 的 pid:16328
				
 # ps -ef | grep cassandra 
 # kill 16328

Cassandra 配製檔案 storage-conf.xml 相關配製介紹


清單 1. storage-conf.xml 節點配製說明清單
				
 <!-- 叢集時顯示的節點名稱 --> 
 <ClusterName>Test Cluster</ClusterName> 
 <!-- 節點啟動時，是否自動加入到叢集中，預設為 false --> 
 <AutoBootstrap>false</AutoBootstrap> 
 <!-- 叢集的節點配製 --> 
 <Seeds> 
 <Seed>127.0.0.1</Seed> 
 </Seeds> 
 <!-- 節點之間通迅的監聽地址 --> 
 <ListenAddress>localhost</ListenAddress> 
 <!-- 
      基於 Thrift 的 cassandra 客戶端監聽地址，
叢集時設為：0.0.0.0 表示偵聽所有客戶端 , 預設為：localhost 
 --> 
 <ThriftAddress>localhost</ThriftAddress> 
 <!-- 客戶端連線的埠 --> 
 <ThriftPort>9160</ThriftPort> 
 <!-- 
   FlushDataBufferSizeInMB   將 memtables 上的資料寫入在 Disk 上，
超過設定好的限制大小時 ( 預設 32M)，則將資料寫入磁碟，
   FlushIndexBufferSizeInMB  超過設定的時長（預設 8 分鐘）後，
將 memtables 由的資料寫入磁碟中
 --> 
 <FlushDataBufferSizeInMB>32</FlushDataBufferSizeInMB> 
 <FlushIndexBufferSizeInMB>8</FlushIndexBufferSizeInMB> 
 <!-- 
 節點之間的日誌記錄同步模式。
 預設：periodic, 對應配製 CommitLogSyncPeriodInMS 
 啟動 batch 時，則對應的配製 CommitLogSyncBatchWindowInMS 
 --> 
 <CommitLogSync>periodic</CommitLogSync> 
 <!-- 	預設為每 10 秒同步一次日誌記錄 --> 
 <CommitLogSyncPeriodInMS>10000</CommitLogSyncPeriodInMS> 
 <!-- 
 <CommitLogSyncBatchWindowInMS>1</CommitLogSyncBatchWindowInMS> -->

回頁首

常用程式語言使用 Cassandra 來儲存資料

在使用 Cassandra 時，通常情況下都需要使用第三方外掛 Thrift 來生成與 Cassandra 相關的庫檔案 , 您可以在 http://incubator.apache.org/thrift 下載此外掛，並學習它的使用方法。以下是分別在 Java、PHP、Python、C#、Ruby 五種常用程式語言中使用 Cassandra：

Java 程式使用 Cassandra

把 libthrift-r917130.jar，apache-cassandra-0.6.0-rc1.jar 加入到 Eclipse 的編譯路徑中。

建立資料庫連線：使用 libthrift-r917130.jar 的 TTransport 的 open 方法建立起與 Cassandra 服務端 (IP:192.168.10.2 埠：9160) 的連線。

資料庫操作：使用 Cassandra.Client 建立一個客戶端例項。呼叫 Client 例項的 insert 方法寫入資料，通過 get 方法獲取資料。

關閉資料庫連線：使用 TTransport 的 close 方法斷開與 Cassandra 服務端的連線。


清單 2. Java 連線 Cassandra，寫入並讀取資料。
				
 package com.test.cassandra;| 
 import java.io.UnsupportedEncodingException; 
 import org.apache.thrift.transport.TTransport; 
 import org.apache.thrift.transport.TSocket; 
 import org.apache.thrift.protocol.TProtocol; 
 import org.apache.thrift.protocol.TBinaryProtocol; 
 import org.apache.thrift.TException; 
 import org.apache.cassandra.thrift.Cassandra; 
 import org.apache.cassandra.thrift.Column; 
 import org.apache.cassandra.thrift.ColumnOrSuperColumn; 
 import org.apache.cassandra.thrift.ColumnPath; 
 import org.apache.cassandra.thrift.ConsistencyLevel; 
 import org.apache.cassandra.thrift.InvalidRequestException; 
 import org.apache.cassandra.thrift.NotFoundException; 
 import org.apache.cassandra.thrift.TimedOutException; 
 import org.apache.cassandra.thrift.UnavailableException; 
 /* 
 * 使 Java 客戶端連線 Cassandra 並進行讀寫操作
 * @author jimmy 
 * @date 2010-04-10 
 */ 
 public class JCassandraClient{ 
 public static void main(String[] args) throws InvalidRequestException, 
 NotFoundException, UnavailableException, TimedOutException, 
 TException, UnsupportedEncodingException { 

 // 建立資料庫連線
 TTransport tr = new TSocket("192.168.10.2", 9160); 
 TProtocol proto = new TBinaryProtocol(tr); 
 Cassandra.Client client = new Cassandra.Client(proto); 
 tr.open(); 
 String keyspace = "Keyspace1"; 
 String cf = "Standard2"; 
 String key = "studentA"; 
 // 插入資料
 long timestamp = System.currentTimeMillis(); 
 ColumnPath path = new ColumnPath(cf); 
 path.setColumn("age".getBytes("UTF-8")); 
 client.insert(keyspace,key,path,"18".getBytes("UTF-8"), 
 timestamp,ConsistencyLevel.ONE); 
 path.setColumn("height".getBytes("UTF-8")); 
 client.insert(keyspace,key,path,"172cm".getBytes("UTF-8"), 
 timestamp,ConsistencyLevel.ONE); 
 // 讀取資料
 path.setColumn("height".getBytes("UTF-8")); 
 ColumnOrSuperColumn cc = client.get(keyspace, key, path, ConsistencyLevel.ONE); 
 Column c = cc.getColumn(); 
 String v = new String(c.value, "UTF-8"); 
        // 關閉資料庫連線
 tr.close(); 
 } 
 }

PHP 程式使用 Cassandra

在 PHP 程式碼中使用 Cassandra，需要藉助 Thrift 來生成需要的 PHP 檔案，通過使用 thrift --gen php interface/cassandra.thrift 生成所需要的 PHP 檔案，生成的 PHP 檔案中提供了與 Cassandra 建立連線、讀寫資料時所需要的函式。


清單 3. PHP 連線 Cassandra，寫入並讀取資料。
				
 <?php 
 $GLOBALS['THRIFT_ROOT'] = '/usr/share/php/Thrift'; 
 require_once 
 $GLOBALS['THRIFT_ROOT'].'/packages/cassandra/Cassandra.php'; 
 require_once 
 $GLOBALS['THRIFT_ROOT'].'/packages/cassandra/cassandra_types.php'; 
 require_once $GLOBALS['THRIFT_ROOT'].'/transport/TSocket.php'; 
 require_once $GLOBALS['THRIFT_ROOT'].'/protocol/TBinaryProtocol.php'; 
 require_once 
 $GLOBALS['THRIFT_ROOT'].'/transport/TFramedTransport.php'; 
 require_once 
 $GLOBALS['THRIFT_ROOT'].'/transport/TBufferedTransport.php'; 
 try { 
 // 建立 Cassandra 連線
 $socket = new TSocket('192.168.10.2', 9160); 
 $transport = new TBufferedTransport($socket, 1024, 1024); 
 $protocol = new TBinaryProtocolAccelerated($transport); 
 $client = new CassandraClient($protocol); 
 $transport->open(); 
 $keyspace = 'Keyspace1'; 
 $keyUser = "studentA"; 
 $columnPath = new cassandra_ColumnPath(); 
 $columnPath->column_family = 'Standard1'; 
 $columnPath->super_column = null; 
 $columnPath->column = 'age'; 
 $consistency_level = cassandra_ConsistencyLevel::ZERO; 
 $timestamp = time(); 
 $value = "18"; 
 // 寫入資料
 $client->insert($keyspace, $keyUser, $columnPath, $value, 
                            $timestamp, $consistency_level); 
 $columnParent = new cassandra_ColumnParent(); 
 $columnParent->column_family = "Standard1"; 
 $columnParent->super_column = NULL; 
 $sliceRange = new cassandra_SliceRange(); 
 $sliceRange->start = ""; 
 $sliceRange->finish = ""; 
 $predicate = new cassandra_SlicePredicate(); 
 list() = $predicate->column_names; 
 $predicate->slice_range = $sliceRange; 
 $consistency_level = cassandra_ConsistencyLevel::ONE; 
 $keyUser = studentA; 
 // 查詢資料
 $result = $client->get_slice($keyspace, $keyUser, $columnParent, 
             $predicate, $consistency_level); 
 // 關閉連線
 $transport->close(); 
 } catch (TException $tx) { 
 }?>

Python 程式使用 Cassandra

在 Python 中使用 Cassandra 需要 Thrift 來生成第三方 Python 庫，生成方式： thrift --gen py interface/cassandra.thrift, 然後在 Python 程式碼中引入所需的 Python 庫，生成的 Python 庫提供了與 Cassandra 建立連線、讀寫資料時所需要的方法。


清單 4. Python 連線 Cassandra，寫入並讀取資料。
				
 from thrift import Thrift 
 from thrift.transport import TTransport 
 from thrift.transport import TSocket 
 from thrift.protocol.TBinaryProtocol import 
 TBinaryProtocolAccelerated 
 from cassandra import Cassandra 
 from cassandra.ttypes import * 
 import time 
 import pprint 
 def main(): 
 socket = TSocket.TSocket("192.168.10.2", 9160) 
 transport = TTransport.TBufferedTransport(socket) 
 protocol = TBinaryProtocol.TBinaryProtocolAccelerated(transport) 
 client = Cassandra.Client(protocol) 
 pp = pprint.PrettyPrinter(indent=2) 
 keyspace = "Keyspace1"
 column_path = ColumnPath(column_family="Standard1", column="age") 
 key = "studentA"
 value = "18 "
 timestamp = time.time() 
 try: 
 # 開啟資料庫連線
 transport.open() 
 # 寫入資料
 client.insert(keyspace,key,column_path, 
 value,timestamp,ConsistencyLevel.ZERO) 
 # 查詢資料
 column_parent = ColumnParent(column_family="Standard1") 
 slice_range = SliceRange(start="", finish="") 
 predicate = SlicePredicate(slice_range=slice_range) 
 result = client.get_slice(keyspace,key,column_parent, 
 predicate,ConsistencyLevel.ONE) 
 pp.pprint(result) 
 except Thrift.TException, tx: 
 print 'Thrift: %s' % tx.message 
 finally: 
 # 關閉連線
 transport.close() 
 if __name__ == '__main__': 
 main()

C# 使用 Cassandra

在 C# 中使用 Cassandra 需要 Thrift.exe 來生成動態連結庫，使用 ./thrift.exe --gen csharp interface/cassandra.thrift 生成所需要的 DLL 檔案，生成的 DLL 提供了與 Cassandra 建立連線，讀寫資料等所需的類和方法，在程式設計環境中引入生成的 DLL，即可使用。


清單 5. C# 連線 Cassandra，寫入並讀取資料。
				
 namespace CshareCassandra{ 
 using System; 
 using System.Collections.Generic; 
 using System.Diagnostics; 
 using Apache.Cassandra; 
 using Thrift.Protocol; 
 using Thrift.Transport; 
 class CassandraClient{ 
 static void Main(string[] args){ 
 // 建立資料庫連線
 TTransport transport = new TSocket("192.168.10.2", 9160); 
 TProtocol protocol = new TBinaryProtocol(transport); 
 Cassandra.Client client = new Cassandra.Client(protocol); 
 transport.Open(); 
 System.Text.Encoding utf8Encoding = System.Text.Encoding.UTF8; 
 long timeStamp = DateTime.Now.Millisecond; 
 ColumnPath nameColumnPath = new ColumnPath(){ 
 Column_family = "Standard1", 
 Column = utf8Encoding.GetBytes("age")}; 
   // 寫入資料
 client.insert("Keyspace1","studentA",nameColumnPath, 
 utf8Encoding.GetBytes("18"),timeStamp, ConsistencyLevel.ONE); 
 // 讀取資料
 ColumnOrSuperColumn returnedColumn = client.get("Keyspace1", 
            "studentA", nameColumnPath, ConsistencyLevel.ONE); 
        Console.WriteLine("Keyspace1/Standard1: age: {0}, value: {1}", 
                     utf8Encoding.GetString(returnedColumn.Column.Name), 
                     utf8Encoding.GetString(returnedColumn.Column.Value)); 
 // 關閉連線
 transport.Close(); 
 } 
 }}

Ruby 使用 Cassandra

在 Ruby 中使用 Cassandra 需要先安裝 gem，安裝命令：gem install cassandra

安裝完成後，開啟 Ruby 的 irb 開始使用 Cassandra。


清單 6. Ruby 連線 Cassandra，寫入並讀取資料
				
 > require 'rubygems' 
 > require 'cassandra'
 # 建立資料庫連線 
 > cdb = Cassandra.new('Keyspace1',"192.168.10.1:9160", :retries => 3) 
 # 寫入資料
 > cdb.insert(:Standard1, 'studentA', {'age' => '18'}) 
 # 讀取資料
 > cdb.get(:Standard1, :studentA) 
 # 關閉連線
 > cdb.disconnect

 

搭建 Cassandra 叢集環境

Cassandra 的叢集是沒有中心節點的，各個節點的地位完全相同，節點之間是通過 gossip 的協議來維護叢集的狀態。


以下是兩臺安裝了 Linux 系統的伺服器，且初步設定了 Cassandra 環境和啟用了埠 7000,9160:
伺服器名 埠 IP 地址
ServiceA 7000,9160 192.168.10.3
ServiceB 7000,9160 192.168.10.2

配製伺服器 ServiceA、ServiceB 的 storage-conf.xml 檔案


ServiceA 的配置
				
 <Seeds> 
 <Seed>192.168.10.3</Seed> 
 </Seeds> 
 <ListenAddress>192.168.10.2</ListenAddress> 
 <ThriftAddress>0.0.0.0</ThriftAddress>


ServiceB 的配置
				
 <Seeds> 
 <Seed>192.168.10.3</Seed> 
 <Seed>192.168.10.2</Seed> 
 </Seeds> 
 <ListenAddress>192.168.10.2</ListenAddress> 
 <ThriftAddress>0.0.0.0</ThriftAddress>

配製完成後，分別啟動 ServiceA 和 ServiceB 上的 Cassandra 服務。

檢視 ServiceA 和 ServiceB 是否叢集成功，可使用 Cassandra 自帶的客戶端命令

 bin/nodetool --host 192.168.10.2 ring


叢集成功則會返回以下類似資訊：
				
 Address Status Load Range Ring 
                                       106218876142754404016344802054916108445 
 192.168.10.2  Up         2.55 KB       31730917190839729088079827277059909532     |<--| 
 192.168.10.3  Up         3.26 KB       106218876142754404016344802054916108445    |-->|

使用 Cassandra 命令列工具進行叢集測試

從 ServiceB 連線到 ServiceA，可使用命令：

 cassandra-cli -host 192.168.10.3 -port 9160


叢集測試一
				
寫入叢集資料
 ServiceA 連線到 ServiceA: 

 # set Keyspace1.Standard2['studentAA']['A2A'] = 'a2a'

 ServiceB 連線到 ServiceA: 

 # set Keyspace1.Standard2['studentBA']['B2A'] = 'b2a'

 ServiceA 連線到 ServiceB: 
 # set Keyspace1.Standard2['studentAB']['A2B'] = 'a2b'

獲取叢集資料：

 ServiceA 連線到 ServiceA : 
 # get Keyspace1.Standard2['studentAA'], 
   get Keyspace1.Standard2['studentBA'], 
    get Keyspace1.Standard2['studentAB'] 

 ServiceB 連線到 ServiceA : 
 # get Keyspace1.Standard2['studentAA'], 
    get Keyspace1.Standard2['studentBA'], 
    get Keyspace1.Standard2['studentAB'] 

 ServiceA 連線到 ServiceB : 
 # get Keyspace1.Standard2['studentAA'], 
  get Keyspace1.Standard2['studentBA'], 
  get Keyspace1.Standard2['studentAB']

清單 8. 叢集測試清單二

ServiceA 停止 Cassandra 服務，ServiceA 連線到 ServiceB 並寫入資料

 # set Keyspace1.Standard2['studentAR']['A2R'] = 'a2R'

啟動 ServiceA，並連結到 ServiceA 本身，讀取剛才在 ServiceB 寫入的資料

 # bin/cassandra-cli -host 192.168.10.3 -port 9160 
 # get Keyspace1.Standard2['studentAR']

 

總結

以上我們介紹了 Cassandra 的資料模型、節點安裝和配置、常用程式語言中使用 Cassandra 以及 Cassandra 的叢集和測試。Cassandra 是一個高效能的 P2P 去中心化的非關係型資料庫，可以分散式進行讀寫操作。在系統執行時可以隨意的新增或刪降欄位，是 SNS 應用的理想資料庫。


 

 


參考資料

關於作者

黃俊平，擅長Java應用程式的架構、設計和實現，熱衷開源軟體的開發和應用，活躍在開源中國社群 (http://www.oschina.net)，您可以通過部落格（http://www.itsmile.net/blog）或者郵件(ideajava@gmail.com)來聯絡他。

相關文章