我們先看下面幾個我們實際工作中經常會遇到的問題：

1、Times Ten為什麼有兩個CheckPoint檔案？

2、兩個CheckPoint檔案之間是什麼關係？

3、兩個CheckPoint檔案與Trans Log之間是什麼關係？

4、TimesTen是怎麼維護兩個CheckPoint檔案和Trans Log的？

5、如果CheckPoint檔案刪除或者損壞會不會當機？

6、只有CheckPoint檔案和Trans Log是否可以對記憶體資料庫進行恢復？

一、TimesTen的記憶體結構

為了很好的理解TimesTen中兩個CheckPoint檔案與Trans Log的關係及其原理，我們先簡單介紹一下TimesTen的記憶體結構。

1、Data Store，資料庫所有資料的儲存區域；載入所有資料的記憶體區域，TimesTen的所有的運算都是在Data Store中完成的。
2、日誌快取（LogBuffer），用於暫時儲存記錄Data Store變更的日誌緩衝區，由後臺程式將緩衝區的資料寫入Trans Log、複製程式實時複製到目標端。

3、臨時資料區域，臨時儲存執行計劃等資料的共享區域，排序等操作臨時使用。

4、檢查點(CheckPoint)檔案，儲存了兩個互為備份的DsName.ds0和DsName.ds1,可以理解為Oracle的資料檔案，是記憶體資料庫儲存於磁碟的資料映象。

5、事務日誌（Transation Log）檔案DsName.logNNN,儲存Data Store的資料變更到物理裝置。

從記憶體結構圖可以看到，TimesTen包含兩個檢查點(CheckPoint)檔案，常常都會有客戶或者同事會問到為什麼會存在兩個檢查點(CheckPoint)檔案，這兩個檔案之間是什麼關係？其實這兩個檔案的關係很簡單，就是互為映象。

本文只針對上圖兩個CheckPoint檔案之間的關係及兩個CheckPoint檔案與Trans Log之間的關係進行詳述。

二、透過CheckPoint檔案和Trans Log恢復

在實際運維中，雖然我們幾乎不會出現採用CheckPoint檔案和Trans Log進行恢復，這裡為了很好的理解TimesTen中兩個CheckPoint檔案與Trans Log的關係及其原理，所以簡單做一個透過CheckPoint檔案和Trans Log恢復TimesTen記憶體資料庫的實驗。

下面是一個正常執行的DSN：

$ ttadmin -ramload tyinfo

RAM Residence Policy : manual

Manually Loaded In RAM : True

Replication Agent Policy : manual

Replication Manually Started : False

Cache Agent Policy : manual

Cache Agent Manually Started : False

$ ttstatus

TimesTen status report as of Thu Mar 5 20:46:19 2015

Daemon pid 3171 port 53396 instance tt1122

TimesTen server pid 3182 started on port 53397

------------------------------------------------------------------------

Data store /ttchk/tt1122/DataStore/TYINFO/tyinfodata

There are 11 connections to the data store

Shared Memory KEY 0x0601f765 ID 32769

Type PID Context Connection Name ConnID

Subdaemon 3177 0x0000000008641d00 Manager 127

Subdaemon 3177 0x00000000086b8df0 Rollback 126

Subdaemon 3177 0x0000000008766fd0 Flusher 125

Subdaemon 3177 0x00000000087bbe80 Monitor 124

Subdaemon 3177 0x0000000008831520 AsyncMV 119

Subdaemon 3177 0x0000000008856950 Deadlock Detector 123

Subdaemon 3177 0x000000000886b5a0 HistGC 120

Subdaemon 3177 0x00000000088801f0 Log Marker 118

Subdaemon 3177 0x00002aaac00008c0 Aging 122

Subdaemon 3177 0x00002aaac40008c0 IndexGC 121

Subdaemon 3177 0x00002aaac4015510 Checkpoint 117

RAM residence policy: Manual

Data store is manually loaded into RAM

Replication policy : Manual

Cache Agent policy : Manual

------------------------------------------------------------------------

Accessible by group timesten

End of report

$

此時採用模擬例項crash的方式模擬透過CheckPoint檔案和Trans Log恢復TimesTen記憶體資料庫。

1、模式例項crash

$ kill -9 3171

[timesten@tony5 ~]$ ttstatus

ttStatus: Could not connect to the TimesTen daemon.

If the TimesTen daemon is not running, please start it

by running "ttDaemonAdmin -start".

2、備份CheckPoint檔案和Trans Log檔案

$ ls -l

drwxrwxr-x 2 timesten timesten 4096 Jan 20 09:29 TYINFO

[timesten@tony5 DataStore]$ cp -r TYINFO TYINFO2

[timesten@tony5 DataStore]$ ls -l

total 8

drwxrwxr-x 2 timesten timesten 4096 Jan 20 09:29 TYINFO

drwxrwxr-x 2 timesten timesten 4096 Mar 5 20:59 TYINFO2

[timesten@tony5 DataStore]$ cd TYINFO2

[timesten@tony5 TYINFO2]$ ls

tyinfodata.ds0 tyinfodata.ds1 tyinfodata.inval

$ ls -l

total 397932

-rw-rw---- 1 timesten timesten 4411392 Mar 5 20:46 tyinfodata.log0

-rw-rw---- 1 timesten timesten 134217728 Dec 18 15:20 tyinfodata.res0

-rw-rw---- 1 timesten timesten 134217728 Dec 18 15:20 tyinfodata.res1

-rw-rw---- 1 timesten timesten 134217728 Dec 18 15:20 tyinfodata.res2

[timesten@tony5 TYINFO]$ cp tyinfodata.log0 tyinfodata.log0_b

[timesten@tony5 TYINFO]$ ls -l

total 402252

-rw-rw---- 1 timesten timesten 4411392 Mar 5 20:46 tyinfodata.log0

-rw-rw---- 1 timesten timesten 4411392 Mar 5 21:02 tyinfodata.log0_b

-rw-rw---- 1 timesten timesten 134217728 Dec 18 15:20 tyinfodata.res0

-rw-rw---- 1 timesten timesten 134217728 Dec 18 15:20 tyinfodata.res1

-rw-rw---- 1 timesten timesten 134217728 Dec 18 15:20 tyinfodata.res2

3、啟動Daemon程式並刪除DSN

$ ttDaemonAdmin -start -force

/TimesTen/tt1122/info/timestend.pid file exists, attempt start due to -force option.

TimesTen Daemon startup OK.

[timesten@tony5 TYINFO]$ ttdestroy tyinfo

4、新建新的同名DSN，並在停止Daemon程式狀態替換原來的CheckPoint檔案和Trans Log檔案

$ ttisql tyinfo

Type ? or "help" for help, type "exit" to quit ttIsql.

connect "DSN=tyinfo";

Connection successful: DSN=TYINFO;UID=timesten;DataStore=/ttchk/tt1122/DataStore/TYINFO/tyinfodata;DatabaseCharacterSet=ZHS16GBK;ConnectionCharacterSet=ZHS16GBK;LogFileSize=128;DRIVER=/TimesTen/tt1122/lib/libtten.so;LogDir=/ttlog/tt1122/TYINFO;PermSize=128;TempSize=64;Connections=80;CkptFrequency=600;RecoveryThreads=4;TypeMode=0;PLSQL=0;CacheGridEnable=0;LogBufMB=64;ReceiverThreads=1;

(Default setting AutoCommit=1)

Command> exit

Disconnecting...

Done.

[timesten@tony5 ~]$ ttdaemonadmin -stop

TimesTen Daemon stopped.

$ cd /ttchk/tt1122/DataStore/

[timesten@tony5 DataStore]$ ls

TYINFO TYINFO2

[timesten@tony5 DataStore]$ rm -rf TYINFO

[timesten@tony5 DataStore]$ mv TYINFO2 TYINFO

[timesten@tony5 DataStore]$ ls

TYINFO

$ cd /ttlog/tt1122/TYINFO/

[timesten@tony5 TYINFO]$ ls

tyinfodata.log0 tyinfodata.log0_b tyinfodata.res0 tyinfodata.res1 tyinfodata.res2

[timesten@tony5 TYINFO]$ rm tyinfodata.log0

[timesten@tony5 TYINFO]$ mv tyinfodata.log0_b tyinfodata.log0

5、正常啟動DSN即可，完成透過CheckPoint檔案和Trans Log恢復TimesTen記憶體資料庫

$ ttdaemonadmin -start

TimesTen Daemon startup OK.

[timesten@tony5 TYINFO]$ ttadmin -rampolicy manual tyinfo

RAM Residence Policy : manual

Manually Loaded In RAM : False

Replication Agent Policy : manual

Replication Manually Started : False

Cache Agent Policy : manual

Cache Agent Manually Started : False

[timesten@tony5 TYINFO]$ ttadmin -ramload tyinfo

RAM Residence Policy : manual

Manually Loaded In RAM : True

Replication Agent Policy : manual

Replication Manually Started : False

Cache Agent Policy : manual

Cache Agent Manually Started : False

[timesten@tony5 TYINFO]$ ttstatus

TimesTen status report as of Thu Mar 5 23:35:06 2015

Daemon pid 16174 port 53396 instance tt1122

TimesTen server pid 16185 started on port 53397

------------------------------------------------------------------------

Data store /ttchk/tt1122/DataStore/TYINFO/tyinfodata

There are 11 connections to the data store

Shared Memory KEY 0x0401f765 ID 163841

Type PID Context Connection Name ConnID

Subdaemon 16181 0x0000000002476d00 Manager 127

Subdaemon 16181 0x00000000024cdba0 Rollback 126

Subdaemon 16181 0x000000000259bfc0 Flusher 125

Subdaemon 16181 0x0000000002611660 Monitor 124

Subdaemon 16181 0x0000000002666510 Deadlock Detector 123

Subdaemon 16181 0x00000000026bb3c0 Checkpoint 122

Subdaemon 16181 0x0000000002710270 Aging 121

Subdaemon 16181 0x0000000002765120 Log Marker 120

Subdaemon 16181 0x00000000027b9fd0 AsyncMV 119

Subdaemon 16181 0x000000000280ee80 HistGC 118

Subdaemon 16181 0x0000000002863d30 IndexGC 117

RAM residence policy: Manual

Data store is manually loaded into RAM

Replication policy : Manual

Cache Agent policy : Manual

------------------------------------------------------------------------

Accessible by group timesten

End of report

[timesten@tony5 TYINFO]$

測試時可以模擬在原庫中新建物件，插入資料等，恢復後對比恢復前後資料一致性。

三、兩個CheckPoint檔案與Trans Log的關係及原理

TimesTen為什麼會有兩個CheckPoint檔案，原因其實很簡單，互為映象，至於為什麼互為映象但是又不能存放到不同的路徑/儲存，這屬於設計方面的問題，這裡不做討論。

為了直觀的說明兩個CheckPoint檔案與Trans Log的關係及原理，我把CKPT的過程抽象成下面圖表，分別對建立DSN開始，到進行4次CKPT進行描述。

建立DSN：首次建立DSN時，TimesTen會生成DSName.log0和DSName.ds0和DSName.ds1三個檔案，其中DSName.logN是一個順序遞增的檔名。為了下面描述更加直觀，我們假設每一次CheckPoint時產生2個事務日誌（Trans Log）檔案。

第1次CKPT：由於每次產生兩個Trans Log檔案，所以第一次CheckPoint時，將DSName.log0/1/2三個事務日誌的變化寫入檢查點檔案DSName.ds0,檢查點檔案DSName.ds1不變。由於DSName.log0/1/2三個事務日誌尚未寫入檢查點檔案DSName.ds1，所以此時不會刪除任何事務日誌檔案。

第2次CKPT：第二次CheckPoint時，會將DSName.log0/1/2/3/4五個事務日誌的變化寫入檢查點檔案DSName.ds1,檢查點檔案DSName.ds0不變。由於DSName.log0/1/2三個事務日誌已經寫入檢查點檔案DSName.ds0和DSName.ds1，所以此時SubDaemon程式會觸發刪除DSName.log0/1/2事務日誌檔案。

第3次CKPT：第三次CheckPoint時，會將DSName.log3/4/5/6四個事務日誌的變化寫入檢查點檔案DSName.ds0,檢查點檔案DSName.ds1不變。由於DSName.log3/4兩個事務日誌已經寫入檢查點檔案DSName.ds1和DSName.ds0，所以此時SubDaemon程式會觸發刪除DSName.log3/4事務日誌檔案。

第4次CKPT：第三次CheckPoint時，會將DSName.log5/6/7/8四個事務日誌的變化寫入檢查點檔案DSName.ds1,檢查點檔案DSName.ds0不變。由於DSName.log5/6兩個事務日誌已經寫入檢查點檔案DSName.ds0和DSName.ds1，所以此時SubDaemon程式會觸發刪除DSName.log5/6事務日誌檔案。後面的CheckPoint對檢查點檔案的寫入和Trans Log事務日誌的清理操作以此類推。

透過以上圖示對兩個CheckPoint檔案與Trans Log的關係及原理進行描述，為了再次驗證兩個CheckPoint檔案的映象作用，我們透過手動模擬CheckPoint檔案被誤刪除及損壞的場景。

四、模擬CheckPoint檔案丟失或損壞

1、模擬1個檢查點檔案丟失

$ ttstatus

TimesTen status report as of Fri Mar 6 07:03:14 2015

Daemon pid 3138 port 53396 instance tt1122

TimesTen server pid 3156 started on port 53397

------------------------------------------------------------------------

Data store /ttchk/tt1122/DataStore/TYINFO/tyinfodata

There are 11 connections to the data store

Shared Memory KEY 0x0601f765 ID 32769

Type PID Context Connection Name ConnID

Subdaemon 3144 0x000000001bbfed00 Manager 127

Subdaemon 3144 0x000000001bc55ba0 Rollback 126

Subdaemon 3144 0x000000001bd23fd0 Flusher 125

Subdaemon 3144 0x000000001bd99670 Monitor 124

Subdaemon 3144 0x000000001bdee520 Deadlock Detector 123

Subdaemon 3144 0x000000001be433d0 HistGC 119

Subdaemon 3144 0x00002aaac00008c0 Checkpoint 122

Subdaemon 3144 0x00002aaac0015510 Aging 121

Subdaemon 3144 0x00002aaac40008c0 Log Marker 120

Subdaemon 3144 0x00002aaac4015510 AsyncMV 118

Subdaemon 3144 0x00002aaac80008c0 IndexGC 117

RAM residence policy: Manual

Data store is manually loaded into RAM

Replication policy : Manual

Cache Agent policy : Manual

------------------------------------------------------------------------

Accessible by group timesten

End of report

[timesten@tony5 TYINFO]$ ls

tyinfodata.ds0 tyinfodata.ds1 tyinfodata.inval

[timesten@tony5 TYINFO]$ rm tyinfodata.ds0

[timesten@tony5 TYINFO]$ ls

tyinfodata.ds1 tyinfodata.inval

[timesten@tony5 TYINFO]$ ttisql tyinfo

Type ? or "help" for help, type "exit" to quit ttIsql.

connect "DSN=tyinfo";

Connection successful: DSN=TYINFO;UID=timesten;DataStore=/ttchk/tt1122/DataStore/TYINFO/tyinfodata;DatabaseCharacterSet=ZHS16GBK;ConnectionCharacterSet=ZHS16GBK;LogFileSize=128;DRIVER=/TimesTen/tt1122/lib/libtten.so;LogDir=/ttlog/tt1122/TYINFO;PermSize=128;TempSize=64;Connections=80;CkptFrequency=600;RecoveryThreads=4;TypeMode=0;PLSQL=0;CacheGridEnable=0;LogBufMB=64;ReceiverThreads=1;

(Default setting AutoCommit=1)

Command> call ttckpt;

Command> exit

Disconnecting...

Done.

[timesten@tony5 TYINFO]$ ls

tyinfodata.ds0 tyinfodata.ds1 tyinfodata.inval

[timesten@tony5 TYINFO]$

透過上面模擬可以看到，當出現一個檢查點檔案丟失，TimesTen不會crash，並且在下一次CheckPoint時會自動生成（恢復）新的檢查點檔案。

2、模擬2個檢查點檔案丟失

$ ls

tyinfodata.ds0 tyinfodata.ds1 tyinfodata.inval

[timesten@tony5 TYINFO]$ rm tyinfodata.ds*

[timesten@tony5 TYINFO]$ ls

tyinfodata.inval

[timesten@tony5 TYINFO]$ ttstatus

TimesTen status report as of Fri Mar 6 07:07:04 2015

Daemon pid 3138 port 53396 instance tt1122

TimesTen server pid 3156 started on port 53397

------------------------------------------------------------------------

Data store /ttchk/tt1122/DataStore/TYINFO/tyinfodata

There are 11 connections to the data store

Shared Memory KEY 0x0601f765 ID 32769

Type PID Context Connection Name ConnID

Subdaemon 3144 0x000000001bbfed00 Manager 127

Subdaemon 3144 0x000000001bc55ba0 Rollback 126

Subdaemon 3144 0x000000001bd23fd0 Flusher 125

Subdaemon 3144 0x000000001bd99670 Monitor 124

Subdaemon 3144 0x000000001bdee520 Deadlock Detector 123

Subdaemon 3144 0x000000001be433d0 HistGC 119

Subdaemon 3144 0x00002aaac00008c0 Checkpoint 122

Subdaemon 3144 0x00002aaac0015510 Aging 121

Subdaemon 3144 0x00002aaac40008c0 Log Marker 120

Subdaemon 3144 0x00002aaac4015510 AsyncMV 118

Subdaemon 3144 0x00002aaac80008c0 IndexGC 117

RAM residence policy: Manual

Data store is manually loaded into RAM

Replication policy : Manual

Cache Agent policy : Manual

------------------------------------------------------------------------

Accessible by group timesten

End of report

[timesten@tony5 TYINFO]$ ttisql tyinfo

Type ? or "help" for help, type "exit" to quit ttIsql.

connect "DSN=tyinfo";

Connection successful: DSN=TYINFO;UID=timesten;DataStore=/ttchk/tt1122/DataStore/TYINFO/tyinfodata;DatabaseCharacterSet=ZHS16GBK;ConnectionCharacterSet=ZHS16GBK;LogFileSize=128;DRIVER=/TimesTen/tt1122/lib/libtten.so;LogDir=/ttlog/tt1122/TYINFO;PermSize=128;TempSize=64;Connections=80;CkptFrequency=600;RecoveryThreads=4;TypeMode=0;PLSQL=0;CacheGridEnable=0;LogBufMB=64;ReceiverThreads=1;

(Default setting AutoCommit=1)

Command> call ttckpt;

Command> exit

Disconnecting...

Done.

[timesten@tony5 TYINFO]$ ls

tyinfodata.ds1 tyinfodata.inval

[timesten@tony5 TYINFO]$ ttisql tyinfo

Type ? or "help" for help, type "exit" to quit ttIsql.

connect "DSN=tyinfo";

Connection successful: DSN=TYINFO;UID=timesten;DataStore=/ttchk/tt1122/DataStore/TYINFO/tyinfodata;DatabaseCharacterSet=ZHS16GBK;ConnectionCharacterSet=ZHS16GBK;LogFileSize=128;DRIVER=/TimesTen/tt1122/lib/libtten.so;LogDir=/ttlog/tt1122/TYINFO;PermSize=128;TempSize=64;Connections=80;CkptFrequency=600;RecoveryThreads=4;TypeMode=0;PLSQL=0;CacheGridEnable=0;LogBufMB=64;ReceiverThreads=1;

(Default setting AutoCommit=1)

Command> call ttckpt;

Command> exit

Disconnecting...

Done.

[timesten@tony5 TYINFO]$ ls

tyinfodata.ds0 tyinfodata.ds1 tyinfodata.inval

透過上面的測試可以看到，當出現兩個檢查點檔案丟失，TimesTen不會crash，並且在兩次CheckPoint時會自動生成（恢復）新的檢查點檔案。

3、模擬檢查點檔案損壞

由於要模擬檢查點檔案損壞較為困難，所以這裡不模擬；當我們發現檢查點檔案損壞，可以透過轉換成上面檢查點檔案丟失的場景，直接將損壞的檢查點檔案刪除，並手動做兩次CheckPoint使檢查點檔案自動生成；當然這樣會耗費大量的IO資源。

Created by Tony.Tang[TangYun]2015.03

－－－－－－－－－－－－－－－－－End－－－－－－－－－－－－－－－－－

理解TimesTen中兩個CheckPoint檔案與Trans Log的關係及其原理

相關文章