是什麼影響了資料庫索引選型?

CoderFocus發表於2018-08-29

主存存取原理

主存的構成

主儲存器(簡稱主存或記憶體)包括存取體、各種邏輯部件及控制電路等。儲存體由許多儲存單元組成,每個儲存單元又包含若干個儲存元件,每個儲存元件能寄存一位二進位制程式碼“0”或“1”。這樣,一個儲存單元可以儲存一串二進位制程式碼,這串二進位制程式碼稱為儲存字,這串二進位制程式碼的位數稱為儲存字長,可以是8位、16位或者32位等。

主存與CPU的聯絡

MAR(Memory Address Register)是儲存器地址暫存器,用來存放欲訪問的儲存單元的地址,其位數對應儲存單元的個數(若MAR為10位,則有210=1024個儲存單元,記為1k)。

MDR(Memory Data Register)是儲存器資料暫存器,用於存放從儲存體某單元取出的程式碼或準備往某儲存單元存入的程式碼,其位數與儲存字長相等。

現代計算機一般將MAR和MDR整合在CPU晶片中。

主存的存取過程

如果把儲存體看做是一棟大樓,那麼每個儲存單元可以看成這棟大樓裡的每個房間,每個儲存元可以看做房間裡的一張床位,床位有人相當於“1”,無人相當於“0”。每個房間都需要一個房間號,便於我們找到房間的位置。同樣,可以賦予每個儲存單元一個編號,稱為儲存單元的地址號

主存的工作方式就是按照儲存單元的地址號來實現對儲存字各位的存(寫入)、取(讀出)。

現代主存的結構和存取原理比較複雜,這裡拋卻具體差別,抽象出一個十分簡單的存取模型來說明主存的工作原理。

主存的存取過程如下:

當系統需要讀取主存時,首先由CPU將該字的地址送到MAR,經地址匯流排送至主存,然後發出讀命令。主存接到讀命令後,根據地址定位到指定儲存單元,然後將此儲存單後設資料放到資料匯流排上,供其它部件讀取。

寫主存的過程類似,若要向主存存入一個資訊字時,首先CPU將該字要存入的主存單元的地址經MAR送到地址匯流排,並將資訊字送入MDR,然後向主存發出寫命令,主存接到寫命令後,便將資料匯流排上的資訊寫入到對應地址匯流排指出的主存單元中。

畫外音:實際上主存存取的過程並沒有這麼簡單,還需要經過經過地址譯碼(邏輯地址—>實體地址)等過程。

磁碟存取原理

我們知道,索引本身也很大,不可能全部儲存在記憶體中(根節點常駐記憶體),一般以檔案形式儲存在磁碟上。那麼問題來了,索引檢索需要磁碟I/O操作。與記憶體不同,磁碟I/O存在機械運動耗費,相對於記憶體存取,I/O存取的消耗要高几個數量級。

磁碟的構成

磁碟的整體結構示意圖:

一個磁碟由大小相同且同軸的圓形碟片組成,磁碟可以轉動(各個磁碟必須同步轉動)。在磁碟的一側有磁頭支架,磁頭支架固定了一組磁頭,每個磁頭負責存取一個磁碟的內容。磁頭不能轉動,但是可以沿磁碟半徑方向運動(實際是斜切向運動),每個磁頭同一時刻也必須是同軸的,即從正上方向下看,所有磁頭任何時候都是重疊的。

磁碟碟片示意圖:

碟片被劃分成一系列同心環,圓心是碟片中心,每個同心環叫做一個磁軌,所有半徑相同的磁軌組成一個柱面。磁軌被沿半徑線劃分成一個個小的段,每個段叫做一個扇區,每個扇區是磁碟的最小儲存單元。

磁碟的存取過程:

當需要從磁碟讀取資料時,系統會將資料邏輯地址傳給磁碟,磁碟的控制電路按照定址邏輯將邏輯地址翻譯成實體地址,即確定要讀的資料在哪個磁軌,哪個扇區。

為了讀取這個扇區的資料,需要將磁頭放到這個扇區上方,為了實現這一點:

  1. 首先必須找到柱面,即磁頭需要移動對準相應磁軌,這個過程叫做尋道,所耗費時間叫做尋道時間
  2. 然後目標扇區旋轉到磁頭下,即磁碟旋轉將目標扇區旋轉到磁頭下。這個過程耗費的時間叫做旋轉時間

所以一次訪盤請求(讀/寫)完成過程由三個動作組成:

  1. 尋道(時間):磁頭移動定位到指定磁軌
  2. 旋轉延遲(時間):等待指定扇區從磁頭下旋轉經過
  3. 資料傳輸(時間):資料在磁碟與記憶體之間的實際傳輸

區域性性原理與磁碟預讀

由於儲存介質的特性,磁碟本身存取就比主存慢很多,再加上機械運動耗費,磁碟的存取速度往往是主存的幾百萬分之一,因此為了提高效率,要儘量減少磁碟I/O。為了達到這個目的,磁碟往往不是嚴格按需讀取,而是每次都會預讀,即使只需要一個位元組,磁碟也會從這個位置開始,順序向後讀取一定長度的資料放入記憶體。這樣做的理論依據是電腦科學中著名的區域性性原理:

區域性性原理: CPU訪問儲存器時,無論是存取指令還是存取資料,所訪問的儲存單元都趨於聚集在一個較小的連續區域中。

時間區域性性(Temporal Locality):如果一個資訊項正在被訪問,那麼在近期它很可能還會被再次訪問。

空間區域性性(Spatial Locality):在最近的將來將用到的資訊很可能與現在正在使用的資訊在空間地址上是臨近的。

由於磁碟順序讀取的效率很高(不需要尋道時間,只需很少的旋轉時間),因此對於具有區域性性的程式來說,預讀可以提高I/O效率

預讀的長度一般為頁(page)的整倍數。頁是計算機管理儲存器的邏輯塊,硬體及作業系統往往將主存和磁碟儲存區分割為連續的大小相等的塊,每個儲存塊稱為一頁(在許多作業系統中,頁的大小通常為4k),主存和磁碟以頁為單位交換資料。當程式要讀取的資料不在主存中時,會觸發一個缺頁異常,此時系統會向磁碟發出讀盤訊號,磁碟會找到資料的起始位置並向後連續讀取一頁或幾頁載入記憶體中,然後異常返回,程式繼續執行。

資料庫為什麼選用B-/+Tree索引

之前提到過,SQL優化的一個重要原則是減少磁碟I/O次數,磁碟I/O次數也是評價索引結構的優劣的指標之一。

B-Tree分析:

根據B-Tree的定義,可知檢索一次最多需要訪問h(B-Tree的高度)個節點。資料庫系統的設計者巧妙利用了磁碟預讀原理,將一個節點的大小設為等於一個頁,這樣每個節點只需要一次I/O就可以完全載入。但是邏輯上儲存在一個頁裡並不代表物理上也儲存在一個頁裡,為了達到這個目的,每次新建節點時,直接申請一個頁的空間,這樣就保證一個節點物理上也儲存在一個頁裡,加之計算機儲存分配都是按頁對齊的,就實現了一個節點只需一次I/O。

B-Tree中一次檢索最多需要h-1次I/O,因為根節點會常駐記憶體。複雜度為O(logdN)。一般實際應用中,出度d是非常大的數字,通常超過100,因此h非常小(通常不超過3)。所以B-Tree作為索引結構效率是非常高的。這也是為什麼資料庫不選用紅黑樹作為索引(資料結構)的原因,一是因為紅黑樹的高度h要大的多;二是紅黑樹節點在物理上可能是單獨儲存的,無法利用區域性性原理。複雜度為O(h),效率明顯比B-Tree差的多。

B+Tree分析:

上B+Tree更適合索引。究其原因,一是因為B+Tree內節點去掉了data域,因此可以擁有更大的出度,擁有更好的效能;二是因為所有葉子節點形成有序連結串列,便於範圍查詢;所有的查詢最終都會到葉子節點,從而保證了查詢效能的穩定

原文:http://sh.qihoo.com/92914d8fce0f500b1?sign=360_0de6261f&uid=a41cd87bc941cf859569ca65fdb29594

是什麼影響了資料庫索引選型?


相關文章