談談用SQLite和FMDB而不用Core Data

IvyShao發表於2013-12-13

憑良心講,我不能告訴你不去使用Core Data。它不錯,而且也在變好,並且它被很多其他Cocoa開發者所理解,當有新人加入你的組或者需要別人接手你的專案的時候,這點很重要。

更重要的是,不值得花時間和精力去寫自己的系統去代替它。真的,使用Core Data吧。

 

為什麼我不使用Core Data

Mike Ash寫到就我自己而言,我不是個狂熱粉絲。我發現API是笨拙的,並且框架本身對於大量的資料是極其緩慢的。

一個實際的例子:10,000條目

想象一個RSS閱讀器,一個使用者可以在一個feed上點選右鍵,並且選擇標記所有為已讀。

引擎下,有一個帶有read屬性的Article實體。把所有條目標記為已讀,程式需要載入這個feed的所有文章(可能通過一對多的關係),然後設定read屬性為YES。

大部分情況下這樣沒關係。但是設想那個feed裡有200個文章,為了避免阻塞主執行緒,你可能考慮在後臺執行緒裡做這個工作(特別當你的程式是一個iPhone應用)。當你一開始使用Core Data多執行緒,事情就開始變的不好處理了。

這可能還湊合,至少不值得切換走Core Data。

但是接下來加同步。

我用過兩種不同的獲取已讀文章ID列表的RSS同步介面。其中一個返回近10,000個ID。

你不會打算在主執行緒中載入10,000個文章,然後設定read為NO。你甚至不想在後臺執行緒里載入10,000個文章,即使很小心的管理記憶體,這有太多的工作(如果你頻繁的這麼做,想一下對電池壽命的影響)。

你真正想要做的是,讓資料庫給在ID列表裡的每一個文章設定read為YES。

SQLite可以做到這個,只用一次呼叫。假設uniqueID上有索引,這會很快。而且你可以在後臺執行緒執行像在主執行緒執行一樣容易。

另一個例子:快速啟動

我想減少我的另一個程式的啟動時間,不只是開始的時間,而是在資料顯示之前的所有時間。

那是個類似Twitter的應用(雖然它不是),它顯示訊息的時間軸。顯示時間軸意味著獲取訊息,載入相關使用者。它很快,但是在啟動的時候,會填充UI,然後填充資料。

關於iPhone的應用(或者所有應用)我的理論是,啟動時間很重要,比其他大部分開發者想的都要重要。應用的啟動很慢看起來不像是要啟動一樣,因為人們潛意識裡記得,並且會產生阻止啟動應用的想法。減少啟動時間就減少了摩擦,讓使用者更有可能繼續使用你的應用,並且推薦給其他人。這是你讓你的應用成功的一部分。

因為我不使用Core Data,我手邊有一個簡單的,保守的解決方案。我把timeline(訊息和人物物件)通過NSCoding儲存到一個plist檔案中。啟動的時候它讀這個檔案,建立訊息和人物物件,UI一出現就顯示時間軸。

這明顯的減少了延遲。

把訊息和人物物件作為NSManagedObject的例項物件,這是不可能的。(假設我有編碼的並且儲存的IDs物件,但是那意味著讀plist然後觸及資料庫。這種方式我完全避免了資料庫)。

在更新更快的機器出來後, 我去掉了那些程式碼。回顧過去,我希望我可以把它留下來。

 

我怎麼考慮這個問題

當考慮是否使用Core Data時,我考慮下面這些事情:

會有難以置信數量的資料嗎?

對於一個RSS閱讀器或者Twitter應用,答案顯而易見:是的。有些人關注上百個人。一個人可能訂閱了上千個feeds。

即使你的應用不從網路獲取資料,仍然有可能讓使用者自動新增資料。如果你用一個支援AppleScript的Mac,有些人會寫指令碼去載入非常多的資料。如果通過web API去加資料也是一樣的。

會有一個Web API包含類似於資料庫的終端嗎(對比類物件終端)?

一個RSS同步API能夠返回一個已讀文章的uniquelIDs列表。一個記筆記的應用的一個同步API可能返回已存檔的和已刪除的筆記的uniquelIDs。

使用者可能通過操作處理大量物件嗎?

在底層,需要考慮和之前一樣的問題。當有人刪除所有下載的5,000個麵食食譜,你的食譜應用可以多好的完成這個功能(在iPhone上?)?

當我決定使用Core Data(我已經發布過使用Core Data的應用),我會小心留意我怎麼使用它。為了得到好的效能,我發現我把它當做一個SQL資料庫的一個奇怪介面來使用,然後我知道我應該捨棄Core Data,直接使用SQLite。

 

我怎麼使用SQLite

我通過FMDB Wrapper來使用SQLite,FMDB來自Flying Meat Software,由Gus Mueller提供。

基本操作

我在iPhone以前,Core Data以前就使用過SQLite。這是它怎麼工作的的要點:

  • 所有資料庫訪問-讀和寫-發生在連續的佇列裡,在一個後臺執行緒。在主執行緒中觸及資料庫是從來不被允許的。使用一個連續佇列來保證每一件事是按順序發生的。
  • 我大量使用blocks來讓非同步程式容易點。
  • 模型物件只存在在主執行緒(但有兩個重要的例外),改變會觸發一個後臺儲存。
  • 模型物件列出來他們在資料庫中儲存的屬性。可能在程式碼裡或者在plist檔案裡。
  • 一些模型物件是唯一的,一些不是。取決於應用的需要(大部分情況是唯一的)。
  • 對關係型資料,我儘可能避免連表查詢。
  • 一些物件型別在啟動的時候就完全讀入記憶體,另一些物件型別可能只需要建立並維護一個他們的uniqueIDs的。NSMutableSet,所以不需要去觸及資料庫,我就知道已經有什麼。
  • Web API的呼叫發生在後臺執行緒,他們使用分開的模型物件。

我會通過我現在的應用的程式碼來詳細描述。

資料庫更新

在我最近的應用中,有一個單一的資料庫控制器-VSDatabaseController,它通過FMDB來與SQLite對話。

FMDB區分更新和查詢。更新資料庫,app呼叫:

VSDatabaseUpdateBlock很簡單:

runDatabaseBlockInTransaction也很簡單:

(注意我用自己的連續排程佇列。Gus建議看一下FMDatabaseQueue,也是一個連續排程佇列。我還沒能去看一下,因為它比FMDB的其他東西都要新。)

beginTransaction和endTransaction的呼叫是可巢狀的(在我的資料庫控制器裡)。在合適的時候他們會呼叫-[FMDatabase beginTransaction] 和 -[FMDatabase commit]。(使用事務是讓SQLite變快的關鍵。)提示:我把當前事務儲存在-[NSThread threadDictionary]。它很好獲取每一個執行緒的資料,我幾乎從不用其他的。

這兒有個呼叫更新資料庫的簡單例子:

這說明一些事情。首先SQL不可怕。即使你從沒見過它,你也知道這行程式碼做了什麼。

VSDatabaseController的所有其他公共介面,emptyTagsLookupTableForNote應該在主執行緒中被呼叫。模型物件只能在主執行緒中被引用,所以在block中用uniqueID,而不是VSNote物件。

注意在這種情況下,我更新了一個查詢表。Notes和tags是多對多關係,一種表現方式是用一個資料庫表對映note uniqueIDs和tag uniqueIDs。這些表不會很難維護,但是如果可能,我確實嘗試避免他們的使用。

注意在更新字串中的?。-[FMDatabase executeUpdate:] 是一個可變引數函式。SQLite支援使用佔位符?,所以你不需要把正真的值放入字串。這兒有一個安全問題:它幫助守護程式反對SQL插入。如果你需要避開某些值,它也為你省了麻煩。

最後,在tagsNotesLookup表中,有一個noteUniquelID的索引(索引是SQLite效能的又一個關鍵)。這行程式碼在每次啟動時都呼叫:

資料庫獲取

要獲取物件,app呼叫:

這兩行程式碼做了大部分工作:

用FMDB查詢資料庫返回一個FMResultSet. 通過resultSet你可以逐句迴圈,建立模型物件。

我建議寫通用的程式碼去轉換資料庫行到物件。一種我使用的方法是用一個plist,對映column名字到物件屬性。它也包含型別,所以你知道是否需要呼叫 -[FMResultSet dateForColumn:], -[FMResultSet stringForColumn:]或其他。

在我的最新應用裡我做了些簡單的事情。資料庫行剛好對應模型物件屬性的名字。所有屬性都是strings,除了那些名字以“Date”結尾的屬性。很簡單,但是你可以看到需要一個清晰的對應關係。

唯一物件

建立模型物件和從資料庫獲取資料在同一個後臺執行緒。一獲取到,程式會把他們轉到主執行緒。

通常我有uniqued物件。同一個資料庫行結果始終對應同一個物件。

為了做到唯一,我建立了一個物件快取,一個NSMapTable,在init函式裡:_objectCache = [NSMapTable weakToWeakObjectsMapTable]。我來解釋一下:

例如,當你做一個資料庫獲取並且把物件轉交給一個檢視控制器,你希望在檢視控制器使用完這些物件後,或者一個不一樣的檢視控制器顯示了,這些物件可以消失。

如果你的物件快取是一個NSMutableDictionary,你將需要做一些額外的工作來清空快取中的物件。確定它對應的物件在別的地方是否有引用就變的很痛苦。NSMapTable是弱引用,就會自動處理這個問題。

所以:我們在主執行緒中讓物件唯一。如果一個物件已經在物件快取中存在,我們就用那個存在的物件。(主執行緒勝出,因為它可能有新的改變。)如果物件快取中沒有,它會被加上。

保持物件在記憶體中

有很多次,把整個物件型別保留在記憶體中是有道理的。我最新的app有一個VSTag物件。雖然可能有成百上千個筆記,但tags的數量很小,基本少於10。一個tag只有6個屬性:3個BOOL,兩個很小的NSstring,還有一個NSDate。

啟動的時候,app獲取所有tags並且把他們儲存在兩個字典裡,一個主鍵是tag的uniqueID,另一個主鍵是tag名字的小寫。

這簡化了很多事,不只是tag自動補全系統,這個可以完全在記憶體中操作,不需要資料庫獲取。

但是很多次,把所有資料保留在記憶體中是不實際的。比如我們不會在記憶體中保留所有筆記。

但是也有很多次,當不能在記憶體中保留物件時,你希望在記憶體中保留所有uniqueIDs。你會像這樣做一個獲取:

resultSet只包含了uniqueIDs, 你可以儲存到一個NSMutableSet裡。

我發現有時這個對web APIs很有用。想象一個API呼叫返回從某個確定的時間以後的,已建立筆記的uniqueIDs列表。如果我本地已經有了一個包含所有筆記uniqueIDs的NSMutableSet,我可以快速檢查(通過 -[NSMutableSet minusSet])是否有漏掉的筆記,然後去呼叫另一個API下載那些漏掉的筆記。這些完全不需要觸及資料庫。

但是,像這樣的事情應該小心處理。app可以提供足夠的記憶體嗎?它真的簡化程式設計並且提高效能了嗎?

用SQLite和FMDB而不是Core Data,給你帶來大量的靈活性和聰明解決辦法的空間。記住有的時候聰明是好的,也有的時候聰明是一個大錯誤。

Web APIs

我的API呼叫在後臺程式(經常用一個NSOperationQueue,所以我可以取消操作)。模型物件只在主執行緒,但是我還傳遞模型物件給我的API呼叫。

是這樣的:一個資料庫物件有一個detachedCopy方法,可以複製資料庫物件。這個複製物件不是引用自我用來唯一化的物件快取。唯一引用那個物件的地方是API呼叫,當API呼叫結束,那個複製的物件就消失了。

這是一個好的系統,因為它意味著我可以在API呼叫裡使用模型物件。方法看起來像這樣:

VSNoteAPICall從複製的VSNote獲取值,並且建立HTTP請求,而不是一個字典或其他筆記的表現形式。

處理Web API返回值

我對web返回值做了一些類似的事情。我會對返回的JSON或者XML建立一個模型物件,這個模型物件也是分離的。它不是儲存在為了唯一性的模型快取裡。

這兒有些事情是不確定的。有時有必要用那個模型物件在兩個地方做本地修改:在記憶體快取和資料庫。

資料庫通常是容易的部分。比如:我的應用已經有一個方法來儲存筆記物件。它用一個SQL insert或者replace字串。我只需呼叫那個從web API返回值生成的筆記物件,資料庫就會更新。

但是可能那個物件有一個在記憶體中的版本,幸運的是我們很容易找到:

如果cachedNote存在,我會讓它從downloadedNote中獲取值,而不是替換它(這樣可能違反唯一性)。這可以共享detachedCopy方法的程式碼。

一旦cachedNote更新了,觀察者會通過KVO通知筆記,或者我會傳送一個NSNotification,或者兩者都做。

Web API呼叫也會返回一些其他值。我提到過RSS閱讀器可能獲得一個已讀條目的大列表。這種情況下,我用那個列表建立了一個NSSet,在記憶體中更新每一個快取文章的read屬性,然後呼叫-[FMDatabase executeUpdate:]。

讓它工作快速的關鍵是NSMapTable的查詢是快速的。如果你找的物件在一個NSArray裡,我們該重新考慮。

 

資料庫遷移

Core Data的資料庫遷移很酷,當它可行的時候。

但是不可避免的,它是程式碼和資料庫中的一層。如果你越直接使用SQLite,你更新資料庫越直接。

你可以安全容易的做到這點。

比如加一個表:

或者加一個索引:

或者加一列:

應用應該在程式碼的第一個地方用上面這些程式碼設定資料庫。以後的改變只需加executeUpdate的呼叫 — 我讓他們按順序執行。因為我的資料庫是我設計的,不會有什麼問題(我從沒碰到效能問題,它很快)。


當然大的改變需要更多程式碼。如果你的資料通過web獲取,有時你可以從一個新資料庫模型開始,重新下載你需要的資料。

 

效能技巧

SQLite可以非常非常快,它也可以非常慢。完全取決於你怎麼使用它。

事務

把更新包裝在事務裡。在更新前呼叫 -[FMDatabase beginTransaction] ,更新後呼叫-[FMDatabase commit]。

如果你不得不反規範化( Denormalize)

反規範化讓人很不爽。這個方法是,為了加速檢索而新增冗餘資料,但是它意味著你需要維護冗餘資料。

我總是瘋狂避免它,直到這樣能有嚴重的效能區別。然後我會盡可能少得這麼做。

使用索引

我的應用中tags表的建立語句像這樣:

uniqueID列是自動索引的,因為它定義為unique。但是如果我想用name來查詢表,我可能會在name上建立一個索引,像這樣:

你可以一次性在多列上建立索引,像這樣:


但是注意太多索引會降低你的插入速度。你只需要足夠數量並且是對的那些。

使用命令列應用

當我的app在模擬器裡執行時,我會列印資料庫的路徑。我可以通過sqlite3的命令列來開啟資料庫。(通過man sqlite3命令來了解這個應用的更多資訊)。

開啟資料庫的命令:sqlite3 “資料庫的路徑”。

開啟以後,你可以看schema: type .schema。

你可以更新和查詢,這是在使用你的app之前檢查SQL是否正確的很好的方式。

這裡面最酷的一部分是,SQLite Explain Query Plan命令,你會希望確保你的語句執行的儘可能快。

真實的例子

我的應用顯示所有沒有歸檔筆記的標籤列表。每當筆記或者標籤有變化,這個查詢就會重新執行一次,所以它需要很快。

我可以用SQL join來查詢,但是很慢(joins都很慢)。

所以我放棄sqlite3並開始嘗試別的方法。我又看了一次我的schema,意識到我可以反規範化。一個筆記的歸檔狀態可以儲存在notes表裡,它也可以儲存在tagsNotesLookup表。

然後我可以執行一個查詢:

我已經有了一個在tagUniqueID上的索引。所以我用explain query plan來告訴我當我執行這個查詢的時候會發生什麼。

它用了一個索引,但是SCAN TABLE聽起來不太好,最好是一個SEARCH TABLE並且覆蓋一個索引

我在tagUniqueID和archive上建了索引:

再次執行explain query plan:

好多了。

更多效能提示

FMDB的某處加了快取statements的能力,所以當建立或開啟一個資料庫的時候,我總是呼叫[self.database setShouldCacheStatements:YES] 。這意味著對每個呼叫你不需要再次編譯每個statement。

我從來沒有找到使用vacuum的好的指引,如果資料庫沒有定期壓縮,它會越來越慢。我的應用會跑一個vacuum,但只是每週一次(它在NSUserDefaults裡儲存上次vacuum的時間,然後在開始的時候檢查是否過了一週)。


如果能auto_vacuum那更好,看pragma statements supported by SQLite列表。

 

其他酷的東西

Gus Mueller讓我涉及自定義SQLite方法的內容。我並沒有真的使用這些東西,既然他指出了,我可以放心的說我能找到它的用處。因為它很酷。

Gus的帖子裡,有一個查詢是這樣的:

SQLite完全不知道UITypes。但是你可以加核心方法,檢視-[FMDatabase makeFunctionNamed:maximumArguments:withBlock:]。

你可以執行一個大的查詢來替代,然後評估每個物件。但是那需要更多工作。最好在SQL級就過濾,而不是在將表格行轉為物件以後。

 

最後

你真的應該使用Core Data,我不是在開玩笑。

我用SQLite和FMDB一段時間了,我對多得的好處感到很興奮,也得到非同一般的效能。
但是記住機器在變快,其他看你程式碼的人期望看到他已經知道的Core Data, 另一些不打算看你的資料庫程式碼。

所以請把這整篇文章看做一個瘋子的叫喊,關於他為自己建立的細節的瘋狂的世界,並把自己鎖在裡面。

請享受了不起的Core Data的文章(有點難過的搖頭)。

接下來,在查完Gus指出的自定義SQLite方法特性後,我會研究SQLite的full-text search extension. 總有更多的內容需要去學習。

相關文章