GeoPackage(以下簡稱gpkg),內部使用SQLite實現的一種單檔案、與作業系統無關的地理資料庫。
當前標準是1.2.1,該版本的html版說明書:https://www.geopackage.org/spec121/index.html。
本文簡單介紹一些最需要關注的特點,因為筆者也是菜雞(剛開始學)
1. 簡介
1.1 副檔名與資料庫識別方法
它在非編輯、非連線狀態時,副檔名是*.gpkg;在資料連線或編輯狀態時,會多出來兩個同名不同擴充名的檔案:*.gpkg-wal、*.gpkg-shm。
如果不確定獲得的gpkg檔案是否是SQLite資料庫,可以用二進位制檢視器看最開始的位元組資訊,前16個位元組應為以null結尾的ASCII字串“SQLite format 3”。有關更多二進位制資訊,請到OGC官網上檢視說明書。
1.2 資料儲存上限與支援的資料
gpkg最大資料量為140TB(應該沒多少專案用得到吧...)
它能儲存的資料有:
- 向量資料
- 柵格資料
- 屬性資料(非空間資料)
- 其他
“其他”意味著可以擴充套件gpkg資料庫,但是目前筆者沒有這個能力。
1.3 與其他類似的本地資料庫比較
因為單檔案的特點,與ArcGIS家族中的Geodatabase模型的實現——mdb和gdb很像。它們同為本地資料庫。
gpkg沒有類似ArcGIS中要素資料集的概念,也沒有PostGIS中模式的概念(可能我沒發現,暫時做狗頭處理)
1.4 建立gpkg和開啟gpkg的方法
- 如果想直接用SQL訪問gpkg,請使用DB Browser for SQLite
- 如果要在網路端訪問gpkg,推薦用NGA’s application
- 如果想在桌面端訪問,那麼可以用的工具有很多,比如GDAL、QGIS、ArcGIS等。
gpkg可以直接被ArcGIS識別並增刪改查資料(即ArcGIS內建了支援)
gpkg也可以被QGIS識別並增刪改查資料。
1.5 什麼時候用gpkg
因為SQLite“單檔案”、“輕量化”的特點,所以gpkg特別適用於小規模的場景和移動場景。比如學生練習、手機等。
如果想多種途徑建立gpkg,請閱讀此文:點我
但是,通常使用GIS桌面客戶端就可以了。
1.6 支援gpkg的GIS客戶端、伺服器、開發工具
- 客戶端:QGIS、ArcGIS(10.2.2及更高版本支援讀寫,總之用新版本就好了)、GeoTools、FME、Skyline、MapInfo等
- 伺服器:GeoServer
- 開發工具:GDAL
此外,SpatialLite 4.2.0以上也支援gpkg。
1.7 OGC中GeoPackage官網的常見問題
- gpkg會代替shp嗎?
看你怎麼想。可以替代,但是沒必要。像簡單的交換資料和顯示簡單的資料,GeoJson就可以完成。(詳細的看第二節)
- gpkg安全嗎?
gpkg只是SQLite的一種編碼、規定,沒有像其他DBMS一樣的安全管理。不過,已經有人實踐了SQLite的安全擴充套件模組,可以考慮一下或者換更安全的資料庫管理系統,例如PostgreSQL。
- 為什麼gpkg用的WKB編碼與PostGIS、SpatialLite的WKB不同?
因為原始的WKB標準不能滿足gpkg,所以要擴充套件。PostGIS和SpatialLite都這麼做了。
2. gpkg vs shp檔案(部分翻譯)
QGIS 3.X預設從shp檔案切換到gpkg,因此,渲染變得非常快。使用gpkg比使用shp檔案在載入,平移和縮放時更快。
2.1 gpkg的優缺點
優點:
- 開源
- OGC標準之一
- 軟體支援廣泛,有GDAL、QGIS、R、Python、Esri家族...
- 比傳統意義上的地理資料庫輕量化,但是和地理資料庫速度相差無幾
- 單檔案,比shp檔案好管理
- 在工作流上比shp快速
- 幾乎沒有限制(指的是體積)
缺點:
- 還不成熟(現在版本才1.2.1,原文寫的時候才是1.0)不過,這個只是時間問題
- 個人體驗中柵格資料的支援比較受限制
2.2 shp檔案的優缺點
優點:
- 通用標準!(2020年就是shp檔案的30歲)
- 它就是個向量資料的標誌(GIS向量資料幾乎會問有沒有shp檔案?)
缺點:
- Esri維護
- 資料訪問上有些遲鈍
- 是一個多檔案格式(有很多GIS菜鳥不知道要傳送多個同名檔案,只傳送了幾何資料的shp檔案)
- 不能拓撲
- 屬性名限制為10字元
- 它使用的是Esri定製的WKT,切換平臺時可能會導致不一致
- 每個shp檔案只支援最大2GB
- 每個shp檔案只能是一種幾何型別
- 沒有真正的3D支援(gpkg已經根據社群的貢獻擴充出了3d支援)
2.3 建議
原作者希望更多人使用gpkg而不要再繼續使用shp了(筆者注:舊事物還有利用的餘地時,新事物的推動就會非常困難;除非使用政治或者壟斷手段強行更改(比如當年Esri的Coverage格式被Esri自己幹掉了)——不太可能,這些都非常符合馬克思主義;而且,是否使用gpkg或者shp或者其他資料庫,都要具體問題具體分析)
如果你有龐大的資料需要儲存、管理,原作者建議使用PostGIS。如果您喜歡GeoPackage,請與您的同事和合作者分享這些資訊!
3. shp檔案必須死!(偏激預警,不喜勿噴,部分翻譯)
似乎有一小撮人,正在鼓吹shp必死論(可能是受夠了shp的缺點了吧!),我就簡單翻譯一下。
shp檔案具體是什麼我就不過多介紹了,它誕生於1990年,馬上就是它的30大壽了。
儘管shp檔案是Esri維護的,但是它的規範是開放的,也就是說,如果你懂了shp檔案的幾大資料結構構成,會程式設計,你也可以手搓一個shp檔案讀寫程式,不需要依賴任何第三方庫。
3.1 shp檔案的缺陷
但是,下面原文開始重點駁斥shp檔案的壞處:
為什麼Shapefile這麼糟糕?以下是Shapefile格式錯誤的幾個原因,您應該避免使用它:
- 要額外使用prj檔案定義座標系統(shp檔案規範不包括prj檔案來定義座標系統,這是額外的)
- 多檔案格式(至少要3個檔案,其他軟體還會自己擴充更多同名擴充套件檔案,這就使得資料共享非常麻煩,這也是一個非常致命的弱點)
- 屬性名最多為10字元
- dbf屬性表最多255個欄位
- 資料型別有限,只支援浮點數、整數、日期、文字,一個值最多254字元
- 文字編碼有大問題,在ArcGIS中開啟shp檔案中文亂碼的問題大家肯定遇到過
- shp檔案和dbf檔案最大2GB(雖然GDAL改進了但是毫無卵用)
- 不能拓撲
- 每個shp只能是一種幾何型別
- 更復雜的資料結構無法實現,例如不規則三角網等
- 不能用紋理或材質儲存3d資料
- ...
不展開了,有興趣的朋友到他們官網看即可
3.1 備選方案
講道理,現在沒有任何一種向量格式能完全替代shp,但是不得不說其他的格式正在慢慢崛起,有他們的使用者。
例如,kml、gml、geojson等
一些Shapefile替代品:
- OGC GeoPackage
- GeoJSON
- OGC GML
- SpatiaLite
- CSV
- OGC KML
其中,第一位列的就是gpkg,而且經過近幾年的迭代升級、修訂,再加上它可以擴充套件的特性,使得gpkg更強大。
GeoPackage的一個缺點是,它底層SQLite資料庫是一種複雜的二進位制格式,不適合流式傳輸。它必須寫入本地檔案系統或通過中間服務訪問。所以,在本地應用中,gpkg是shp檔案的一個不錯替代品(如果你有需要)
GeoJson並不是shp檔案的代替品,只是地理資料的一種json實現。它的一個特點就是支援流傳輸;存在的問題是,不是所有的幾何都可以表示,高階的座標系統支援也不算好。
所以,基於XML的GML格式(僅支援向量資料)就有了用武之地。但是GML也有其缺點,就是資料結構定義標準複雜,較少軟體願意支援它,ArcGIS把它的支援丟進了資料互操作模組。如果GeoJson不能解決問題,可以試試GML。
SpatialLite和gpkg類似,也是一個開源資料庫,也是基於SQLite,也是單檔案,也支援SQL,但是不如gpkg廣泛。究其原因,是因為sl缺乏擴充套件能力(好比世界之窗vsChrome),也不支援柵格資料。同樣的,它也不支援流傳輸。
csv檔案,估計有的同學用過,最大的特點就是簡單了。它就是個文字格式的二維資料表格。在非GIS行業中,csv非常受歡迎。作為屬性表可能合適,但是它並不具備幾何等複雜空間資訊的儲存能力,而且它沒有一個標準。
kml是谷歌在谷歌地球中推薦的格式,基於XML,單檔案。它有個特點就是,資料和樣式同存在於一個kml檔案中。缺點也有,僅支援wgs84座標。由於它基於XML,所以資料量一大就不好用了。資料和樣式存在耦合,這也是個缺點。
當然,除了以上開源格式外,還可以使用更復雜的DBMS或者ArcGIS家使用的物件導向的地理資料庫。
筆者的建議是,還是具體問題具體分析。如果你要做真正的GIS專案,通用、標準化、效能高才是不二之選;所以,像kml等非主流但是又有其價值的資料,除了在它本身的平臺用外,最好轉換到更通用的格式上,例如,就GeoPackage——不然還是老實點用shp檔案吧~
專案大的,有高併發、安全要求的,不妨試試PostgreSQL的PostGIS擴充。或者用MySQL、其他商業資料庫,那些就不在本文的討論範圍了。
參考資料
[1]. OGC的GeoPackage官網:https://www.geopackage.org/
[2]. OGC的GeoPackage起步文件:http://www.geopackage.org/guidance/getting-started.html
[3]. OGC的GeoPackage標準(類似於白皮書)http://www.geopackage.org/spec120
[4]. 實現了GeoPackage的有關軟體:https://www.geopackage.org/implementations.html
[5]. GeoPackage vs Shapefiles:https://www.gis-blog.com/geopackage-vs-shapefile/
[6]. Shp檔案必須死!(這個網站有點偏激):http://switchfromshapefile.org/