提升地理空間分析效率,火山引擎ByteHouse上線GIS能力

字节跳动数据平台發表於2024-03-18

更多技術交流、求職機會,歡迎關注位元組跳動資料平臺微信公眾號,回覆【1】進入官方交流群

在數字化時代,地理空間分析(Geospatial Analytics)成為輔助企業市場策略洞察的重要手段。無論是廣告投放的精準定位,還是電商物流的效率最佳化,都離不開對地理空間資料的查詢、分析和視覺化處理,以便助力企業更好決策。

一些傳統的地理資訊系統資料庫具備豐富的地理空間物件結構、成熟的空間索引能力,在導航、旅遊、智慧城市等典型應用場景中被廣泛使用。隨著實時分析報表等OLAP市場的擴大,地理空間分析也作為新的增值特性被業界幾大OLAP主流產品所推廣。OLAP+GIS能力在滿足使用者地理空間資料分析的基礎上,還能在資料體量大、實效性要求高的情況下,滿足業務高效能查詢的需求。

作為火山引擎推出的一款OLAP引擎,ByteHouse近期釋出了高效能地理空間分析GIS能力,為位置洞察、人群圈選等場景提供高效能地理資料分析服務。

在功能層面,ByteHouse相容OGC標準,支援匯入標準GIS檔案格式,目前已支援超過50個主流的空間函式。為了提供更極致的使用體驗,ByteHouse還在探索自研最佳化器適配GIS特性,以及GPU硬體層面最佳化二維空間函式。

更值得一提的是,在關鍵效能上,ByteHouse GIS在列式小批組織的資料結構上引入RTree等二維空間索引能力,並在CPU硬體層面實現了二維空間函式的效能最佳化,整體提升了端到端效能。

在Benchmark測試中,透過選取兩個關鍵 GIS 函式ST_DistanceSphereST_Within,使用 NYC Taxi 資料集(Size:21GB;條數:169,001,162),並選取3個不同大小的地理區域,研發人員將ByteHouse、StarRocks、 ClickHouse Community、PostGIS 、 DuckDB Spatial進行效能對比。測試結果顯示,ByteHouse 在最佳化器、硬體等層面的最佳化,使其在測試函式的效能上顯著超越其他產品。

picture.image

據火山引擎ByteHouse技術專家介紹,“對比傳統地理資訊系統資料庫,ByteHouse將OLAP和GIS結合起來,一方面具備OLAP的高效查詢和計算的優勢,另一方面,空間資料物件按照列的方式儲存,不僅節省儲存空間,更能充分發揮向量化的優勢,特別是在空間函式層面,還能利用硬體並行化能力提速。”

目前,ByteHouse GIS 已經在POI洞察、作戰地圖、人群圈選、拓店選址等場景為相關需求方落地地理空間分析服務。以有配送需求的業務場景舉例,在ByteHouse GIS能力支援下,運營人員可以在地圖中圈選出特定多邊形,觀察多邊形內部商家的供給和客流量,顯示配送員的位置和配送狀態,實現更有效地排程資源,提高配送效率。

在電商場景中,ByteHouse GIS能力不僅滿足平臺商家運營快速分析商家經營狀態、管理商家的需求,還將資料讀取量減少超過50%,進一步降低了磁碟IO以及計算帶來的CPU開銷。

不僅僅在GIS能力上具備極致效能,ByteHouse基於分散式架構設計,可以輕鬆地水平擴充套件,處理PB級別的資料,還完全相容雲原生技術棧,支援彈性資源排程,能夠根據實際需求動態調整計算資源,並且具備自動化運維功能。未來,ByteHouse也會持續為使用者提供卓越的資料處理和分析體驗,助力企業實現數字化轉型和智慧化升級。

點選跳轉ByteHouse瞭解更多

相關文章