PayPal如何將Teradata資料倉儲遷移到BigQuery實現產品分析
自全球大流行開始以來,PayPal 經歷了創紀錄的增長,這給用於合規、風險處理、產品和財務分析、營銷、客戶成功和欺詐保護的離線分析系統帶來了很大壓力,這些分析系統都在本地資料中心。這些系統由 Teradata 和 Hadoop 作為核心提供支援,並配備了額外的軟體和工作流來管理這些系統中的資源。
為了跟上增長的需求,我們決定將 PayPal 分析平臺遷移到公共雲。倉庫工作負載首次大規模遷移到 Google Cloud 中的 BigQuery 用時不到一年。在此過程中,PayPal 團隊構建了一個平臺,該平臺也將支援許多其他用例。
BigQuery 使我們能夠集中我們的資料平臺,而不會失去 SQL 訪問、Spark 整合和高階 ML 訓練等功能。此外,BigQuery 還具有一些高階功能,例如 ML 和實時分析,無需將資料移出另一個系統即可利用這些功能。
這篇文章記錄了一個里程碑式的遷移體驗。我們將一半的資料和處理從 Teradata 系統遷移到 Google Cloud Platform 的 BigQuery。
點選標題見原文
相關文章
- 將maven、gradle倉庫遷移到d盤MavenGradle
- 產品視角下的資料倉儲
- 如何將 CentOS遷移到 AlmaLinux?CentOSLinux
- Netflix如何使用bulldozer從資料倉儲批處理資料轉移到鍵值儲存?
- PayPal將CRDT資料型別落實到生產環境資料型別
- github倉庫遷移到gitlab以及gitlab倉庫遷移到另一個gitlab伺服器GithubGitlab伺服器
- Meta/Facebook產品安全團隊將排程服務從Python遷移到Rust?PythonRust
- 輕鬆實現織夢網站資料遷移到新站點網站
- 我如何將部落格遷移到 Kubernetes(上)
- 我如何將部落格遷移到 Kubernetes(下)
- DataLeap資料資產實戰:如何實現儲存最佳化?
- MySQL資料庫遷移到PostgresMySql資料庫
- 如何將您的 Eventlet 專案遷移到 Asyncio
- 將nodejs遷移到D盤NodeJS
- 分鐘級實時資料分析的背後——實時湖倉產品解決方案
- Facebook將花費幾年時間將資料庫遷移到MySQL 8.0資料庫MySql
- 國產資料庫人大金倉Kingbase資料遷移工具資料庫
- 如何構建資料倉儲模型?模型
- Oracle自治資料倉儲榮獲2018年度創新產品獎Oracle
- 資料倉儲應該用什麼方案——資料倉儲實施方案概述
- 用Rust 實現的現代化實時開源資料倉儲Rust
- 資料網格將替代資料倉儲或資料湖?- thenewstack
- 從Hive遷移到SparkSQL,有讚的大資料實踐HiveSparkSQL大資料
- Python 將所有 Bug 遷移到 GitHub 中PythonGithub
- 儲存所有歷史提交資料下遷移git倉庫Git
- Oracle資料庫遷移到國產資料庫核心難點解析 | 聯盟釋出Oracle資料庫
- BI、資料倉儲和資料分析之間的區別
- tableau實戰系列(十七)-如何將 tableau的Server License遷移到新環境中去Server
- 構建實時資料倉儲首選,雲原生資料倉儲AnalyticDB for MySQL技術解密MySql解密
- 資料倉儲主題域如何劃分
- EAS附件表由資料庫遷移到FTP資料庫FTP
- 資料庫倉庫系列:(一)什麼是資料倉儲,為什麼要資料倉儲資料庫
- 如何使用Wardley地圖實現產品能力的演進分析?地圖
- 到底什麼是實時資料倉儲?
- 使用SpringCloud將單體遷移到微服務SpringGCCloud微服務
- 將 flutter_web 遷移到 flutter1.9+FlutterWeb
- Oracle資料倉儲的實時資料採集XSOracle
- 談談工業企業如何將資料編織與傳統資料倉儲結合