PayPal如何將Teradata資料倉儲遷移到BigQuery實現產品分析
自全球大流行開始以來,PayPal 經歷了創紀錄的增長,這給用於合規、風險處理、產品和財務分析、營銷、客戶成功和欺詐保護的離線分析系統帶來了很大壓力,這些分析系統都在本地資料中心。這些系統由 Teradata 和 Hadoop 作為核心提供支援,並配備了額外的軟體和工作流來管理這些系統中的資源。
為了跟上增長的需求,我們決定將 PayPal 分析平臺遷移到公共雲。倉庫工作負載首次大規模遷移到 Google Cloud 中的 BigQuery 用時不到一年。在此過程中,PayPal 團隊構建了一個平臺,該平臺也將支援許多其他用例。
BigQuery 使我們能夠集中我們的資料平臺,而不會失去 SQL 訪問、Spark 整合和高階 ML 訓練等功能。此外,BigQuery 還具有一些高階功能,例如 ML 和實時分析,無需將資料移出另一個系統即可利用這些功能。
這篇文章記錄了一個里程碑式的遷移體驗。我們將一半的資料和處理從 Teradata 系統遷移到 Google Cloud Platform 的 BigQuery。
點選標題見原文
相關文章
- 資料倉儲—資料倉儲—NCR Teradata Warehouse 介紹
- 資料倉儲 - Teradata學習體會
- 產品視角下的資料倉儲
- 急聘——資料倉儲、商業分析、產品經理等職位
- PayPal從Java遷移到Node.jsJavaNode.js
- 資料泵實現資料遷移到異地庫
- 將資料庫遷移到ASM的實驗記錄資料庫ASM
- 將maven、gradle倉庫遷移到d盤MavenGradle
- 將pentaho資料庫遷移到oracle資料庫資料庫Oracle
- PayPal將CRDT資料型別落實到生產環境資料型別
- 如何將 CentOS遷移到 AlmaLinux?CentOSLinux
- Sybase正式釋出資料倉儲產品Sybase IQ 15.0
- 資料倉儲中的分析SQL——資料倉儲手冊SQL
- Netflix如何使用bulldozer從資料倉儲批處理資料轉移到鍵值儲存?
- PayPal從Java遷移到Node.js之我見JavaNode.js
- 利用rman將本地資料檔案遷移到asmASM
- 使用rman將資料庫遷移到ASM例項資料庫ASM
- Meta/Facebook產品安全團隊將排程服務從Python遷移到Rust?PythonRust
- 分鐘級實時資料分析的背後——實時湖倉產品解決方案
- 資料庫遷移到ASM資料庫ASM
- 將資料庫從ASM遷移到檔案系統資料庫ASM
- 將資料庫從檔案系統遷移到ASM資料庫ASM
- 使用rman copy將資料庫遷移到ASM例項資料庫ASM
- 輕鬆實現織夢網站資料遷移到新站點網站
- 將ORACLE資料庫資料檔案遷移到其他目錄(ZT)Oracle資料庫
- 實現倉儲
- [譯] 將現有的 API 從 REST 遷移到 GraphQLAPIREST
- 將OPEN BRAVO資料庫從oracle 遷移到DB2資料庫OracleDB2
- MySQL資料庫遷移到PostgresMySql資料庫
- (原)將Oracle遷移到SQLServerOracleSQLServer
- 資料倉儲一般模式分析模式
- Facebook將花費幾年時間將資料庫遷移到MySQL 8.0資料庫MySql
- 如何構建資料倉儲模型?模型
- 資料倉儲中如何使用索引索引
- aix 下 oracle 11.2 rac 把資料遷移到新儲存AIOracle
- Oracle自治資料倉儲榮獲2018年度創新產品獎Oracle
- github倉庫遷移到gitlab以及gitlab倉庫遷移到另一個gitlab伺服器GithubGitlab伺服器
- 資料倉儲—資料倉儲—Sybase IQ 介紹