![](https://pic3.zhimg.com/v2-de13c67cbca3d67747f5e70282e3d0c9_720w.jpg?source=d16d100b)

**哪些使用者需要遷移**

![](https://pic2.zhimg.com/80/v2-0155645d64b8437c499da413a9f2ef6d_1440w.jpg)

**原社群版使用者**

-   **社群版不再更新**

Cloudera(Cloudera 和Hortonworks 合併後)所有產品不再提供社群版，使用者無法獲取新的功能。

-   **社群版不再免費**

2021年1月31日開始，所有Cloudera軟體都需要有效的訂閱，且訂閱費昂貴（50個節點，一年訂閱費50萬美元）。

**原企業版使用者**

-   **企業版不再更新**

Cloudera 和Hortonworks 合併後推出了新一代大資料平臺 CDP，CDH 6和HDP 3將是CDH和HDP的最後企業版本，使用者無法繼續獲取新的功能和效能提升。

-   **企業版不再服務**

至2022年**3月份，CDH/HDP全部EoS**，使用者沒辦法獲取售後支援：

![](https://pic4.zhimg.com/80/v2-509b7fdcdc2174451f4734972cbd7aaf_1440w.jpg)

來源：cloudera官網

**遷移方向**

![](https://pic2.zhimg.com/80/v2-0155645d64b8437c499da413a9f2ef6d_1440w.jpg)

## **方向一：CDP**

CDP是 Cloudera 和Hortonworks 合併後釋出的新產品，融合原來CDH和HDP能力並增加了一些新功能和BugFix，支援雲部署等能力。

雖然CDP提供了一些新能力，也將繼續更新並提供支援，但外國的軟體無法適配國產軟硬體生態（國產晶片、作業系統、伺服器、中介軟體），技術方向不能自主可控，許可證也受外國法律限制，近期俄羅斯事件將這方面風險徹底暴露：

-   Oracle宣佈暫停在俄業務

3月3日，Oracle發推文稱：“為了Oracle在全球各地的150000名員工的利益，為了支援烏克蘭民選政府和烏克蘭人民，Oracle公司已經暫停了在俄羅斯聯邦的所有業務。

-   眾多科技公司斷供俄羅斯

a. 谷歌宣佈 Google Pay 在俄羅斯無限期暫停使用；b. 蘋果公司除了宣佈在俄羅斯停用 Apple Pay 以外，也在俄羅斯境內停止所有產品的銷售c. 英特爾、戴爾、AMD 宣佈向俄羅斯斷供晶片

d. ……

-   下一個或是GitHub？

外媒訊息稱，全球第一代程式碼託管平臺GitHub 正在考慮限制俄羅斯開發人員使用開源軟體。儘管此類軟體的使用是免費的，但它的許可協議仍然存在諸多限制，包括禁止受制裁的國家使用原本對公眾免費開放的程式碼。

## **方向二：國內封裝的Hadoop商業版**

對開源元件進行封裝，安裝部署運維方面有一些增強。

但是不可避免的，封裝開源元件始終是受制於國外法律與國際形勢，風險與方向一遷移到CDP相當。

同時，對開源元件進行封裝的廠商無法獲取最新的原始碼。另外，很多人認為有原始碼就可以自主可控，實際程式碼只是一個技術的載體，僅僅擁有原始碼並不代表擁有核心技術，數千萬行程式碼裡掃清有意無意的漏洞根本不現實，擁抱開源的同時也一定擁抱了風險。

隨著美國公司Cloudera不再更新社群版，這一類產品將無法獲得能力更新，除非也升級到CDP，完全走向方向一。

## **方向三：國內自主研發大資料產品TDH**

Transwarp Data Hub（TDH）是星環科技自主研發的企業級一站式多模型大資料基礎平臺，採用領先的多模型技術架構，8種儲存引擎支援10種資料模型，成套的工具元件讓系統的安裝部署、擴容升級、安全防衛、風險告警、許可權管理等工作變得更便捷。在技術領先性、效能、易用性、安全性、國產化生態相容性，以及售後服務等諸多方面具有優勢。同時，國產自主研發的TDH對國產化生態具有高度相容性，滿足信創驗收要求。

## **遷移到不同平臺後獲得的能力**

![](https://pic2.zhimg.com/80/v2-0155645d64b8437c499da413a9f2ef6d_1440w.jpg)

**遷移到國產自主研發大資料產品TDH**

-   **如果你關注功能**

TDH的多模架構，支援關係表、文字、時空地理、圖資料、文件、時序等在內的10種資料模型；離線資料批處理、高併發的線上資料服務、資料集市、資料倉儲、資料湖、圖儲存分析、空間資料儲存、實時資料處理、資料中臺、資料治理等各類大資料業務場景一站解決。

-   **如果你關注效能**

TDH自研高效能分散式計算和儲存引擎，整體效能是CDP的 5~25倍。

-   **如果你關注開發**

TDH完整支援SQL2003標準，支援PLSQL儲存過程，相容Oracle、DB2、Teradata等方言，無需每個場景一套介面。

-   **如果你關注運維**

TDH提供開箱即用的視覺化運維監控、安全管控工具，容器技術帶來極致的安裝、升級、補丁體驗。

-   **如果你關注售後**

TDH原廠超過1100人研發與支援團隊和超過3萬名星環科技認證的大資料工程師，專業性更強，售後無憂。

-   **如果你關注架構**

TDH提供統一SQL引擎、統一計算引擎、統一分散式儲存管理、統一資源排程、統一內聯架構高效搞定湖倉集一體、HTAP等複雜場景，無需平湊元件散裝架構。

-   **如果你關注安全**

TDH提供的容器隔離、災備、訪問控制、聯邦學習、隱私保護、可信計算等技術保障網路層、加固層、治理層、流通層全方位資料安全。

-   **如果你關注國產化**

TDH完全自研，透過工信部程式碼自主研發率掃描測試。同時TDH完成了與主流信創生態廠商的適配互認工作，滿足信創驗收要求。

![](https://pic4.zhimg.com/80/v2-651c073e1e434cf1a5e6e1b95fcb1537_1440w.jpg)

**遷移到CDP**

![](https://pic2.zhimg.com/80/v2-110e1378871f9ce38ad13159f7083739_1440w.jpg)

## **遷移方向的對比分析**

![](https://pic1.zhimg.com/80/v2-f0567d7a2f66461b4bbb38c9ae4e7794_1440w.jpg)

以下分別從相容性、技術領先性、效能、易用性、穩定性、災備與可靠性、安全性、自主可控、國產生態、解決方案、售後服務等多方面對比各遷移方向，供使用者參考。

## **相容性**

相容性，直接決定遷移成本。很多客戶認為CDP是CDH/HDP的高版本，應可以平滑升級，基於開源整合的產品，也可以平滑升級，而TDH是國內自主研發的大資料產品，相容性不好，升級成本高，其實不然。

-   **CDP**

1） CDH 5升級CDP**有嚴重元件版本相容性問題**, 包括 sentry 換成ranger，Hive2 升級到 Hive3，升級對元件的相容性影響大；2） 例如：某客戶CDH5升級到CDP的升級時間長達數月之久。

-   **開源封裝產品**

1） 基礎儲存和計算元件同樣有相容性問題；2） CDH安全、運維管理等**不開源元件和功能無法升級，且目前沒有很好解決方案。**

-   **星環科技TDH**

1） TDH基礎儲存和計算元件**相容CDH/HDP**，遷移成本低；2） TDH提供**遷移工具**，資料一鍵遷移；3） 大量**遷移成功案例**，不存在遷移風險。**技術領先性**

TDH產品技術始終領先於同型別產品2~3年，在大資料技術領域較早實現多項技術突破，例如2015年TDH4.0就完整支援**分散式事務**，同型別如Hive在多年後任然不能很好支援；2016年釋出的TDH5.0推出**新一代資源管理與排程技術**，將容器技術和大資料技術有效結合，提供有效的資源隔離技術同時帶來極致的安裝和升級體驗，Cloudera 2020年也計劃相關產品使用這一解決方案；2020年TDH 7.0推出了創新的**多模技術架構**，實現了透過統一SQL引擎對關係型、文字、圖資料、時空、時序等資料模型進行操作，在行業內處於先進水平。

![](https://pic3.zhimg.com/80/v2-82bf22abfd34a46d16cbb00dbbd40f12_1440w.jpg)

星環科技TDH多模型資料管理平臺技術架構圖

星環科技長期在大資料基礎軟體研發與產品化過程中自主研發形成了一系列先進的核心技術，這支撐了TDH產品的先進性，也在金融、政府、能源、交通、製造業等國民經濟重點領域中得到廣泛應用。隨著公司研發投入大幅提升，未來星環TDH將持續保持技術領先的優勢。

![](https://pic1.zhimg.com/80/v2-3ff0a834b1fe7b4bf352e17f3e2120b4_1440w.jpg)

**效能提升**

-   **TDH（Inceptor）整體效能是CDP（Hive on Tez）的5X**

Inceptor 是星環科技自主研發的關係型分析引擎，基於TPCDS 1TB的資料規模，同等配置下（4X10cores）TDH（Inceptor）和CDP（Hive on Tez）進行效能對比，**複雜場景有7~25X**效能提升。

![](https://pic1.zhimg.com/80/v2-ba7cb4bef6eb6da372050e4e1e4339e0_1440w.jpg)

-   **TDH（Hyperbase）效能優於CDP（Hbase）**

Hyperbase是星環科技自主研發的NoSQL寬表資料庫，基於1000W條的資料集，TDH（Hyperbase）效能優於CDP（Hbase）。

![](https://pic1.zhimg.com/80/v2-f7e21bedd49df445fb753525d485bc14_1440w.jpg)

-   **TDH（ArgoDB）效能是CDP（Impala）的2~6X**

ArgoDB是星環科技自主研發的分散式關係型資料庫，基於TPCDS 1TB的資料規模，同等配置下（4X10cores）TDH（ArgoDB）和CDP（Impala）進行Ad Hoc查詢效能對比情況，具體效能對比如圖所示：

![](https://pic4.zhimg.com/80/v2-1ef7f7c90768a01768a398727beb927b_1440w.jpg)

基於TPC-H 1TB的資料規模，同等配置下，基於不同的查詢分析場景下，TDH（ArgoDB）效能是CDP（Impala）的2~6X。

![](https://pic4.zhimg.com/80/v2-b803492c4d7ec1673487b7997f891df3_1440w.jpg)

-   **TDH（Slipstream） 優於CDP（Flink）**

Slipstream是星環科技自主研發的實時流計算引擎，在多場景上效能整體優於CDP（Flink）。

![](https://pic3.zhimg.com/80/v2-a3734604160ac4fce00d42503d6d2d26_1440w.jpg)

![](https://pic2.zhimg.com/80/v2-890a969cffba58cd9afe355d4c706a59_1440w.jpg)

-   **TDH（Scope） 優於Elastic Search**

星環科技全文搜尋引擎 Scope吞吐量測試效能上優於ES。

![](https://pic2.zhimg.com/80/v2-edf99cfdb38074d4fecf8fbc7c039641_1440w.jpg)

**易用性**

-   **統一計算引擎**

CDP/開源封裝產品使用一系列孤立的SQL 引擎， 如Apache SparkSQL、Apache Hive、Phoenix（SQL on HBase）、Cloudera Impala等。每個SQL 引擎都有各自的侷限性，使得使用者難於學習掌握，開發使用、應用對接、實際落地、事後運維方面成本高。

星環科技TDH採用自研統一計算引擎，提供統一SQL介面處理，支援SQL 2003標準與儲存過程，並且支援Oracle/DB2/Teradata 等SQL 方言。

此外，統一引擎另一個好處是，各類儲存的資料可以在一個作業（如一個SQL語句）中，被抽取到統一引擎中進行分散式計算，而無需開發人員自己寫分散式程式碼，從各個引擎中讀取資料再加工。整個易用性、開發效率和執行效率都提高很多。

![](https://pic1.zhimg.com/80/v2-64c4525e7ef0434b66624d280a7e4174_1440w.jpg)

圖片

-   **一體多模架構**

TDH的多模型支援特性可輕鬆勝任複雜場景。透過8種獨立的儲存引擎，支援業界主流的10種儲存模型：關係型資料儲存、寬表儲存、搜尋引擎、地理空間 儲存、圖儲存、鍵值儲存、事件儲存、時序儲存、文字儲存、物件儲存。在一個資料庫中同時支援多種資料模型（例如關係表、文字和圖片），可以避免分庫分表，簡化了應用的設計，支援直接高速儲存、檢索和統計多模型的資料。

CDP/開源封裝產品透過多個互相獨立的元件提供相應的能力，複雜場景需要多個元件+資料冗餘完成，中間的開發和運維十分不便。

-   **全套工具集**

TDH提供SQL開發工具、輕量級ETL工具、資料排程工作流工具、圖形化資料建模工具、互動式分析與Cube設計工具、後設資料管理工具、視覺化報表、大資料治理工具、災備工具等大量易用性工具。

![](https://pic3.zhimg.com/80/v2-c05918a59c8f4db932e60eda1617066a_1440w.jpg)

##   
**穩定性**

-   **計算引擎**

星環科技TDH自研的計算引擎Quark擁有：1) 分散式排程演算法Furion Scheduler，支援task級別排程能力，相比CDP/開源封裝產品Task set級別排程，在業務混合負載併發高效果和穩定性更好，不會出現一個大任務佔滿資源把引擎跑崩，叢集規模大情況下表現尤為明顯；2) Shuffle過程記憶體控制技術，當資料量超過一定閥值時中間結果會spill到磁碟，不會出現OOM情況；3) 聚合取樣技術，當聚合率不高或者佔用記憶體太多時，會放棄預聚合，直接shuffle，來保證引擎穩定性；4) Server級別HA，不存在server 單點故障；5) Task重試機制，task級別重試使得大任務重試代價小，不會出現一個大任務不斷重試把引擎跑崩情況；6) 計算引擎保護機制，在特別情況如誤提交超大表笛卡爾積計算任務，引擎會直接拒絕執行SQL，進一步保護計算引擎，保證穩定性；7) 分散式Checkpoint容錯機制，相比ACK機制，效率和穩定性更優。

-   **儲存引擎**

星環科技TDH在儲存層面具備：1) 小檔案自動合併技術，同等資料量情況下，檔案數遠少於CDP/開源封裝產品，大資料量情況下穩定性高；2) 堆外記憶體技術，單機容量得到提升，同時避免full GC導致的叢集穩定性問題，如Scope穩定執行單機容量可達50TB，而CDP/開源ES上限只有10TB；3) 分散式Raft協議，支援叢集規模更大更穩定，如ArgoDB可穩定支援2000+節點叢集，可以根據企業需求線性擴容，支援PB級資料儲存；而CDP（Kudu）單叢集最大規模不超過100個儲存節點，單節點超過8T儲存就會不穩定；除此之外，自研的讀寫分離技術、索引技術、壞盤處理技術等，配合全流程監控告警能力， 讓TDH支援系統7*24小時穩定執行。

這些能力是CDP/開源封裝產品不具備的，因而在檔案數多、資料量大、任務併發高、叢集規模大的情況下，TDH整體穩定性遠超CDP/開源封裝產品。

**災備與可靠性**

TDH有資料同步備份工具，原廠級元件支援，基於資料塊級別複製資料備份效率高、代價低，支援熱備、溫備、冷備等多種資料備份模式，支援全量備份/全量同步/增量同步，開放介面供其他工具或應用呼叫，具有全流程視覺化介面。

CDP/開源封裝產品目前主要還是依賴多副本機制保障叢集內資料可靠性，異地容災沒有高效方案，只能做到HDFS的資料複製，效率低、代價大。**安全性**

星環科技TDH提供了大資料安全合規能力，在企業構建大資料能力的同時，確保資料業務的安全合規。平臺基於敏感識別與分類分級，幫助企業實現大資料資產的分類管理，分級保護。支援多種資料安全防護能力，包括靜態脫敏、動態脫敏、資料水印，加強了資料業務事中控制能力。平臺還支援以資料為中心的監測與審計能力，能識別敏感資料操作並進行使用者實體行為分析，能及時進行告警，提供事後可查溯源的能力。

CDP/開源封裝產品不具備這些能力。**自主研發**

自主可控方面**TDH有絕對優勢**，TDH產品透過工信部自主程式碼掃描測試。

CDP完全是國外軟體，不可控，國產軟硬支援不好。

開源封裝產品依賴開源，不能自主可控，很多元件受美國法律限制，不能規避“被制裁”風險。部分產品有license風險，如ES已經改開源license策略了，後續商用存在一定的風險。**國產生態**

星環科技TDH已完成與主流信創生態廠商的適配互認工作，適配長城飛騰、華為泰山、浪潮等伺服器，鯤鵬、飛騰CPU，麒麟、統信等OS，並有官方認證，支援基於ARM與X86伺服器伺服器混合部署並有落地案例，滿足信創驗收要求。CDP在國產化伺服器、CPU、GPU資源池化、作業系統等方面支援能力不足，無法很好地滿足國產生態。

![](https://pic4.zhimg.com/80/v2-c3392230e9682106546b1764f157cd57_1440w.jpg)

在國產生態方面，TDH已經有非常多落地案例，並且效能提升明顯。在不同指令集的CPU架構均表現出優異的效能，如ARM（鯤鵬）和X86（海光）在CPU密集型計算和IO密集型計算上效能提升顯著。

![](https://pic3.zhimg.com/80/v2-851fc6da8cb4c76dc2f2b06bae89459a_1440w.jpg)

**解決方案**

星環科技TDH統一內聯大資料底座優於CDP/開源封裝產品的散裝資料底座。

CDP/開源封裝產品，每個場景需要一個元件獨立交付，開發語言和介面基本完全不同，客戶新業務開發、業務需求變更成本極高。

![](https://pic1.zhimg.com/80/v2-9e1b9a12dc9274132ba997c39c430560_1440w.jpg)

![](https://pic3.zhimg.com/80/v2-05d51ed32bba2841cbfc41616bb73262_1440w.jpg)

**售後服務**

TDH的產品提供方星環科技是國內廠商，具有非常強大的研發、技術支援與服務能力，可以快速響應客戶定製化需求，提供強大的原廠售後服務保障能力。CDP的產品提供方Cloudera依靠國內代理商提供銷售並提供實施、運維服務；Cloudera在國內主要是運維人員，沒有原廠技術研發人員，很難保障SLA。由於支援不到位，很多國內CDH企業版客戶已經購買了或者希望購買星環科技技術人員提供技術保障。

某開源封裝產品對營運商客戶採用直銷方式，其他客戶一律採用渠道銷售方式，大部分行業原廠售後服務保障能力較低。其產品核心研發團隊較少，大部分技術人員在處理各類開源技術Bug及客戶問題遠端技術支援，專業性不足。

## **遷移案例**

![](https://pic2.zhimg.com/80/v2-0155645d64b8437c499da413a9f2ef6d_1440w.jpg)

**某通訊集團**

該集團核心業務系統存量資料10PB級別，每日增量數TB，批處理作業數千個，資料量大，業務價值高。

原有系統使用CDH+Oracle混合架構，CDH 有近200節點，主要承擔資料批處理加工，Oracle對接上層應用，CDH散裝架構和CDH+Oracle混合架構帶給客戶巨大的開發運維成本，同時批處理效能、穩定性和安全性也無法滿足客戶資料增長需求。

最終星環科技在專案一期用TDH成功遷移了客戶CDH+Oracle混合架構的資料平臺，“一個頂兩”，並且資料稽核、聯邦計算、資源排程、安全性、高可用、易用性等關鍵能力得到增強，真正實現“降本增效”。

遷移全程用時6個月不到，充分體現了TDH對CDH的相容性，以及Oracle方言和儲存過程支援能力。

隨著一些新應用上線，目前TDH叢集生產環境擴容至近200個節點，直接對接經營分析、計費、客服、賬務、結算等系統。**某航空公司**

該航空公司原來使用HDP+Oracle混合架構建設企業資料平臺，涉及流處理、批處理、高併發查詢等技術場景。

客戶部署了幾十個節點的HDP叢集，但是散裝架構帶給客戶巨大的開發運維成本，同時效能、實時性和穩定性也無法滿足客戶需求。

最終星環科技一期專案用TDH成功遷移了客戶HDP叢集，由於TDH對HDP的相容性高，全部資料+業務遷移不到5個月時間（包含1個月並行執行測試）。

當前TDH叢集近百個節點，TDH極好的SQL和Oracle方言支援讓客戶上線了很多新應用。

CDH/HDP遷移之路

相關文章