GoldenGate for bigdata 12.3.2.1版本新特性

margiex發表於2018-05-20

Oracle Tenical Network(OTN)上已經可以下載到最新的ogg4bd版本,地址如下:
http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html

新增加的特性如下:

  • 支援以Cassandra為源

ogg4bd 12.3.2.1開始,GoldenGate可以從NoSQL儲存中讀取資料,在這個版本中,支援列式儲存庫Cassandra的增量資料捕獲,它可以從頭開始捕獲,也稱為初始捕獲。

 

  • 新的目標端 - Kafka REST代理

ogg4bd現在可以通過rest代理介面以LCR格式實時將資料寫入kafka topic,而且支援DDL變更,其它支援的操作包括Insert/Update/Delete/PK Update。也支援模板化對輸出資料進行格式化。現在也支援編碼格式AVROJSON。最後,還提供HTTPS/SSL的通訊支援。

 

  • 新的目標端 - Oracle NoSQL

ogg4bd現在可以通過配置的形式將資料寫入Oracle NoSQL資料儲存,而不需要使用java adapter。它可以處理Oracle NoSQL資料型別,表和列之間的對映,支援DDL更改,主鍵更新的複製。這個版本支援BasicKerberos兩種身份驗證方法。

 

  • 新的目標端 - 文字檔案和AWS S3儲存

ogg4bd現在提供一個新的文字檔案寫入器。其作用是將資料先寫到本地檔案系統,再將完整的資料寫入到另一個位置,如HDFS。這意味著分析工具不必嘗試訪問這些本地存放的實時半處理檔案,只需要在後續執行批量處理即可,如通過呼叫本地函式實現轉換,合併等,更容易滿足ETL或大資料平臺資料處理的需求。

 

  • 新的目標端 - AWS S3儲存

ogg4bd當前提供的文字寫入器,支援將資料先寫到本地檔案系統,再將完整的檔案載入到另一個位置,如AWS S3 S3處理程式可以寫入預先建立的AWS S3儲存桶(bucket)或使用AWS OAUTH認證方法建立新儲存桶。

 

  • 新的輸出格式 - ORC& Parquet

ogg4bd現在提供的文字檔案處理器,支援以ORCParquet格式寫入資料。

 

  • 最後

除舊版本支援的平臺外,該版本還新增支援MapR, Hortonworks 2.7, CDH 5.14, Confluent 4.0, MongoDB 3.6, DataStax Cassandra 5.1, Elasticsearch 6.2, Kafka 1.0

相關文章