GoldenGate for bigdata 12.3.2.1版本新特性

margiex發表於2018-05-20
Go

在Oracle Tenical Network(OTN)上已經可以下載到最新的ogg4bd版本，地址如下：
http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html

新增加的特性如下：

  • 支援以Cassandra為源

從ogg4bd 12.3.2.1開始，GoldenGate可以從NoSQL儲存中讀取資料，在這個版本中，支援列式儲存庫Cassandra的增量資料捕獲，它可以從頭開始捕獲，也稱為初始捕獲。

 

  • 新的目標端 - Kafka REST代理

ogg4bd現在可以通過rest代理介面以LCR格式實時將資料寫入kafka topic，而且支援DDL變更，其它支援的操作包括Insert/Update/Delete/PK Update。也支援模板化對輸出資料進行格式化。現在也支援編碼格式AVRO和JSON。最後，還提供HTTPS/SSL的通訊支援。

 

  • 新的目標端 - Oracle NoSQL

ogg4bd現在可以通過配置的形式將資料寫入Oracle NoSQL資料儲存，而不需要使用java adapter。它可以處理Oracle NoSQL資料型別，表和列之間的對映，支援DDL更改，主鍵更新的複製。這個版本支援Basic和Kerberos兩種身份驗證方法。

 

  • 新的目標端 - 文字檔案和AWS S3儲存

ogg4bd現在提供一個新的文字檔案寫入器。其作用是將資料先寫到本地檔案系統，再將完整的資料寫入到另一個位置，如HDFS。這意味著分析工具不必嘗試訪問這些本地存放的實時半處理檔案，只需要在後續執行批量處理即可，如通過呼叫本地函式實現轉換，合併等，更容易滿足ETL或大資料平臺資料處理的需求。

 

  • 新的目標端 - AWS S3儲存

ogg4bd當前提供的文字寫入器，支援將資料先寫到本地檔案系統，再將完整的檔案載入到另一個位置，如AWS S3。 S3處理程式可以寫入預先建立的AWS S3儲存桶(bucket)或使用AWS OAUTH認證方法建立新儲存桶。

 

  • 新的輸出格式 - ORC& Parquet

ogg4bd現在提供的文字檔案處理器，支援以ORC和Parquet格式寫入資料。

 

  • 最後

除舊版本支援的平臺外，該版本還新增支援MapR, Hortonworks 2.7, CDH 5.14, Confluent 4.0, MongoDB 3.6, DataStax Cassandra 5.1, Elasticsearch 6.2, Kafka 1.0。

相關文章