Spring系列學習之Spring Cloud Data Flow 微服務資料流
英文原文:https://cloud.spring.io/spring-cloud-dataflow/
目錄
Spring Cloud資料流
Spring Cloud Data Flow是用於構建資料整合和實時資料處理管道的工具包。
管道由Spring Boot應用程式組成,使用Spring Cloud Stream或Spring Cloud Task微服務框架構建。 這使得Spring Cloud Data Flow適用於各種資料處理用例,從匯入/匯出到事件流和預測分析。
概覽
Spring Cloud Data Flow伺服器使用Spring Cloud Deployer將資料管道部署到現代執行時,例如Cloud Foundry和Kubernetes。
針對各種資料整合和處理場景的一系列預構建流和任務/批處理啟動器應用程式有助於學習和實驗。
可以使用熟悉的Spring Boot樣式程式設計模型構建針對不同中介軟體或資料服務的自定義流和任務應用程式。
簡單的流管道DSL可以輕鬆指定要部署的應用程式以及如何連線輸出和輸入。在v1.2中新增了一個新的組合任務DSL。
儀表板提供了一個圖形編輯器,用於以互動方式構建新管道,以及可部署應用程式和使用度量標準執行應用程式的檢視。
Spring Can Data Flow伺服器公開了一個REST API,用於組合和部署資料管道。單獨的shell使您可以從命令列輕鬆使用API。
平臺實施
開始使用Spring Cloud Data Flow的一種簡單方法是遵循下表中特定於平臺的實現連結。每個實現都獨立釋出,具有獨立的釋出節奏。強烈建議您檢視特定於平臺的參考文件,以瞭解有關功能的更多資訊。
Server Type | Stable Release | Milestone/Snapshot Release |
---|---|---|
Local Server | 1.7.3.RELEASE[docs] | 2.0.0.M1[docs] |
Cloud Foundry Server | 1.7.3.RELEASE[docs] | 2.0.0.M1[docs] |
Kubernetes Server | 1.7.2.RELEASE[docs] | 2.0.0.M1[docs] |
社群實現
- Spring Cloud Data Flow for HashiCorp Nomad
- Spring Cloud Data Flow for Red Hat OpenShift
- Spring Cloud Data Flow for Apache Mesos
快速開始
第1步 - 有兩種入門方式。 最快的是下載Spring Cloud Data Flow Local-Server的Docker Compose工件。 (Mac使用者可以使用'curl -O'代替'wget')
wget https://raw.githubusercontent.com/spring-cloud/spring-cloud-dataflow/v1.7.3.RELEASE/spring-cloud-dataflow-server-local/docker-compose.yml
第2步 - 從您下載docker-compose.yml的目錄中,啟動SCDF系統。
DATAFLOW_VERSION=1.7.3.RELEASE docker-compose up
第3步 - 在http:// localhost:9393/dashboard處開啟儀表板。
第4步 - 使用“Streams”選項卡下的“Create Stream(s)”來定義和部署流time| log使用“ticktock”這個名稱登入。
一旦部署了“ticktock”流,您將在“執行時”選項卡下看到兩個流應用程式(ticktock.log和ticktock.time)。 單擊“ticktock.log”應用程式的i圖示以複製流式日誌的路徑。
第5步 - 要驗證已部署的流和結果,請從儀表板中複製“stdout”文字框中的路徑。 從另一個終端控制檯型別:
docker exec -it dataflow-server tail -f <COPIED-STDOUT-PATH>
構建Spring Spring資料流
Spring Cloud Data Flow基於多個專案構建,生態系統的頂級構建塊列在以下視覺化表示中。 每個專案代表一個核心功能,它們是孤立地發展的,具有單獨的釋出節奏 - 按照連結查詢有關每個專案的更多詳細資訊。
↓ Uses ↓
↑ Implements ↑
↓ Deploys ↓
↓ Uses ↓
Sample Projects
- Twitter Analytics
- Predictive Analytics
- HTTP -> Cassandra
- HTTP -> MySQL
- HTTP -> Gemfire
- Functions in SCDF
Related Projects
- Spring Cloud Stream
- Spring Cloud Stream Applications
- Spring Cloud Task
- Spring Cloud Task Applications
- Spring Cloud Skipper
Customer Case Studies
- Latency Tracing with SCDF
- Batch Processing with SCDF
- Low Latency Event-Driven ETL
- Domain Driven Design with Spring Cloud Stream
Videos
- CI/CD + SCDF
- Twitter Sentiment Analytics with TensorFlow
- Data Microservices with Spring Cloud Data Flow
- Data Microservices in the Cloud
- Cloud Native Streaming and Event-Driven Microservices
- Data Microservices with Spring Cloud Stream, Task, and Spring Cloud Data Flow
相關文章
- 學習Spring Cloud與微服務之路三SpringCloud微服務
- Spring Cloud 微服務開發系列整理SpringCloud微服務
- spring cloud分散式微服務:Spring Cloud ConfigSpringCloud分散式微服務
- spring cloud 和 阿里微服務spring cloud AlibabaSpringCloud阿里微服務
- 微服務Spring Cloud Alibaba之我見微服務SpringCloud
- 微服務Spring Cloud17_Spring Cloud概述3微服務SpringCloud
- Spring Cloud實戰系列(八) - 微服務監控Spring Boot AdminCloud微服務Spring Boot
- Spring Cloud系列(一):微服務架構簡介SpringCloud微服務架構
- spring cloud 微服務實戰SpringCloud微服務
- spring cloud微服務分散式雲架構Spring Cloud ZuulSpringCloud微服務分散式架構Zuul
- 微服務 | Spring Cloud(一):從單體SSM 到 Spring Cloud微服務SpringCloudSSM
- spring cloud微服務分散式雲架構-Spring Cloud NetflixSpringCloud微服務分散式架構
- spring cloud微服務分散式雲架構-Spring Cloud BusSpringCloud微服務分散式架構
- 微服務SpringCloud之Spring Cloud Config配置中心Git微服務SpringGCCloudGit
- Spring Cloud微服務複習筆記總結SpringCloud微服務筆記
- 什麼是 Spring Cloud 資料流?SpringCloud
- 使用Spring Cloud Data Flow + CDC Debezium源實時實現變更資料捕獲 - SpringIOSpringCloud
- 學習使用Spring Boot和Spring Cloud建立微服務架構的5本書 - hackernoonSpring BootCloud微服務架構
- spring cloud微服務分散式雲架構 - Spring Cloud簡介SpringCloud微服務分散式架構
- Spring Cloud構建微服務架構-spring cloud服務監控中心SpringCloud微服務架構
- 微服務:spring-cloud-archaius 起步微服務SpringCloudAI
- Spring Cloud Alibaba微服務實戰SpringCloud微服務
- Spring Cloud學習SpringCloud
- Spring Boot系列(四) Spring Cloud 之 Config ClientSpring BootCloudclient
- java版電子商務spring cloud分散式微服務-大話Spring CloudJavaSpringCloud分散式微服務
- (一)spring cloud微服務分散式雲架構 - Spring Cloud簡介SpringCloud微服務分散式架構
- (一)spring cloud微服務分散式雲架構-Spring Cloud簡介SpringCloud微服務分散式架構
- spring cloud Alibaba 之 spring boot 基礎學習筆記CloudSpring Boot筆記
- Spring Cloud之微服務之間相互呼叫、如何讓一個微服務呼叫另外一個微服務SpringCloud微服務
- Spring Cloud 微服務的那點事SpringCloud微服務
- Spring Cloud微服務運營配置教程SpringCloud微服務
- Spring Cloud 微服務架構進階SpringCloud微服務架構
- 微服務架構:Dubbo VS Spring Cloud微服務架構SpringCloud
- 理解Spring Cloud微服務框架核心元件SpringCloud微服務框架元件
- spring cloud微服務架構設計SpringCloud微服務架構
- 微服務Spring Cloud17_Feign9微服務SpringCloud
- Spring Cloud Stream微服務訊息框架SpringCloud微服務框架
- 微服務閘道器 Spring Cloud Gateway微服務SpringCloudGateway