Spring系列學習之Spring Cloud Data Flow 微服務資料流

英文原文：https://cloud.spring.io/spring-cloud-dataflow/

目錄

Spring Cloud資料流

概覽

社群實現

快速開始

 構建Spring Spring資料流

Sample Projects

Related Projects

Customer Case Studies

Videos

---

Spring Cloud資料流

Spring Cloud Data Flow是用於構建資料整合和實時資料處理管道的工具包。

管道由Spring Boot應用程式組成，使用Spring Cloud Stream或Spring Cloud Task微服務框架構建。 這使得Spring Cloud Data Flow適用於各種資料處理用例，從匯入/匯出到事件流和預測分析。

概覽

Spring Cloud Data Flow伺服器使用Spring Cloud Deployer將資料管道部署到現代執行時，例如Cloud Foundry和Kubernetes。

針對各種資料整合和處理場景的一系列預構建流和任務/批處理啟動器應用程式有助於學習和實驗。

可以使用熟悉的Spring Boot樣式程式設計模型構建針對不同中介軟體或資料服務的自定義流和任務應用程式。

簡單的流管道DSL可以輕鬆指定要部署的應用程式以及如何連線輸出和輸入。在v1.2中新增了一個新的組合任務DSL。

儀表板提供了一個圖形編輯器，用於以互動方式構建新管道，以及可部署應用程式和使用度量標準執行應用程式的檢視。

Spring Can Data Flow伺服器公開了一個REST API，用於組合和部署資料管道。單獨的shell使您可以從命令列輕鬆使用API​​。
平臺實施

開始使用Spring Cloud Data Flow的一種簡單方法是遵循下表中特定於平臺的實現連結。每個實現都獨立釋出，具有獨立的釋出節奏。強烈建議您檢視特定於平臺的參考文件，以瞭解有關功能的更多資訊。

Server Type	Stable Release	Milestone/Snapshot Release
Local Server	1.7.3.RELEASE[docs]	2.0.0.M1[docs]
Cloud Foundry Server	1.7.3.RELEASE[docs]	2.0.0.M1[docs]
Kubernetes Server	1.7.2.RELEASE[docs]	2.0.0.M1[docs]

 

社群實現

• Spring Cloud Data Flow for HashiCorp Nomad
• Spring Cloud Data Flow for Red Hat OpenShift
• Spring Cloud Data Flow for Apache Mesos

 

快速開始

第1步 - 有兩種入門方式。 最快的是下載Spring Cloud Data Flow Local-Server的Docker Compose工件。 （Mac使用者可以使用'curl -O'代替'wget'） 

wget https://raw.githubusercontent.com/spring-cloud/spring-cloud-dataflow/v1.7.3.RELEASE/spring-cloud-dataflow-server-local/docker-compose.yml

第2步 - 從您下載docker-compose.yml的目錄中，啟動SCDF系統。

DATAFLOW_VERSION=1.7.3.RELEASE docker-compose up

第3步 - 在http:// localhost:9393/dashboard處開啟儀表板。

第4步 - 使用“Streams”選項卡下的“Create Stream（s）”來定義和部署流time| log使用“ticktock”這個名稱登入。

 

一旦部署了“ticktock”流，您將在“執行時”選項卡下看到兩個流應用程式（ticktock.log和ticktock.time）。 單擊“ticktock.log”應用程式的i圖示以複製流式日誌的路徑。

第5步 - 要驗證已部署的流和結果，請從儀表板中複製“stdout”文字框中的路徑。 從另一個終端控制檯型別： 

docker exec -it dataflow-server tail -f <COPIED-STDOUT-PATH>

 構建Spring Spring資料流

Spring Cloud Data Flow基於多個專案構建，生態系統的頂級構建塊列在以下視覺化表示中。 每個專案代表一個核心功能，它們是孤立地發展的，具有單獨的釋出節奏 - 按照連結查詢有關每個專案的更多詳細資訊。

 

Spring Cloud Data Flow Local Server

Spring Cloud Data Flow Cloud Foundry Server

Spring Cloud Data Flow Kubernetes Server

Spring Cloud Data Flow Apache Yarn Server

Spring Cloud Data Flow Apache Mesos Server

---

REST-APIs / Shell / DSL	Dashboard	Spring Flo	Spring Cloud Data Flow Metrics Collector
Spring Cloud Data Flow - Core

↓     Uses     ↓

Spring Cloud Deployer - Service Provider Interface (SPI)

↑     Implements     ↑

Spring Cloud Deployer Local

Spring Cloud Deployer Cloud Foundry

Spring Cloud Deployer Kubernetes

Spring Cloud Deployer Yarn

Spring Cloud Deployer Mesos

↓     Deploys     ↓

Spring Cloud Stream App Starters

Spring Cloud Task App Starters

Spring Cloud Stream

Spring Cloud Task

↓     Uses     ↓

Spring Integration

Spring Boot

Spring Batch

Sample Projects

• Twitter Analytics
• Predictive Analytics
• HTTP -> Cassandra
• HTTP -> MySQL
• HTTP -> Gemfire
• Functions in SCDF

Related Projects

• Spring Cloud Stream
• Spring Cloud Stream Applications
• Spring Cloud Task
• Spring Cloud Task Applications
• Spring Cloud Skipper

Customer Case Studies

• Latency Tracing with SCDF
• Batch Processing with SCDF
• Low Latency Event-Driven ETL
• Domain Driven Design with Spring Cloud Stream

Videos

• CI/CD + SCDF
• Twitter Sentiment Analytics with TensorFlow
• Data Microservices with Spring Cloud Data Flow
• Data Microservices in the Cloud
• Cloud Native Streaming and Event-Driven Microservices
• Data Microservices with Spring Cloud Stream, Task, and Spring Cloud Data Flow