**0、前言**
TDengine 是由濤思資料開發並開源的一款高效能、分散式、支援 SQL 的時序資料庫（Time-Series Database）。

在[上一篇文章]( http://blog.itpub.net/70014783/viewspace-2897627/"上一篇文章")中，我們示範瞭如何使用 Apache Flink 連線 TDengine，使用 Apache Spark 的小夥伴們已經迫不及待地等待續集了。

相對於 Flink，Spark 對接起來就簡單多了。
![](http://img.blog.itpub.net/blog/2022/05/30/ba415944c1528b98.png?x-oss-process=style/bb)

**1、技術實現**

Spark 本身封裝了 JDBC 的方法，所以我們直接使用 Spark 官網的示例程式碼就可以完成對接了。

**2、示例程式碼**
```html
package com.taosdata.java;                
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SaveMode;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.jdbc.JdbcDialect;
import org.apache.spark.sql.jdbc.JdbcDialects;
public class  SparkTest{
    public static void main(String[] args) {
               // 資料庫配置
               String url = "jdbc:TAOS://u05:6030/tt?user=root&password=taosdata";
               String driver = "com.taosdata.jdbc.TSDBDriver";
               String dbtable = "t1";
               
               SparkSession sparkSession = SparkSession.builder()
                               .appName("DataSourceJDBC") // 設定應用名稱
                               .master("local") // 本地單執行緒執行
                               .getOrCreate();
               // 建立DataFrame
               Dataset<row> df = sparkSession
                               .read() // 返回一個DataFrameReader，可用於將非流資料作為DataFrame讀取
                               .format("jdbc") // JDBC資料來源
                               .option("url", url)
                               .option("driver", driver)
                               .option("query", "select * from tt.meters limit 100") // 二選一，sql語句或者表
                               .load();
               // 將DataFrame的內容顯示
               df.show();
               
               
               df.write() // 返回一個DataFrameWriter，可用於將DataFrame寫入外部儲存系統
                               .format("jdbc") // JDBC資料來源
                               .mode(SaveMode.Append) // 如果第一次生成了，後續會追加
                               .option("url", url)
                               .option("driver", driver)
                               .option("dbtable", "test.meters") // 表名
                               .save();
               sparkSession.stop();
        }
}
```

**3、簡單測試 JNI 讀寫**

**1) 環境準備：**
a) Spark 安裝&啟動：
- wget https://www.apache.org/dyn/closer.lua/spark/spark-3.2.1/spark-3.2.1-bin-hadoop3.2.tgz
- tar zxf spark-3.2.1-bin-hadoop3.2.tgz -C /usr/local

b) TDengine Database 環境準備：
◆ 建立原始資料： 
- create database tt;
- create table tt.meters (ts TIMESTAMP,vol INT) ;
- insert into meters values(now,220);

◆ 建立目標資料庫表： 
- create database test;
- create table test.meters (ts TIMESTAMP,vol INT) ;

**2) 打包編譯：**
原始碼位置： https://github.com/liuyq-617/TD-Spark

mvn clean package

**3) 程式啟動：**
spark-submit –master local –name TDenginetest –class com.taosdata.java.SparkTest /testSpark-1.0-SNAPSHOT-dist.jar

◆ 讀取資料 
- 讀取的資料直接列印在控制檯

◆ 寫入資料 
- select * from test.meters; 
- 可以查詢到剛插入的資料

**4、小結**
Spark 本身支援 JDBC 的方式來進行讀寫，我們無需做更多適配，資料接入可以做到無縫銜接。

------------

想了解更多 TDengine Database的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/TDengine"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")</row>

【技術乾貨】程式碼示例：使用 Apache Spark 連線 TDengine

相關文章