如何在命令列中指定StreamingPro的寫入路徑

local0發表於2021-09-09

如何命令列指定輸如輸出的引數?

下面有個輸出的例子:

{        "name": "stream.outputs",        "params": [
          {            "name":"jack",            "format": "jdbc",            "path": "-",            "driver":"com.mysql.jdbc.Driver",            "url":"jdbc:mysql://127.0.0.1/test?characterEncoding=utf8",            "inputTableName": "finalOutputTable",            "user":"~",            "password":"~",            "dbtable":"~",            "mode":"Overwrite"
          }
        ]
      }

其中dbtable 是按天建立的,也就是我每天見一個表,表字尾是時間譬如 20121111 這種。在StreamingPro中的處理方式很簡單,只要是Source或者Ouput,那麼所有的配置都是可以在命令列中指定的。比如我需要指定dbtable的時候,只要如下即可:

SHome=/home/zhuhl/streamingpro
spark-submit --class streaming.core.StreamingApp 
--master yarn-cluster 
--name test $SHome/streamingpro-0.4.12-SNAPSHOT-online-1.6.1-jar-with-dependencies.jar    
-streaming.name test 
-streaming.platform spark 
-streaming.job.file.path file:///test.json 
-streaming.sql.out.jack.dbtable  aaa

最後一行就是讓你指定變數的地方。 jack 是你的輸出的名字,dbtable 則是你需要更改的變數。這樣,預設寫入的表名就是aaa了。

如何給SQL傳遞變數

其實batch.sql/stream.sql 也是可以傳遞變數的,比如:

{        "name": "batch.sql",        "params": [
          {            "sql": "select * from test where a=:jack",            "outputTableName": "finalOutputTable"
          }
        ]
      }

其中a 的值只有在啟動的時候才知道,那麼你可以透過引數

-streaming.sql.params.jack    william

來進行傳遞。



作者:祝威廉
連結:


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/132/viewspace-2819302/,如需轉載,請註明出處,否則將追究法律責任。

相關文章