如何在命令列中指定StreamingPro的寫入路徑
如何命令列指定輸如輸出的引數?
下面有個輸出的例子:
{ "name": "stream.outputs", "params": [ { "name":"jack", "format": "jdbc", "path": "-", "driver":"com.mysql.jdbc.Driver", "url":"jdbc:mysql://127.0.0.1/test?characterEncoding=utf8", "inputTableName": "finalOutputTable", "user":"~", "password":"~", "dbtable":"~", "mode":"Overwrite" } ] }
其中dbtable 是按天建立的,也就是我每天見一個表,表字尾是時間譬如 20121111 這種。在StreamingPro中的處理方式很簡單,只要是Source或者Ouput,那麼所有的配置都是可以在命令列中指定的。比如我需要指定dbtable的時候,只要如下即可:
SHome=/home/zhuhl/streamingpro spark-submit --class streaming.core.StreamingApp --master yarn-cluster --name test $SHome/streamingpro-0.4.12-SNAPSHOT-online-1.6.1-jar-with-dependencies.jar -streaming.name test -streaming.platform spark -streaming.job.file.path file:///test.json -streaming.sql.out.jack.dbtable aaa
最後一行就是讓你指定變數的地方。 jack 是你的輸出的名字,dbtable 則是你需要更改的變數。這樣,預設寫入的表名就是aaa了。
如何給SQL傳遞變數
其實batch.sql/stream.sql 也是可以傳遞變數的,比如:
{ "name": "batch.sql", "params": [ { "sql": "select * from test where a=:jack", "outputTableName": "finalOutputTable" } ] }
其中a 的值只有在啟動的時候才知道,那麼你可以透過引數
-streaming.sql.params.jack william
來進行傳遞。
作者:祝威廉
連結:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/132/viewspace-2819302/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 7z命令列引數中的路徑命令列
- 檢視哪些表的哪些列含有指定字串(如‘andy’存在哪些表的哪些列中)字串
- python 在命令列中選擇檔案路徑的互動程式Python命令列
- 在cmd中開啟指定檔案路徑
- MySQL 指定各分割槽路徑MySql
- postfix按指定路徑安裝
- VS2010中如何為所有工程指定包含路徑和庫路徑
- 請教,如何在JBOSS中設定虛擬路徑?
- html中的路徑的介紹:絕對路徑和相對路徑HTML
- 如何在命令列中顯示五彩斑斕的“黑”命令列
- java中獲取類載入路徑和專案根路徑的5種方法Java
- cmake編譯指定自己編譯的庫路徑編譯
- 如何在 Fedora 30 中設定核心命令列引數命令列
- android下根據路徑不同拷貝檔案至指定路徑Android
- 在 Linux 命令列中轉換大小寫Linux命令列
- js查詢指定的陣列中是否含有指定的值JS陣列
- Laravel-admin 建立控制器指定模型-指定模型路徑Laravel模型
- vue去除路徑中的#Vue
- 矩陣中的路徑矩陣
- FileNotFoundError: [WinError 3] 系統找不到指定的路徑。Error
- Windows XP中的命令列命令Windows命令列
- yii2.0檔案如何在php命令列中執行PHP命令列
- 如何在 Linux 命令列操作 PDFLinux命令列
- JNI 在命令列視窗輸入字元,不顯所輸入字元,顯指定的掩飾符命令列字元
- 使用–spring.profiles.active=prod指定的配置會覆蓋命令列傳入的配置Spring命令列
- PowerShell 命令來操作 Windows 登錄檔 Get-ItemProperty 命令可以獲取指定登錄檔路徑下的鍵值資訊 ;Set-ItemProperty 命令可以設定指定登錄檔路徑下的鍵值資訊;New-Item 命令可以建立新的登錄檔項Windows
- python中如何新增模組匯入路徑?Python
- Linux中awk命令實現指定欄位的第一個字母大寫Linux
- 容器網路中的 Iptables 包路徑
- Python最常用的讀取指定路徑檔案的方法!Python
- 寫程式碼如寫散文
- web開發中的路徑Web
- 如何在Java中獲取Windows和Linux/Mac系統上的桌面路徑JavaWindowsLinuxMac
- 如何修復終端中的 macOS 命令列拼寫錯誤Mac命令列
- 查詢系統主要檔案路徑 如IE快取等快取
- go掃描指定路徑下,檔案過多Go
- android 把字串內容儲存到指定路徑Android字串
- 如何書寫Openstack命令列命令列