streamparse 填坑

https://streamparse.readthedocs.io/en/master/quickstart.html

streamparse 是python中用來操控storm的一個模組。上文給出了streamparse的快速上手的文件。

但是本人在使用中出現了各種意外。

以下三點是本人經過無數次嘗試後的成功經驗

注意：不要使用root賬號操作

streamparse 中  有依賴 lein  ，lein 需要使用非root賬戶（使用root賬戶有坑，這裡不做詳細敘述）

1.  不要使用最新的storm，1.1.0 版本的即可

使用下面的命令下載

wget https://archive.apache.org/dist/storm/apache-storm-1.1.0/apache-storm-1.1.0.tar.gz

 2. 解壓

解壓命令              tar -xvf  <剛才的壓縮包>     

之後cp -r <解壓後的目錄>  到 /opt/下 。這裡只是為了方便管理，解壓到哪個目錄實際無硬性規定。

3 建立logs 資料夾

之後在 /opt/apache-storm-1.1.0   目錄下 建立 logs  資料夾，並更改許可權（本人直接chmod -R 777 logs ）

4 設定storm 的環境變數

vim  ~/.bashrc 

export STORM_HOME=/opt/apache-storm-1.1.0/
export STORM_PATH=/opt/apache-storm-1.1.0/bin/
export ZOOKEEPER_HOME=/opt/apache-zookeeper-3.6.2-bin/
export ZOOKEEPER_PATH=/opt/apache-zookeeper-3.6.2-bin/bin/
export PATH=$PATH:$STORM_HOME/bin:$ZOOKEEPER_HOME/bin

這裡本人還加上了zookeeper 的環境變數

zookeeper 如何 安裝，配置，這裡不做說明

5 配置 project.clj

這裡需要注意  ，使用  sparse quickstart wordcount 後 生成的wordcount目錄中 ，有個配置檔案 

project.clj,裡面有些配置需要更改

(defproject wordcount "0.0.1-SNAPSHOT"
  :resource-paths ["_resources"]
  :target-path "_build"
  :min-lein-version "2.0.0"
  :jvm-opts ["-client"]
  :dependencies  [[org.apache.storm/storm-core "1.1.0"]
                  [org.apache.storm/flux-core "1.1.0"]]
  :jar-exclusions     [#"log4j\.properties" #"org\.apache\.storm\.(?!flux)" #"trident" #"META-INF" #"meta-inf" #"\.yaml"]
  :uberjar-exclusions [#"log4j\.properties" #"org\.apache\.storm\.(?!flux)" #"trident" #"META-INF" #"meta-inf" #"\.yaml"]
  )

;; never do this
(require 'cemerick.pomegranate.aether)
(cemerick.pomegranate.aether/register-wagon-factory!
 "http" #(org.apache.maven.wagon.providers.http.HttpWagon.))

除了依賴需要寫成對應的storm版本--1.1.0，可能還需要配置倉庫非https的配置。     https://blog.csdn.net/qq_33634196/article/details/108775734