【otter】otter安裝

小亮520cl發表於2017-07-25
基本架構


1.規劃

因為主機有限只有三臺機器，現在做出如下規劃
ip以及安裝的軟體
7.111 7.112 7.113
Mysql 源庫 mysql 目標庫 zookeeper
node node manager + mysql（存otter配置資訊）


2. 安裝zookeeper

  1. 參考博文：http://blog.sina.com.cn/s/blog_6f6bc30e0101pb13.html

  3. 編譯安裝：
  4. # 解壓縮
  5. tar zxvf zookeeper-3.4.5-cdh4.3.0.tar.gz && mv zookeeper-3.4.5-cdh4.3.0 /data/app/zookeeper
  6. cd !$
  7. mv conf/zoo_sample.cfg conf/zoo.cfg

  9. 修改conf/zoo.cfg配置檔案：
  10. dataDir=/data/app/zookeeper/data
  11. autopurge.purgeInterval=1
  12.  
  13. 修改bin/zkEnv.sh指令碼：
  14. 將ZOO_LOG_DIR="."修改為ZOO_LOG_DIR="/data/app/zookeeper/data"
  15. 將ZOO_LOG4J_PROP=”INFO,CONSOLE”修改為ZOO_LOG4J_PROP="INFO,ROLLINGFILE"

  16.
  17. 修改bin/zkServer.sh指令碼：
  18. 將ZOOBIN="${BASH_SOURCE-$0}"修改為ZOOBIN=`readlink -f "${BASH_SOURCE-$0}"`
  19. 增加一行環境變數SERVER_JVMFLAGS="-Xms4096m -Xmx4096m"，設定程式記憶體

  21. 修改bin/zkCli.sh指令碼：
  22. 將ZOOBIN="${BASH_SOURCE-$0}"修改為ZOOBIN=`readlink -f "${BASH_SOURCE-$0}"`
  23.  
  24. 建立軟連線到PATH：
  25. ln -s /data/app/zookeeper/bin/zkServer.sh /usr/local/bin/zk-server
  26. ln -s /data/app/zookeeper/bin/zkCli.sh /usr/local/bin/zk-cli
  27. mkdir data
  28. echo 1 > data/myid 將本節點id設定到data/myid檔案中
  29. 服務啟動、重啟及關閉：
  30. 啟動：zk-server start
  31. 關閉：zk-server stop

3 安裝manage

  1. 安裝manager
  2.    manager的資料也儲存在Mysql中，我直接單獨裝個新庫。
  3.    建立目錄：mkdir manager
  4.    進入目錄：cd manager
  5.    下載：wget https://github.com/alibaba/otter/releases/download/otter-x.y.z/manager.deployer-x.y.z.tar.gz
  6.    解壓縮：tar zxvf manager.deployer-$version.tar.gz
  7.     
  8.    安裝manager的資料庫：
  9.    下載初始化sql:wget https://raw.github.com/alibaba/otter/master/manager /deployer/src/main/resources/sql/otter-manager-schema.sql
  10.    進入Mysql中執行：mysql> source /usr/local/otter-manager-schema.sql
  11.        
  12.    修改manager的配置檔案：vi conf/otter.properties
  13.    ## otter manager domain name
  14.    otter.domainName =10.32.7.113 ##本地的域名
  15.    ## otter manager http port
  16.    otter.port = 8080 ##對外訪問的埠號，web
  17.    ## jetty web config xml
  18.    otter.jetty = jetty.xml
  19.    ## otter manager database config
  20.    otter.database.driver.class.name = com.mysql.jdbc.Driver
  21.    otter.database.driver.url = jdbc:mysql://10.32.7.113:3306/otter ##otter資料庫的配置
  22.    otter.database.driver.username = canal ##otter資料的賬號
  23.    otter.database.driver.password = canal ##otter資料的密碼
  24.    ## otter communication port
  25.    otter.communication.manager.port = 1099 ##對應Node中的配置
  26.    ## otter communication pool size
  27.    otter.communication.pool.size = 10
  28.    ## default zookeeper address
  29.    otter.zookeeper.cluster.default = 10.32.7.113:2181##zookeeper的地址,2181zk的埠
-----前三部做完後就可以去manage頁面新增node了，新增node後每個node生成一個id 需要寫入node的配置檔案
參考：

4 安裝node

  1. node 需要aria2支援，我是在AB機房各安裝了一套。

  3.    安裝node:
  4.    建立目錄：mkdir node
  5.    進入目錄：cd node
  6.    下載node：
  7.    解壓縮：tar zxvf node.deployer-$version.tar.gz
  8.    修改node的配置：
  9.    vi conf/otter.properties
  10.    otter.manager.address =10.32.7.113:1099
  11.    ##對應manager中otter.properties的配置 otter.communication.manager.port
  12.    
  13.    node的啟動/停止：
  14.    cd bin
  15.    startup.sh/stop.sh
  16.         
  17.    安裝aria2:
  18.    下載aria2:
  19.    解壓縮：tar zxvf aria2-$version.tar.gz
  20.    為了方便切換目錄：mv aria2-$version aria2
  21.    進入目錄： cd aria2
  22.    編譯：
  23.    ./configure
  24.    Make
  25.    Make install
  26.    把aria2安裝後的bin目錄下的執行檔案新增到環境變數path中
  27.    ( 我本地安裝的目錄是/usr/local/aria2,安裝後 ,bin目錄在/usr/local/bin/)

關於頁面各部分的理解:

  1. 1.主備關係 配置源庫的主從，防止主庫down了，資料來源沒了
  2. 2.canal 寫上主從兩個源，

    每一個canal對應一個資料庫資訊，canal從配置的資料庫中，拉取bin-log資訊。

    配置管理--canal配置

    點選‘新增’配置如下圖：

    位點自定義配置方法如下：

    {"journalName":"mysql-bin.000061","timestamp":1414748562000};

    journalName為：bin_log日誌，timestamp為同步起始時間的毫秒錶示；

    說明：第一次配置時不需要配置該項，如果在使用一段時候後要配置，

    則過程如下：設定canal位點資訊-停止所有Channel-刪除所有對映關係列表中的同步進度中的position 狀態-開啟Channel

  3. 3  資料來源配置：配置源庫目標庫
  4. 4  資料表配置：配置源表目標表
  5. 5  channel-》peipel（選擇相應的canal）-》（選擇源表同步到對應的目標表）
可以多配置幾個node（最好都用單獨的主機），抽資料時多選幾個做負載均衡

後續：
在三臺主機的規劃上做了一些改動：
zookeeper叢集的搭建
7.111 7.112 7.113
Mysql 源庫 mysql 目標庫  mysql（otter配置資訊庫）
node+zookeeper node+zookeeper node+zookeeper+manager



工具附網盤連線：
以上只是一個簡單的安裝步驟，詳細可參考：
http://blog.sina.com.cn/s/articlelist_1869333262_0_1.html
 

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/29096438/viewspace-2142554/，如需轉載，請註明出處，否則將追究法律責任。

相關文章