Atlas 2.1.0 實踐（1）—— 編譯Atlas

獨孤風發表於2020-12-21

編譯

為什麼要做資料治理？業務繁多，資料繁多，業務資料不斷迭代。人員流動，文件不全，邏輯不清楚，對於資料很難直觀理解，後期很難維護。

在大資料研發中，原始資料就有著非常多的資料庫，資料表。

而經過資料的聚合以後，又會有很多的維度表。如果想要對這些資料做好管理，光用文字、文件等東西是不夠的，必須用圖。

Atlas就是把後設資料變成圖的工具。

http://atlas.apache.org/

Atlas是一組可擴充套件和可擴充套件的核心基礎治理服務，使企業能夠有效地滿足Hadoop中的合規性要求，並允許與整個企業資料生態系統整合。

Apache Atlas為組織提供開放的後設資料管理和治理功能，以建立其資料資產的目錄，對這些資產進行分類和治理，併為資料科學家，分析師和資料治理團隊提供圍繞這些資料資產的協作功能。

那麼如何安裝並使用Altas呢？

Atlas的安裝坑較多，本教程將詳細介紹Atlas2.1.0整個安裝過程，有任何問題歡迎關注實時流式計算

後臺留言~

下載

請前往官網 https://atlas.apache.org/#/Downloads

下載對應版本的原始碼包本文使用最新的 2.1.0版本

國內站點速度要快一些

https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz

編譯

比較難受的是 Atlas不提供安裝包下載的是原始碼包需要自行編譯打包

注意，需要先安裝maven，因為這是使用maven開發的java web工程。maven3.6.3版本即可

安裝maven

一些下載地址

http://maven.apache.org/download.cgi

https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

上傳到linux的/usr/local目錄

cd /usr/local

解壓檔案

tar -zxvf apache-maven-3.6.3-bin.tar.gz

配置環境變數

vi /etc/profile

export MAVEN_HOME=/usr/local/apache-maven-3.6.3
export PATH=MAVEN_HOME/bin:PATH

重新整理環境變數

source /etc/profile

檢查版本

mvn -v

配置好maven的環境變數
注意國內需要配置好maven的國內映象，一般使用阿里，華為，清華等映象
vi /usr/local/apache-maven-3.6.3/conf/settings.xml

<mirror>
    <id>alimaven</id>
    <name>aliyun maven</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
    <mirrorOf>central</mirrorOf>
</mirror>

把這個setting.xml 拷貝到 ~/.m2/

cp settings.xml .m2/

編譯Atlas

解壓原始碼包

tar -zxvf apache-atlas-2.1.0-sources.tar.gz

1.修改atlas原始碼工程的pom.xml

將hbase zookeeper hive等依賴的版本修改成自己環境中一致的版本（或者相容的版本）

父工程pom檔案
<zookeeper.version>3.4.14</zookeeper.version>
<hbase.version>2.2.3</hbase.version>
<solr.version>7.7.2</solr.version>

2.執行maven編譯打包

atlas可以使用內嵌的hbase-solr作為底層索引儲存和搜尋元件，也可以使用外接的hbase和solr
如果要使用內嵌的hbase-solr，則使用如下命令進行編譯打包
cd apache-atlas-sources-2.1.0/
export MAVEN_OPTS="-Xms2g -Xmx2g"
mvn clean -DskipTests package -Pdist,embedded-hbase-solr

不用內建就這樣 mvn clean -DskipTests package -Pdist

改完路徑還會非常快的耐心等待