Elasticsearch原始碼解析：環境搭建

Jackeyzhe發表於2020-07-20
Elasticsearch原始碼

在之前學習Redis的過程中，我就是一邊通過文件/視訊學習，一邊閱讀原始碼。我發現兩種方法可以相輔相成，互相補充。閱讀文件可以幫助我們快速瞭解某個功能，閱讀原始碼有助於我們更深入的理解這一功能的實現及思想。

因此，在學習 Elasticsearch 的時候我也準備採用這樣的模式。所以，從今天開始，我會定期更新學習 Elasticsearch 原始碼的收穫。在開始學習之前，需要先把環境準備好。所以今天就先分享一下準備環境的過程。

軟體環境

Intellij Idea:2020.1版本

JDK 12

Gradle 5.5

下載原始碼

你可以在 Github 中下載 release 版本或指定 tag 的原始碼，地址如下。

https://github.com/elastic/elasticsearch/releases

下載好以後解壓到指定目錄/

tar -xzvf elasticsearch-7.3.1.tar.gz

也可以直接在命令列通過 git 下載原始碼

git clone git@github.com:elastic/elasticsearch.git

然後可以切換到你想要的版本

git checkout v7.3.1

匯入IntelliJ IDEA

下載好原始碼以後，我們來將專案匯入 IDEA，首先，進入到專案的根目錄，執行命令

./gradlew idea

這一步是生成 IntelliJ 的專案檔案，需要下載一些依賴包，下載的不順利的同學可以選擇將 gradle 源切換成國內的源。

切換 gradle 源

進入目錄

cd ~/.gradle

新建一個名為 init.gradle 的目錄，內容如下

allprojects {
    repositories {
        def ALIYUN_REPOSITORY_URL = 'https://maven.aliyun.com/repository/public'
        all { ArtifactRepository repo ->
            if(repo instanceof MavenArtifactRepository){
                def url = repo.url.toString()
                if (url.startsWith('https://repo1.maven.org/maven2')) {
                    project.logger.lifecycle "Repository ${repo.url} replaced by $ALIYUN_REPOSITORY_URL."
                    remove repo
                }
            }
        }
        maven { url ALIYUN_REPOSITORY_URL }
    }
}

檔案生成好之後，會有如下提示

Build sucess

現在我們開始往 idea 中匯入專案，File -> New Project From Existing Sources，選擇你的程式碼根目錄，然後點選open，之後在Import project from external model -> Gradle，到 idea 中，它還會下載一些包。下載完以後，我們就算是匯入完成了。

本地執行Elasticsearch

將專案匯入到 idea 中之後，我們就可以嘗試執行專案了，這一步看似簡單，卻是我花費時間最多的一步。首先我們找到 server 包下的org/elasticsearch/bootstrap/Elasticsearch.java，執行其中的main函式。

如果你執行失敗，不要驚慌，我們需要加一些配置。

點開 Run/Debug Configrations，如圖，我們需要在 VM options 中加一些配置。還需要勾選上 Include dependencies with "Provided" scope

run config

VM options 如下

-Des.path.home=/Users/moka/eshome
-Des.path.conf=/Users/moka/eshome/config
-Xms1g
-Xmx1g
-Dlog4j2.disable.jmx=true
-Djava.security.policy=/Users/moka/eshome/config/elasticsearch.policy

下面對這些引數進行一下說明

-Des.path.home：指定eshome所在路徑，elasticsearch 會需要從這個路徑下載入一些包，因此，我們需要指定一個目錄，然後把必要的模組和配置檔案複製到該目錄下，你可以選擇自己編譯原始碼，或者是從官網下載對應的二進位制版本，

tar -zxvf elasticsearch-7.3.1-darwin-x86_64.tar.gz
cd elasticsearch-7.3.1
cp -r config modules plugins /Users/moka/eshome

-Des.path.conf：指定配置檔案所在的路徑名，後續調整節點配置時，修改其下的配置檔案

-Xms1g 和 -Xmx1g 設定 JVM 堆的大小

-Dlog4j2.disable.jmx=true：這個是jvm.options檔案中的預設配置，不加的話會報“access denied”等錯誤。

-Djava.security.policy：這個也是許可權問題，配置policy檔案路徑，內容如下

grant{
  permission javax.management.MBeanTruxtPermission "register";
  permission javax.management.MBeanServerPermission "createMBeanServer";
  permission java.lang.RuntimePermission "createClassLoader";
};

按照這些配置好以後，發現還是會報錯

java.lang.NoClassDefFoundError: org/elasticsearch/plugins/ExtendedPluginsClassLoader
	at org.elasticsearch.plugins.PluginsService.loadBundle(PluginsService.java:494) ~[main/:?]
	at org.elasticsearch.plugins.PluginsService.loadBundles(PluginsService.java:422) ~[main/:?]
	at org.elasticsearch.plugins.PluginsService.<init>(PluginsService.java:146) ~[main/:?]
	at org.elasticsearch.node.Node.<init>(Node.java:303) ~[main/:?]
	at org.elasticsearch.node.Node.<init>(Node.java:246) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:213) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:213) ~[main/:?]
	at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:323) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) ~[main/:?]
	at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[main/:?]
	at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[main/:?]
	at org.elasticsearch.cli.Command.main(Command.java:90) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92) ~[main/:?]
	at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85) ~[main/:?]
Caused by: java.lang.ClassNotFoundException: org.elasticsearch.plugins.ExtendedPluginsClassLoader
	at jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:582) ~[?:?]
	at jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:190) ~[?:?]
	at java.lang.ClassLoader.loadClass(ClassLoader.java:499) ~[?:?]
	... 15 more

這一步應該是 IDEA 的報錯，網上有同學說是勾選 Include dependencies with "Provided" scope，我試了一下沒什麼效果。然後把 server 包下的 build.gradle 檔案修改一下解決了問題。

找到

compileOnly project(':libs:elasticsearch-plugin-classloader')

修改為

compile project(':libs:elasticsearch-plugin-classloader')

改完之後再次執行，會有一個空指標報錯，報錯位置是

server/src/main/java/org/elasticsearch/node/InternalSettingsPreparer.java:119

npe

這裡是因為我沒有設定 node.name，在 elasticsearch.yml 檔案中設定一下就可以了。

現在再點選 Run/Debug ，就可以成功執行了。

run success

遠端除錯

本地除錯的另一種方法就是遠端 debug。

首先，我們進入到下載的一個穩定版本的 elasticsearch 目錄，在 bin/elasticsearch檔案中加上一行程式碼

-agentlib:jdwp=transport=dt_socket,server=y,address=8888,suspend=y \

加上之後的程式碼如下：

if ! echo $* | grep -E '(^-d |-d$| -d |--daemonize$|--daemonize )' > /dev/null; then
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -agentlib:jdwp=transport=dt_socket,server=y,address=8888,suspend=y \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@"
else
  exec \
    "$JAVA" \
    $ES_JAVA_OPTS \
    -Des.path.home="$ES_HOME" \
    -Des.path.conf="$ES_PATH_CONF" \
    -Des.distribution.flavor="$ES_DISTRIBUTION_FLAVOR" \
    -Des.distribution.type="$ES_DISTRIBUTION_TYPE" \
    -Des.bundled_jdk="$ES_BUNDLED_JDK" \
    -cp "$ES_CLASSPATH" \
    org.elasticsearch.bootstrap.Elasticsearch \
    "$@" \
    <&- &
  retval=$?
  pid=$!
  [ $retval -eq 0 ] || exit $retval
  if [ ! -z "$ES_STARTUP_SLEEP_TIME" ]; then
    sleep $ES_STARTUP_SLEEP_TIME
  fi
  if ! ps -p $pid > /dev/null ; then
    exit 1
  fi
  exit 0
fi

exit $?

然後我們執行./elasticsearch，會出現如下資訊，說明 Elasticsearch 在監聽8888埠。

listening

現在我們到 IDEA 中新增一個 Remote Run

Remote Run

接著進行埠配置。

port

然後就可以選擇這個 Remote 來進行 Debug 了。當控制檯出現

Connected to the target VM, address: 'localhost:8888', transport: 'socket'

說明連線成功了。

我們來實驗一下，在這個位置打一個斷點

server/src/main/java/org/elasticsearch/rest/action/cat/RestHealthAction.java:54

然後在瀏覽器位址列中輸入

http://localhost:9200/_cat/health

如果進入斷點，說明我們已經可以成功 Debug 了。

總結

工欲善其事，必先利其器。在閱讀原始碼之前，我們首先需要搭建好環境，本文我們介紹了兩種方法，一種是直接在 IDEA 中啟動 Elasticsearch ，另一種是 Debug 遠端的 Elasticsearch。其中第二種方法，相對比較簡單，推薦大家使用。

相關文章