elasticdump資料遷移與內外網安裝

旧巷g發表於2024-07-25

elasticdump資料遷移與內外網安裝

一、安裝node

首先獲取安裝包

wget https://nodejs.org/dist/v16.14.0/node-v16.14.0-linux-x64.tar.xz
tar axf node-v16.14.0-linux-x64.tar.xz -C /usr/local/
mv /usr/local/node-v16.14.0-linux-x64  /usr/local/node

然後配置環境變數

vim /etc/profile
export NODE_HOME=/usr/local/node
export PATH=$NODE_HOME/bin:$PATH

接下來重新整理環境變數，然後測試一下安裝是否完成

 source /etc/profile
 node -v
 npm -v

如果是mac 的話可以使用brew 安裝

brew install node@16

二、線上安裝elasticdump

執行下面的命令安裝(如果下載慢的話，使用國產映象源)

npm config set registry=https://registry.npmmirror.com/

npm install elasticdump -g

使用下面的命令檢視安裝目錄

npm root -g

我的位置在這裡/opt/homebrew/lib/node_modules

三、離裝elasticdump

這裡的原理是將node安裝包和elasticdump安裝報復制到需要離線安裝的伺服器。

獲取node 的離線安裝包進行安裝即可，參考第一步獲取elasticdump的安裝包安裝，所以我們首選需要一個打包工具 npm install -g npm-pack-all

然後我們切換到上面elasticdump的安裝路，打包elasticdump，會在當前目錄生成elasticdump-6.103.0.tgz 這樣一個壓縮包，這就是我們離線安裝需要的包

cd /opt/homebrew/lib/node_modules/elasticdump/
npm-pack-all

到這裡我們看到離線包已經生成好了，接下來我們複製到我們之前已經安裝好node 的機器上,執行下面的命令

npm install elasticdump-6.103.0.tgz

後面為了方便使用，我們可以配置一下elasticdump的環境變數

vim ~/.bashrc
# 追加以下內容
#node 
export DUMP_HOME=/opt/homebrew/lib/node_modules/elasticdump/
export PATH=$DUMP_HOME/bin:$PATH
# 重新整理
source ~/.bashrc

四、使用elasticdump

這裡的使用主要分為兩種，一種是資料備份，一種是資料遷移

備份主要指的是生成備份的資料檔案，在需要的時候進行還原資料遷移是指將原來索引裡的資料遷移到新的索引其實資料備份也能達到資料遷移的目的，但是在兩個環境的網路不通的時候我們只能使用資料備份

我們安裝成功後，在elasticdump的bin目錄下其實有兩個工具，一個是elasticdump 另外一個是multielasticdump

資料遷移遷移索引

elasticdump \
  --input=http://192.168.1.140:9200/source_index \
  --output=http://192.168.1.141:9200/target_index \
  --type=mapping

遷移資料

elasticdump \
  --input=http://192.168.1.140:9200/source_index \
  --output=http://192.168.1.141:9200/target_index \
  --type=data \
  --limit=2000

這個命令會將源 Elasticsearch 例項中的 “my_index” 索引的所有資料匯出，並儲存到 “/path/to/output.json” 的 JSON 檔案中。

--input：指定輸入的 Elasticsearch 例項和索引。可以是一個 URL，也可以是本地 Elasticsearch 例項的路徑。 --output：指定輸出的檔案路徑，資料將儲存為一個 JSON 檔案。 --type：指定要匯出的資料型別，通常為 “data” 表示文件資料。你還可以使用其他選項來進一步控制匯出過程，如 --query, --size, --limit, --filter 等，具體取決於你的需求。可以透過執行 elasticdump --help 命令來

資料備份匯出索引和資料

索引

elasticdump \
 --input=http://192.168.1.140:9200/source_index \
 --output=/data/source_index_mapping.json \
 --type=mapping

資料

elasticdump \
 --input=http://192.168.1.140:9200/source_index \
 --output=/data/source_index.json \
 --type=data \
 --limit=2000

匯入索引和資料

匯入索引

elasticdump \
 --input=/data/source_index_mapping.json \
 --output=http://192.168.1.141:9200/source_index \
 --type=mapping

匯入資料

elasticdump \
 --input=/data/source_index.json \
 --output=http://192.168.1.141:9200/source_index \
 --type=data \
 --limit=2000

#es如果有密碼，執行以下語句

elasticdump \ --input=http://username:passowrd@production.es.com:9200/my_index \ --output=http://username:password@staging.es.com:9200/my_index \ --type=data

elasticdump 所有索引

elasticdump --input=./indices.json --output=http://localhost:9201 --all=true

elasticdump 所有資料

elasticdump --input=http://localhost:9200/ --output=all_data.json --all=true
這裡的引數解釋如下：
--input：指定 Elasticsearch 例項的地址。
--output：指定匯出的檔名。
--all=true：指示 elasticdump 匯出所有的資料。

其他用法還有其他使用的細節，例如壓縮，指定query 什麼的，我們可以參考下面的例子

#Copy an index from production to staging with analyzer and mapping:

elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=analyzer
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=mapping
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=data

# Backup index data to a file:
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=/data/my_index_mapping.json \
  --type=mapping
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=/data/my_index.json \
  --type=data

# Backup and index to a gzip using stdout:
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=$ \
  | gzip > /data/my_index.json.gz

# Backup the results of a query to a file
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=query.json \
  --searchBody="{\"query\":{\"term\":{\"username\": \"admin\"}}}"

#Specify searchBody from a file

elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=query.json \
  --searchBody=@/data/searchbody.json

# Copy a single shard data:

elasticdump \
  --input=http://es.com:9200/api \
  --output=http://es.com:9200/api2 \
  --input-params="{\"preference\":\"_shards:0\"}"

# Backup aliases to a file

elasticdump \
  --input=http://es.com:9200/index-name/alias-filter \
  --output=alias.json \
  --type=alias

# Import aliases into ES

elasticdump \
  --input=./alias.json \
  --output=http://es.com:9200 \
  --type=alias

# Backup templates to a file

elasticdump \
  --input=http://es.com:9200/template-filter \
  --output=templates.json \
  --type=template

# Import templates into ES

elasticdump \
  --input=./templates.json \
  --output=http://es.com:9200 \
  --type=template

# Split files into multiple parts

elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=/data/my_index.json \
  --fileSize=10mb

# Import data from S3 into ES (using s3urls)

elasticdump \
  --s3AccessKeyId "${access_key_id}" \
  --s3SecretAccessKey "${access_key_secret}" \
  --input "s3://${bucket_name}/${file_name}.json" \
  --output=http://production.es.com:9200/my_index

# Export ES data to S3 (using s3urls)

elasticdump \
  --s3AccessKeyId "${access_key_id}" \
  --s3SecretAccessKey "${access_key_secret}" \
  --input=http://production.es.com:9200/my_index \
  --output "s3://${bucket_name}/${file_name}.json"

# Import data from MINIO (s3 compatible) into ES (using s3urls)

elasticdump \
  --s3AccessKeyId "${access_key_id}" \
  --s3SecretAccessKey "${access_key_secret}" \
  --input "s3://${bucket_name}/${file_name}.json" \
  --output=http://production.es.com:9200/my_index
  --s3ForcePathStyle true
  --s3Endpoint https://production.minio.co

# Export ES data to MINIO (s3 compatible) (using s3urls)

elasticdump \
  --s3AccessKeyId "${access_key_id}" \
  --s3SecretAccessKey "${access_key_secret}" \
  --input=http://production.es.com:9200/my_index \
  --output "s3://${bucket_name}/${file_name}.json"
  --s3ForcePathStyle true
  --s3Endpoint https://production.minio.co

# Import data from CSV file into ES (using csvurls)

elasticdump \

  # csv:// prefix must be included to allow parsing of csv files

  # --input "csv://${file_path}.csv" \

  --input "csv:///data/cars.csv"
  --output=http://production.es.com:9200/my_index \
  --csvSkipRows 1    # used to skip parsed rows (this does not include the headers row)
  --csvDelimiter ";" # default csvDelimiter is ','

常用引數

--direction  dump/load 匯出/匯入
--ignoreType  被忽略的型別，data,mapping,analyzer,alias,settings,template
--includeType  包含的型別，data,mapping,analyzer,alias,settings,template
--suffix  加字首，es6-${index}
--prefix  加字尾，${index}-backup-2018-03-13

總結

elasticdump是ElasticSearch提供的一個工具，我們主要可以用來完成

資料備份資料遷移這一節我們主要介紹了elasticdump的安裝和使用，還有就是，Elasticdump 是一個第三方工具，不是官方的 Elasticsearch 產品。雖然它對某些用例很有幫助，但在使用之前，確保與你的 Elasticsearch 版本相容，並查閱工具的文件以瞭解任何特定的注意事項或限制。

總體來說,elasticdump是一個非常實用的資料遷移和備份工具。它可以幫助我們輕鬆地在不同Elasticsearch叢集之間進行資料遷移,實現叢集之間的無縫資料同步。

使用dump遷移索引複製索引

elasticdump 
    --input=http://production.es.com:9200/my_index 
    --output=http://staging.es.com:9200/my_index 
    --type=mapping

複製資料

elasticdump 
    --input=http://production.es.com:9200/my_index 
    --output=http://staging.es.com:9200/my_index 
    --type=data

複製所有索引

elasticdump  
    --input=http://production.es.com:9200/ 
    --output=http://staging.es.com:9200/ 
    --all=true

7、遷移實戰為了方便操作寫了一個遷移指令碼，僅供參考。

#!/bin/bash
echo -n "源ES地址: "
read old
echo -n "目標ES地址: "
read new
echo -n "源索引名: "
read old_index
echo -n "目標索引名: "
read new_index
cd /root/node_modules/elasticdump/bin/
 ./elasticdump --input=$old/$old_index  --output=$new/$new_index  --type=mapping &>> /root/dump.log
 ./elasticdump --input=$old/$old_index  --output=$new/$new_index  --type=data &>> /root/dump.log

建議：有內網的話儘量使用內網IP

八、詳細引數

# Copy an index from production to staging with analyzer and mapping:

elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=analyzer
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=mapping
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=http://staging.es.com:9200/my_index \
  --type=data

# Backup index data to a file:

elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=/data/my_index_mapping.json \
  --type=mapping
elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=/data/my_index.json \
  --type=data

# Backup and index to a gzip using stdout:

elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=$ \
  | gzip > /data/my_index.json.gz

# Backup the results of a query to a file

elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=query.json \
  --searchBody='{"query":{"term":{"username": "admin"}}}'

# Copy a single shard data:

elasticdump \
  --input=http://es.com:9200/api \
  --output=http://es.com:9200/api2 \
  --params='{"preference" : "_shards:0"}'

# Backup aliases to a file

elasticdump \
  --input=http://es.com:9200/index-name/alias-filter \
  --output=alias.json \
  --type=alias

# Import aliases into ES

elasticdump \
  --input=./alias.json \
  --output=http://es.com:9200 \
  --type=alias

# Backup templates to a file

elasticdump \
  --input=http://es.com:9200/template-filter \
  --output=templates.json \
  --type=template

# Import templates into ES

elasticdump \
  --input=./templates.json \
  --output=http://es.com:9200 \
  --type=template

# Split files into multiple parts

elasticdump \
  --input=http://production.es.com:9200/my_index \
  --output=/data/my_index.json \
  --fileSize=10mb

# Import data from S3 into ES (using s3urls)

elasticdump \
  --s3AccessKeyId "${access_key_id}" \
  --s3SecretAccessKey "${access_key_secret}" \
  --input "s3://${bucket_name}/${file_name}.json" \
  --output=http://production.es.com:9200/my_index

# Export ES data to S3 (using s3urls)

elasticdump \
  --s3AccessKeyId "${access_key_id}" \
  --s3SecretAccessKey "${access_key_secret}" \
  --input=http://production.es.com:9200/my_index \
  --output "s3://${bucket_name}/${file_name}.json"

參考文件： https://blog.csdn.net/u010955999/article/details/80814656 https://www.cnblogs.com/mojita/p/12011800.html

無外網Oracle資料庫遷移
2018-09-15
Oracle資料庫
雲資料庫管理與資料遷移
2018-09-17
資料庫
Alibaba 資料庫遷移開源工具 Datax 安裝和使用
2022-11-23
資料庫開源工具
Linux架構26 playbook實戰, 安裝資料庫, 網站遷移, ansible變數
2024-03-25
Linux架構資料庫網站變數
Jenkins搭建與資料遷移實踐
2023-02-08
Jenkins
gitlab安裝/遷移/升級流程
2019-05-31
Gitlab
Harbor資料遷移
2024-05-18
gitlab資料遷移
2020-03-12
Gitlab
資料庫遷移
2020-11-30
資料庫
Kafka資料遷移
2019-03-18
Kafka
mysql 備份與遷移資料同步方法
2021-09-09
MySql
怎樣快速搞定laravel資料填充與資料遷移
2020-07-09
Laravel
【DBA Part01】國產Linux上安裝Oracle進行資料遷移
2024-10-16
LinuxOracle
redis資料備份和遷移工具redis-dump安裝和使用初探
2018-09-28
Redis
資料遷移（1）——通過資料泵表結構批量遷移
2018-10-30
mongodb資料庫備份與恢復（資料庫資料遷移）
2018-11-16
MongoDB資料庫
Oracle資料庫中資料行遷移與行連結
2020-03-16
Oracle資料庫
MySQL資料庫遷移與MySQL資料庫批量恢復
2021-02-04
MySql資料庫
資料庫平滑遷移方案與實踐分享
2021-11-17
資料庫
系統資料遷移
2024-03-19
laravel資料庫遷移
2023-02-14
Laravel資料庫
congregate遷移gitlab資料
2024-03-29
Gitlab
資料庫遷移：理解
2020-01-09
資料庫
Fastdfs資料遷移方案
2021-02-25
AST
Mysql資料遷移方法
2019-04-19
MySql
【Hive】hive資料遷移
2018-08-21
Hive
【Redis】 redis資料遷移
2018-08-09
Redis
redis資料庫遷移
2018-07-06
Redis資料庫
伺服器資料遷移的方法-硬體不同如何遷移資料
2019-04-02
伺服器
dm資料庫遷移命令
2024-06-21
資料庫
SAP資料遷移需要多久？
2022-08-08
用rman遷移資料庫
2019-07-21
資料庫
資料庫遷移手記
2019-07-21
資料庫
遷移MySQL 5.7資料庫
2019-12-18
MySql資料庫
資料庫遷移神器——Flyway
2020-08-13
資料庫
Redis migrate 資料遷移工具
2020-10-29
Redis
AWS RDS Oracle資料遷移
2021-02-20
Oracle
資料遷移方案選擇
2021-08-11

elasticdump資料遷移與內外網安裝

elasticdump資料遷移與內外網安裝

一、安裝node

二、線上安裝elasticdump

三、離裝elasticdump

四、使用elasticdump

總結

相關文章