Redis基礎知識詳解

故事愛人發表於2019-05-08

文章大綱

一、Redis介紹
二、Redis安裝並設定開機自動啟動
三、Redis檔案結構
四、Redis啟動方式
五、Redis持久化
六、Redis配置檔案詳解
七、Redis圖形化工具
八、Java之Jedis連線Redis單機
九、專案原始碼與資料下載
十、參考文章

 

一、Redis介紹

1. 什麼是Redis

  Redis是用C語言開發的一個開源的高效能鍵值對(key-value)資料庫。建議在linux上執行,它通過提供多種鍵值資料型別來適應不同場景下的儲存需求,資料儲存在記憶體中,也可持久化到磁碟中,目前為止Redis支援的鍵值資料型別如下:
(1)字串型別
(2)雜湊型別
(3)列表型別
(4)集合型別
(5)有序集合型別

2. Redis特徵

 

(1)Redis是把資料存在記憶體中,所以速度才會快。Redis是用C語言寫的開源專案。
(2)Redis所有資料儲存在記憶體中,對資料的更新將非同步地儲存到磁碟上,這樣可以做到斷電不丟失資料。
(3)Redis主從複製可以實現高可用和分散式

 

3. Redis資料結構

3.1 字串

 

3.2 Hash

 
 

3.3 list

 
 

3.4 set

 

3.5 zset

 

4. Redis的應用場景

(1)快取(資料查詢、短連線、新聞內容、商品內容等等)(最多使用)

 

(2)分散式叢集架構中的session分離
(3)聊天室的線上好友列表
(4)任務佇列。(秒殺、搶購、12306等等)

 

(5)應用排行榜

 

(6)網站訪問統計

 

(7)資料過期處理(可以精確到毫秒)

溫馨提示:在使用場景中,不用考慮資料混亂因素,因為redis的增刪查改是單執行緒執行的。

二、Redis安裝並設定開機自動啟動

  Redis的使用在Linux中效果會更佳,該文章主要體現教程,因此我以windows作為例子進行安裝。

1. 安裝

要安裝Redis,首先要獲取安裝包。Windows的Redis安裝包需要到以下GitHub連結找到。連結:https://github.com/MSOpenTech/redis。開啟網站後,找到Release,點選前往下載頁面。

 

在下載網頁中,找到最後發行的版本(此處是3.2.100)。找到Redis-x64-3.2.100.msi和Redis-x64-3.2.100.zip,點選下載。這裡說明一下,第一個是msi微軟格式的安裝包,第二個是壓縮包

 

雙擊剛下載好的msi格式的安裝包(Redis-x64-3.2.100.msi)開始安裝。

 

選擇“同意協議”,點選下一步繼續。

 

選擇“新增Redis目錄到環境變數PATH中”,這樣方便系統自動識別Redis執行檔案在哪裡。

 

埠號可保持預設的6379,並選擇防火牆例外,從而保證外部可以正常訪問Redis服務。

 

設定最大值為100M。作為實驗和學習,100M足夠了。

 

安裝完畢後,需要先做一些設定工作,以便服務啟動後能正常執行。使用文字編輯器,這裡使用Notepad++,開啟Redis服務配置檔案。注意:不要找錯了,通常為redis.windows-service.conf,而不是redis.windows.conf。後者是以非系統服務方式啟動程式使用的配置檔案。

 

找到含有requirepass字樣的地方,追加一行,輸入requirepass 147258qq。這是訪問Redis時所需的密碼,一般測試情況下可以不用設定密碼。不過,即使是作為本地訪問,也建議設定一個密碼。此處以簡單的147258qq來演示。

 

點選“開始”>右擊“計算機”>選擇“管理”。在左側欄中依次找到並點選“計算機管理(本地)”>服務和應用程式>服務。再在右側找到Redis名稱的服務,檢視啟動情況。如未啟動,則手動啟動之。正常情況下,服務應該正常啟動並執行了。

 

最後來測試一下Redis是否正常提供服務。進入Redis的目錄,cd C:\Program Files\Redis。輸入redis-cli並回車。(redis-cli是客戶端程式)如圖正常提示進入,並顯示正確埠號,則表示服務已經啟動。

 

使用服務前需要先通過密碼驗證。輸入“auth 147258qq”並回車(12345是之前設定的密碼)。返回提示OK表示驗證通過。

 

實際測試一下讀寫。輸入set mykey1 "I love you all!”並回車,用來儲存一個鍵值。再輸入get mykey1,獲取剛才儲存的鍵值。

 
 

2. 設定開機自動啟動

設定服務命令:redis-server --service-install redis.windows-service.conf --loglevel verbose

 

輸入命令之後沒有報錯,表示成功了,重新整理服務,會看到多了一個redis服務。

 

右鍵Redis並選擇屬性

 

設定啟動型別為自動

 

常用的redis服務命令。
解除安裝服務:redis-server --service-uninstall
開啟服務:redis-server --service-start
停止服務:redis-server --service-stop

溫馨提示
(1)Windows使用的這個Redis是64位版本的,32位作業系統的同學就不要折騰了。
(2)作為服務執行的Redis配置檔案,通常為redis.windows-service.conf,而不是redis.windows.conf。小心不要選錯了。如果修改了redis.windows.conf(非redis.windows-service.conf)檔案上的配置,從服務自啟動,配置的資訊是不生效的,如密碼配置和ip繫結。

三、Redis檔案結構

 

四、Redis啟動方式

  Redis有三種啟動方式,具體如下:
(1)使用redis-server命令,會以預設的redis配置進行啟動
(2)使用redis-server –port6379就可以使用動態引數配置進行啟動
(3)使用redis-server configPath就可以使用配置檔案方式進行啟動
(4)當直接執行redis-service.exe時候,是沒有使用配置檔案的,而且會提示以下內容:

 
 

五、Redis持久化

1. 持久化作用

 

2. 持久化方式

 

3. RDB

3.1 什麼是RDB

 

3.2 RDB檔案生成方式

 

save方式

 

bgsave方式

 

Save與bgsave比較

 

自動生成RDB

 

3.3 RDB總結

 

4. AOF

4.1 RDB問題

 

因為RDB需要將全部資料生成RDB檔案,所以這個過程比較耗時,如果用fork(bgsave)過程,則太消耗內容。如果RDB檔案非常大,還會影響IO效能。
在T3-T4之間就會出現資料丟失。

 

4.2 AOF檔案建立和恢復

建立時:

 

恢復時:

 

4.3 AOF三種策略

 

Always策略

 

Everysec策略
每秒寫入一次資料,如果機器突然有問題,可能丟失一秒資料

 

No策略
根據作業系統策略自行選擇

 

三種策略比較

 

4.4 AOF重寫
把過期的,重複的,可優化命令進行化解。

 

重寫作用

 

重寫方式

 

Bgrewriteaof命令

 

AOF重寫配置

 

AOF重寫流程

 

5. RDB與AOF選擇

 

6. Redis預設的持久化

  Redis預設的持久化方式是RDB,具體可看下圖:

 

六、Redis配置檔案詳解

  Redis常用的配置檔案在redis.windows-service.conf,具體配置包括設定登入密碼、設定持久化方式、持久化路徑、最大的記憶體空間、資料庫數量、日誌的等級、日誌的路徑、設定允許客戶端連線的IP等,主從複製、高可用、叢集、快取等相關的功能將在下一篇進行講解。

 
# redis 配置檔案示例
 
# 當你需要為某個配置項指定記憶體大小的時候,必須要帶上單位,
# 通常的格式就是 1k 5gb 4m 等醬紫:
#
# 1k  => 1000 bytes
# 1kb => 1024 bytes
# 1m  => 1000000 bytes
# 1mb => 1024*1024 bytes
# 1g  => 1000000000 bytes
# 1gb => 1024*1024*1024 bytes
#
# 單位是不區分大小寫的,你寫 1K 5GB 4M 也行
 
################################## INCLUDES ###################################
 
# 假如說你有一個可用於所有的 redis server 的標準配置模板,
# 但針對某些 server 又需要一些個性化的設定,
# 你可以使用 include 來包含一些其他的配置檔案,這對你來說是非常有用的。
#
# 但是要注意哦,include 是不能被 config rewrite 命令改寫的
# 由於 redis 總是以最後的加工線作為一個配置指令值,所以你最好是把 include 放在這個檔案的最前面,
# 以避免在執行時覆蓋配置的改變,相反,你就把它放在後面(外國人真囉嗦)。
#
# include /path/to/local.conf
# include /path/to/other.conf
 
################################ 常用 #####################################
 
# 預設情況下 redis 不是作為守護程式執行的,如果你想讓它在後臺執行,你就把它改成 yes。
# 當redis作為守護程式執行的時候,它會寫一個 pid 到 /var/run/redis.pid 檔案裡面。
daemonize no
 
# 當redis作為守護程式執行的時候,它會把 pid 預設寫到 /var/run/redis.pid 檔案裡面,
# 但是你可以在這裡自己制定它的檔案位置。
pidfile /var/run/redis.pid
 
# 監聽埠號,預設為 6379,如果你設為 0 ,redis 將不在 socket 上監聽任何客戶端連線。
port 6379
 
# TCP 監聽的最大容納數量
#
# 在高併發的環境下,你需要把這個值調高以避免客戶端連線緩慢的問題。
# Linux 核心會一聲不響的把這個值縮小成 /proc/sys/net/core/somaxconn 對應的值,
# 所以你要修改這兩個值才能達到你的預期。
tcp-backlog 511
 
# 預設情況下,redis 在 server 上所有有效的網路介面上監聽客戶端連線。
# 你如果只想讓它在一個網路介面上監聽,那你就繫結一個IP或者多個IP。
#
# 示例,多個IP用空格隔開:
#
# bind 192.168.1.100 10.0.0.1
# bind 127.0.0.1
 
# 指定 unix socket 的路徑。
#
# unixsocket /tmp/redis.sock
# unixsocketperm 755
 
# 指定在一個 client 空閒多少秒之後關閉連線(0 就是不管它)
timeout 0
 
# tcp 心跳包。
#
# 如果設定為非零,則在與客戶端缺乏通訊的時候使用 SO_KEEPALIVE 傳送 tcp acks 給客戶端。
# 這個之所有有用,主要由兩個原因:
#
# 1) 防止死的 peers
# 2) Take the connection alive from the point of view of network
#    equipment in the middle.
#
# On Linux, the specified value (in seconds) is the period used to send ACKs.
# Note that to close the connection the double of the time is needed.
# On other kernels the period depends on the kernel configuration.
#
# A reasonable value for this option is 60 seconds.
# 推薦一個合理的值就是60秒
tcp-keepalive 0
 
# 定義日誌級別。
# 可以是下面的這些值:
# debug (適用於開發或測試階段)
# verbose (many rarely useful info, but not a mess like the debug level)
# notice (適用於生產環境)
# warning (僅僅一些重要的訊息被記錄)
loglevel notice
 
# 指定日誌檔案的位置
logfile ""
 
# 要想把日誌記錄到系統日誌,就把它改成 yes,
# 也可以可選擇性的更新其他的syslog 引數以達到你的要求
# syslog-enabled no
 
# 設定 syslog 的 identity。
# syslog-ident redis
 
# 設定 syslog 的 facility,必須是 USER 或者是 LOCAL0-LOCAL7 之間的值。
# syslog-facility local0
 
# 設定資料庫的數目。
# 預設資料庫是 DB 0,你可以在每個連線上使用 select <dbid> 命令選擇一個不同的資料庫,
# 但是 dbid 必須是一個介於 0 到 databasees - 1 之間的值
databases 16
 
################################ 快照 ################################
#
# 存 DB 到磁碟:
#
#   格式:save <間隔時間(秒)> <寫入次數>
#
#   根據給定的時間間隔和寫入次數將資料儲存到磁碟
#
#   下面的例子的意思是:
#   900 秒內如果至少有 1 個 key 的值變化,則儲存
#   300 秒內如果至少有 10 個 key 的值變化,則儲存
#   60 秒內如果至少有 10000 個 key 的值變化,則儲存
#  
#   注意:你可以註釋掉所有的 save 行來停用儲存功能。
#   也可以直接一個空字串來實現停用:
#   save ""
 
save 900 1
save 300 10
save 60 10000
 
# 預設情況下,如果 redis 最後一次的後臺儲存失敗,redis 將停止接受寫操作,
# 這樣以一種強硬的方式讓使用者知道資料不能正確的持久化到磁碟,
# 否則就會沒人注意到災難的發生。
#
# 如果後臺儲存程式重新啟動工作了,redis 也將自動的允許寫操作。
#
# 然而你要是安裝了靠譜的監控,你可能不希望 redis 這樣做,那你就改成 no 好了。
stop-writes-on-bgsave-error yes
 
# 是否在 dump .rdb 資料庫的時候使用 LZF 壓縮字串
# 預設都設為 yes
# 如果你希望儲存子程式節省點 cpu ,你就設定它為 no ,
# 不過這個資料集可能就會比較大
rdbcompression yes
 
# 是否校驗rdb檔案
rdbchecksum yes
 
# 設定 dump 的檔案位置
dbfilename dump.rdb
 
# 工作目錄
# 例如上面的 dbfilename 只指定了檔名,
# 但是它會寫入到這個目錄下。這個配置項一定是個目錄,而不能是檔名。
dir ./
 
################################# 主從複製 #################################
 
# 主從複製。使用 slaveof 來讓一個 redis 例項成為另一個reids 例項的副本。
# 注意這個只需要在 slave 上配置。
#
# slaveof <masterip> <masterport>
 
# 如果 master 需要密碼認證,就在這裡設定
# masterauth <master-password>
 
# 當一個 slave 與 master 失去聯絡,或者複製正在進行的時候,
# slave 可能會有兩種表現:
#
# 1) 如果為 yes ,slave 仍然會應答客戶端請求,但返回的資料可能是過時,
#    或者資料可能是空的在第一次同步的時候
#
# 2) 如果為 no ,在你執行除了 info he salveof 之外的其他命令時,
#    slave 都將返回一個 "SYNC with master in progress" 的錯誤,
#
slave-serve-stale-data yes
 
# 你可以配置一個 slave 實體是否接受寫入操作。
# 通過寫入操作來儲存一些短暫的資料對於一個 slave 例項來說可能是有用的,
# 因為相對從 master 重新同步數而言,據資料寫入到 slave 會更容易被刪除。
# 但是如果客戶端因為一個錯誤的配置寫入,也可能會導致一些問題。
#
# 從 redis 2.6 版起,預設 slaves 都是隻讀的。
#
# Note: read only slaves are not designed to be exposed to untrusted clients
# on the internet. It's just a protection layer against misuse of the instance.
# Still a read only slave exports by default all the administrative commands
# such as CONFIG, DEBUG, and so forth. To a limited extent you can improve
# security of read only slaves using 'rename-command' to shadow all the
# administrative / dangerous commands.
# 注意:只讀的 slaves 沒有被設計成在 internet 上暴露給不受信任的客戶端。
# 它僅僅是一個針對誤用例項的一個保護層。
slave-read-only yes
 
# Slaves 在一個預定義的時間間隔內傳送 ping 命令到 server 。
# 你可以改變這個時間間隔。預設為 10 秒。
#
# repl-ping-slave-period 10
 
# The following option sets the replication timeout for:
# 設定主從複製過期時間
#
# 1) Bulk transfer I/O during SYNC, from the point of view of slave.
# 2) Master timeout from the point of view of slaves (data, pings).
# 3) Slave timeout from the point of view of masters (REPLCONF ACK pings).
#
# It is important to make sure that this value is greater than the value
# specified for repl-ping-slave-period otherwise a timeout will be detected
# every time there is low traffic between the master and the slave.
# 這個值一定要比 repl-ping-slave-period 大
#
# repl-timeout 60
 
# Disable TCP_NODELAY on the slave socket after SYNC?
#
# If you select "yes" Redis will use a smaller number of TCP packets and
# less bandwidth to send data to slaves. But this can add a delay for
# the data to appear on the slave side, up to 40 milliseconds with
# Linux kernels using a default configuration.
#
# If you select "no" the delay for data to appear on the slave side will
# be reduced but more bandwidth will be used for replication.
#
# By default we optimize for low latency, but in very high traffic conditions
# or when the master and slaves are many hops away, turning this to "yes" may
# be a good idea.
repl-disable-tcp-nodelay no
 
# 設定主從複製容量大小。這個 backlog 是一個用來在 slaves 被斷開連線時
# 存放 slave 資料的 buffer,所以當一個 slave 想要重新連線,通常不希望全部重新同步,
# 只是部分同步就夠了,僅僅傳遞 slave 在斷開連線時丟失的這部分資料。
#
# The biggest the replication backlog, the longer the time the slave can be
# disconnected and later be able to perform a partial resynchronization.
# 這個值越大,salve 可以斷開連線的時間就越長。
#
# The backlog is only allocated once there is at least a slave connected.
#
# repl-backlog-size 1mb
 
# After a master has no longer connected slaves for some time, the backlog
# will be freed. The following option configures the amount of seconds that
# need to elapse, starting from the time the last slave disconnected, for
# the backlog buffer to be freed.
# 在某些時候,master 不再連線 slaves,backlog 將被釋放。
#
# A value of 0 means to never release the backlog.
# 如果設定為 0 ,意味著絕不釋放 backlog 。
#
# repl-backlog-ttl 3600
 
# 當 master 不能正常工作的時候,Redis Sentinel 會從 slaves 中選出一個新的 master,
# 這個值越小,就越會被優先選中,但是如果是 0 , 那是意味著這個 slave 不可能被選中。
#
# 預設優先順序為 100。
slave-priority 100
 
# It is possible for a master to stop accepting writes if there are less than
# N slaves connected, having a lag less or equal than M seconds.
#
# The N slaves need to be in "online" state.
#
# The lag in seconds, that must be <= the specified value, is calculated from
# the last ping received from the slave, that is usually sent every second.
#
# This option does not GUARANTEES that N replicas will accept the write, but
# will limit the window of exposure for lost writes in case not enough slaves
# are available, to the specified number of seconds.
#
# For example to require at least 3 slaves with a lag <= 10 seconds use:
#
# min-slaves-to-write 3
# min-slaves-max-lag 10
#
# Setting one or the other to 0 disables the feature.
#
# By default min-slaves-to-write is set to 0 (feature disabled) and
# min-slaves-max-lag is set to 10.
 
################################## 安全 ###################################
 
# Require clients to issue AUTH <PASSWORD> before processing any other
# commands.  This might be useful in environments in which you do not trust
# others with access to the host running redis-server.
#
# This should stay commented out for backward compatibility and because most
# people do not need auth (e.g. they run their own servers).
# 
# Warning: since Redis is pretty fast an outside user can try up to
# 150k passwords per second against a good box. This means that you should