Python全棧開發之—redis資料庫

確認沉默發表於2018-12-24
Python全棧Redis資料庫

1、redis簡介

redis是一個key-value儲存系統。和Memcached類似，它支援儲存的value型別相對更多，包括string(字串)、list(連結串列)、set(集合)、zset(sorted set --有序集合)和hash（雜湊型別）。這些資料型別都支援push/pop、add/remove及取交集並集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎上，redis支援各種不同方式的排序。與memcached一樣，為了保證效率，資料都是快取在記憶體中。區別的是redis會週期性的把更新的資料寫入磁碟或者把修改操作寫入追加的記錄檔案，並且在此基礎上實現了master-slave(主從)同步。


1. 使用Redis有哪些好處？

(1) 速度快，因為資料存在記憶體中，類似於HashMap，HashMap的優勢就是查詢和操作的時間複雜度都是O(1)

(2) 支援豐富資料型別，支援string，list，set，sorted set，hash

(3) 支援事務，操作都是原子性，所謂的原子性就是對資料的更改要麼全部執行，要麼全部不執行

(4) 豐富的特性：可用於快取，訊息，按key設定過期時間，過期後將會自動刪除


2. redis相比memcached有哪些優勢？

(1) memcached所有的值均是簡單的字串，redis作為其替代者，支援更為豐富的資料型別

(2) redis的速度比memcached快很多

(3) redis可以持久化其資料


3. redis常見效能問題和解決方案：

(1) Master最好不要做任何持久化工作，如RDB記憶體快照和AOF日誌檔案

(2) 如果資料比較重要，某個Slave開啟AOF備份資料，策略設定為每秒同步一次

(3) 為了主從複製的速度和連線的穩定性，Master和Slave最好在同一個區域網內

(4) 儘量避免在壓力很大的主庫上增加從庫

(5) 主從複製不要用圖狀結構，用單向連結串列結構更為穩定，即：Master <- Slave1 <- Slave2 <- Slave3...

這樣的結構方便解決單點故障問題，實現Slave對Master的替換。如果Master掛了，可以立刻啟用Slave1做Master，其他不變。



 

4. MySQL裡有2000w資料，redis中只存20w的資料，如何保證redis中的資料都是熱點資料

 相關知識：redis 記憶體資料集大小上升到一定大小的時候，就會施行資料淘汰策略。redis 提供 6種資料淘汰策略：

voltile-lru：從已設定過期時間的資料集（server.db[i].expires）中挑選最近最少使用的資料淘汰

volatile-ttl：從已設定過期時間的資料集（server.db[i].expires）中挑選將要過期的資料淘汰

volatile-random：從已設定過期時間的資料集（server.db[i].expires）中任意選擇資料淘汰

allkeys-lru：從資料集（server.db[i].dict）中挑選最近最少使用的資料淘汰

allkeys-random：從資料集（server.db[i].dict）中任意選擇資料淘汰

no-enviction（驅逐）：禁止驅逐資料

 

5. Memcache與Redis的區別都有哪些？

1)、儲存方式

Memecache把資料全部存在記憶體之中，斷電後會掛掉，資料不能超過記憶體大小。

Redis有部份存在硬碟上，這樣能保證資料的永續性。

2)、資料支援型別

Memcache對資料型別支援相對簡單。

Redis有複雜的資料型別。


3），value大小

redis最大可以達到1GB，而memcache只有1MB



6. Redis 常見的效能問題都有哪些？如何解決？

 

1).Master寫記憶體快照，save命令排程rdbSave函式，會阻塞主執行緒的工作，當快照比較大時對效能影響是非常大的，會間斷性暫停服務，所以Master最好不要寫記憶體快照。


2).Master AOF持久化，如果不重寫AOF檔案，這個持久化方式對效能的影響是最小的，但是AOF檔案會不斷增大，AOF檔案過大會影響Master重啟的恢復速度。Master最好不要做任何持久化工作，包括記憶體快照和AOF日誌檔案，特別是不要啟用記憶體快照做持久化,如果資料比較關鍵，某個Slave開啟AOF備份資料，策略為每秒同步一次。

 
3).Master呼叫BGREWRITEAOF重寫AOF檔案，AOF在重寫的時候會佔大量的CPU和記憶體資源，導致服務load過高，出現短暫服務暫停現象。

4). Redis主從複製的效能問題，為了主從複製的速度和連線的穩定性，Slave和Master最好在同一個區域網內




7, redis 最適合的場景


Redis最適合所有資料in-momory的場景，雖然Redis也提供持久化功能，但實際更多的是一個disk-backed的功能，跟傳統意義上的持久化有比較大的差別，那麼可能大家就會有疑問，似乎Redis更像一個加強版的Memcached，那麼何時使用Memcached,何時使用Redis呢?

       如果簡單地比較Redis與Memcached的區別，大多數都會得到以下觀點：
、Redis不僅僅支援簡單的k/v型別的資料，同時還提供list，set，zset，hash等資料結構的儲存。
、Redis支援資料的備份，即master-slave模式的資料備份。
、Redis支援資料的持久化，可以將記憶體中的資料保持在磁碟中，重啟的時候可以再次載入進行使用。

（1）、會話快取（Session Cache）

最常用的一種使用Redis的情景是會話快取（session cache）。用Redis快取會話比其他儲存（如Memcached）的優勢在於：Redis提供持久化。當維護一個不是嚴格要求一致性的快取時，如果使用者的購物車資訊全部丟失，大部分人都會不高興的，現在，他們還會這樣嗎？

幸運的是，隨著 Redis 這些年的改進，很容易找到怎麼恰當的使用Redis來快取會話的文件。甚至廣為人知的商業平臺Magento也提供Redis的外掛。

（2）、全頁快取（FPC）

除基本的會話token之外，Redis還提供很簡便的FPC平臺。回到一致性問題，即使重啟了Redis例項，因為有磁碟的持久化，使用者也不會看到頁面載入速度的下降，這是一個極大改進，類似PHP本地FPC。

再次以Magento為例，Magento提供一個外掛來使用Redis作為全頁快取後端。

此外，對WordPress的使用者來說，Pantheon有一個非常好的外掛  wp-redis，這個外掛能幫助你以最快速度載入你曾瀏覽過的頁面。

（3）、佇列

Reids在記憶體儲存引擎領域的一大優點是提供 list 和 set 操作，這使得Redis能作為一個很好的訊息佇列平臺來使用。Redis作為佇列使用的操作，就類似於本地程式語言（如Python）對 list 的 push/pop 操作。

如果你快速的在Google中搜尋“Redis queues”，你馬上就能找到大量的開源專案，這些專案的目的就是利用Redis建立非常好的後端工具，以滿足各種佇列需求。例如，Celery有一個後臺就是使用Redis作為broker，你可以從這裡去檢視。

（4），排行榜/計數器

Redis在記憶體中對數字進行遞增或遞減的操作實現的非常好。集合（Set）和有序集合（Sorted Set）也使得我們在執行這些操作的時候變的非常簡單，Redis只是正好提供了這兩種資料結構。所以，我們要從排序集合中獲取到排名最靠前的10個使用者–我們稱之為“user_scores”，我們只需要像下面一樣執行即可：

當然，這是假定你是根據你使用者的分數做遞增的排序。如果你想返回使用者及使用者的分數，你需要這樣執行：

ZRANGE user_scores 0 10 WITHSCORES

Agora Games就是一個很好的例子，用Ruby實現的，它的排行榜就是使用Redis來儲存資料的，你可以在這裡看到。

（5）、釋出/訂閱

最後（但肯定不是最不重要的）是Redis的釋出/訂閱功能。釋出/訂閱的使用場景確實非常多。我已看見人們在社交網路連線中使用，還可作為基於釋出/訂閱的指令碼觸發器，甚至用Redis的釋出/訂閱功能來建立聊天系統！（不，這是真的，你可以去核實）。

 2、Redis安裝和基本使用

一、安裝、啟動Redis

1、redis安裝

wget http://download.redis.io/releases/redis-3.0.6.tar.gz
tar xzf redis-3.0.6.tar.gz
cd redis-3.0.6
make

 2、啟動服務端

src/redis-server

3、啟動客戶端

src/redis-cli
redis> set foo bar
OK
redis> get foo
"bar"

二、Python操作Redis

1、連線redis伺服器

#/usr/bin/python
# -*- coding:utf-8 -*-
import redis
r = redis.Redis(host="192.168.48.128", port=6379)
r.set("shang", "I love you!")
print(r.get("shang"))

2、String操作

1 set(name, value, ex=None, px=None, nx=False, xx=False)
2      ex，過期時間（秒）
3      px，過期時間（毫秒）
4      nx，如果設定為True，則只有name不存在時，當前set操作才執行,同setnx(name, value)
5      xx，如果設定為True，則只有name存在時，當前set操作才執行```
6 get(name)   　　獲取值
7 mset(name1=“ling”)        批量設定值,()為dict型別
8 mget(‘name1’, ‘name2’)    批量獲取key的值，()為tuple型別
9 append(name, value)

3、List操作

 1 Redis中儲存list型別的資料是在記憶體中，一個name對應一個list
 2 lpush(name, value)
 3 r.lpush("list_name",2)
 4 r.lpush("list_name",3,4,5)#儲存在列表中的順序為5，4，3，2
 5 
 6 rpush(name, value)
 7 llen(name)
 8 # name對應的list元素的個數
 9 
10 # linsert(name,where,refvalue,value)
11 # name   代表的是list對應的key值
12 # where     AFTER   BEFORE
13 # refvalue    list中的某個元素
14 # value      你要增加的值是什麼
15 r.linsert("list1", "AFTER",  "test2", "hello")
16 
17 
18 r.lset(name,index,value)：對name對應的list中的某一個索引位置重新賦值。
19 # 引數：
20     # name，redis的name
21     # index，list的索引位置
22 # value，要設定的值
23 r.lrem(name,value,num):在name對應的list中刪除指定的值
24 # 引數：
25     # name，redis的name
26     # value，要刪除的值
27     # num，  num=0，刪除列表中所有的指定值；
28            # num=2,從前到後，刪除2個；
29            # num=-2,從後向前，刪除2個

lpop(name) 在name對應的列表的左側獲取第一個元素並在列表中移除，返回值刪除那個元素的值

擴充套件： rpop(name)表示從右向左操作

lindex(name,index)：在name對應的列表中根據索引取列表元素

lrange(name,start,end)：在name對應的列表分片獲取資料

 

4、Set操作

 1 Set 不重複的list
 2 sadd(name, values)
 3 r.sadd("set_name","aa","bb")
 4 smembers(name)
 5 #獲取name對應的集合的所有成員
 6 scard(name)
 7 #獲取name對應的集合中的元素個數
 8 sismember(name, value)
 9 #檢查value是否是name對應的集合內的元素
10 spop(name)
11 #從集合的右側移除一個元素，並將其返回
12 srem(name, value)  刪除集合中的某個元素
13 r.srem("set_name", "aa")

5、Hash操作

 1 Redis在記憶體中儲存hash型別是以name對應一個字典形式儲存的
 2 hset(name,key,value)
 3 #name對應的hash中設定一個鍵值對(不存在，則建立；否則，修改)
 4 #引數：
 5     #name:redis的name
 6     #key:key1對應的hash中的key
 7     #value:value1對應的hash中的value
 8 hget(name,key)
 9 #在name對應的hash中獲取根據key獲取value
10 
11 hmset(name,mapping)
12 #在name對應的hash中批量設定鍵值對
13 #引數：
14      #name：redis的name
15      #mapping：字典，如{`k1`:`v1`,`k2`,`v2`}
16 hmget(name,keys,*args)
17 #在name對應的hash中獲取多個key的值
18 #引數：
19     #name：redis對應的name
20     #keys：要獲取key的集合，如：[`k1`,`k2`,`k3`]
21     #*args：要獲取的key,如：k1,k2,k3
22 print(r.hmget(`test`,`k1`,`k2`))   #獲取多個值

hgetall(name)：獲取name對應hash的所有鍵值

hlen(name)：獲取name對應的hash中鍵值的個數

hkeys(name)：獲取name對應的hash中所有的key的值

hvals(name)：獲取name對應的hash中所有的value的值

hexists(name,key)：檢查name對應的hash是否存在當前傳入的key

hdel(name,*keys)：將name對應的hash中指定key的鍵值對刪除

6、其他操作

 1 delete(*names)
 2 #根據name刪除redis中的任意資料型別
 3 exists(name)
 4 #檢測redis的name是否存在
 5 keys(pattern=`*`)
 6 #根據* ？等萬用字元匹配獲取redis的name
 7 expire(name ,time)
 8 # 為某個name設定過期時間
 9 rename(src, dst)
10 # 重新命名

 

 

相關文章