最全總結 | 聊聊 Python 資料處理全家桶(Redis篇)

AirPython發表於2020-09-23

image

1. 前言

前面兩篇文章聊到了 Python 處理 Mysql、Sqlite 資料庫常用方式,本篇文章繼續說另外一種比較常用的資料儲存方式:Redis

Redis:Remote Dictionary Server,即:遠端字典服務,Redis 底層使用 C 語言編寫,是一款開源的、基於記憶體的 NoSql 資料庫

由於 Redis 效能遠超其他資料庫,並且支援叢集、分散式及主從同步等優勢,所以經常用於 快取資料、高速讀寫 等場景

本篇文章就聊聊 Python 操作 Redis 正確的姿勢

2. 準備

我們以在雲伺服器 Centos 7.8 安裝 Redis-Server 為例

首先,安裝在雲伺服器上 Redis 資料庫

# 下載epel倉庫
yum install epel-release

# 安裝redis
yum install redis

然後,通過 vim 命令修改 Redis 配置檔案,開啟遠端連線,設定連線密碼

配置檔案目錄:/etc/redis.conf

  • bind 更改為 0.0.0.0,容許外網訪問

  • requirepass 設定一個訪問密碼

# vim /etc/redis.conf
# 1、bing從127.0.0.1修改為:0.0.0.0,開放遠端連線
bind 0.0.0.0 

# 2、設定密碼
requirepass 123456 

需要指出的是,為了保證雲伺服器資料安全,Redis 開放遠端訪問的時候,一定要加強密碼

接著,啟動 Redis 服務,開啟防火牆和埠,配置雲伺服器安全組

預設情況下,Redis 服務使用的埠號是 6379

另外,需要在雲伺服器安全組進行配置,保證 Redis 資料庫能正常連線

# 啟動Redis服務,預設redis埠號是6379
systemctl start redis 

# 開啟防火牆
systemctl start firewalld.service

# 開放6379埠
firewall-cmd --zone=public --add-port=6379/tcp --permanent   

# 配置立即生效
firewall-cmd --reload   

完成以上操作,我們就可以通過 Redis-CLI 或 Redis 客戶端工具進行連線了

最後,要使用 Python 操作 Redis,我們需要使用 pip 安裝一個依賴

# 安裝依賴,便於操作redis
pip3 install redis  

3. 實戰

在操作 Redis 中的資料之前,我們需要利用 Host、埠號、密碼例項化一個 Redis 連線物件

from redis import Redis

class RedisF(object):

    def __init__(self):
        # 例項化Redis物件
        # decode_responses=True,如果不加則寫入的為位元組型別
        # host:遠端連線地址
        # port:Redis埠號
        # password:Redis授權密碼
        self.redis_obj = Redis(host='139.199.**.**',port=6379,password='123456',decode_responses=True,charset='UTF-8', encoding='UTF-8')

接下來我們以操作字串、列表、set 集合、zset 集合、雜湊表、事務為例,講講 Python 操作這些資料的方法

1、字串操作

操作字串有兩種方式,操作方法分別是:set() 和 mset()

其中:set() 一次只能儲存一個值,引數意義如下

  • name:key,代表鍵

  • value:value,待儲存的值

  • ex:過期時間,以秒為單位,如果不設定,則永久不過期;否則,過期則刪除

  • px:過期時間,以毫秒為單位

  • nx/xx:set 操作是否執行與 name 鍵是否存在有關

image

獲取值和刪除值的操作方法分別為:get(Key)、 delete(Key or Keys)

# set():單字串操作
# 新增一個值,並設定超時時間為120s
 self.redis_obj.set('name', 'airpython', ex=120)
​
# get():獲取這個值
print(self.redis_obj.get('name'))

# delete():刪除一個值或多個值
self.redis_obj.delete('name')
print(self.redis_obj.get('name'))

對於多值資料的設定,只需要呼叫 mset() 方法,將待插入的資料以鍵值對組成一個字典作為引數即可

同理,Redis 提供了 mget()方法,可以一次獲取多個鍵的值

# mset():設定多個值
self.redis_obj.mset({"foo": "foo1", "zoo": "zoo1"})

# mget():獲取多個值
result = self.redis_obj.mget("foo", "zoo")
print(result)

2、列表操作

Redis 提供了很多方法用於操作列表,其中比較常見的如下:

  • lpush/rpush:將一個值或多個值插入到列表頭部或尾部,其中,lpush 代表頭部插入;rpush 代表尾部插入資料

  • lset:通過索引,將值插入到列表對應的位置

  • linsert:在列表元素前面或後面插入資料

  • lindex:通過索引獲取列表中的某一個元素,其中,0 代表第一個元素;-1 代表最後一個元素

  • lrange:通過制定起始位置和結束位置,從列表中獲取指定區域的值

  • llen:獲取列表的長度,如果 Key 對應的列表不存在,返回 0

  • lpop:移除並返回列表中的第一個元素

  • rpop:移除並返回列表中的最後一個元素

例項程式碼如下:

def manage_list(self):
    """
    操作列表
    :return:
    """
    # 1、新增一個列表,並左邊插入一個資料
    # 注意:可以一次加入多個元素,也可以一個個元素的加入
    self.redis_obj.lpush('company', '阿里', '騰訊', '百度')

    # 2、移除第一個元素
    self.redis_obj.lpop("company")

    # 3、右邊插入資料
    self.redis_obj.rpush('company', '位元組跳動', '小米')

    # 4、移除最後一個元素
    self.redis_obj.rpop("company")

    # 5、獲取列表的長度
    self.redis_obj.llen("company")

    # 6、通過索引,獲取列表中的某一個元素(第二個元素)
    print('列表中第二個元素是:', self.redis_obj.lindex("company", 1))

    # 7、根據範圍,檢視列表中所有的值
    print(self.redis_obj.lrange('company', 0, -1))

3、操作 Set 集合

Set 是一個無序的元素集合,集合中的元素不能重複,Redis 同樣提供了很多方法,便於操作 Set 集合

其中,比較常用的方法如下:

  • sadd:新增元素到集合中,已經存在集合中的元素將被忽略,如果集合不存在,則新建一個集合

  • scard:返回集合元素的數量

  • smembers:返回集合中所有元素

  • srem:移除集合中一個或多個元素,如果元素不存在則忽略

  • sinter:返回兩個集合的交集,結果依然是一個集合

  • sunion:返回兩個集合的並集

  • sdiff:以第一個集合引數為標準,返回兩個集合的差集

  • sunionstore:計算兩個集合的並集,儲存到一個新的集合中

  • sismember:判斷集合中是否存在某個元素

  • spop:隨機刪除集合中的一個元素,並返回

具體例項程式碼如下:

def manage_set(self):
    """
    操作set集合
    :return:
    """
    self.redis_obj.delete("fruit")

    # 1、sadd:新增元素到集合中
    # 新增一個元素:香蕉
    self.redis_obj.sadd('fruit', '香蕉')

    # 再新增兩個元素
    self.redis_obj.sadd('fruit', '蘋果', '桔子')

    # 2、集合元素的數量
    print('集合元素數量:', self.redis_obj.scard('fruit'))

    # 3、移除一個元素
    self.redis_obj.srem("fruit", "桔子")

    # 再定義一個集合
    self.redis_obj.sadd("fruit_other", "香蕉", "葡萄", "柚子")

    # 4、獲取兩個集合的交集
    result = self.redis_obj.sinter("fruit", "fruit_other")
    print(type(result))
    print('交集為:', result)

    # 5、獲取兩個集合的並集
    result = self.redis_obj.sunion("fruit", "fruit_other")
    print(type(result))
    print('並集為:', result)

    # 6、差集,以第一個集合為標準
    result = self.redis_obj.sdiff("fruit", "fruit_other")
    print(type(result))
    print('差集為:', result)

    # 7、合併儲存到新的集合中
    self.redis_obj.sunionstore("fruit_new", "fruit", "fruit_other")
    print('新的集合為:', self.redis_obj.smembers('fruit_new'))

    # 8、判斷元素是否存在集合中
    result = self.redis_obj.sismember("fruit", "蘋果")
    print('蘋果是否存在於集合中', result)

    # 9、隨機從集合中刪除一個元素,然後返回
    result = self.redis_obj.spop("fruit")
    print('刪除的元素是:', result)

    # 3、集合中所有元素
    result = self.redis_obj.smembers('fruit')

    print("最後fruit集合包含的元素是:", result)

4、操作 zset 集合

zset 集合相比普通 set 集合,是有序的,zset 集合中的元素包含:值和分數,其中分數用於排序

其中,比較常用的方法如下:

  • zadd:往集合中新增元素,如果集合不存在,則新建一個集合,然後再插入資料

  • zrange:通過起始點和結束點,返回集合中的元素值(不包含分數);如果設定withscores=True,則返回結果會帶上分數

  • zscore:獲取某一個元素對應的分數

  • zcard:獲取集合中元素個數

  • zrank:獲取元素在集合中的索引

  • zrem:刪除集合中的元素

  • zcount:通過最小值和最大值,判斷分數在這個範圍內的元素個數

實踐程式碼如下:

def manage_zset(self):
    """
    操作zset集合
    :return:
    """
    self.redis_obj.delete("fruit")

    # 往集合中新增元素:zadd()
    # 三個元素分別是:"banana", 1/"apple", 2/"pear", 3
    self.redis_obj.zadd("fruit", "banana", 1, "apple", 2, "pear", 3)

    # 檢視集合中所有元素(不帶分數)
    result = self.redis_obj.zrange("fruit", 0, -1)
    # ['banana', 'apple', 'pear']
    print('集合中的元素(不帶分數)有:', result)

    # 檢視集合中所有元素(帶分數)
    result = self.redis_obj.zrange("fruit", 0, -1, withscores=True)
    # [('banana', 1.0), ('apple', 2.0), ('pear', 3.0)]
    print('集合中的元素(帶分數)有:', result)

    # 獲取集合中某一個元素的分數
    result = self.redis_obj.zscore("fruit", "apple")
    print("apple對應的分數為:", result)

    # 通過最小值和最大值,判斷分數在這個範圍內的元素個數
    result = self.redis_obj.zcount("fruit", 1, 2)
    print("集合中分數大於1,小於2的元素個數有:", result)

    # 獲取集合中元素個數
    count = self.redis_obj.zcard("fruit")
    print('集合元素格式:', count)

    # 獲取元素的值獲取索引號
    index = self.redis_obj.zrank("fruit", "apple")
    print('apple元素的索引為:', index)

    # 刪除集合中的元素:zrem
    self.redis_obj.zrem("fruit", "apple")
    print('刪除apple元素後,剩餘元素為:', self.redis_obj.zrange("fruit", 0, -1))

4、操作雜湊

雜湊表中包含很多鍵值對,並且每一個鍵都是唯一的

Redis 操作雜湊表,下面這些方法比較常用:

  • hset:往雜湊表中新增一個鍵值對值

  • hmset:往雜湊表中新增多個鍵值對值

  • hget:獲取雜湊表中單個鍵的值

  • hmget:獲取雜湊表中多個鍵的值列表

  • hgetall:獲取雜湊表中種所有的鍵值對

  • hkeys:獲取雜湊表中所有的鍵列表

  • hvals:獲取哈表表中所有的值列表

  • hexists:判斷雜湊表中,某個鍵是否存在

  • hdel:刪除雜湊表中某一個鍵值對

  • hlen:返回雜湊表中鍵值對個數

對應的操作程式碼如下:

def manage_hash(self):
    """
    操作雜湊表
    雜湊:一個鍵對應一個值,並且鍵不容許重複
    :return:
    """
    self.redis_obj.delete("website")

    # 1、新建一個key為website的雜湊表
    # 往裡面加入資料:baidu(field),www.baidu.com(value)
    self.redis_obj.hset('website', 'baidu', 'www.alibababaidu.com')
    self.redis_obj.hset('website', 'google', 'www.google.com')

    # 2、往雜湊表中新增多個鍵值對
    self.redis_obj.hmset("website", {"tencent": "www.qq.com", "alibaba": "www.taobao.com"})

    # 3、獲取某一個鍵的值
    result = self.redis_obj.hget("website", 'baidu')
    print("鍵為baidu的值為:", result)

    # 4、獲取多個鍵的值
    result = self.redis_obj.hmget("website", "baidu", "alibaba")
    print("多個鍵的值為:", result)

    # 5、檢視hash表中的所有值
    result = self.redis_obj.hgetall('website')
    print("雜湊表中所有的鍵值對為:", result)

    # 6、雜湊表中所有鍵列表
    # ['baidu', 'google', 'tencent', 'alibaba']
    result = self.redis_obj.hkeys("website")
    print("雜湊表,所有的鍵(列表)為:", result)

    # 7、雜湊表中所有的值列表
    # ['www.alibababaidu.com', 'www.google.com', 'www.qq.com', 'www.taobao.com']
    result = self.redis_obj.hvals("website")
    print("雜湊表,所有的值(列表)為:", result)

    # 8、判斷某一個鍵是否存在
    result = self.redis_obj.hexists("website", "alibaba")
    print('alibaba這個鍵是否存在:', result)

    # 9、刪除某一個鍵值對
    self.redis_obj.hdel("website", 'baidu')
    print('刪除baidu鍵值對後,雜湊表的資料包含:', self.redis_obj.hgetall('website'))

    # 10、雜湊表中鍵值對個數
    count = self.redis_obj.hlen("website")
    print('雜湊表鍵值對一共有:', count)

5、操作事務管道

Redis 支援事務管道操作,能夠將幾個操作統一提交執行

操作步驟是:

  • 首先,定義一個事務管道

  • 然後通過事務物件去執行一系列操作

  • 提交事務操作,結束事務操作

下面通過一個簡單的例子來說明:

def manage_steps(self):
    """
    執行事務操作
    :return:
    """
    # 1、定義一個事務管道
    self.pip = self.redis_obj.pipeline()

    # 定義一系列操作
    self.pip.set('age', 18)

    # 增加一歲
    self.pip.incr('age')

    # 減少一歲
    self.pip.decr('age')

    # 執行上面定義3個步驟的事務操作
    self.pip.execute()

    # 判斷
    print('通過上面一些列操作,年齡變成:', self.redis_obj.get('age'))

4.最後

本篇文章通過 Python 實現了對 Redis 常見資料的操作,受限於篇幅,沒法對 Redis 中一些不常用的方法沒法進行展開說明

我已經將文中全部原始碼上傳到後臺,關注公眾號「 AirPython 」後回覆「 dball 」即可獲得全部原始碼

如果你覺得文章還不錯,請大家 點贊、分享、留言下,因為這將是我持續輸出更多優質文章的最強動力!

推薦閱讀

聊聊 Python 資料處理全家桶(Mysql 篇)

聊聊 Python 資料處理全家桶(Sqlite 篇)

Python 如何使用 HttpRunner 做介面自動化測試

image

相關文章