最全總結 | 聊聊 Python 資料處理全家桶（Memcached篇）

AirPython發表於2020-10-02
Python

image

1. 前言

本篇文章繼續繼續另外一種比較常用的資料儲存方式：Memcached

Memcached：一款高效能分散式記憶體物件快取系統，通過 記憶體快取，以減少資料庫的讀取，從而分擔資料庫的壓力，進而提高網站的載入速度

Memcached，實際上是一套簡潔的鍵值對儲存系統，可以儲存各種型別的資料，包含：字串、物件、影像、檔案、視訊等

由於 Memcached 的資料儲存在記憶體中，因此重啟服務或系統之後，資料會全部丟失；另外，當 Memcached 使用容量達到指定值時，會基於 LRU 演算法，自動刪除掉不使用的快取

Memcached 協議簡潔而強大，開發方便快捷，相容大部分的開發語言；本篇文章就聊聊 Python 操作 Memcached 正確的姿勢

2. 準備

我們以在雲伺服器 Centos 7.8 安裝 Memcached-Server 為例

首先，在雲伺服器上安裝 Memcached

# 使用yum安裝memcached
yum install memcached

通過 whereis 命令，查詢出 Memcached 安裝的目錄

​# 使用whereis命令查詢memcached安裝目錄
# /usr/bin/memcached
[root@VM-16-11-centos ~]# whereis memcached
memcached: /usr/bin/memcached /usr/share/man/man1/memcached.1.gz

然後，通過命令列及引數啟動 Memcached 服務

# 執行memcached服務
# -p：埠號
# -m：分類的記憶體
# -d：守護程式，後臺執行
# -u：執行memcached的使用者
# -l：設定哪些ip可以連線到服務，0.0.0.0：容許外網ip訪問
/usr/bin/memcached -p 11211 -m 64m -d -u root -l 0.0.0.0

常見的啟動引數包含：

  • -d：通過守護程式，在後臺執行

  • -m：分配的最大記憶體，預設大小為 64 M

  • -u：執行 Memcached 的使用者

  • -l：設定可以訪問 Memecache 服務的 ip 地址，預設只能通過本機訪問；如果想外網進行訪問，需要設定為：0.0.0.0

  • -p：設定 Memcached 監聽的埠號，預設為 111211

  • -c：最大執行的併發連線數，預設為 1024

接著，開啟防火牆埠

需要注意的是，如果是雲伺服器，需要在安全組中開放相應埠號

# 開啟埠號
firewall-cmd --add-port=11211/tcp --permanent

# 重啟立即生效
firewall-cmd --reload

完成以上操作，我們有兩種方式運算元據

分別是：

1、通過 telnet 連線 Memecached 服務，使用命令列去操作

​# 連線
telnet IP地址 11211

2、通過程式語言，包含：Python、Java、Php，去操作 Memcached 資料

以 Python 為例，需要安裝 python-memcached 依賴

# 安裝依賴
pip3 install python-memcached

3. 實戰

在操作 Memcache 中的資料之前，我們需要匯入 memcache，使用 Client() 方法指定要操作的 Memecache 服務，構建一個資料連線物件

def __init__(self):
    # 連線memcached服務，可以包含多個服務ip
    self.mc = memcache.Client(['ip:11211'], debug=True)

接下來我們以新增、查詢、更新、追加、刪除、為例，講講 Python 操作這些資料的方法

1、新增操作

新增操作對應的方法是：add(key,value,timeout)

其中，引數 timeout 表示資料保留的時間，超時會自動被清除掉

需要注意的是，如果準備插入鍵值對中的 key 在原資料集中不存在，則會新增一條記錄到資料集中；否則，會新增失敗，並警告提示

def __add(self):
    """
    新增記錄
    :return:
    """
    # 新增一條資料，如果已經存在，會新增失敗，並提出異常
    # time：儲存時間，超時會被清除，單位為秒，預設是儲存永久
    # 注意：如果新增的key已經存在，會警告：MemCached: while expecting 'STORED', got unexpected response 'NOT_STORED'
    self.mc.add("name", "xag", time=60 * 5)
    self.mc.add("age", 23)

2、查詢操作

Memcached 查詢操作分為：

  • 通過 Key 去查詢單條記錄

  • 通過多個 Key 組成的列表去查詢多條記錄

其中，單條記錄查詢對應的方法是：get(key)

def __query_one(self, key):
    """
    查詢單條記錄
    :return:
    """
    result = self.mc.get(key)
    print('單條記錄查詢,key:', key, ",value:", result)

多條記錄的查詢，對應的方法是：get_multi(keys)

def __query_many(self, keys):
    """
    查詢多條記錄
    :param keys: 鍵值列表
    :return:
    """
    values = self.mc.get_multi(keys)

    # dict，鍵值對
    print(type(values))
    print('多條記錄查詢:', values)

3、更新操作

更新操作包含三種方法，分別是：

  • 更新一條記錄，如果鍵不存在，則更新失敗

    對應方法是：replace(key,value)

  • 更新一條記錄，如果鍵不存在，則新增一條記錄

    對應方法是：set(key,value)

  • 更新多條記錄，如果其中有不存在的鍵，則將對應的鍵值對新增到資料集中

    對應方法：set_multi({key1:value1...})

具體例項程式碼如下：

def __update_default(self):
    """
    更新資料，包含：replace、set、set_multi
    :return:
    """
    # 1、使用replace更新一條記錄
    # self.mc.replace("name","xag1")
    # self.__query_one("name")

    # 2、使用set更新記錄，如果key不存在，則新增一條記錄
    # set = replace + add
    # self.mc.set("name", "xag2")
    # self.__query_one("name")

    # 3、使用set_multi更新多條記錄，如果其中有不存在的key，則新建一個鍵值對
    self.mc.set_multi({"name": "xag3", "age": 28})
    self.__query_many(["name", "age"])

4、追加操作

追加操作相當於修改某一個鍵的值，在頭部或者尾部追加資料

其中：

  • append(str)：在尾部追加一段資料

  • prepend(str)：在頭部新增一段資料

實踐程式碼如下：

def __update_append(self):
    """
    追加更新，包含：append、prepend
    :return:
    """

    # 1、append
    # value尾部追加內容
    self.mc.append("name","我是新增的內容")
    self.__query_one("name")

    # 2、prepend
    # 頭部新增內容
    self.mc.prepend("name","頭部新增的內容")
    self.__query_one("name")

5、刪除操作

和查詢操作類似，刪除操作同樣支援單個鍵值對的刪除和多個鍵值對的刪除

  • delete(key)：刪除某一個鍵值對

  • delete_multi(keys)：刪除列表中所有的 Key 對應的所有鍵值對

對應的操作程式碼如下：

def __delete(self):
    """
    刪除資料，包含：delete、delete_multi
    :return:delete_multi
    """
    # 1、delete
    # 刪除單條鍵值對
    # self.mc.delete("age")
    # self.__query_one("age")

    # 2、delete_multi
    # 刪除多條記錄
    keys = ["name","age"]
    self.mc.delete_multi(keys)
    self.__query_many(keys)

4.最後

本篇文章通過 Python，實現了對 Memcached 資料的常規操作，更多複雜的操作可以點選閱讀原文去檢視

我已經將文中全部原始碼上傳到後臺，關注公眾號「 AirPython 」後回覆「 dball 」即可獲得全部原始碼

如果你覺得文章還不錯，請大家 點贊、分享、留言下，因為這將是我持續輸出更多優質文章的最強動力！

推薦閱讀
聊聊 Python 資料處理全家桶（Mysql 篇）

聊聊 Python 資料處理全家桶（Sqlite 篇）

聊聊 Python 資料處理全家桶（Redis 篇）

相關文章