【Python3網路爬蟲開發實戰】5-資料儲存-3-非關係型資料庫儲存-2 Redis儲存

崔慶才丨靜覓發表於2019-02-15
Python爬蟲資料庫Redis

Redis是一個基於記憶體的高效的鍵值型非關係型資料庫，存取效率極高，而且支援多種儲存資料結構，使用也非常簡單。本節中，我們就來介紹一下Python的Redis操作，主要介紹RedisPy這個庫的用法。

1. 準備工作

在開始之前，請確保已經安裝好了Redis及RedisPy庫。如果要做資料匯入/匯出操作的話，還需要安裝RedisDump。如果沒有安裝，可以參考第1章。

2. Redis和StrictRedis

RedisPy庫提供兩個類Redis和StrictRedis來實現Redis的命令操作。

StrictRedis實現了絕大部分官方的命令，引數也一一對應，比如set()方法就對應Redis命令的set方法。而Redis是StrictRedis的子類，它的主要功能是用於向後相容舊版本庫裡的幾個方法。為了做相容，它將方法做了改寫，比如lrem()方法就將value和num引數的位置互換，這和Redis命令列的命令引數不一致。

官方推薦使用StrictRedis，所以本節中我們也用StrictRedis類的相關方法作演示。

3. 連線Redis

現在我們已經在本地安裝了Redis並執行在6379埠，密碼設定為foobared。那麼，可以用如下示例連線Redis並測試：

1
2
3
4
5
from redis import StrictRedis
redis = StrictRedis(host=`localhost`, port=6379, db=0, password=`foobared`)
redis.set(`name`, `Bob`)
print(redis.get(`name`))

這裡我們傳入了Redis的地址、執行埠、使用的資料庫和密碼資訊。在預設不傳的情況下，這4個引數分別為localhost、6379、0和None。首先宣告瞭一個StrictRedis物件，接下來呼叫set()方法，設定一個鍵值對，然後將其獲取並列印。

執行結果如下：

1
b`Bob`

這說明我們連線成功，並可以執行set()和get()操作了。

當然，我們還可以使用ConnectionPool來連線，示例如下：

1
2
3
4
from redis import StrictRedis, ConnectionPool
pool = ConnectionPool(host=`localhost`, port=6379, db=0, password=`foobared`)
redis = StrictRedis(connection_pool=pool)

這樣的連線效果是一樣的。觀察原始碼可以發現，StrictRedis內其實就是用host和port等引數又構造了一個ConnectionPool，所以直接將ConnectionPool當作引數傳給StrictRedis也一樣。

另外，ConnectionPool還支援通過URL來構建。URL的格式支援有如下3種：

1
2
3
redis://[:password]@host:port/db
rediss://[:password]@host:port/db
unix://[:password]@/path/to/socket.sock?db=db

這3種URL分別表示建立Redis TCP連線、Redis TCP+SSL連線、Redis UNIX socket連線。我們只需要構造上面任意一種URL即可，其中password部分如果有則可以寫，沒有則可以省略。下面再用URL連線演示一下：

1
2
3
url = `redis://:foobared@localhost:6379/0`
pool = ConnectionPool.from_url(url)
redis = StrictRedis(connection_pool=pool)

這裡我們使用第一種連線字串進行連線。首先，宣告一個Redis連線字串，然後呼叫from_url()方法建立ConnectionPool，接著將其傳給StrictRedis即可完成連線，所以使用URL的連線方式還是比較方便的。

4. 鍵操作

表5-5總結了鍵的一些判斷和操作方法。

表5-5 鍵的一些判斷和操作方法

方法

作用

引數說明

示例

示例說明

示例結果

exists(name)

判斷一個鍵是否存在

name：鍵名

redis.exists(`name`)

是否存在name這個鍵

True

delete(name)

刪除一個鍵

name：鍵名

redis.delete(`name`)

刪除name這個鍵

1

type(name)

判斷鍵型別

name：鍵名

redis.type(`name`)

判斷name這個鍵型別

b`string`

keys(pattern)

獲取所有符合規則的鍵

pattern：匹配規則

redis.keys(`n*`)

獲取所有以n開頭的鍵

[b`name`]

randomkey()

獲取隨機的一個鍵

randomkey()

獲取隨機的一個鍵

b`name`

rename(src, dst)

重新命名鍵

src：原鍵名；dst：新鍵名

redis.rename(`name`, `nickname`)

將name重新命名為nickname

True

dbsize()

獲取當前資料庫中鍵的數目

dbsize()

獲取當前資料庫中鍵的數目

100

expire(name, time)

設定鍵的過期時間，單位為秒

name：鍵名；time：秒數

redis.expire(`name`, 2)

將name鍵的過期時間設定為2秒

True

ttl(name)

獲取鍵的過期時間，單位為秒，-1表示永久不過期

name：鍵名

redis.ttl(`name`)

獲取name這個鍵的過期時間

-1

move(name, db)

將鍵移動到其他資料庫

name：鍵名；db：資料庫代號

move(`name`, 2)

將name移動到2號資料庫

True

flushdb()

刪除當前選擇資料庫中的所有鍵

flushdb()

刪除當前選擇資料庫中的所有鍵

True

flushall()

刪除所有資料庫中的所有鍵

flushall()

刪除所有資料庫中的所有鍵

True

5. 字串操作

Redis支援最基本的鍵值對形式儲存，用法總結如表5-6所示。

表5-6 鍵值對形式儲存

方法

作用

引數說明

示例

示例說明

示例結果

set(name, value)

給資料庫中鍵為name的string賦予值value

name: 鍵名；value: 值

redis.set(`name`, `Bob`)

給name這個鍵的value賦值為Bob

True

get(name)

返回資料庫中鍵為name的string的value

name：鍵名

redis.get(`name`)

返回name這個鍵的value

b`Bob`

getset(name, value)

給資料庫中鍵為name的string賦予值value並返回上次的value

name：鍵名；value：新值

redis.getset(`name`, `Mike`)

賦值name為Mike並得到上次的value

b`Bob`

mget(keys, *args)

返回多個鍵對應的value

keys：鍵的列表

redis.mget([`name`, `nickname`])

返回name和nickname的value

[b`Mike`, b`Miker`]

setnx(name, value)

如果不存在這個鍵值對，則更新value，否則不變

name：鍵名

redis.setnx(`newname`, `James`)

如果newname這個鍵不存在，則設定值為James

第一次執行結果是True，第二次執行結果是False

setex(name, time, value)

設定可以對應的值為string型別的value，並指定此鍵值對應的有效期

name: 鍵名；time: 有效期； value：值

redis.setex(`name`, 1, `James`)

將name這個鍵的值設為James，有效期為1秒

True

setrange(name, offset, value)

設定指定鍵的value值的子字串

name：鍵名；offset：偏移量；value：值

redis.set(`name`, `Hello`) redis.setrange(`name`, 6, `World`)

設定name為Hello字串，並在index為6的位置補World

11，修改後的字串長度

mset(mapping)

批量賦值

mapping：字典

redis.mset({`name1`: `Durant`, `name2`: `James`})

將name1設為Durant，name2設為James

True

msetnx(mapping)

鍵均不存在時才批量賦值

mapping：字典

redis.msetnx({`name3`: `Smith`, `name4`: `Curry`})

在name3和name4均不存在的情況下才設定二者值

True

incr(name, amount=1)

鍵為name的value增值操作，預設為1，鍵不存在則被建立並設為amount

name：鍵名；amount：增長的值

redis.incr(`age`, 1)

age對應的值增1，若不存在，則會建立並設定為1

1，即修改後的值

decr(name, amount=1)

鍵為name的value減值操作，預設為1，鍵不存在則被建立並將value設定為-amount

name：鍵名； amount：減少的值

redis.decr(`age`, 1)

age對應的值減1，若不存在，則會建立並設定為-1

-1，即修改後的值

append(key, value)

鍵為name的string的值附加value

key：鍵名

redis.append(`nickname`, `OK`)

向鍵為nickname的值後追加OK

13，即修改後的字串長度

substr(name, start, end=-1)

返回鍵為name的string的子串

name：鍵名；start：起始索引；end：終止索引，預設為-1，表示擷取到末尾

redis.substr(`name`, 1, 4)

返回鍵為name的值的字串，擷取索引為1~4的字元

b`ello`

getrange(key, start, end)

獲取鍵的value值從start到end的子字串

key：鍵名；start：起始索引；end：終止索引

redis.getrange(`name`, 1, 4)

返回鍵為name的值的字串，擷取索引為1~4的字元

b`ello`

6. 列表操作

Redis還提供了列表儲存，列表內的元素可以重複，而且可以從兩端儲存，用法如表5-7所示。

表5-7 列表操作

方法

作用

引數說明

示例

示例說明

示例結果

rpush(name, *values)

在鍵為name的列表末尾新增值為value的元素，可以傳多個

name：鍵名；values：值

redis.rpush(`list`, 1, 2, 3)

向鍵為list的列表尾新增1、2、3

3，列表大小

lpush(name, *values)

在鍵為name的列表頭新增值為value的元素，可以傳多個

name：鍵名；values：值

redis.lpush(`list`, 0)

向鍵為list的列表頭部新增0

4，列表大小

llen(name)

返回鍵為name的列表的長度

name：鍵名

redis.llen(`list`)

返回鍵為list的列表的長度

4

lrange(name, start, end)

返回鍵為name的列表中start至end之間的元素

name：鍵名；start：起始索引；end：終止索引

redis.lrange(`list`, 1, 3)

返回起始索引為1終止索引為3的索引範圍對應的列表

[b`3`, b`2`, b`1`]

ltrim(name, start, end)

擷取鍵為name的列表，保留索引為start到end的內容

name：鍵名；start：起始索引；end：終止索引

ltrim(`list`, 1, 3)

保留鍵為list的索引為1到3的元素

True

lindex(name, index)

返回鍵為name的列表中index位置的元素

name：鍵名；index：索引

redis.lindex(`list`, 1)

返回鍵為list的列表索引為1的元素

b’2′

lset(name, index, value)

給鍵為name的列表中index位置的元素賦值，越界則報錯

name：鍵名；index：索引位置；value：值

redis.lset(`list`, 1, 5)

將鍵為list的列表中索引為1的位置賦值為5

True

lrem(name, count, value)

刪除count個鍵的列表中值為value的元素

name：鍵名；count：刪除個數；value：值

redis.lrem(`list`, 2, 3)

將鍵為list的列表刪除兩個3

1，即刪除的個數

lpop(name)

返回並刪除鍵為name的列表中的首元素

name：鍵名

redis.lpop(`list`)

返回並刪除名為list的列表中的第一個元素

b`5`

rpop(name)

返回並刪除鍵為name的列表中的尾元素

name：鍵名

redis.rpop(`list`)

返回並刪除名為list的列表中的最後一個元素

b`2`

blpop(keys, timeout=0)

返回並刪除名稱在keys中的list中的首個元素，如果列表為空，則會一直阻塞等待

keys：鍵列表；timeout： 超時等待時間，0為一直等待

redis.blpop(`list`)

返回並刪除鍵為list的列表中的第一個元素

[b`5`]

brpop(keys, timeout=0)

返回並刪除鍵為name的列表中的尾元素，如果list為空，則會一直阻塞等待

keys：鍵列表；timeout：超時等待時間，0為一直等待

redis.brpop(`list`)

返回並刪除名為list的列表中的最後一個元素

[b`2`]

rpoplpush(src, dst)

返回並刪除名稱為src的列表的尾元素，並將該元素新增到名稱為dst的列表頭部

src：源列表的鍵；dst：目標列表的key

redis.rpoplpush(`list`, `list2`)

將鍵為list的列表尾元素刪除並將其新增到鍵為list2的列表頭部，然後返回

b`2`

7. 集合操作

Redis還提供了集合儲存，集合中的元素都是不重複的，用法如表5-8所示。

表5-8 集合操作

方法

作用

引數說明

示例

示例說明

示例結果

sadd(name, *values)

向鍵為name的集合中新增元素

name：鍵名；values：值，可為多個

redis.sadd(`tags`, `Book`, `Tea`, `Coffee`)

向鍵為tags的集合中新增Book、Tea和Coffee這3個內容

3，即插入的資料個數

srem(name, *values)

從鍵為name的集合中刪除元素

name：鍵名；values：值，可為多個

redis.srem(`tags`, `Book`)

從鍵為tags的集合中刪除Book

1，即刪除的資料個數

spop(name)

隨機返回並刪除鍵為name的集合中的一個元素

name：鍵名

redis.spop(`tags`)

從鍵為tags的集合中隨機刪除並返回該元素

b`Tea`

smove(src, dst, value)

從src對應的集合中移除元素並將其新增到dst對應的集合中

src：源集合；dst：目標集合；value：元素值

redis.smove(`tags`, `tags2`, `Coffee`)

從鍵為tags的集合中刪除元素Coffee並將其新增到鍵為tags2的集合

True

scard(name)

返回鍵為name的集合的元素個數

name：鍵名

redis.scard(`tags`)

獲取鍵為tags的集合中的元素個數

3

sismember(name, value)

測試member是否是鍵為name的集合的元素

name：鍵值

redis.sismember(`tags`, `Book`)

判斷Book是否是鍵為tags的集合元素

True

sinter(keys, *args)

返回所有給定鍵的集合的交集

keys：鍵列表

redis.sinter([`tags`, `tags2`])

返回鍵為tags的集合和鍵為tags2的集合的交集

{b`Coffee`}

sinterstore(dest, keys, *args)

求交集並將交集儲存到dest的集合

dest：結果集合；keys：鍵列表

redis.sinterstore(`inttag`, [`tags`, `tags2`])

求鍵為tags的集合和鍵為tags2的集合的交集並將其儲存為inttag

1

sunion(keys, *args)

返回所有給定鍵的集合的並集

keys：鍵列表

redis.sunion([`tags`, `tags2`])

返回鍵為tags的集合和鍵為tags2的集合的並集

{b`Coffee`, b`Book`, b`Pen`}

sunionstore(dest, keys, *args)

求並集並將並集儲存到dest的集合

dest：結果集合；keys：鍵列表

redis.sunionstore(`inttag`, [`tags`, `tags2`])

求鍵為tags的集合和鍵為tags2的集合的並集並將其儲存為inttag

3

sdiff(keys, *args)

返回所有給定鍵的集合的差集

keys：鍵列表

redis.sdiff([`tags`, `tags2`])

返回鍵為tags的集合和鍵為tags2的集合的差集

{b`Book`, b`Pen`}

sdiffstore(dest, keys, *args)

求差集並將差集儲存到dest集合

dest：結果集合；keys：鍵列表

redis.sdiffstore(`inttag`, [`tags`, `tags2`])

求鍵為tags的集合和鍵為tags2的集合的差集並將其儲存為inttag`

3

smembers(name)

返回鍵為name的集合的所有元素

name：鍵名

redis.smembers(`tags`)

返回鍵為tags的集合的所有元素

{b`Pen`, b`Book`, b`Coffee`}

srandmember(name)

隨機返回鍵為name的集合中的一個元素，但不刪除元素

name：鍵值

redis.srandmember(`tags`)

隨機返回鍵為tags的集合中的一個元素

8. 有序集合操作

有序集合比集合多了一個分數字段，利用它可以對集合中的資料進行排序，其用法總結如表5-9所示。

表5-9 有序集合操作

方法

作用

引數說明

示例

示例說明

示例結果

zadd(name, *args, **kwargs)

向鍵為name的zset中新增元素member，score用於排序。如果該元素存在，則更新其順序

name： 鍵名；args：可變引數

redis.zadd(`grade`, 100, `Bob`, 98, `Mike`)

向鍵為grade的zset中新增Bob（其score為100），並新增Mike（其score為98）

2，即新增的元素個數

zrem(name, *values)

刪除鍵為name的zset中的元素

name：鍵名；values：元素

redis.zrem(`grade`, `Mike`)

從鍵為grade的zset中刪除Mike

1，即刪除的元素個數

zincrby(name, value, amount=1)

如果在鍵為name的zset中已經存在元素value，則將該元素的score增加amount；否則向該集合中新增該元素，其score的值為amount

name：key名；value：元素；amount：增長的score值

redis.zincrby(`grade`, `Bob`, -2)

鍵為grade的zset中Bob的score減2

98.0，即修改後的值

zrank(name, value)

返回鍵為name的zset中元素的排名，按score從小到大排序，即名次

name：鍵名；value：元素值

redis.zrank(`grade`, `Amy`)

得到鍵為grade的zset中Amy的排名

1

zrevrank(name, value)

返回鍵為name的zset中元素的倒數排名（按score從大到小排序），即名次

name：鍵名；value：元素值

redis.zrevrank(`grade`, `Amy`)

得到鍵為grade的zset中Amy的倒數排名

2

zrevrange(name, start, end, withscores=False)

返回鍵為name的zset（按score從大到小排序）中index從start到end的所有元素

name：鍵值；start：開始索引；end：結束索引；withscores：是否帶score

redis.zrevrange(`grade`, 0, 3)

返回鍵為grade的zset中前四名元素

[b`Bob`, b`Mike`, b`Amy`, b`James`]

zrangebyscore(name, min, max, start=None, num=None, withscores=False)

返回鍵為name的zset中score在給定區間的元素

name：鍵名；min：最低score；max：最高score； start：起始索引；num：個數；withscores：是否帶score

redis.zrangebyscore(`grade`, 80, 95)

返回鍵為grade的zset中score在80和95之間的元素

[b`Bob`, b`Mike`, b`Amy`, b`James`]

zcount(name, min, max)

返回鍵為name的zset中score在給定區間的數量

name：鍵名；min：最低score；max：最高score

redis.zcount(`grade`, 80, 95)

返回鍵為grade的zset中score在80到95的元素個數

2

zcard(name)

返回鍵為name的zset的元素個數

name：鍵名

redis.zcard(`grade`)

獲取鍵為grade的zset中元素的個數

3

zremrangebyrank(name, min, max)

刪除鍵為name的zset中排名在給定區間的元素

name：鍵名；min：最低位次；max：最高位次

redis.zremrangebyrank(`grade`, 0, 0)

刪除鍵為grade的zset中排名第一的元素

1，即刪除的元素個數

zremrangebyscore(name, min, max)

刪除鍵為name的zset中score在給定區間的元素

name：鍵名；min：最低score；max：最高score

redis.zremrangebyscore(`grade`, 80, 90)

刪除score在80到90之間的元素

1，即刪除的元素個數

9. 雜湊操作

Redis還提供了雜湊表的資料結構，我們可以用name指定一個雜湊表的名稱，表記憶體儲了各個鍵值對，用法總結如表5-10所示。

表5-10 雜湊操作

方法

作用

引數說明

示例

示例說明

示例結果

hset(name, key, value)

向鍵為name的雜湊表中新增對映

name：鍵名；key：對映鍵名；value：對映鍵值

hset(`price`, `cake`, 5)

向鍵為price的雜湊表中新增對映關係，cake的值為5

1，即新增的對映個數

hsetnx(name, key, value)

如果對映鍵名不存在，則向鍵為name的雜湊表中新增對映

name：鍵名；key：對映鍵名；value：對映鍵值

hsetnx(`price`, `book`, 6)

向鍵為price的雜湊表中新增對映關係，book的值為6

1，即新增的對映個數

hget(name, key)

返回鍵為name的雜湊表中key對應的值

name：鍵名；key：對映鍵名

redis.hget(`price`, `cake`)

獲取鍵為price的雜湊表中鍵名為cake的值

5

hmget(name, keys, *args)

返回鍵為name的雜湊表中各個鍵對應的值

name：鍵名；keys：對映鍵名列表

redis.hmget(`price`, [`apple`, `orange`])

獲取鍵為price的雜湊表中apple和orange的值

[b`3`, b`7`]

hmset(name, mapping)

向鍵為name的雜湊表中批量新增對映

name：鍵名；mapping：對映字典

redis.hmset(`price`, {`banana`: 2, `pear`: 6})

向鍵為price的雜湊表中批量新增對映

True

hincrby(name, key, amount=1)

將鍵為name的雜湊表中對映的值增加amount

name：鍵名；key：對映鍵名；amount：增長量

redis.hincrby(`price`, `apple`, 3)

key為price的雜湊表中apple的值增加3

6，修改後的值

hexists(name, key)

鍵為name的雜湊表中是否存在鍵名為鍵的對映

name：鍵名；key：對映鍵名

redis.hexists(`price`, `banana`)

鍵為price的雜湊表中banana的值是否存在

True

hdel(name, *keys)

在鍵為name的雜湊表中，刪除鍵名為鍵的對映

name：鍵名；keys：對映鍵名

redis.hdel(`price`, `banana`)

從鍵為price的雜湊表中刪除鍵名為banana的對映

True

hlen(name)

從鍵為name的雜湊表中獲取對映個數

name： 鍵名

redis.hlen(`price`)

從鍵為price的雜湊表中獲取對映個數

6

hkeys(name)

從鍵為name的雜湊表中獲取所有對映鍵名

name：鍵名

redis.hkeys(`price`)

從鍵為price的雜湊表中獲取所有對映鍵名

[b`cake`, b`book`, b`banana`, b`pear`]

hvals(name)

從鍵為name的雜湊表中獲取所有對映鍵值

name：鍵名

redis.hvals(`price`)

從鍵為price的雜湊表中獲取所有對映鍵值

[b`5`, b`6`, b`2`, b`6`]

hgetall(name)

從鍵為name的雜湊表中獲取所有對映鍵值對

name：鍵名

redis.hgetall(`price`)

從鍵為price的雜湊表中獲取所有對映鍵值對

{b`cake`: b`5`, b`book`: b`6`, b`orange`: b`7`, b`pear`: b`6`}

10. RedisDump

RedisDump提供了強大的Redis資料的匯入和匯出功能，現在就來看下它的具體用法。

首先，確保已經安裝好了RedisDump。

RedisDump提供了兩個可執行命令：redis-dump用於匯出資料，redis-load用於匯入資料。

redis-dump

首先，可以輸入如下命令檢視所有可選項：

1
redis-dump -h

執行結果如下：

Usage: redis-dump [global options] COMMAND [command options]     -u, --uri=S                      Redis URI (e.g. redis://hostname[:port])    -d, --database=S                 Redis database (e.g. -d 15)    -s, --sleep=S                    Sleep for S seconds after dumping (for debugging)    -c, --count=S                    Chunk size (default: 10000)    -f, --filter=S                   Filter selected keys (passed directly to redis` KEYS command)    -O, --without_optimizations      Disable run time optimizations    -V, --version                    Display version    -D, --debug        --nosafe複製程式碼

其中-u代表Redis連線字串，-d代表資料庫代號，-s代表匯出之後的休眠時間，-c代表分塊大小，預設是10000，-f代表匯出時的過濾器，-O代表禁用執行時優化，-V用於顯示版本，-D表示開啟除錯。

我們拿本地的Redis做測試，執行在6379埠上，密碼為foobared，匯出命令如下：

1
redis-dump -u :foobared@localhost:6379

如果沒有密碼的話，可以不加密碼字首，命令如下：

1
redis-dump -u localhost:6379

執行之後，可以將本地0至15號資料庫的所有資料輸出出來，例如：

1
2
3
4
5
6
7
8
{“db”:0,”key”:”name”,”ttl”:-1,”type”:”string”,”value”:”James”,”size”:5}
{“db”:0,”key”:”name2″,”ttl”:-1,”type”:”string”,”value”:”Durant”,”size”:6}
{“db”:0,”key”:”name3″,”ttl”:-1,”type”:”string”,”value”:”Durant”,”size”:6}
{“db”:0,”key”:”name4″,”ttl”:-1,”type”:”string”,”value”:”HelloWorld”,”size”:10}
{“db”:0,”key”:”name5″,”ttl”:-1,”type”:”string”,”value”:”James”,”size”:5}
{“db”:0,”key”:”name6″,”ttl”:-1,”type”:”string”,”value”:”James”,”size”:5}
{“db”:0,”key”:”age”,”ttl”:-1,”type”:”string”,”value”:”1″,”size”:1}
{“db”:0,”key”:”age2″,”ttl”:-1,”type”:”string”,”value”:”-5″,”size”:2}

每條資料都包含6個欄位，其中db即資料庫代號，key即鍵名，ttl即該鍵值對的有效時間，type即鍵值型別，value即內容，size即佔用空間。

如果想要將其輸出為JSON行檔案，可以使用如下命令：

1
redis-dump -u :foobared@localhost:6379 > ./redis_data.jl

這樣就可以成功將Redis的所有資料庫的所有資料匯出成JSON行檔案了。

另外，可以使用-d引數指定某個資料庫的匯出，例如只匯出1號資料庫的內容：

1
redis-dump -u :foobared@localhost:6379 -d 1 > ./redis.data.jl

如果只想匯出特定的內容，比如想匯出以adsl開頭的資料，可以加入-f引數用來過濾，命令如下：

1
redis-dump -u :foobared@localhost:6379 -f adsl:* > ./redis.data.jl

其中-f引數即Redis的keys命令的引數，可以寫一些過濾規則。

redis-load

同樣，我們可以首先輸入如下命令檢視所有可選項：

1
redis-load -h

執行結果如下：

redis-load --help  Try: redis-load [global options] COMMAND [command options]     -u, --uri=S                      Redis URI (e.g. redis://hostname[:port])    -d, --database=S                 Redis database (e.g. -d 15)    -s, --sleep=S                    Sleep for S seconds after dumping (for debugging)    -n, --no_check_utf8    -V, --version                    Display version    -D, --debug        --nosafe複製程式碼

其中-u代表Redis連線字串，-d代表資料庫代號，預設是全部，-s代表匯出之後的休眠時間，-n代表不檢測UTF-8編碼，-V表示顯示版本，-D表示開啟除錯。

我們可以將JSON行檔案匯入到Redis資料庫中：

1
< redis_data.json redis-load -u :foobared@localhost:6379

這樣就可以成功將JSON行檔案匯入到資料庫中了。

另外，下面的命令同樣可以達到同樣的效果：

1
cat redis_data.json | redis-load -u :foobared@localhost:6379

本節中，我們不僅瞭解了RedisPy對Redis資料庫的一些基本操作，還演示了RedisDump對資料的匯入匯出操作。由於其便捷性和高效性，後面我們會利用Redis實現很多架構，如維護代理池、Cookies池、ADSL撥號代理池、Scrapy-Redis分散式架構等，所以Redis的操作需要好好掌握。

本資源首發於崔慶才的個人部落格靜覓： Python3網路爬蟲開發實戰教程 | 靜覓

如想了解更多爬蟲資訊，請關注我的個人微信公眾號：進擊的Coder

weixin.qq.com/r/5zsjOyvEZ… (二維碼自動識別)

相關文章