在SpringBoot中使用Redis的zset統計線上使用者資訊

wh7577發表於2021-09-09
Spring BootRedis

統計線上使用者的數量，是應用很常見的需求了。如果需要精準的統計到使用者是線上，離線狀態，我想只有客戶端和伺服器透過保持一個TCP長連線來實現。如果應用本身並非一個IM應用的話，這種方式成本極高。

現在的應用都趨向於使用心跳包來標識使用者是否線上。使用者登入後，每隔一段時間，往伺服器推送一個訊息，表示當前使用者線上。伺服器則可以定義一個時間差，例如：5分鐘內收到過客戶端心跳訊息，視為線上使用者。

線上使用者統計的實現

基於資料庫實現

最簡單的辦法，就是在使用者表，新增一個最後心跳包的日期時間欄位 last_active。伺服器收到心跳後，每次都去更新這個欄位為當前的最新時間。

如果要查詢最近5分鐘活躍的使用者數量，就可以簡單的透過一句SQL完成。

SELECT COUNT(1) AS `online_user_count` FROM `user` WHERE `last_active` BETWEEN  '2020-12-22 13:00:00' AND '020-12-22 13:05:00';

弊端也是顯而易見，為了提高檢索效率，不得不為last_active欄位新增索引，而因為心跳的更新，會導致頻繁的重新維護索引樹，效率極其低下。

基於Redis實現

這是比較理想的一種實現方式了，Redis基於記憶體進行讀寫，效能自然比關係型資料庫好得多，而且它所提供的Zset可以很方便的構建出一個線上使用者的統計服務。

Redis的Zset

這裡不會涉及太多redis的東西，簡單說明以下zset。它是一個有序的set集合，集合中的每個元素由2個東西組成

  • member 既然是集合，那麼它便是集合中的元素，並且不能重複
  • score 既然是有序的，它就是用於排序的權重欄位

Zset的部分操作

新增元素

ZADD key score member [score member ...]

一次性新增一個或者多個元素到集合，如果member已經存在則會使用當前score進行覆蓋

統計所有的元素數量

ZCARD key

統計score值在min和max之間元素數量

ZCOUNT key min max

刪除score值在min和max之間的元素

ZREMRANGEBYSCORE key min max

一個示例

我打算，用一個zset儲存我內心中程式語言的評分排名，這個key叫做lang

新增資訊，返回新新增的元素個數

> zadd lang 999 php 10 java 9 go 8 python 7 javascript
"5"

檢視新增的數量

> zcard lang
"5"

檢視評分在8 - 10之間的元素個數，有3個

> zcount lang 8 10
"3"

刪除評分在8 - 1000的元素，返回刪除的個數

> ZREMRANGEBYSCORE lang 8 1000
"4"

線上使用者服務的實現

知道了zset後，就可以實現一個線上使用者的統計服務了。

實現思路

客戶端每隔5分鐘傳送一個心跳到伺服器，伺服器根據會話獲取到使用者的ID，作為zset的member
存入zset，score便是當前收到心跳的時間戳，當同一個使用者第二次傳送心跳的時候，就會更新他對應的score值，由於更新是在記憶體，這個速度相當快。

zadd users 1608616915109 10000

需要統計出線上使用者的數量，本質上就是需要統計出，最近5分鐘有傳送心跳的使用者，透過zcount可以很輕鬆的統計出來。透過程式獲取到當前的時間戳，作為maxScore，時間戳減去5分鐘後作為minScore。

zcount users 1608616615109 1608616915109

因為某些使用者可能長時間沒有登入過了，可以透過ZREMRANGEBYSCORE進行清理。透過程式獲取到當前的時間戳，減去5分鐘後作為maxScore，使用0， 作為minScore，表示清理所有超過5分鐘沒有傳送過心跳包的使用者。

ZREMRANGEBYSCORE users 0 1608616615109

實現程式碼

import java.time.Duration;
import java.time.Instant;
import java.time.LocalDateTime;
import java.time.ZoneId;

import javax.annotation.Resource;

import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Component;

/**
 * 
 * 
 * 線上使用者統計
 * 
 * @author Administrator
 *
 */
@Component
public class OnlineUserStatsService {
    
    private static final String ONLINE_USERS = "onlie_users";

    @Resource
    private StringRedisTemplate stringRedisTemplate;

    /**
     * 新增使用者線上資訊
     * @param userId
     * @return 
     */
    public Boolean online(Integer userId) {
        return this.stringRedisTemplate.opsForZSet().add(ONLINE_USERS, userId.toString(), Instant.now().toEpochMilli());
    }
    
    /**
     * 獲取一定時間內，線上的使用者數量
     * @param duration
     * @return
     */
    public Long count(Duration duration) {
        LocalDateTime now = LocalDateTime.now();
        return this.stringRedisTemplate.opsForZSet().count(ONLINE_USERS, 
                                    now.minus(duration).atZone(ZoneId.systemDefault()).toInstant().toEpochMilli(), 
                                    now.atZone(ZoneId.systemDefault()).toInstant().toEpochMilli());
    }
    
    /**
     * 獲取所有線上過的使用者數量，不論時間
     * @return
     */
    public Long count() {
        return this.stringRedisTemplate.opsForZSet().zCard(ONLINE_USERS);
    }
    
    /**
     * 清除超過一定時間沒線上的使用者資料
     * @param duration
     * @return
     */
    public Long clear(Duration duration) {
        return this.stringRedisTemplate.opsForZSet().removeRangeByScore(ONLINE_USERS, 0, 
                LocalDateTime.now().minus(duration).atZone(ZoneId.systemDefault()).toInstant().toEpochMilli());
    }
}

使用示例

@Resource
private OnlineUserStatsService onlineUserStatsService;

@Test
public void test() {
    
    // ID為1的使用者傳送了心跳包
    boolean result = this.onlineUserStatsService.online(1);
    System.out.println("online=" + result);
    
    // 獲取5分鐘內，傳送過心跳包的使用者數量，也就是線上使用者的數量
    Long count = this.onlineUserStatsService.count(Duration.ofMinutes(5));
    System.out.println("oneline count=" + count);
    
    // 獲取所有傳送過心跳包的使用者數量
    count = this.onlineUserStatsService.count();
    System.out.println("all count=" + count);
    
    // 清除超過1天都沒傳送過心跳包的使用者
    Long clear = this.onlineUserStatsService.clear(Duration.ofDays(1));
    System.out.println("clear=" + clear);
}

記憶體消耗分析

可以透過預算Redis的記憶體消耗

我對Redis的記憶體分配並不熟悉，只是按照自己的想法去填寫了一些資料，所以我在這裡理解的東西，可能是錯誤的。但是我想這並不耽誤證明 - 在這種場景使用Zset對記憶體消耗極低的事實

設想onlie_users需要儲存1億個使用者的狀態資訊，每個元素score和member需要10個位元組儲存，那麼一共大約需要20G記憶體。20G的記憶體對於現在的伺服器來說，並不是大問題。

圖片描述

最後

  • 心跳協議不一定非要HTTP，如果客戶端支援的話UDP就很適合，可以節約一些系統開銷。
  • zset的key，不一定非要用String，可以修改序列化方式，以固定的位元組的形式儲存使用者ID，在使用者ID過大的時候，可以節約一些儲存空間。
String userId = "10010";
System.out.println(userId.getBytes().length); // 以字串形式儲存 => 需要5個位元組

byte[] bin = ByteBuffer.allocate(4).putInt(Integer.valueOf(userId)).array();
System.out.println(bin.length);                    // 序列化為位元組形式儲存 => 需要4個位元組

System.out.println(ByteBuffer.wrap(bin).getInt());    // 反序列化為ID => 10010

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/2480/viewspace-2826742/，如需轉載，請註明出處，否則將追究法律責任。

相關文章