在SpringBoot中使用Redis的zset統計線上使用者資訊
統計線上使用者的數量,是應用很常見的需求了。如果需要精準的統計到使用者是線上,離線狀態,我想只有客戶端和伺服器透過保持一個TCP長連線來實現。如果應用本身並非一個IM應用的話,這種方式成本極高。
現在的應用都趨向於使用心跳包來標識使用者是否線上。使用者登入後,每隔一段時間,往伺服器推送一個訊息,表示當前使用者線上。伺服器則可以定義一個時間差,例如:5分鐘內收到過客戶端心跳訊息,視為線上使用者。
線上使用者統計的實現
基於資料庫實現
最簡單的辦法,就是在使用者表,新增一個最後心跳包的日期時間欄位 last_active
。伺服器收到心跳後,每次都去更新這個欄位為當前的最新時間。
如果要查詢最近5分鐘活躍的使用者數量,就可以簡單的透過一句SQL完成。
SELECT COUNT(1) AS `online_user_count` FROM `user` WHERE `last_active` BETWEEN '2020-12-22 13:00:00' AND '020-12-22 13:05:00';
弊端也是顯而易見,為了提高檢索效率,不得不為last_active
欄位新增索引,而因為心跳的更新,會導致頻繁的重新維護索引樹,效率極其低下。
基於Redis實現
這是比較理想的一種實現方式了,Redis基於記憶體進行讀寫,效能自然比關係型資料庫好得多,而且它所提供的Zset可以很方便的構建出一個線上使用者的統計服務。
Redis的Zset
這裡不會涉及太多redis的東西,簡單說明以下zset
。它是一個有序的set
集合,集合中的每個元素由2個東西組成
- member 既然是集合,那麼它便是集合中的元素,並且不能重複
- score 既然是有序的,它就是用於排序的權重欄位
Zset的部分操作
新增元素
ZADD key score member [score member ...]
一次性新增一個或者多個元素到集合,如果member
已經存在則會使用當前score
進行覆蓋
統計所有的元素數量
ZCARD key
統計score值在min和max之間元素數量
ZCOUNT key min max
刪除score值在min和max之間的元素
ZREMRANGEBYSCORE key min max
一個示例
我打算,用一個zset
儲存我內心中程式語言的評分排名,這個key叫做lang
新增資訊,返回新新增的元素個數
> zadd lang 999 php 10 java 9 go 8 python 7 javascript
"5"
檢視新增的數量
> zcard lang
"5"
檢視評分在8 - 10之間的元素個數,有3個
> zcount lang 8 10
"3"
刪除評分在8 - 1000的元素,返回刪除的個數
> ZREMRANGEBYSCORE lang 8 1000
"4"
線上使用者服務的實現
知道了zset
後,就可以實現一個線上使用者的統計服務了。
實現思路
客戶端每隔5分鐘傳送一個心跳到伺服器,伺服器根據會話獲取到使用者的ID,作為zset
的member
存入zset
,score
便是當前收到心跳的時間戳,當同一個使用者第二次傳送心跳的時候,就會更新他對應的score
值,由於更新是在記憶體,這個速度相當快。
zadd users 1608616915109 10000
需要統計出線上使用者的數量,本質上就是需要統計出,最近5分鐘有傳送心跳的使用者,透過zcount
可以很輕鬆的統計出來。透過程式獲取到當前的時間戳,作為maxScore
,時間戳減去5分鐘後作為minScore
。
zcount users 1608616615109 1608616915109
因為某些使用者可能長時間沒有登入過了,可以透過ZREMRANGEBYSCORE
進行清理。透過程式獲取到當前的時間戳,減去5分鐘後作為maxScore
,使用0
, 作為minScore
,表示清理所有超過5分鐘沒有傳送過心跳包的使用者。
ZREMRANGEBYSCORE users 0 1608616615109
實現程式碼
import java.time.Duration;
import java.time.Instant;
import java.time.LocalDateTime;
import java.time.ZoneId;
import javax.annotation.Resource;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Component;
/**
*
*
* 線上使用者統計
*
* @author Administrator
*
*/
@Component
public class OnlineUserStatsService {
private static final String ONLINE_USERS = "onlie_users";
@Resource
private StringRedisTemplate stringRedisTemplate;
/**
* 新增使用者線上資訊
* @param userId
* @return
*/
public Boolean online(Integer userId) {
return this.stringRedisTemplate.opsForZSet().add(ONLINE_USERS, userId.toString(), Instant.now().toEpochMilli());
}
/**
* 獲取一定時間內,線上的使用者數量
* @param duration
* @return
*/
public Long count(Duration duration) {
LocalDateTime now = LocalDateTime.now();
return this.stringRedisTemplate.opsForZSet().count(ONLINE_USERS,
now.minus(duration).atZone(ZoneId.systemDefault()).toInstant().toEpochMilli(),
now.atZone(ZoneId.systemDefault()).toInstant().toEpochMilli());
}
/**
* 獲取所有線上過的使用者數量,不論時間
* @return
*/
public Long count() {
return this.stringRedisTemplate.opsForZSet().zCard(ONLINE_USERS);
}
/**
* 清除超過一定時間沒線上的使用者資料
* @param duration
* @return
*/
public Long clear(Duration duration) {
return this.stringRedisTemplate.opsForZSet().removeRangeByScore(ONLINE_USERS, 0,
LocalDateTime.now().minus(duration).atZone(ZoneId.systemDefault()).toInstant().toEpochMilli());
}
}
使用示例
@Resource
private OnlineUserStatsService onlineUserStatsService;
@Test
public void test() {
// ID為1的使用者傳送了心跳包
boolean result = this.onlineUserStatsService.online(1);
System.out.println("online=" + result);
// 獲取5分鐘內,傳送過心跳包的使用者數量,也就是線上使用者的數量
Long count = this.onlineUserStatsService.count(Duration.ofMinutes(5));
System.out.println("oneline count=" + count);
// 獲取所有傳送過心跳包的使用者數量
count = this.onlineUserStatsService.count();
System.out.println("all count=" + count);
// 清除超過1天都沒傳送過心跳包的使用者
Long clear = this.onlineUserStatsService.clear(Duration.ofDays(1));
System.out.println("clear=" + clear);
}
記憶體消耗分析
可以透過預算Redis的記憶體消耗
我對Redis的記憶體分配並不熟悉,只是按照自己的想法去填寫了一些資料,所以我在這裡理解的東西,可能是錯誤的。但是我想這並不耽誤證明 - 在這種場景使用Zset對記憶體消耗極低的事實
設想onlie_users
需要儲存1億個使用者的狀態資訊,每個元素score
和member
需要10個位元組儲存,那麼一共大約需要20G記憶體。20G的記憶體對於現在的伺服器來說,並不是大問題。
最後
- 心跳協議不一定非要HTTP,如果客戶端支援的話UDP就很適合,可以節約一些系統開銷。
-
zset
的key,不一定非要用String
,可以修改序列化方式,以固定的位元組的形式儲存使用者ID,在使用者ID過大的時候,可以節約一些儲存空間。
String userId = "10010";
System.out.println(userId.getBytes().length); // 以字串形式儲存 => 需要5個位元組
byte[] bin = ByteBuffer.allocate(4).putInt(Integer.valueOf(userId)).array();
System.out.println(bin.length); // 序列化為位元組形式儲存 => 需要4個位元組
System.out.println(ByteBuffer.wrap(bin).getInt()); // 反序列化為ID => 10010
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/2480/viewspace-2826742/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- [Redis]ZSetRedis
- redis zset 多值排序Redis排序
- asp.net 線上使用者列表統計ASP.NET
- redis設計統計使用者訪問量Redis
- redis 伺服器的統計資訊Redis伺服器
- go操作redis的有序集合(zset)GoRedis
- springboot線上人數統計Spring Boot
- Redis物件——有序集合(ZSet)Redis物件
- Redis在.net中的使用(2).net專案中的Redis使用Redis
- redis儲存使用者登入資訊Redis
- 如何用 Redis 統計使用者訪問量?Redis
- Redis的ZSet底層資料結構,ZSet型別全面解析Redis資料結構型別
- Redis在.net中的使用(5)Redis持久化Redis持久化
- Laravel中介軟體統計使用者線上時長Laravel
- php操作redis,有序集合zsetPHPRedis
- 系統使用者數、併發使用者數與線上使用者數的區別及計算
- Redis 中ZSET資料型別命令使用及對應場景總結Redis資料型別
- springboot(三):Spring boot中Redis的使用Spring BootRedis
- Redis使用ZSET實現訊息佇列使用總結二Redis佇列
- Redis使用ZSET實現訊息佇列使用總結一Redis佇列
- 機器學習在高德使用者反饋資訊處理中的實踐機器學習
- 線上直播系統原始碼,使用者登入時獲取到使用者已有的賬號資訊原始碼
- Redis在.net中的使用(6)Redis併發鎖Redis
- Redis在遊戲業務中的使用Redis遊戲
- oracle自動化同步兩庫使用者的統計資訊Oracle
- Redis 有序集合(zset)命令詳解Redis
- Redis之zset型別及操作Redis型別
- 老楊說他的使用者資訊存在 Redis 裡面Redis
- Redis在.net中的使用(1)下載安裝RedisRedis
- 一個海量線上使用者即時通訊系統(IM)的完整設計
- 自定義開發odoo14的統計線上使用者人數Odoo
- 使用redis統計ip的使用次數Redis
- SpringBoot使用RedisSpring BootRedis
- 社交媒體使用者資料全統計——資訊圖
- Redis的安裝及在Java中的使用RedisJava
- "我的“體系在多使用者作業系統人機介面中的設計作業系統
- Redis基本資料結構之ZSetRedis資料結構
- redis-zset結構-業務實戰Redis