概述
分散式系統中,有一些需要使用全域性唯一ID的場景,這種時候為了防止ID衝突可以使用36位的UUID,但是UUID有一些缺點,首先他相對比較長,另外UUID一般是無序的。
有些時候我們希望能使用一種簡單一些的ID,並且希望ID能夠按照時間有序生成。
而twitter的SnowFlake解決了這種需求,最初Twitter把儲存系統從MySQL遷移到Cassandra,因為Cassandra沒有順序ID生成機制,所以開發了這樣一套全域性唯一ID生成服務。
原理
Twitter的雪花演算法SnowFlake,使用Java語言實現。
SnowFlake演算法產生的ID是一個64位的整型,結構如下(每一部分用“-”符號分隔):
0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000
複製程式碼
1位標識部分,在java中由於long的最高位是符號位,正數是0,負數是1,一般生成的ID為正數,所以為0;
41位時間戳部分,這個是毫秒級的時間,一般實現上不會儲存當前的時間戳,而是時間戳的差值(當前時間-固定的開始時間),這樣可以使產生的ID從更小值開始;41位的時間戳可以使用69年,(1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69年;
10位節點部分,Twitter實現中使用前5位作為資料中心標識,後5位作為機器標識,可以部署1024個節點;
12位序列號部分,支援同一毫秒內同一個節點可以生成4096個ID;
SnowFlake演算法生成的ID大致上是按照時間遞增的,用在分散式系統中時,需要注意資料中心標識和機器標識必須唯一,這樣就能保證每個節點生成的ID都是唯一的。或許我們不一定都需要像上面那樣使用5位作為資料中心標識,5位作為機器標識,可以根據我們業務的需要,靈活分配節點部分,如:若不需要資料中心,完全可以使用全部10位作為機器標識;若資料中心不多,也可以只使用3位作為資料中心,7位作為機器標識。
snowflake生成的ID整體上按照時間自增排序,並且整個分散式系統內不會產生ID碰撞(由datacenter和workerId作區分),並且效率較高。據說:snowflake每秒能夠產生26萬個ID。
原始碼
本機實測:100萬個ID 耗時5秒
/**
* 描述: Twitter的分散式自增ID雪花演算法snowflake (Java版)
* https://github.com/souyunku/SnowFlake
*
* @author yanpenglei
* @create 2018-03-13 12:37
**/
public class SnowFlake {
/**
* 起始的時間戳
*/
private final static long START_STMP = 1480166465631L;
/**
* 每一部分佔用的位數
*/
private final static long SEQUENCE_BIT = 12; //序列號佔用的位數
private final static long MACHINE_BIT = 5; //機器標識佔用的位數
private final static long DATACENTER_BIT = 5;//資料中心佔用的位數
/**
* 每一部分的最大值
*/
private final static long MAX_DATACENTER_NUM = -1L ^ (-1L << DATACENTER_BIT);
private final static long MAX_MACHINE_NUM = -1L ^ (-1L << MACHINE_BIT);
private final static long MAX_SEQUENCE = -1L ^ (-1L << SEQUENCE_BIT);
/**
* 每一部分向左的位移
*/
private final static long MACHINE_LEFT = SEQUENCE_BIT;
private final static long DATACENTER_LEFT = SEQUENCE_BIT + MACHINE_BIT;
private final static long TIMESTMP_LEFT = DATACENTER_LEFT + DATACENTER_BIT;
private long datacenterId; //資料中心
private long machineId; //機器標識
private long sequence = 0L; //序列號
private long lastStmp = -1L;//上一次時間戳
public SnowFlake(long datacenterId, long machineId) {
if (datacenterId > MAX_DATACENTER_NUM || datacenterId < 0) {
throw new IllegalArgumentException("datacenterId can`t be greater than MAX_DATACENTER_NUM or less than 0");
}
if (machineId > MAX_MACHINE_NUM || machineId < 0) {
throw new IllegalArgumentException("machineId can`t be greater than MAX_MACHINE_NUM or less than 0");
}
this.datacenterId = datacenterId;
this.machineId = machineId;
}
/**
* 產生下一個ID
*
* @return
*/
public synchronized long nextId() {
long currStmp = getNewstmp();
if (currStmp < lastStmp) {
throw new RuntimeException("Clock moved backwards. Refusing to generate id");
}
if (currStmp == lastStmp) {
//相同毫秒內,序列號自增
sequence = (sequence + 1) & MAX_SEQUENCE;
//同一毫秒的序列數已經達到最大
if (sequence == 0L) {
currStmp = getNextMill();
}
} else {
//不同毫秒內,序列號置為0
sequence = 0L;
}
lastStmp = currStmp;
return (currStmp - START_STMP) << TIMESTMP_LEFT //時間戳部分
| datacenterId << DATACENTER_LEFT //資料中心部分
| machineId << MACHINE_LEFT //機器標識部分
| sequence; //序列號部分
}
private long getNextMill() {
long mill = getNewstmp();
while (mill <= lastStmp) {
mill = getNewstmp();
}
return mill;
}
private long getNewstmp() {
return System.currentTimeMillis();
}
public static void main(String[] args) {
SnowFlake snowFlake = new SnowFlake(2, 3);
long start = System.currentTimeMillis();
for (int i = 0; i < 1000000; i++) {
System.out.println(snowFlake.nextId());
}
System.out.println(System.currentTimeMillis() - start);
}
}
複製程式碼
迴圈生成的ID,執行結果如下:
170916032679263329
170916032679263330
170916032679263331
170916032679263332
170916032679263333
170916032679263334
170916032679263335
170916032679263336
170916032679263337
170916032679263338
170916032679263339
170916032679263340
170916032679263341
170916032679263342
複製程式碼
開源地址
Github:github.com/souyunku/Sn…
推薦閱讀
Spring Cloud 系列教程
- Spring Cloud(一)服務的註冊與發現 Eureka
- Spring Cloud(二)Consul 服務治理實現
- Spring Cloud(三)服務提供者 Eureka + 服務消費者(rest + Ribbon)
- Spring Cloud(四)服務提供者 Eureka + 服務消費者 Feign
- Spring Cloud(五)斷路器監控(Hystrix Dashboard)
- Spring Cloud(六)服務閘道器 zuul 快速入門
- Spring Cloud(七)服務閘道器 Zuul Filter 使用
- Spring Cloud(八)高可用的分散式配置中心 Spring Cloud Config
- Spring Cloud(九)高可用的分散式配置中心 Spring Cloud Config 整合 Eureka 服務
- Spring Cloud(十)高可用的分散式配置中心 Spring Cloud Config 中使用 Refresh
- Spring Cloud(十一)高可用的分散式配置中心 Spring Cloud Bus 訊息匯流排整合(RabbitMQ)
Spring Boot 系列教程
原始碼 + 教程
Github:github.com/souyunku/sp…
Docker 容器
- Docker Compose 1.18.0 之服務編排詳解
- Docker CE 安裝 初窺 Dockerfile 部署 Nginx
- Docker Container 容器操作
- Docker Hub 倉庫使用,及搭建 Docker Registry
- Docker Registry Server 搭建,配置免費 HTTPS 證照,及擁有許可權認證、TLS 的私有倉庫
- Docker Registry 企業級私有映象倉庫Harbor管理WEB UI, 可能是最詳細的部署
- Docker 部署 SpringBoot 專案整合 Redis 映象做訪問計數 Demo
- Docker Maven Plugin 生成 Docker 映象 push 到 DockerHub上
環境搭建
- 搭建 Apache RocketMQ 單機環境
- 手把手教你 MongoDB 的安裝與詳細使用(一)
- 手把手教你 MongoDB 的安裝與詳細使用(二)
- 搭建 MongoDB分片(sharding) / 分割槽 / 叢集環境
- 搭建 SolrCloud 叢集服務
- 搭建 Solr 單機服務
- 搭建 RabbitMQ 叢集服務
- 搭建 RabbitMQ 單機服務
- Mycat 讀寫分離 資料庫分庫分表 中介軟體 安裝部署,及簡單使用
- 離線部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大資料平臺叢集服務
Contact
- 作者:鵬磊
- 出處:www.ymq.io
- 版權歸作者所有,轉載請註明出處
- Wechat:關注公眾號,搜雲庫,專注於開發技術的研究與知識分享