什么是分布式SnowFlakeID?如何优化SnowFlakeID?
admin
2023-02-13 19:40:01
0

什么是分布式SnowFlakeID?如何优化SnowFlakeID?这些问题可能是我们日常工作会见到的。通过这些问题,希望你能收获更多。下面是揭开这些问题的详细内容。

什么是SnowFlakeID

SnowFlake是twitter公司内部分布式项目采用的ID生成算法,开源后广受国内大厂的好评。由这种算法生成的ID,我们就叫做SnowFlakeID

SnowFlakeID的最大的特性就是天然去中心化,通过时间戳、工作机器编号两个变量进行配置后,通过SnowFlake算法会生成唯一的递增ID。在任何机器上,只要保证工作机器编号不同,就可以确保生成的ID唯一,且整体趋势是递增的

Snowflake的结构如下(每部分用-分开):

0 - 0000000000 0000000000 0000000000 0000000000 0 - 0000000000 - 000000000000

第一段1位为未使用,永远固定为0

第二段41位为毫秒级时间(41位的长度可以使用69年)

第三段10位为workerId(10位的长度最多支持部署1024个节点)

第三段12位为毫秒内的计数(12位的计数顺序号支持每个节点每毫秒产生4096个ID序号)

如果按照1024的满节点(1个节点就是1个部署的服务)计算,每毫秒可生成的ID序号有1024*4096=4194304个,足以满足现在绝大多数的业务情况

算法的核心如下

 ((当前时间 - 服务时间) << timestampLeftShift) 
        | (机器ID << workerIdShift) 
        | sequence;

服务时间指的是服务的开发时间,即第一个正式ID产生的时间。由于SnowFlakeID最长可用69年(因为只有41个bit,41个bit的最大值换算成年就是69年)。所以服务时间越贴近上线时间,则该算法可用时间越长。
其中sequence为递增序列,当前时间戳和上一ID生成时间戳一致时,sequence就递增1,直到4096为止。

SnowFlake有什么问题

SnowFlake很好,分布式、去中心化、无第三方依赖。但它并不是完美的,由于SnowFlake强依赖时间戳,所以时间的变动会造成SnowFlake的算法产生错误。

时钟回拨:最常见的问题就是时钟回拨导致的ID重复问题,在SnowFlake算法中并没有什么有效的解法,仅是抛出异常。时钟回拨涉及两种情况①实例停机→时钟回拨→实例重启→计算ID ②实例运行中→时钟回拨→计算ID

手动配置:另一个就是workerId(机器ID)是需要部署时手动配置,而workerId又不能重复。几台实例还好,一旦实例达到一定量级,管理workerId将是一个复杂的操作。

如何优化

时钟回拨改进避免

ID生成器一旦不可用,可能造成所有数据库相关新增业务都不可用,影响太大。所以时钟回拨的问题必须解决。

造成时钟回拨的原因多种多样,可能是闰秒回拨,可能是NTP同步,还可能是服务器时间手动调整。总之就是时间回到了过去。针对回退时间的多少可以进行不同的策略改进。一般有以下几种方案:

  1. 少量服务器部署ID生成器实例,关闭NTP服务器,严格管理服务器。这种方案不需要从代码层面解决,完全人治。
  2. 针对回退时间断的情况,如闰秒回拨仅回拨了1s,可以在代码层面通过判断暂停一定时间内的ID生成器使用。虽然少了几秒钟可用时间,但时钟正常后,业务即可恢复正常。
if (refusedSeconds <= 5) {
    try {
    //时间偏差大小小于5ms,则等待两倍时间
        wait(refusedSeconds << 1);//wait
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    currentSecond = getCurrentSecond();
}else {//时钟回拨较大
    //用其他策略修复时钟问题
}
  1. 实例启动后,改用内存生成时间。该方案为baidu开源的UidGenerator使用的方案,由于实例启动后,时间不再从服务器获取,所以不管服务器时钟如何回拨,都影响不了SnowFlake的执行。如下代码中lastSecond变量是一个AtomicLong类型,用以代替系统时间
 List uidList = uidProvider.provide(lastSecond.incrementAndGet());
  1. 以上2和3都是解决时钟实例运行中→时钟回拨→计算ID的情况。而实例停机→时钟回拨→实例重启→计算ID的情况,可以通过实例启动的时候,采用未使用过的workerId来完成。只要workerId和此前生成ID的workerId不一致,即便时间戳有误,所生成的ID也不会重复。UidGenerator采取的就是这种方案,但这种方案又必须依赖一个存储中心,不管是redis、mysql、zookeeper都可以,但必须存储着此前使用过的workerId,不能重复。尤其是在分布式部署Id生成器的情况下,更要注意用一个存储中心解决此问题。
以上就是SnowFlakeID以及优化方法的详细内容了,看完之后是否有所收获呢?如果想了解更多相关内容,欢迎关注行业资讯!

相关内容

热门资讯

深度专访|网易智企段毓铮:不敢... 企业AI的商业化,难点在于让客户敢用、会用、用得有效果。在WAIC现场,搜狐AI邀请到网易智企副总经...
来论|从“菲尔兹奖”,看见科技... 王虹、邓煜分别凭借在调和分析与几何测度论、偏微分方程与数学物理领域的突破性工作,共同荣获2026年菲...
当清洁机器人爬上窗户,能否开启... 过去十年,清洁机器人的故事,几乎都发生在地面上。 扫地、拖地、洗地,从随机碰撞到激光导航,从人工洗抹...
冰箱通电发烫压缩不启动不制冷什... 1、很有可能是因为冰箱的压缩机内高压输出缓冲管出现了断裂,造成高压管不排气,低压管不吸气的这种状况,...
冰箱能通电但是不制冷什么问题 1、电源问题先检查冰箱的电源,看电源的连接是否正常,插头是否通电,插稳。插好插头之后,可以看一下冰箱...
洗衣机通电为什么不转动 导致这类问题一般有这几种情况:可能是进水电磁阀故障导致,若电磁阀已得电还不进水,就是电磁阀的阀芯被卡...
海尔洗衣机不转动了但是会流水 洗衣机可以进水说明电磁阀工作正常;能排水,说明排水泵是正常。洗衣机电源是没有问题的,但是不转动说明洗...
全球首个5G鲁班工坊莫斯科结硕... 【原标题】全球首个5G鲁班工坊莫斯科结硕果 文/本报记者 黄河 刘恺 李鲲 宋瑞 从渤海之滨到莫斯科...
西门子滚筒洗衣机不启动嗒嗒响 1、可能是因为启动电容器的问题导致的不启动;2、可能是因为皮带松弛和打滑的原因;3、可能是因为棘爪和...
重庆一地发生危岩垮塌,巨石掉落... 7月23日,重庆黔江区,有网友称,金溪镇一路段发生塌方,图片显示,一居民房边有巨石落在路上阻断了道路...