PHP中如何实现一致性Hash算法
创始人
2024-12-07 20:01:20
0次

本文实例讲述了PHP实现的一致性Hash算法。分享给大家供大家参考,具体如下:

一致性哈希算法是分布式系统中常用的算法,为什么要用这个算法?

比如:一个分布式存储系统,要将数据存储到具体的节点(服务器)上, 在服务器数量不发生改变的情况下,如果采用普通的hash再对服务器总数量取模的方法(如key%服务器总数量),如果期间有服务器宕机了或者需要增加服务器,问题就出来了。 同一个key经过hash之后,再与服务器总数量取模的结果跟之前的结果会不一样,这就导致了之前保存数据的丢失。因此,引入了一致性Hash(Consistent Hashing)分布算法

PHP中如何实现一致性Hash算法

把数据用hash函数(如md5,sha1),映射到一个圆环上,如上图所示,数据在存储时,先根据hash算法算出key的hash值,对应到这个环中的位置,如k1对应图中所示的位置同,然后沿着顺时针方向找到服务器节点B,然后把k1在存到B这个节点中。

如果B节点宕机了,则B上的数据就会落到C节点上,如下图所示

PHP中如何实现一致性Hash算法

这样,只会影响C节点,对于其他节点A、D的数据不会造成影响。但是问题来了,这样会造成C节点负载过重的情况,因为C节点承担了B节点的数据,所以C节点容易宕机,这样造成了分布不均匀。

为了解决这个问题,引入了“虚拟节点“的概念:即想象空上环上有很多”虚拟节点“,一个真实的服务器节点对应多个虚拟节点,数据存储的时候沿着环的顺时针方向找到虚拟节点,就找到了对应的真实服务器节点。如下图

PHP中如何实现一致性Hash算法

图中的A1、A2、B1、B2、C1、C2、D1、D2都是虚拟节点,机器A负载存储A1、A2的数据,机器B负载存储B1、B2的数据,机器C负载存储C1、C2的数据。由于这些虚拟节点数量很多,均匀分布,因此不会造成“雪崩”现象。

一致性哈希算法的PHP实现

下面给出一个接口

/**
 * 一致性哈希实现接口
 * Interface ConsistentHash
 */
interface ConsistentHash
{
 //将字符串转为hash值
 public function cHash($str);
 //添加一台服务器到服务器列表中
 public function addServer($server);
 //从服务器删除一台服务器
 public function removeServer($server);
 //在当前的服务器列表中找到合适的服务器存放数据
 public function lookup($key);
}

这个接口分别定义了4个方法,cHash(将字符串处理为hash值)、addServer(增加一台服务器)、removeServer(移除一台服务器)、lookup(找到一台服务器来存储数据)

下面给出一个该接口的具体实现

/**
 * 具体一致性哈希实现
 * author chenqionghe
 * Class MyConsistentHash
 */
class MyConsistentHash implements ConsistentHash
{
 public $serverList = array(); //服务器列列表
 public $virtualPos = array(); //虚拟节点的位置
 public $virtualPosNum = 5;  //每个节点对应5个虚节点
 /**
  * 将字符串转换成32位无符号整数hash值
  * @param $str
  * @return int
  */
 public function cHash($str)
 {
  $str = md5($str);
  return sprintf('%u', crc32($str));
 }
 /**
  * 在当前的服务器列表中找到合适的服务器存放数据
  * @param $key 键名
  * @return mixed 返回服务器IP地址
  */
 public function lookup($key)
 {
  $point = $this->cHash($key);//落点的hash值
  $finalServer = current($this->virtualPos);//先取圆环上最小的一个节点当成结果
  foreach($this->virtualPos as $pos=>$server)
  {
   if($point <= $pos)
   {
    $finalServer = $server;
    break;
   }
  }
  reset($this->virtualPos);//重置圆环的指针为第一个
  return $finalServer;
 }
 /**
  * 添加一台服务器到服务器列表中
  * @param $server 服务器IP地址
  * @return bool
  */
 public function addServer($server)
 {
  if(!isset($this->serverList[$server]))
  {
   for($i=0; $i<$this->virtualPosNum; $i++)
   {
    $pos = $this->cHash($server . '-' . $i);
    $this->virtualPos[$pos] = $server;
    $this->serverList[$server][] = $pos;
   }
   ksort($this->virtualPos,SORT_NUMERIC);
  }
  return TRUE;
 }
 /**
  * 移除一台服务器(循环所有的虚节点,删除值为该服务器地址的虚节点)
  * @param $key
  * @return bool
  */
 public function removeServer($key)
 {
  if(isset($this->serverList[$key]))
  {
   //删除对应虚节点
   foreach($this->serverList[$key] as $pos)
   {
    unset($this->virtualPos[$pos]);
   }
   //删除对应服务器
   unset($this->serverList[$key]);
  }
  return TRUE;
 }
}

然后, 我们来测试一下该算法

$hashServer = new MyConsistentHash();
$hashServer->addServer('192.168.1.1');
$hashServer->addServer('192.168.1.2');
$hashServer->addServer('192.168.1.3');
$hashServer->addServer('192.168.1.4');
$hashServer->addServer('192.168.1.5');
$hashServer->addServer('192.168.1.6');
$hashServer->addServer('192.168.1.7');
$hashServer->addServer('192.168.1.8');
$hashServer->addServer('192.168.1.9');
$hashServer->addServer('192.168.1.10');
echo "增加十台服务器192.168.1.1~192.168.1.10";
echo "保存 key1 到 server :".$hashServer->lookup('key1') . '';
echo "保存 key2 到 server :".$hashServer->lookup('key2') . '';
echo "保存 key3 到 server :".$hashServer->lookup('key3') . '';
echo "保存 key4 到 server :".$hashServer->lookup('key4') . '';
echo "保存 key5 到 server :".$hashServer->lookup('key5') . '';
echo "保存 key6 到 server :".$hashServer->lookup('key6') . '';
echo "保存 key7 到 server :".$hashServer->lookup('key7') . '';
echo "保存 key8 到 server :".$hashServer->lookup('key8') . '';
echo "保存 key9 到 server :".$hashServer->lookup('key9') . '';
echo "保存 key10 到 server :".$hashServer->lookup('key10') . '';
echo '';
echo "移除一台服务器192.168.1.2";
$hashServer->removeServer('192.168.1.2');
echo "保存 key1 到 server :".$hashServer->lookup('key1') . '';
echo "保存 key2 到 server :".$hashServer->lookup('key2') . '';
echo "保存 key3 到 server :".$hashServer->lookup('key3') . '';
echo "保存 key4 到 server :".$hashServer->lookup('key4') . '';
echo "保存 key5 到 server :".$hashServer->lookup('key5') . '';
echo "保存 key6 到 server :".$hashServer->lookup('key6') . '';
echo "保存 key7 到 server :".$hashServer->lookup('key7') . '';
echo "保存 key8 到 server :".$hashServer->lookup('key8') . '';
echo "保存 key9 到 server :".$hashServer->lookup('key9') . '';
echo "保存 key10 到 server :".$hashServer->lookup('key10') . '';
echo '';
echo "移除一台服务器192.168.1.6";
$hashServer->removeServer('192.168.1.6');
echo "保存 key1 到 server :".$hashServer->lookup('key1') . '';
echo "保存 key2 到 server :".$hashServer->lookup('key2') . '';
echo "保存 key3 到 server :".$hashServer->lookup('key3') . '';
echo "保存 key4 到 server :".$hashServer->lookup('key4') . '';
echo "保存 key5 到 server :".$hashServer->lookup('key5') . '';
echo "保存 key6 到 server :".$hashServer->lookup('key6') . '';
echo "保存 key7 到 server :".$hashServer->lookup('key7') . '';
echo "保存 key8 到 server :".$hashServer->lookup('key8') . '';
echo "保存 key9 到 server :".$hashServer->lookup('key9') . '';
echo "保存 key10 到 server :".$hashServer->lookup('key10') . '';
echo '';
echo "移除一台服务器192.168.1.8";
$hashServer->removeServer('192.168.1.8');
echo "保存 key1 到 server :".$hashServer->lookup('key1') . '';
echo "保存 key2 到 server :".$hashServer->lookup('key2') . '';
echo "保存 key3 到 server :".$hashServer->lookup('key3') . '';
echo "保存 key4 到 server :".$hashServer->lookup('key4') . '';
echo "保存 key5 到 server :".$hashServer->lookup('key5') . '';
echo "保存 key6 到 server :".$hashServer->lookup('key6') . '';
echo "保存 key7 到 server :".$hashServer->lookup('key7') . '';
echo "保存 key8 到 server :".$hashServer->lookup('key8') . '';
echo "保存 key9 到 server :".$hashServer->lookup('key9') . '';
echo "保存 key10 到 server :".$hashServer->lookup('key10') . '';
echo '';
echo "移除一台服务器192.168.1.2";
$hashServer->removeServer('192.168.1.2');
echo "保存 key1 到 server :".$hashServer->lookup('key1') . '';
echo "保存 key2 到 server :".$hashServer->lookup('key2') . '';
echo "保存 key3 到 server :".$hashServer->lookup('key3') . '';
echo "保存 key4 到 server :".$hashServer->lookup('key4') . '';
echo "保存 key5 到 server :".$hashServer->lookup('key5') . '';
echo "保存 key6 到 server :".$hashServer->lookup('key6') . '';
echo "保存 key7 到 server :".$hashServer->lookup('key7') . '';
echo "保存 key8 到 server :".$hashServer->lookup('key8') . '';
echo "保存 key9 到 server :".$hashServer->lookup('key9') . '';
echo "保存 key10 到 server :".$hashServer->lookup('key10') . '';
echo '';
echo "增加一台服务器192.168.1.11";
$hashServer->addServer('192.168.1.11');
echo "保存 key1 到 server :".$hashServer->lookup('key1') . '';
echo "保存 key2 到 server :".$hashServer->lookup('key2') . '';
echo "保存 key3 到 server :".$hashServer->lookup('key3') . '';
echo "保存 key4 到 server :".$hashServer->lookup('key4') . '';
echo "保存 key5 到 server :".$hashServer->lookup('key5') . '';
echo "保存 key6 到 server :".$hashServer->lookup('key6') . '';
echo "保存 key7 到 server :".$hashServer->lookup('key7') . '';
echo "保存 key8 到 server :".$hashServer->lookup('key8') . '';
echo "保存 key9 到 server :".$hashServer->lookup('key9') . '';
echo "保存 key10 到 server :".$hashServer->lookup('key10') . '';
echo '';

运行结果如下

增加十台服务器192.168.1.1~192.168.1.10
保存 key1 到 server :192.168.1.2
保存 key2 到 server :192.168.1.1
保存 key3 到 server :192.168.1.6
保存 key4 到 server :192.168.1.8
保存 key5 到 server :192.168.1.9
保存 key6 到 server :192.168.1.10
保存 key7 到 server :192.168.1.7
保存 key8 到 server :192.168.1.4
保存 key9 到 server :192.168.1.7
保存 key10 到 server :192.168.1.4
移除一台服务器192.168.1.2
保存 key1 到 server :192.168.1.7
保存 key2 到 server :192.168.1.1
保存 key3 到 server :192.168.1.6
保存 key4 到 server :192.168.1.8
保存 key5 到 server :192.168.1.9
保存 key6 到 server :192.168.1.10
保存 key7 到 server :192.168.1.7
保存 key8 到 server :192.168.1.4
保存 key9 到 server :192.168.1.7
保存 key10 到 server :192.168.1.4
移除一台服务器192.168.1.6
保存 key1 到 server :192.168.1.7
保存 key2 到 server :192.168.1.1
保存 key3 到 server :192.168.1.3
保存 key4 到 server :192.168.1.8
保存 key5 到 server :192.168.1.9
保存 key6 到 server :192.168.1.10
保存 key7 到 server :192.168.1.7
保存 key8 到 server :192.168.1.4
保存 key9 到 server :192.168.1.7
保存 key10 到 server :192.168.1.4
移除一台服务器192.168.1.8
保存 key1 到 server :192.168.1.7
保存 key2 到 server :192.168.1.1
保存 key3 到 server :192.168.1.3
保存 key4 到 server :192.168.1.10
保存 key5 到 server :192.168.1.9
保存 key6 到 server :192.168.1.10
保存 key7 到 server :192.168.1.7
保存 key8 到 server :192.168.1.4
保存 key9 到 server :192.168.1.7
保存 key10 到 server :192.168.1.4
移除一台服务器192.168.1.2
保存 key1 到 server :192.168.1.7
保存 key2 到 server :192.168.1.1
保存 key3 到 server :192.168.1.3
保存 key4 到 server :192.168.1.10
保存 key5 到 server :192.168.1.9
保存 key6 到 server :192.168.1.10
保存 key7 到 server :192.168.1.7
保存 key8 到 server :192.168.1.4
保存 key9 到 server :192.168.1.7
保存 key10 到 server :192.168.1.4
增加一台服务器192.168.1.11
保存 key1 到 server :192.168.1.7
保存 key2 到 server :192.168.1.1
保存 key3 到 server :192.168.1.11
保存 key4 到 server :192.168.1.10
保存 key5 到 server :192.168.1.9
保存 key6 到 server :192.168.1.10
保存 key7 到 server :192.168.1.7
保存 key8 到 server :192.168.1.4
保存 key9 到 server :192.168.1.7
保存 key10 到 server :192.168.1.4

可以,看到,使用一致性哈希后,无认是增加服务器还是减少服务器都最大程度的保证了数据的完整性、均匀性.

相关内容

热门资讯

空调连续工作多久需要停机休息 空调连续工作的时间取决于多个因素,包括空调的型号、功率、使用环境和维护情况等。一般来说,空调可以连续...
空调哪个符号是除湿的 空调除湿功能通常用一个水滴形状的符号表示。不同品牌和型号的空调遥控器可能会有所差异,但一般来说,除湿...
格力空调多长时间加一次氟利昂 1、一般情况下,空调对氟利昂的使用量是非常小的,所以在空调使用了四年左右的时候再考虑加也没问题。2、...
空调用多长时间需要加氟一次 一般情况下是五年。当出现以下这几种情况时,空调才需要加氟。1、空调的室内机和室外机各有两个接口,当接...
格调生活·C标思享荟:卡萨帝在... 9月12日的郑州龙湖金融岛,夜风轻拂,灯光璀璨。“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑...
品牌价值破千亿、高端份额持续领... 9月12日,“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑州站”在郑州龙湖金融岛举办。2026...
空调主板坏了修800还是换新的 空调主板坏了是修还是换新,需要考虑多个因素,以下是一些建议:1. 维修成本:如果维修费用较低,比如 ...
空调开多久需要休息多长时间 问题:空调开多久需要休息多长时间回答:1、在使用空调的过程中,一般空调开7~8个小时左右需要休息2~...
中央空调多长时间清洗一次 1、一般空调开机前清洗一次即可,空调开机中间时段再清洗一次,空调关机时清洗一次,这样比较合理。2、空...
中央空调氟利昂多久加一次 看空调制热和制冷程度,很多人的观点认为氟利昂必须一年放一次,其实这个观点是错误的,理解上面有点偏差,...