GFS分布式文件系统集群(理论篇)
admin
2023-02-22 08:00:03
0

GlusterFS概述

GlusterFS简介

  • 开源的分布式文件系统
  • 由存储服务器,客户端以及NFS/Samba存储网关组成
  • 无元数据服务器

GlusterFS的特点

  • 扩展性和高性能
  • 高可用性
  • 全局统一的命名空间
  • 弹性卷管理
  • 基于标准协议

GlusterFS术语

  • Brick : 存储节点
  • Volume : 卷
  • FUSE : 内核模块,用户端的交互模块
  • VFS : 虚拟端口
  • Glusterd : 服务

模块化堆栈架构

  • 模块化、堆栈式的架构
  • 通过对模块的组合,实现负责的功能

GlusterFS工作模式

GlusterFS工作流程

GFS分布式文件系统集群(理论篇)

  • Application:客户端或应用程序通过GlusterFSync的挂载点访问数据
  • VFS:linux系统内核通过VFS API收到请求并处理
  • FUSE : VFS 将数据递交给FUSE内核文件系统,fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端
  • GlusterFS Client ; 通过网络将数据传递至远端的GlusterFS Server,并且写入到服务器存储设备上

弹性HASH算法

  • 通过HASH算法得到一个32位的整数
  • 划分为N个连续的子空间,每个空间对应一个Brick
  • 弹性HASH算法的优点
    • 保证数据平均分布在每一个Brink中
    • 解决了对元数据服务器的依懒,进而解决了单点故障以及访问瓶颈

GlusterFS的卷类型

分布式卷

  • 没有对文件进行分块处理
  • 通过扩展文件属性保存HASH值
  • 支持底层文件系统有ext3、ext4、ZFS、XFS等

分布式卷的特点

  • 文件分布在不同的服务器。不具备冗余性
  • 更容易和廉价地扩展卷的大小
  • 单点故障会造成数据丢失
  • 依懒底层的数据保护

创建分布式卷

  • 创建一个名为dis-volume的分布式卷,文件将根据HASH分布在server1:/dir1、server2:/dir2和server3:/dir3中
    gluster volume create dis-volume server1:/dir1 server2:/dir2

条带卷

  • 根据偏移量将文件分为N块(N个条带节点),轮询的存储在每个Brick Server节点
  • 存储大文件时,性能尤为突出
  • 不具备冗余性,类似Raid0

特点

  • 数据被分割成更小块分布到块服务器群中的不同条带区
  • 分布减少负载且更小的文件加速了存取的速度
  • 没有数据冗余

创建条带卷

  • 创建一个名为Stripe-volume的条带卷,文件将被分块轮询的存储在Server1:/dir1和Server2:dir2两个Brick中
    gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2

复制卷

  • 同一个文件保存一份或多分副本
  • 复制模式因为保存副本,所以磁盘利用率较低
  • 多个节点的存储空间不一致,那么将按照木桶效应取最低节点的容量作为该卷的总容量

特点

  • 卷中所有的服务器均保存一个完整的副本
  • 卷的副本数量可以有客户创建的时候决定
  • 至少由两个块服务器或更多服务器
  • 具备冗余性

创建复制卷

  • 创建名为rep-volume的复制卷、文件将同时存储两个副本
    gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

分布式条带卷

  • 兼顾分布式卷和条带卷的功能
  • 主要用于大文件访问处理
  • 至少最少需要4台服务器

创建分布式条带卷

  • 创建一个名为dis-stripe的分布式条带卷,配置分布式的条带卷时,卷中Brink所包含 的存储服务器数必须是条带数的倍数(>=2倍)
    gluster volume create rep-volume stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir1 server4:/dir2

分布式复制卷

  • 兼顾分布式卷和复制卷的功能
  • 用于需要冗余的情况下

创建分布式复制卷

  • 创建一个名为dis-rep的分布式条带卷,配置分布式条带卷的复制卷时,卷中Brink所包含的存储服务器必须是条带数的倍数(>=2倍)
    gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir1 server4:/dir2

相关内容

热门资讯

谷歌被罚9亿欧元后,特朗普称欧... 当地时间7月23日,欧盟委员会指控美国谷歌公司违反欧盟《数字市场法》,对其处以8.9亿欧元罚款。这一...
14对14,中国反击欧盟,干净... 对于欧盟的指手画脚,中国第一时间反击了。14:14。干净利落,来而不往非礼也。国际博弈,从来如此:没...
风未到,人已行!凌晨不眠!一场... 7月24日晚,台风“红霞”持续逼近,市应急管理局五楼会议室灯火通明,市应急管理局党委书记、局长李见秋...
省自然资源厅部署12号台风“红... 受今年第12号台风“红霞”影响,我省中部和南部地区有一轮强降雨过程,部分地区有较高的地质灾害风险。自...
长虹美菱获得发明专利授权:“一... 证券之星消息,根据天眼查APP数据显示长虹美菱(000521)新获得一项发明专利授权,专利名为“一种...
女童毕业照走光维权反遭辱骂,是... 毛乐然(南京传媒学院)杭州一家摄影机构拍摄的女童毕业照出现走光问题,家长维权反遭恶语相向,令人愤慨。...
给“AI”发身份证!国内首个智... 《人工智能 智能体互联》系列国家标准应用推进专题会议近日在北京中关村展示中心召开。现场发布GB/Z1...
探秘科技殿堂 点亮科学梦想—中... 为拓宽青少年科学视野,丰富课外实践内容,激发学生科技创新思维与探索精神,7月23日,原州区中河乡中心...
小米申请音频处理方法专利,能够... 国家知识产权局信息显示,北京小米移动软件有限公司申请一项名为“音频处理方法、装置、电子设备、存储介质...
中纪委最新通报:上半年立案省部... △图1:全国纪检监察机关处分人员按职级划分图△图2:全国纪检监察机关运用“四种形态”占比图2026年...