初学HDFS的读过程和写过程的分析
admin
2023-08-02 20:00:37
0次
刚刚接触HDFS,感觉HDFS的数据可靠性非常高，记录一下..
一HDFS的基本原理
HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）。名称节点作为中心服务器，负责管理文件系统的命名空间及客户端对文件的访问。集群中的数据节点一般是一个节点运行一个数据节点进程，负责处理文件系统客户端的读/写请求，在名称节点的统一调度下进行数据块的创建、删除和复制等操作。每个数据节点的数据实际上是保存在本地Linux文件系统中的。
二HDFS写操作
写文件的过程：是一种流水线复制
三HDFS读操作
HDFS 的文件块多副本分散存储机制保障了数据存储的可靠性，当读取文件时 DataNode 挂了只需要失败转移到其他副本所在的
DataNode 继续读取，而对于发生副本块错误，读取到的文件数据块若校验失败可认定为损坏，依然可以转移到读取其他完好的副本，并向 NameNode
汇报该文件 block 损坏，后续处理由 NameNode 通知 DataNode 删除损坏文件 block，并根据完好的副本来复制一份新的文件
block 副本。
相关内容
热门资讯
拦得住AI眼镜作弊，护得住学生...
如果考场上的较量，比的不是谁学得好，而是比谁的装备更先进，那考试还剩下什么？“你的眼镜有问题，交卷走...
错失绝杀机会后，哥伦比亚球员收...
2026美加墨世界杯1/8决赛中，哥伦比亚队不敌瑞士队，止步十六强。据美国娱乐和体育电视台（ESPN...
中国工程院产生新“掌门”
中国工程院第十八次院士大会7月11日在北京闭幕。大会宣布，中国工程院产生新一届院领导班子，张玉卓任院...
“村民杀害村支书案”，维持死刑...
2024年7月，广东揭阳市普宁市马栅村发生一起血案，54岁村民黄某欢将时任村支书黄某其杀害，并捅伤一...
定频空调制热时外机频繁启动正常...
空调制冷或者制热时一旦达到设定的温度外就会停机，当温度下降后又重新启动，这是很正常的现象。但是这种情...
海信电视开机频繁启动
原因可能是电视的启动系统错误，可以将电视机的电源切断来解决；原因可能是电视的系统崩溃了，可以找专业的...
冰箱频繁启动不制冷是怎么回事
1、首先需要检查电源线连接是不是正常，这时可以打开冰箱的门，然后观察冰箱内的照明灯是否点亮，或者直接...
苹果手机如何越狱 苹果手机越狱...
苹果手机如何越狱相信有很多小伙伴对此存在疑惑，接下来就跟着小编一起了解一下苹果手机越狱方法说明！ ...
苹果手机怎么把sim卡联系人导...
苹果手机怎么把sim卡联系人导入手机？苹果手机的 系统 和功能是很多用户都比较喜欢的，很多新用户都是...
新加坡前外长解读哈梅内伊葬礼：...
伊朗已故最高领袖哈梅内伊的葬礼已经结束，出席人数约4300万人，是人类史上最大规模的葬礼。有分析认为...