Hadoop数据存储—Hbase
admin
2023-05-29 22:02:20
0

 大家都知道Hadoop是一个数据库,其实说的的就是Hbase。它和我们平常理解的关系型数据库有什么区别呢?

Hadoop数据存储—Hbase

1.它是NoSQL的,它没有SQL的接口,有自己的一套API。

2.关系型数据库可以做汇总,可以进行常规的分析,但是Hbase不可以,它不能做汇总。那么Hbase操作不方便,不能做汇总,不能做分析,有什么作用呢?它的随机读写效率很高,可以存储海量数据,基于某个网点,某个城市,某个机器随机去查询速度快。或者去存储基于时间序列的数据,比如微信、微博、日志的数据,效率很高。

3.它的存储是列式的,平常我们接触的MySQL,Oracle,RDBMS都是行存储。行存储和列存储的区别是:行存储适合在线事务的场景,适合随机的访问,比如去银行修改账户记录,修改个人信息,这个修改就是从数据库中找到你信息所在的行。列存储就是以列为单位进行连续存储,如果以列存储放到银行这个场景中会是怎样的一种效果呢?如果想要修改信息,那么定义到用户所在行信息,就会扫描到整个表,所以行存储主要用于在线事务处理,而列存储适用于数据分析。因为在大数据的数据库场景中,我们会构建很宽的事实表,通过信息模型有个中心,围绕这个中心扩散出很多维度,这个中间表是一个很宽的表,在我们进行特定业务分析的时候,比如分析广告业务推广的情况,可能只需要从很多资料中选取一部分变量进行分析,如果使用行存储,那么就是全表扫描,而使用列存储会选取特定部分,效率很高。

          HBase vs RDBMS

Hadoop数据存储—Hbase

通过以上描述,我们分析一下hbase的特点:

(1)存储海量数据:Pb+

(2)高吞吐:每秒每个节点上千次写

(3)适合处理稀疏数据(半结构化数据):存储一行的空列没有空间浪费。因为半结构化数据有大量的空存在,那么使用结构化数据存储到关系型数据库,就会有大量的空间浪费,而且不适合做分析。

但是hbase访问模式是受到限制的,它对基于行键的查找做了优化,而不是全文查询;没有事务,只支持单行操作。

说了这么多,那么我们为什么使用Hbase呢?这里我们做一个对比:

(1)使用HDFS

你只需要追加到数据集(没有随机写)

通常读取整个数据集(没有随机读)

(2)使用HBase

你需要随机写或读

每秒对TB级的数据执行上千次操作

(3)使用RDBMS

数据放在一个大节点上

需要全部的事务支持

需要实时查询的能力

这就是个人对于Hbase的一些认知和了解,写出来和大家共同分享,希望可以共同进步。不过我个人平常也会关注CSDN论坛以及“大数据cn”、“大数据时代学习中心”这些微信公众号,从中我了解和学习了很多东西,也让自己的技术能力更上了一层楼,推荐大家看看。


相关内容

热门资讯

特斯拉监督版FSD官宣入华!智... 特斯拉官方5月21日通过社交媒体公布了监督版全自动驾驶系统(FSD)的最新全球化布局,其中明确提及该...
美国悍然起诉卡斯特罗,航母逼近... 华盛顿以“法律”的名义对古巴使出重手。美国司法部周三指控古巴革命领袖劳尔·卡斯特罗犯有“谋杀罪”,指...
广州举办高校专场海洋科技产业供... 2026年5月15日,广州市规划和自然资源局(广州市海洋局)在城市规划展览中心组织召开2026年第二...
AI如何赋能制造?重庆这场活动... 5月21日下午,2026重庆市“AI+制造”供需对接专场活动在重庆国际博览中心举行。作为第八届中国西...
原创 2... 原汁原味的手机价格战,在618终于回来了,今年上半年阿维推荐手机的频率不高,不是因为我懒,纯粹是因为...
港商云南行|范思达 :AI赋能... AI赋能产业升级 开拓发展新赛道 ——访云南览易网络科技有限责任公司副总经理范思达 5月12日,作为...
国际茶日上线4款特调茶,霸王茶... 来源:新浪科技 5月21日,霸王茶姬上线4款“走走系列”世界茶特调新品。同时,品牌还宣布geelat...
台推红包政策抢救少子化危机,民... 据凤凰卫视报道,台湾少子化问题严重,民进党当局宣布,将规划针对0到18岁的孩童,每人每月发放5000...
从经贸合作到点名日本,中俄42... 【文/观察者网 王慧】5月19日至20日,俄罗斯总统普京对华进行国事访问,这是普京总统第25次到访中...
税务局工作人员上班时脚跷在桌上... 极目新闻记者 余渊5月21,国家税务总局海口市税务局发布情况通报:近期,有群众反映,我局一名工作人员...