Mongodb实现分片功能
admin
2023-05-26 16:41:27
0

这篇文章为大家带来有关Mongodb实现分片功能的详细介绍。大部分Mongodb知识点都是大家经常用到的,为此分享给大家做个参考。一起跟随小编过来看看吧。

MongoDB 分片概述


分片

在Mongodb里面存在另一种集群,就是分片技术,可以满足MongoDB数据量大量增长的需求。

当MongoDB存储海量的数据时,一台机器可能不足以存储数据,也可能不足以提供可接受的读写吞吐量。这时,我们就可以通过在多台机器上分割数据,使得数据库系统能存储和处理更多的数据。


为什么使用分片

  • 复制所有的写入操作到主节点

  • 延迟的敏感数据会在主节点查询

  • 单个副本集限制在12个节点

  • 当请求量巨大时会出现内存不足。

  • 本地磁盘不足

  • 垂直扩展价格昂贵


MongoDB分片

下图展示了在MongoDB中使用分片集群结构分布:

Mongodb实现分片功能

上图中主要有如下所述三个主要组件:

  • Shard:

    用于存储实际的数据块,实际生产环境中一个shard server角色可由几台机器组个一个replica set承担,防止主机单点故障

  • Config Server:

    mongod实例,存储了整个 ClusterMetadata,其中包括 chunk信息。

  • Query Routers:

    前端路由,客户端由此接入,且让整个集群看上去像单一数据库,前端应用可以透明使用。

分片实例

192.168.1.100 :   mongos

192.168.1.110 :   config server

192.168.1.101 :   Shard1

192.168.1.102 :   Shard2

以上四个主机上都以安装mongodb数据库。

一.配置config server

编辑配置文件mongod.conf:

vim /etc/mongod.conf

添加如下并启用config server服务:

configsvr=true

重新启动mongodb服务:

service mongod restart

注:默认监听27019端口。也可以使用如下命令启动mongod进程。

# mongod --configsvr --dbpath  --port 

此时,默认端口由27017变为27019:

Mongodb实现分片功能

二.配置mongos实例

安装mongos:

yum install mongodb-org-mongos-2.6.1-1.x86_64.rpm

启动mongos:

mongos --configdb=192.168.1.110 --fork --logpath=/var/log/mongodb/mongos.log

注:mongos属于轻量级应用,完全可以与其它服务运行于同一节点;启动时,需要为mongos实例指明各config服务器的访问地址;

默认情况下,mongos监听于27017端口;可以使用如下命令启动mongos实例。

# mongos --configdb 

也可以直接编辑配置文件:

1、注释dbpath指令;

2、添加configdb指令,并指定config服务器的地址;

而后使用如下命令启动mongos实例:

# mongos -f /etc/mongod.conf

登录mongos并配置shard节点:

mongo --host 192.168.1.100
mongos> sh.addShard("192.168.1.101")
{ "shardAdded" : "shard0000", "ok" : 1 }
mongos> sh.addShard("192.168.1.102")
{ "shardAdded" : "shard0001", "ok" : 1 }

查看shard状态:

mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
"_id" : 1,
"version" : 4,
"minCompatibleVersion" : 4,
"currentVersion" : 5,
"clusterId" : ObjectId("58d4bd8a102ad4bdad74aa1d")
}
  shards:
{  "_id" : "shard0000",  "host" : "192.168.1.101:27017" }
{  "_id" : "shard0001",  "host" : "192.168.1.102:27017" }
  databases:
{  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }

启动sharding功能:

mongos> sh.enableSharding("testdb");
{ "ok" : 1 }

注:mongodb的shard功能实现于collection级别,但若要在collection上启动shard,还需要事先其相关的数据库上启用之。在数据库上启用shard功能后,MongoDB会为其指定一个主shard。

启用过程需要mongos实例上实现,可以使用sh.enableSharding()方法,也可以使用db.runCommand()的“enableSharding命令,它们的使用格式分别如下所示:

sh.enableSharding("")
db.runCommand( { enableSharding:  } )

此时,再次查看shard状态为:

mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
"_id" : 1,
"version" : 4,
"minCompatibleVersion" : 4,
"currentVersion" : 5,
"clusterId" : ObjectId("58d4bd8a102ad4bdad74aa1d")
}
  shards:
{  "_id" : "shard0000",  "host" : "192.168.1.101:27017" }
{  "_id" : "shard0001",  "host" : "192.168.1.102:27017" }
  databases:
{  "_id" : "testdb",  "partitioned" : true,  "primary" : "shard0000" }

测试:

在collection上进行sharding:

mongos> sh.shardCollection("testdb.student",{"age":1})
{ "collectionsharded" : "testdb.student", "ok" : 1 }

插入数据:

mongos> for (i=1;i<=100000;i++) db.student.insert({name:"student"+i,age:(i%120),classes:"class+(i%10)"});
WriteResult({ "nInserted" : 1 })

此时我们再次查看sharding状态如下:

Mongodb实现分片功能

关于Mongodb实现分片功能就分享到这里了,解决问题并不止文章中和大家分析的办法,不过本文分析的方法准确性是不容置疑的。如果喜欢本篇文章,不妨把它分享出去让更多的人看到。

相关内容

热门资讯

卡口灯座如何安装 卡口灯座的安装步骤如下:1. 关闭电源:在安装卡口灯座之前,确保关闭电源以避免触电危险。2. 拆卸旧...
硬装修包括哪些 最佳回答 硬装修主要包括房屋基础设施装修和房屋的结构布局、功能等等方面的装修。所以硬装修主要是防水...
墙排式马桶安装步骤 根据家中的卫生间布局,确定墙排马桶的安装位置,再弄好排水管;隐蔽式水箱的安装过程相对来说较简单;找好...
厨房下水管道水垢堵塞疏通方法 遇到这种问题时,可以这样解决:先将下水道连接的胶管拿上来,将管道疏通器,慢慢伸进去,直到伸到底下,推...
即热式电热水器水垢清除有哪些妙... 1.将电热水器断电,打开热水龙头排水,打开泄压阀门,关闭冷水阀门;2.用扳手扭下排污口螺丝,取出镁棒...
成功产生并鉴别稀有原子核!我国... 成功产生并鉴别稀有原子核!我国大国重器取得新成果 近日,中国科学院近代物理研究所科研团队与合作者依托...
外贸急单出货,太阳能路灯快速检... 这是(创阳照明电器是市政路灯太阳能路灯厂家,专业生产太阳能路灯,市政路灯,智慧路灯,庭院景观灯!源头...
贵州印发“人工智能+制造”实施... 本报贵阳8月4日电 (记者陈隽逸)贵州省工业和信息化厅等8部门日前印发《贵州省“人工智能+制造”实施...
特朗普所乘直升机遭遇飞行安全事... 新华社北京8月5日电 美国总统特朗普所乘直升机4日在华盛顿遭遇飞行安全事件。白宫表示该事件不涉及人身...
大厂警告:磷化铟供应短缺比存储... 近期,Lumentum首席执行官Michael Hurlston对外发出严厉警示:磷化铟(InP)的...