mongodb与mysql全表扫描能力PK
admin
2023-04-12 05:23:08
0

nosql的数据在内存里,而传统rdbms,某个select第一次执行的时候,如果发现内存里没有需要的数据(比如mysql的innodb buffer pool),会去从磁盘读取,然后再开始计算,这样子从原理上就必然比nosql要慢一些,但是,会慢多少呢?可以用一个分组统计的全表扫描来PK下。


测试环境如下:

server:阿里云服务器(Ubuntu14.04+1核cpu和 1G内存)

mysql:5.5.41

mysql服务端参数:innodb_buffer_pool_size = 512M   (其余都默认)

mongodb:2.4.9


这里用一个1000多万行记录的表作为测试对象,这个表只有一个字段:imsi。

在mysql里建测试对象,导表:

create database db_test;

create table ul_inbound(imsi varchar(15));
load data infile '/tmp/inbound.sub.log' into table ul_inbound(imsi);


测试结果:

mysql> select imsi,count(*) from ul_inbound group by imsi having count(*) >5000;
+-----------------+----------+
| imsi            | count(*) |
+-----------------+----------+
| 250017831851018 |     5166 |
| 283100106389033 |    21291 |
| 302720304966683 |    41598 |
| 302720502859575 |     8787 |
| 302720505260881 |     7932 |
| 310170801568405 |     6018 |
| 310170802085117 |    13452 |
| 310170802299726 |    13824 |
| 310410577936479 |     5772 |
| 310410610359421 |     5790 |
| 310410661857060 |     7038 |
| 310410669731926 |     7788 |
| 310410671702203 |     6705 |
| 310410673812082 |     5403 |
+-----------------+----------+
53 rows in set (1 min 47.73 sec)


花了107秒。


在mongodb里导入数据(导入到my_mongodb的sub里):

#!/usr/bin/python
# Python:2.7.6
# Filename:mongodb.py
import pymongo
import random

conn = pymongo.Connection("127.0.0.1",27017)  #Connection() without parameters will default connect localhost mongodb
db = conn.my_mongodb
for imsi in open('inbound.sub.log'):
    imsi = imsi.strip('\n')
    db.sub.insert({'imsi':imsi})


> use my_mongodb;
switched to db my_mongodb
> db.sub.aggregate( [ { $group: { _id: "$imsi",  count: { $sum: 1 } } }, { $match: { count: { $gt: 5000 } } } ]);
{
        "result" : [
                {
                        "_id" : "401025006559964",
                        "count" : 17982
                },
                {
                        "_id" : "310410757405261",
                        "count" : 7269
                },


10秒左右搞定。


注:

1)这个只是为了测试全表扫描能力,实际mysql查询能力会受到索引、服务端参数等诸多因素的影响。

2)mongodb的使用,必须内存管够,如果内存不够,要用swap,能力会大受影响。



相关内容

热门资讯

徐巧芯剖析赖清德:最怕自己丢掉... 海峡导报综合报道 大罢免投票一周年纪念活动26日举行,台北市长蒋万安出席并怒轰,民进党一年过后仍没有...
中国红十字会总会紧急向广东调拨... 记者从中国红十字会总会了解到,针对台风“红霞”给广东造成的灾情,中国红十字会总会启动四级应急响应,紧...
这些少年,正被“毒蛋”围猎 李梦抽了几口电子烟,吐出了白色的烟雾,有一股浓烈的水果香味。随后,她看着自己握电子烟的手,跟身边人说...
蒋万安号召“倒阁”,卢秀燕认为... 海峡导报综合报道 台北市长蒋万安27日抛出震撼议题,表示多名民代向他提议推动“倒阁”,要求台行政机构...
特朗普将在白宫会见两位重要客人 俄乌战争仍未结束,美伊冲突又有升级风险。在此背景下,美国总统特朗普将在白宫接见乌克兰和以色列领导人。...
新租客打扫卧室柜子上掉落4万元... 近日,莲前西路某小区内,张倩签下一套房子的租赁合同。当天上午,她带着12岁的大女儿周馨怡和11岁的小...
六部门通告:禁止涉军队退役报废... 关于禁止涉军队退役报废装备销售活动的通告近年来,部分经营者在线上线下公开销售涉及我军退役报废装备(指...
九寨沟景区发生泥石流,部分道路... 7月26日,九寨沟风景名胜区管理局发布泥石流灾害通报:2026年7月26日15时50分,九寨沟景区局...
空调26度不凉是什么原因 从空调内部元器件来说,不凉的原因有可能是温度传感器出现故障了,也有可能是空调压缩机或者铜管出现问题,...
鲸鸿动能携手香港国际机场、鸿蒙...   2026 年 7 月 25 日,十余位鸿蒙车主组成的车队从珠海出发,经港珠澳大桥通关抵达香港国际...