Python中如何使用mongodb模块
admin
2023-04-11 20:24:02
0

涉及到python和mongodb,那么安装相应的模块四必不可少的,最简单的安装方法,或者非pip不可了。

# pip install pymongo==3.0.4

顺便也记录下源码安装的方式

# wget https://pypi.python.org/packages/source/p/pymongo/pymongo-2.8.tar.gz#md5=23100361c9af1904eb2d7722f2658114 --no-check-certificate
# tar xf pymongo-2.8.tar.gz
# cd pymongo-2.8
# python setup.py install

摘自一则日志

35783   s100    android 47  5   192.168.1.100   2015-09-05 08:03:19    strengthenHeroByHeroes  {"consume_gold":{"ogold":2893821,"cgold":1700,"gold":2892121,"tag":"strengthenHeroByHeroes"},"taskInfo":[{"id":2310033,"progress":2,"status":0}],"delHeroList":{"id":102014,"id":102014,"id":102014,"id":102010,"id":102010},"id":100026,"olevel":46,"oexp":1700,"cexp":1700,"level":46,"exp":3400} 865982021462182     XiaoMi

入库mongodb的python脚本

[root@localhost opt]# cat analytical.py 
#!/usr/bin/env python
#coding:utf8

import os,sys,json
from datetime import * 
from pymongo import MongoClient

def ConMongo(host,port,cur_db,username,password):
    client = MongoClient(host,port)
    db = client[cur_db]
    db.authenticate(username,password)
    table = db.gamelogs
    return table

def parseLog(logfile,table):
    dic = {}
    dl = []
    with open(file_log) as fd:
        for line in fd:
	    try:
	        tokens = line.strip().split('\t')
	        uid = tokens[0]
	        server = tokens[1]
	        system = tokens[2]
	        level = int(tokens[3])
	        vip_level = tokens[4]
	        ip = tokens[5]
	        time = datetime.strptime(tokens[6], "%Y-%m-%d %H:%M:%S")		#将时间字符串转换成时间格式
	        action = tokens[7]
	        result = json.loads(tokens[8])						#特殊字符串转换成json格式
	        uuid = tokens[9]
		if len(tokens) == 12:
	        channel = tokens[11]
		else:
		    channel = ''
	        dic = {'uid':uid,'server':server,'system':system,'level':level,'vip_level':vip_level,'ip':ip,'time':time,'action':action,'result':result,'uuid':uuid,'channel':channel}
		dl.append(dic)
		if len(dl) == 10000:
		    table.insert_many(dl)
		    dl = []
	    except Exception,e:
		    print e, line
	if len(dl) > 0:
	    table.insert_many(dl)

if __name__ == '__main__':
    table = ConMongo('localhost',27017,'talefundb','talefun','123456')
    try:
	    logfile = sys.argv[1]
        parseLog(logfile,table)
    except IndexError,e:
	    print e

注意事项:

(1)insert_many参数是mongodb 3.0.4中新加的,允许你将一个大列表直接insert到mongodb数据库中
(2)脚本中做了限制,如果字典中有2000个值,就向mongodb插入一次数据,这样在效率上得到了保证
(3)不建议直接复制脚本测试,很多粘贴出来后,很多制表符等会出现问题。我会吧脚本放在云盘上大家可以下载,测试用。

Python中如何使用mongodb模块

相关内容

热门资讯

辟谣!河南公布7起网络谣言典型... 4月,河南持续做好涉企业、“三农”、公共政策、社会热点、文化旅游网络谣言的发现辟除,有力打击谣言传播...
企业买AI,从“尝鲜”变成“算... 【大河财立方 记者 陈薇】以前企业采购人工智能大模型,大多只是抱着试一试的心态:这笔费用归在创新预算...
宇树发布全球首款量产版载人机甲... 【大河财立方消息】 5月12日,据宇树科技官微,宇树发布GD01载人变形机甲,定价390万元起。据介...
中国驻荷兰使馆提醒:在荷中国公... 根据世界卫生组织近日通报,一艘极地探险邮轮上出现了汉坦病毒感染病例。截至5月11日,造成至少8例感染...
新乡市城管局公布典型案例:非法... 近日,新乡市城市管理局对外公布一起危害城市水环境安全的污染环境典型案例。该案经多部门联合溯源、侦办、...
敲诈900多家网店 买家恶意下... 先是申请“仅退款”企图免费得到商品,被商家拒绝后就投诉店铺、恶意下单、索要“和解费”,网店老板曹先生...
公司购买50箱“飞天茅台”,竟... 邢台一公司购买50箱飞天茅台酒,经鉴定竟有41箱为假冒茅台酒,仅9箱为真茅台酒。经查,涉案男子龚某从...
穿越周期 不止“万亿” ——从... 洛阳钼业巴西金矿一角。市民在郑州金融岛参加由好想你公司主办的“好好生活”户外活动。光力科技半导体晶圆...
魏平政出线几率高!国民党整合拼... 海峡导报综合报道 国民党迟未公布彰化县长人选,地方盛传,周三国民党中常可能会有答案,引发关注。对此,...
人均奖金600万,知道内存为什... 唯物的中国芯片产业深度观察AI带动存储狂飙,韩国存储大厂SK海力士也跟着起飞。近日,有投行预测其年终...