处理Zabbix历史数据库办法一
admin
2023-06-10 16:43:31
0

一 问题描述

随着Zabbix监控的主机和监控项目增多,Zabbix的历史数据会越来越多,MySQL数据库磁盘空间很容易就爆满,同时Zabbix前端查询数据会变得越来越慢。特别是通过Zabbix的API生成自定义Screen的情况下,打开每个Screen非常慢

查看Zabbix数据库目录文件

# ls -lh|grep G
total 248G
-rw-rw---- 1 mysql mysql 4.7G May  5 21:34 alerts.ibd
-rw-rw---- 1 mysql mysql 3.4G May  5 21:34 events.ibd
-rw-rw---- 1 mysql mysql  95G May  5 21:34 history.ibd
-rw-rw---- 1 mysql mysql  25G May  5 21:34 history_text.ibd
-rw-rw---- 1 mysql mysql 112G May  5 21:34 history_uint.ibd
-rw-rw---- 1 mysql mysql 2.9G May  5 21:34 trends.ibd
-rw-rw---- 1 mysql mysql 4.3G May  5 21:34 trends_uint.ibd


整个Zabbix数据库目录大小为248G,history和history_text以及history_uint几张表就占用了大部分磁盘空间



二 解决办法

如果不想保留太长时间的历史数据,例如只保留一个月的历史数据可以使用以下方法

1.停掉zabbix server

service zabbix-server stop


这里需要特别注意一下,在部署Zabbix架构的时候最好选择Zabbix server ---- Zabbix proxy --- Zabbix --- agent的架构。即使只有几台主机最好也部署一个proxy,根据不同应用或者不同的机房可以部署多个proxy。部署zabbix有以下几个好处:

proxy专门收集和暂存agent发来的数据,可以减轻server端的压力

使用proxy可以实现分布式监控,例如监控不同网络互相不通的服务器

增强安全性,不直接暴露zabbix server的信息

维护的时候很方便,例如清理zabbix的历史数据,zabbix停掉后的监控数据可以设置在proxy端保留时间长些,等维护好后proxy会同步数据到server端,尽量减少数据丢失。


处理Zabbix历史数据库办法一


在停掉zabbix server之前需要注意zabbix proxy的两个参数

ProxyLocalBuffer=3

设置zabbix proxy暂存在本地mysql的监控数据的时间。默认是0,不暂存。即使zabbix proxy已经把数据发送给了zabbix server,还是会暂存数据在本地设置的时间。取值范围是0~720小时


ProxyOfflineBuffer=5

设置当zabbix proxy与zabbix server无法连接时保留监控数据的时间间隔。默认是1小时,取值是1~720小时。这个参数特别有用,我就是在之前的几次维护中,停掉zabbix server后没有设置zabbix proxy的这个参数,所以当维护结束后启动zabbix server,会发现有段时间内的数据没有。这是因zabbix proxy按照默认的保留时间执行housekeeper把过期的数据删除了。

这个时间根据最好根据要维护的时间来设定,比如要维护10个小时,那么就要设置ProxyOfflineBuffer=10

这样就不至于这10个小时之间的数据都丢失了。也有一个问题,如果时间间隔太大的话,zabbix proxy重新推送数据到zabbix server会导致双方的服务器压力都会增大。








2.创建新表

create table history_new like history;

create table history_uint_new like history_uint;

create table history_text_new like history_text;


3.将近期(一个月)的数据插入到新的表中

insert into history_new select * from history where clock > '1459785600';

insert into history_text_new SELECT * FROM history_text WHERE clock > '1461945600';

insert into history_uint_new SELECT * FROM history_uint WHERE clock > '1461945600';


这里的clock是UNIX时间戳



这里根据数据量的大小可以能会花费好几个小时的时间




4.重新更改表名

alter table history rename history_old;

alter table history_new rename  history;


alter table history_uint rename history_uint_old;

alter table history_uint_new rename history_uint;


alter table history_text rename  history_text_old;

alter table history_text_new rename  history_text;


5.重新启动zabbix server

重新启动zabbix后,有段时间会不停地报zabbix agent不可用的报警信息,过段时间就会恢复正常。


6.删除旧表

drop table history_old;

drop table history_text_old;

drop table history_uint_old;



另外可以更改items表的history字段

UPDATE items SET history = '15' WHERE history > '30'


这样就将每个item的history保留时间设置为15天。但是这样设置的话如果想看几个月之前的数据就看不到了。




这种方法处理起来效率非常低,必须要停掉zabbix server,然后导入一个月内的数据到新的表,如果数据量很大会很花时间。



上一篇:mysql优化简析

下一篇:Redis的持久化RDB

相关内容

热门资讯

直击重庆永川特大暴雨:一院子5... 5月24日凌晨,重庆市永川区特大暴雨导致3人死亡17人失联,目前搜救工作又有新进展。5月25日上午1...
网红打卡点,女厕所藏针孔摄像头 近日,有女性博主发布声明,称在成都市金牛区某饮品店拍摄时,被他人在店铺厕所安装的针孔摄像头偷拍,相关...
解决问题是AI产品最朴素的竞争... 来源:科技日报 我们在日常生活中可能会遇到这样的情形,AI手机、AI眼镜、AI音箱持续出新,号称具备...
女子产后康复时突发呼吸心跳骤停... 时年39岁的车女士,生下小儿子不久成了植物人。2022年7月24日,她在洛阳市妇幼保健院做产后康复期...
被以扣押澳活动人士回国,称遭数... 据凤凰卫视报道,参与“全球坚韧船队”援助加沙行动期间,被以色列扣押的11名澳大利亚活动人士近日陆续返...
智汇青联 | 一块提花布,看传... 智汇 青联 绍兴市青年联合会 青春逢盛世,学习正当时。为进一步汇聚青联智慧,赋能青年成长成才,绍兴市...
大庆油田成功构建开发区级三维精... 中新网大庆5月25日电 (王立峰)25日,记者从大庆油田了解到,为进一步盘活杏南开发区区域内难动用储...
原创 硅... 一、硅酸盐的奥秘 硅酸盐是由硅、氧和金属元素组成的化合物大家族,构成了地球岩石圈的主要成分,约占地壳...
原相3955XM+TL3228... 一、前言:小米电竞外设重新起步 小米一直被网友戏称为杂货铺,它提供了五花八门的各种产品,各个领域都有...
修理厨房灯具多少钱 修理厨房灯具的费用会因多种因素而异,以下是一些可能影响价格的因素:1. 灯具类型:不同类型的灯具,如...