logstash使用date处理时间有几种方式?
admin
2023-02-03 08:42:38
0

logstash使用date处理时间有几种方式?针对这个问题,今天小编总结了这篇文章,希望能帮助更多想解决这个问题的朋友找到更加简单易行的办法。

1、第一种,直接在配置文件中自定义时间格式

logstash使用date处理时间有几种方式?

这是tomcat配置文件中的一段日志时间配置,按照这样的配置,那么输出的日志是这样子的:

logstash使用date处理时间有几种方式?

然后你继续在logstash中这样子配置

logstash使用date处理时间有几种方式?

此时logstash就不会报"_dateparsefailed"错误了。

这种形式在nginx、apache等web服务器中配置是最好的,也比较方便分析。

2、第二种,带有中括号的(其实跟上面是一回事)

日志本身输出是这样子的

[07/Feb/2018:16:24:19 +0800]

带有一对中括号

那么在grok插件中这样子定义就行:

\[%{HTTPDATE:timestamp}\]

date插件可以直接转换,如下:

logstash使用date处理时间有几种方式?

最后的效果是这样子的

logstash使用date处理时间有几种方式?

这样子也不会报错

3、ISO8601形式

在日志文件中原生日志是这样子的:

2019-03-19 13:08:07.782

重点是后面的”.782“,后面附加以毫秒为单位的。

 那么grok插件中可以这样子定义匹配的规则:

logstash使用date处理时间有几种方式?

此时date插件可以这样子定义:

 date {
                match => [ "access_time","MMM  d HH:mm:ss", "MMM dd HH:mm:ss", "ISO8601"]
        }

上面的形式没有写错,直接复制粘贴到配置文件即可

最后匹配如下:

logstash使用date处理时间有几种方式?

这样子也不会报”_dateparsefailed“错误。

最后附加一张时间匹配规则表,平时可做参考

logstash使用date处理时间有几种方式?

4、根据时间戳来转换数据。

在mysql的慢查询日志中收集时,由于某些情况下只能根据时间戳来确定时间,那么我们就必须使用转换的方案了。主要是将时间戳转换成UNIX风格的时间,比如:

mysql慢查询日志的时间是这样子的:

logstash使用date处理时间有几种方式?

那么我们在logstash的配置文件中使用的date插件这样子来写:

logstash使用date处理时间有几种方式?

这样子就可以匹配成功了。

上面的“timestamp_mysql”是我在grok插件中的匹配后的时间赋值,比如:

%{NUMBER:timestamp_mysql};

4、ISO8601形式

时间日志:

2018-02-09T10:57:42+08:00

此时在grok中可以这么写:

grok {
        match => { "message" ; "{TIMESTAMP_ISO8601:localtime}
}

而在时间转存到@timestamp有两种写法可以供使用

date {
        match => ["localtime", "yyyy-MM-dd'T'HH:mm:ssZZ"]
        target => "@timestamp"
}

或者是

date {
        match => ["localtime", "ISO8601"]
    }

都可以实现ISO8601时间的匹配格式

 看完上述内容,你们掌握logstash使用date处理时间的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注行业资讯频道,感谢各位的阅读!

相关内容

热门资讯

阿联酋航空发文致歉 7月23日,阿联酋航空发布致歉信:原计划于7月22日从迪拜飞往上海的阿联酋航空EK302航班,因恶劣...
给“南海仲裁案”递刀子的美国人... 执笔/李小飞刀7月12日晚,菲律宾内格罗斯东方省锡布兰镇的一处公寓内,突然响起一阵枪声,美国海洋生物...
特朗普称沙特加入《亚伯拉罕协议... △美国总统特朗普(资料图)当地时间7月23日,美国总统特朗普在社交媒体“真实社交”上发文表示,美国能...
硬核首发+增购订单!成都企业上... 7月22日,2026国际低空经济博览会在上海开幕,来自成都的沃飞长空集中发布三大重磅成果:全新AE2...
国际观察:中拉人工智能合作持续... 张冰倩 为进一步支持全球人工智能发展、推进全球人工智能能力建设,未来5年,中国将面向发展中国家提供5...
共商汽车产业全球合作新路径 G... 当前,汽车产业正加速向绿色化、智能化、国际化、融合化发展,汽车供应链受到大国竞争与地缘政治冲突扰动。...
内蒙古耕种收综合机械化率达91... 7月22日,记者从2026年中国农机推广田间日活动上获悉,内蒙古农作物耕种收综合机械化率达到91%,...
华为黄健:在算力、存力和运力三... 7月17日至20日,以“智能伙伴,共创未来”为主题的2026世界人工智能大会(WAIC)暨人工智能全...
苹果、谷歌都没留住月之暗面创始... 英国《金融时报》7月23日刊发评论《为什么美国正在失去中国人工智能明星?》,文章谈到,月之暗面(Mo...
陪伴大家十几年的充电宝,大概要... 要说这两年最尴尬的数码配件,托尼觉得充电宝绝对算一个。 以前它的对手还都是同行 —— 大家一起卷容量...