nginx访问日志 logstash 配置文件实例2
admin
2023-03-19 05:41:28
0
日志格式:
log_format elk "$http_clientip | $http_x_forwarded_for | $time_local | $request | $status | $body_bytes_sent | "
                  " $request_body | $content_length | $http_referer | $http_user_agent | "
                  "$http_cookie | $remote_addr | $hostname | $upstream_addr | $upstream_response_time | $request_time";
日志实例:
36.110.211.42 | 10.10.130.101 | 23/Jun/2017:17:51:01 +0800 | GET /lvyou/dongjing/ HTTP/1.1 | 200 | 73181 | - | 0 | - | Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.117 Safari/537.36 | JSESSION_O2O=0000F0jMLw1MnT6SFCvhcqW3oP9:19h7oe5dr; SessionID=10.10.130.101.1498210484146456; sCityCode=SZX; sCityName=%E6%B7%B1%E5%9C%B3; vac_ss_sid=4441002; vac_ss_uid=4441 | 10.10.130.100 | www1-n01 | 10.10.130.237:80 | 0.808 | 0.809
logstash实例:
input {  
        file {  
                type => "www1_access"  
                path => ["/usr/local/elk/elklog/nginxlog/log0/www1.log","/usr/local/elk/elklog/nginxlog/log1/www1.log"]  
        }
        file {
                type => "flight1_access"
                path => ["/usr/local/elk/elklog/nginxlog/log0/flight1.log","/usr/local/elk/elklog/nginxlog/log1/flight1.log"]
        }
        file {
                type => "m_access"
                path => ["/usr/local/elk/elklog/nginxlog/log0/m.log"]
        }
}  
filter {
ruby {
init => "@kname = ['http_clientip','http_x_forwarded_for','time_local','request','status','body_bytes_sent','request_body','content_length','http_referer','http_user_agent','http_cookie','remote_addr','hostname','upstream_addr','upstream_response_time','request_time']"
code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('message').split(' | '))])
new_event.remove('@timestamp')
event.append(new_event)"
}
if [request] {
ruby {
init => "@kname = ['method','uri','verb']"
code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('request').split(' '))])
new_event.remove('@timestamp')
event.append(new_event)
"
}
if [uri] {
ruby {
init => "@kname = ['url_path','url_args']"
code => "new_event = LogStash::Event.new(Hash[@kname.zip(event.get('uri').split('?'))])
new_event.remove('@timestamp')
event.append(new_event)
"
}
kv {
prefix => "url_"
source => "url_args"
field_split => "& "
remove_field => [ "url_args","uri","request" ]
}
}
}
mutate {
convert => ["body_bytes_sent" , "integer", "content_length", "integer", "upstream_response_time", "float","request_time", "float"]
}
        grok {
              match => [ 
"message", "%{IP:clientip} \| %{USER} \| %{HTTPDATE:timestamp}"
 ]
}
date {
match => [ "timestamp", "dd/MMM/YYYY:HH:mm:ss Z" ]
locale => "en"
}
        geoip 
{
        source => "clientip"
        }
mutate {    
                remove_field => "timestamp"      
                remove_field => "http_clientip"      
}
useragent {
    source => "http_user_agent"
    target => "useragent"
  } 
}
output {
        redis {  
                host => "10.10.45.200"  
                data_type => "list"  
                key => "elk_frontend_access:redis"  
                port=>"5379"  
        }  
}
注意:分隔符为“空格+table+空格”

相关内容

热门资讯

【今日要闻】“大师棋牌到底是不... 【今日要闻】“大师棋牌到底是不是挂?”(必胜开挂神器)您好,大师棋牌这个游戏其实有挂的,确实是有挂的...
玩家攻略科普“微信麻将怎么开挂... 您好:微信麻将这款游戏可以开挂,确实是有挂的,需要了解加客服微信【4282891】很多玩家在这款游戏...
今日重大通报“天天麻将有没有挂... 您好:天天麻将这款游戏可以开挂,确实是有挂的,需要了解加客服微信【4282891】很多玩家在这款游戏...
终于懂了“胡乐晋中麻将到底是不... 网上科普关于“胡乐晋中麻将有没有挂”话题很是火热,小编也是针对胡乐晋中麻将作*弊开挂的方法以及开挂对...
【第一资讯】“博雅地方棋牌辅助... 有 亲,根据资深记者爆料博雅地方棋牌是可以开挂的,确实有挂(咨询软件无需...
终于明白“好玩茶楼到底是不是挂... 有 亲,根据资深记者爆料好玩茶楼是可以开挂的,确实有挂(咨询软件无需打开...
重磅消息“圣盛游戏怎么开挂?”... 重磅消息“圣盛游戏怎么开挂?”(详细开挂教程)您好,圣盛游戏这个游戏其实有挂的,确实是有挂的,需要了...
【今日要闻】“新西游辅助器?”... 【今日要闻】“新西游辅助器?”(其实是有挂)您好,新西游这个游戏其实有挂的,确实是有挂的,需要了解加...
今日重大通报“众合推扑克到底是... 网上科普关于“众合推扑克有没有挂”话题很是火热,小编也是针对众合推扑克作*弊开挂的方法以及开挂对应的...
【第一财经】“yy比鸡有没有挂... 网上科普关于“yy比鸡有没有挂”话题很是火热,小编也是针对yy比鸡作*弊开挂的方法以及开挂对应的知识...