日志分析ELK平台部署
admin
2023-02-15 14:20:05
0

工作原理如下如所示:


日志分析ELK平台部署

部署流程:


1、安装logstash的JDK环境:

# tar zvxf jdk-8u73-linux-x64.tar.gz
# mv jdk-8u73-linux-x64 /usr/local/java
# vim /etc/profile
export JAVA_HOME=/usr/local/java
CLASSPATH=/usr/local/java/lib/dt.jar/usr/local/java/lib/tools.jar
PATH=/usr/local/java/bin:$PATH
export PATH JAVA_HOME CLASSPATH

# source /etc/profile

# java -version
java version "1.8.0_73"
Java(TM) SE Runtime Environment (build 1.8.0_73-b02)
Java HotSpot(TM) 64-Bit Server VM (build 25.73-b02, mixed mode)

出来java的版本号,JDK安装成功;


2、安装 logstash

下载并安装 Logstash ,本次安装 logstash 到/usr/local (安装路径自己定义);

# wget 
# tar zvxf  logstash-1.5.2.tar.gz -C /usr/local/

安装完成后执行命令:

# /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout {} }'
Logstash startup completed
hello ELK
2016-09-29T09:28:57.992Z web10.gz.com hello ELK
-e :指定logstash的配置信息,可以用于快速测试;-f :指定logstash的配置文件;可以用于生产环境;


在 logstash 安装目录下创建一个测试文件 logstash-test.conf, 文件内容如下:

# vim logstash-simple.conf
input { stdin { } }
output {
   stdout { codec=> rubydebug }
}
# echo "`date`  hello ELK"
Thu Sep 29 17:33:23 CST 2016  hello ELK
# /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-simple.conf
Logstash startup completed
Thu Sep 29 17:33:23 CST 2016  hello ELK
{
       "message" => "Thu Sep 29 17:33:23 CST 2016  hello ELK",
      "@version" => "1",
    "@timestamp" => "2016-09-29T09:33:57.711Z",
          "host" => "web10.gz.com"
}

安装supervisor,管理logstash:
#yum install -y install supervisor --enablerepo=epel
#vim /etc/supervisord.conf
添加内容

[program:elkpro_1]
environment=LS_HEAP_SIZE=5000m
directory=/usr/local/logstash-1.5.2     #logstash安装目录
command=/usr/local/logstash-1.5.2/bin/logstash -f /usr/local/logstash-1.5.2/logstash-simple.conf -w 10 -l /var/log/logstash/logstash-simple.log  #logstash执行的命令
pro1.conf   #logstash指定运行的配置文件
/var/log/logstash/pro1.log   #指定logstash日志存放位置;

开启关闭supervisord
#service supervisord stop
#service supervisord start

开机启动
#chkconfig supervisord on

开启关闭logstash
#supervisorctl start elkpro_1
#supervisorctl stop elkpro_1

3、安装 Elasticsearch

下载 Elasticsearch 后,解压到/usr/local/;

# wget 
# tar  zvxf elasticsearch-1.6.0.tar.gz -C /usr/local/

启动 Elasticsearch

# /usr/local/elasticsearch-1.6.0/bin/elasticsearch

后台运行 elasticsearch:

# nohup /usr/local/elasticsearch-1.6.0/bin/elasticsearch >nohup &
# ps aux|grep logstash
root     21154  1.6  5.0 3451732 196856 pts/0  Sl+  17:33   0:10 /usr/local/java/bin/java -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -Xmx500m -Xss2048k -Djffi.boot.library.path=/usr/local/logstash-1.5.2/vendor/jruby/lib/jni -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -Xbootclasspath/a:/usr/local/logstash-1.5.2/vendor/jruby/lib/jruby.jar -classpath :/usr/local/java/lib/dt.jar/usr/local/java/lib/tools.jar -Djruby.home=/usr/local/logstash-1.5.2/vendor/jruby -Djruby.lib=/usr/local/logstash-1.5.2/vendor/jruby/lib -Djruby.script=jruby -Djruby.shell=/bin/sh org.jruby.Main --1.9 /usr/local/logstash-1.5.2/lib/bootstrap/environment.rb logstash/runner.rb agent -f logstash-simple.conf
elasticsearch官方给的启动脚本:

https://codeload.github.com/elastic/elasticsearch-servicewrapper/zip/master

上传到服务器上
#unzip elasticsearch-servicewrapper-master.zip
#mv elasticsearch-servicewrapper-master/service/ /usr/local/elasticsearch/bin/
#cd /usr/local/elasticsearch/bin/service
#./elasticsearch install (在init.d下自动创建服务脚本)
#/etc/init.d/elasticsearch restart

#curl -XGET 'http://elasticsearch_IP:9200/_count?pretty' -d '   #IP为 elasticsearch安装的服务器IP
> {
>      "query":{
>         "match_all":{}
>     }
>  }
> '

返回值:
{
  "count" : 710,
  "_shards" : {
    "total" : 6,
    "successful" : 6,
    "failed" : 0
}

在logstash安装目录下,创建测试文件logstash-es-simple.conf,查看结果显示是否输出到elastisearch中。

# vim logstash-es-simple.conf
logstash-es-simple.confinput { stdin { } }
output {
   elasticsearch {host => "localhost" }
   stdout { codec=> rubydebug }
}

执行:
# /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf
 ...启动输出...
 Logstash startup completed
 hello ELK
{
       "message" => "hello ELK",
      "@version" => "1",
    "@timestamp" => "2016-09-29T09:52:21.426Z",
          "host" => "web10.gz.com"
}

使用 curl 命令发送请求来查看elastisearch 是否接收到了数据:  

  # curl '
  {
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 6,
    "successful" : 6,
    "failed" : 0
  }, 
  .....

现在已成功可以使用 Elasticsearch 和 Logstash 来收集日志数据了。


4、安装 elasticsearch 插件


在你安装 Elasticsearch 的目录中执行以下命令;

# cd /usr/local/elasticsearch-1.6.0/
# ./bin/plugin -install lmenezes/elasticsearch-kopf

安装完成后在 plugins 目录下可以看到 kopf
# ls plugins/kopf

在浏览器访问 http://192.168.1.114:9200/_plugin/kopf 浏览保存在 Elasticsearch 中的数据,如图:

日志分析ELK平台部署


5、安装 Kibana

下载 kibana 后,解压到/usr/local/下

# wget 
# tar zvxf   kibana-4.1.1-linux-x64.tar.gz

启动 kibana
# /usr/local/kibana-4.1.1-linux-x64/bin/kibana

      使用 http://kibanaServerIP:5601 访问 Kibana ,登录后,配置一个索引,默认就可以, Kibana 的数据被指向 Elasticsearch ,使用默认的 logstash-* 的索引名称,并且是基于时间的,点击“ Create ”即可。


看到如下界面说明索引创建完成。

日志分析ELK平台部署

点击“ Discover ”,可以搜索和浏览 Elasticsearch 中的数据;

到此, ELK 平台部署已完成。






相关内容

热门资讯

神龙拜耳光伏有限公司生产支架 光伏支架,到底“支”起了什么? 提到光伏电站,很多人第一反应是那一块块深蓝色的电池板。但真正让这些电...
食品级制冰袋厂家选型指南:上海... 导语:在餐饮、物流、医药等行业中,制冰袋作为低温保鲜的核心耗材,其性能稳定性直接影响产品品质与运营效...
南通崇川发放首笔“算力券”补贴 购买、领券、付款……近日,随着在南通市公共算力服务平台算力超市完成中国移动算力服务的租用下单操作,江...
百万上下文之后,拼什么? 文 | 科技不许冷 过去几天,科技圈的视线全被DeepSeek吸走了。 满屏都是传闻中的估值溢价,...
成语之都 好玩邯郸丨邯山区AI... (来源:邯郸新闻网) 转自:邯郸新闻网 近日,在邯山区科技创新产业园内的邯郸人工智能教育基地,一拨拨...
量子计算机联手超级计算机,创下... 5 月 5 日消息,量子计算机最具前景的应用方向之一是模拟蛋白质,助力人类研发新药,但目前这类设备误...
我国新一代人工智能技术加速落地... 2026 年 5 月 5 日,工信部、科技部、国家网信办联合发布《人工智能产业高质量发展行动计划(2...
老黄可能开始焦虑了 文 | 象先志 2026年4月15日,黄仁勋在Dwarkesh Patel 的播客里经历了一场他很...
俄外长与美国务卿通话,讨论双边... △鲁比奥(左)与拉夫罗夫(右)当地时间5月5日,据俄罗斯外交部消息,俄罗斯外长拉夫罗夫与美国国务卿鲁...
即使中东冲突今天停止,欧盟在未... 新华社布鲁塞尔5月5日电(记者康逸)欧盟能源委员丹·约根森5日警告说,由于伊朗战事以及霍尔木兹海峡遭...