ELK环境搭建+安全认证、Nginx日志收集
admin
2023-02-28 15:02:21
0

           在此之前,ELK理论知识我已经在我的上一篇博客已经阐述完了,在本篇博客中我将部署完整的ELK环境,如有不足之处、请大家批评指证。

  1.   一、   ELK安装信息

  2. 192.168.10.101  Elasticsearch+kibana

    192.168.10.103  Logstash

    注释:部署环境应部署JDK1.8版本因为ELK是由java语言开发因此事先部署jdk环境。
  3.    (一)  我这里已经部署完成

  4. java version "1.8.0_131"

  5. Java(TM) SE Runtime Environment (build 1.8.0_131-b11)

  6. Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

 (二)   下载Elasticsearch+kibana,由于我们是在一台服务器部署ES和kibana因此我们安装顺序安装。下载ES并配置

tar zxvf elasticsearch-5.3.0.tar.gz
mv elasticsearch-5.3.0 /usr/local/elasticsearch
useradd elk   #由于ES不能使用root用户启动,因此创建普通用户elk不用设置密码
chown -R elk /usr/local/elasticsearch/     #改变文件拥有者
vim  /usr/local/elasticsearch/config jvm.options            #进入到这个文件并修改内存因为我的虚拟机内存是2G的因此要改为1G,如果你的虚拟机是4G或者8G你就可以忽略此选项。
vim  usr/local/elasticsearch/config/ elasticsearch.yml
找到# network.host这一行,并修改为0.0.0.0     #设置监听ip 
 su – elk     #切换用户
/usr/local/elasticsearch/bin/elasticsearch -d     #-d、代表后台启动
netstat -ntlp|grep -E "9200|9300"   #查看端口是否启动 
  Port 9200      ES对外数据存储端口,客户端连接该端口发送和接收数据;
  Port 9300      ES对内部分布式集群节点的端口,分布式节点之间通信;

1.        至此ES已经配置完,接下来部署Kibana

tar zxvf kibana-5.3.0-linux-x86_64.tar.gz
mv kibana-5.3.0-linux-x86_64 /usr/local/kibana
/usr/local/kibana
chown -R elk.root *       #改变拥有者
vim /usr/local/kibana/config/ kibana.yml
找到#server.host       #去掉注释后面写0.0.0.0
找到# elasticsearch.url:    #启动注释后面写自己本机ip+port,如果有节点以逗号为分隔
启动kibana
cd  /usr/local/kibana/bin
nohup ./kibana &    以后台方式启动
netstat -tnl|grep -E "9200|9300|5601"    #端口是否启动,5601为kibana端口
打开浏览器输入kibana服务器ip,成功访问出现如下界面

ELK环境搭建+安全认证、Nginx日志收集

            2、默认界面是英文界面,不方便管理人员因此我们要对ELK-WEB进行中文汉化支持

        下载地址:wget http://bbs.jfedu.net/download/Kibana_Hanization_2018.tar.gz
        由于汉化过程是不可逆的,因此汉化前应把Kibana备份
        cp kibana/ kibana.bak -a
        tar xzf Kibana_Hanization_2018.tar.gz
        python main.py /usr/local/kibana

ELK环境搭建+安全认证、Nginx日志收集

        (1)打开浏览器查看是否汉化成功

ELK环境搭建+安全认证、Nginx日志收集





    二、 ES+Kibana已经配置完成,接下来配置客户端Logstash

tar xzf logstash-5.3.0.tar.gz
mv logstash-5.3.0 /usr/local/logstash
/usr/local/logstash 
mkdir   etc        #默认没有etc文件,所以新建一个因为这里放的都是Logstash收集客户端的指令

 (一)我们在客户端收集Nginx日志

vim /usr/local/logstash/etc/nginx_logs.conf 
input {
   file {
       type => "nginx-access"
       path => "/usr/local/nginx/logs/access.log"
   }
}
output {
  elasticsearch {
    hosts => "192.168.10.101"   #填写ES服务器的地址
    }
}

nohup ../bin/logstash -f nginx_log.conf &  #启动Logstash

   1、   打开Kibana浏览器清晰看到Nginx访问日志

   ELK环境搭建+安全认证、Nginx日志收集    

    三、Kibana安全认证

    当我们安装完ES、Kibana启动进程,可以直接在浏览器访问,这样不利于数据安全,接下来我们利用Apache的密码认证进行安全配置。通过访问Nginx转发只ES和kibana服务器。

Kibana服务器安装Nginx:

um install pcre-devel pcre -y
wget -c http://nginx.org/download/nginx-1.12.0.tar.gz 
tar -xzf nginx-1.12.0.tar.gz
useradd www ;
cd nginx-1.12.0
./configure --user=www --group=www --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module
make && make install

 (一)、修改Nginx.conf配置文件代码如下:

worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    upstream  jvm_web1 {
    server    127.0.0.1:5601  weight=1  max_fails=2  fail_timeout=30s;
}
    server {
        listen  80;
        server_name  localhost;
        location / {
         proxy_set_header  Host  $host;
         proxy_set_header  X-Real-IP  $remote_addr;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         proxy_pass http://jvm_web1;
        }
    }
}

    1、修改kibana配置文件监听IP为127.0.0.1:

ELK环境搭建+安全认证、Nginx日志收集

 2、重启kibana和Nginx服务,通过Nginx 80端口访问如下:

ELK环境搭建+安全认证、Nginx日志收集

 3、添加Nginx权限认证:

 Nginx.conf配置文件location /中加入如下代码:

auth_basic   "ELK Kibana Monitor Center"; auth_basic_user_file   /usr/local/nginx/html/.htpasswd;    
通过Apache加密工具htpasswd生成用户名和密码:
htpasswd -c /usr/local/nginx/html/.htpasswd admin

ELK环境搭建+安全认证、Nginx日志收集

  4、重启Nginx web服务,访问如下:

ELK环境搭建+安全认证、Nginx日志收集

ELK环境搭建+安全认证、Nginx日志收集


用户名和密码正确,即可登录成功,如下图所示:

ELK环境搭建+安全认证、Nginx日志收集


上一篇:shell脚本之发布

下一篇:grafana版本更新

相关内容

热门资讯

沈伯洋彻底没戏?深绿智库民调:... 岛内深绿智库“新台湾正常智库”7日公布的最新民调显示,在台北市长选战中,力拼连任的国民党籍台北市长蒋...
白象“多半袋”、今麦郎“手打”... 印有“手打”“手擀”字样的挂面,其实全部来自流水线;印有“多半袋”“多半桶”字样的方便面,其实只多出...
陕西一镇被曝垃圾堆满山腰,当地... 5月6日,一则关于陕西省山阳县南宽坪镇垃圾填埋问题的视频引发关注。一名视频博主反映,该镇后坡半山腰处...
中国第一台高能加速器:北京正负... 感谢IT之家网友 的线索投递! 5 月 7 日消息,中国科学院高能物理研究所今日官宣,2026 年...
最强计算组合刷新大分子模拟纪录 量子计算机最具前景的应用方向之一,就是模拟蛋白质,助力新药研发。但眼下这类设备误差率仍然偏高。据英国...
贵州高校借力“中国天眼”勇攀科... “中国天眼”(FAST)。 新华社记者 欧东衢 摄 4月8日,遵义师范学院青年教师吴庆东以第一作者身...
Claude牵手马斯克,调用限... 智东西 作者 | 程茜 编辑 | 李水青 智东西5月7日报道,今日凌晨,Anthropic在开发者大...
男子称爷爷30年前向天津美院捐... 5月6日,天津康先生反映,1996年他爷爷捐赠40件书画到天津美术学院,如今部分书画去向不明。
寒武纪股价再成A股最贵,半导体... 一方面,受益于AI产业发展,不少半导体公司业绩上涨;另一方面,美股半导体的上涨也带动了A股行情 文|...
OpenAI两大劲敌联手!马斯... AIPress.com.cn报道 奥特曼今晚能安然入睡吗? 就在刚刚,OpenAI的两大死对头美美牵...