ELK排障记录

文章目录

1. 1. 背景介绍：
2. 2. 处理：

背景介绍：

之前公司安全团队用ELK来收集ngnix，tomcat，防火墙等的接入日志来做一些安全风控的告警操作，接手后有次报告说有个IP的机器一直没有产生日志出来，因此做了简单的排查顺便在熟悉下架构。

公司用的审计接入日志的ELK架构图如下：

架构基本属于主流的应用不过logstash吐日志分别到Kafka集群和ossec集群，这样做的目的是Kafka用来削峰，ossec用来做安全分析发现问题后用告警平台发送相应信息到责任人。

处理：

因为是在kibana展示上发现部分日志未展示，所以我们先检查了所有logstash shipper节点的日志情况发现日志时间戳连续没问题，es集群里缺少相应时间的部分日志，之后ossec上查看发现有部分日志缺失判定是logstash吐日志出现问题。

排查shipper各个节点时发现一台机器的logstash进程down了，重启后问题解决。

建议后期监控logstash进程或者修改配置。