ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。
对于上面的elk套件,Logstash是可选的。现在官方在主要推行beats系统收集日志的组件 ,这些组件是基于go的,所以不需要java环境更加精简一些。这次就只安装ek环境,不再安装Logstash,对于数据的采集来源用beats套件,直接采集到ElasticSearch里面。
在最简单的Beats平台中,可以不使用Logstash,使用Logstash的优势在于可以自由调整Beats收集到的数据的格式,并且Logstash有很多output的插件可以与其他系统很好的结合。
git clone https://github.com/tongv/docker-ek.git elk cd elk docker-compose up -d
下面安装beats系统套件。
git clone https://github.com/tongv/docker-beats.git beats cd beats docker-compose up -d
filebeat用于监听日志数据
安装kibana面板,修改配置文件加上kibana地址,如果线上的beats不能链接上,可以在本地搭建一个beats套件用于首次安装kibana面板。
#vim filebeat.yml setup.kibana.host: "xxx.xxx.xxx.xxx:5601"
filebeat -e setup
packetbeat用于监控网络流量
安装kibana面板,修改配置文件加上kibana地址,如果线上的beats不能链接上,可以在本地搭建一个beats套件用于首次安装kibana面板。
#vim packetbeat.yml setup.kibana.host: "xxx.xxx.xxx.xxx:5601"
packetbeat -e setup