七叶笔记 » golang编程 » 分布式日志管理系统:从ELK到EFK

分布式日志管理系统:从ELK到EFK

在我们的服务器上通常会生成各种日志文件,比如系统日志、 应用日志、安全日志。当系统发生故障时,工程师需要登录到服务器上,在日志里查找故障原因。

如果定位到处理请求的服务器部署了多个实例,那么就需要到每个实例的日志目录下去查看日志。另外每个服务器实例还需要设置日志滚动策略,比如每天生成一个文件,以及日志压缩归档策略等。

管理分布式集群的多台服务器的日志,是很麻烦的事情。尤其是排查故障的时候,服务器太多通过日志找故障太麻烦。因此需要把这些服务器的日志集中管理,并提供集中检索功能,这样就可以提高故障诊断的效率。

业界通用的日志数据管理方案主要包括 Elasticsearch 、 Logstash 和 Kibana 三个组件, 这三个组件又先后被收购于Elastic.co公司名下。 取三个组件的首字母,业界把这套方案简称为ELK。

什么是ELK?

Logstash :数据收集处理引擎。支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储以供后续使用。

Elasticsearch :分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点,可以用于全文检索、结构化检索和分析。ES 基于 Lucene 开发, Lucene 是现在使用最广的开源搜索引擎之一,Wikipedia 、StackOverflow、Github 等都基于Lucene来构建搜索引擎。

Kibana :可视化平台。能够搜索、展示存储在 Elasticsearch 中的索引数据,使用Kibana可以很方便地用图表、表格、地图展示和分析数据。

Logstash部署架构

常见的Logstash的部署架构如下图所示,主要由Shipper、Broker和Indexer三个角色组成。

  • Shipper :日志收集者,也就是Agent。负责监控本地日志文件的变化,及时读取日志文件的最新内容,经过处理输出到Broker。
  • Broker :日志Hub,用来连接多个Shipper和多个Indexer。 Redis 是Logstash官方推荐的Broker,支持订阅发布和队列两种数据传输模式。
  • Indexer :日志存储者。负责从Redis接收日志,经过处理,比如对文本进行格式化,之后写入到本地文件。

无论是Shipper还是Indexer,Logstash始终只做三件事:日志的收集、过滤和输出。主要由三个部分组成: Input 、Filter、Output。

Logstash实例由Input、Filter、Output组成

Input (输入):Logstash实例通过Input插件可以读取多种数据源,输入数据可以是 Java 日志、Nginx日志 、TCP连接、控制台输入 、Syslog(系统日志)、Redis 、Collectd(系统监控守护进程)等。

Filter (过滤):通过Filter插件可以将日志转换为我们需要的格式。Logstash 提供了丰富的Filter插件,包括date(日志解析)、grok(正则解析)、 dissect(分隔符解析)、m utate(字段处理)、json解析、geoip( 地理位置数据解析 )、ruby等。

Output (输出):通过 Output 插件可以实现数据的多份复制输出,输出目标可以是控制台、Redis 、TCP 、文件、Email等,目前业内常用的输出方式是和搜索引擎 Elasticsearch来对接。

接下来我们看一下Logstash与ES如何配合实现ELK架构。

ELK架构

ELK架构

数据收集端 :每台服务器都在上面部署 Logstash Shipper来收集日志,经过处理传输到 Elasticsearch 集群。

数据存储与搜索 :采用多个 Elasticsearch 节点组成 Elasticsearch 集群,采用集群模式运行,可以避免单个实例压力过重的问题。

数据展示 :Kibana 可以根据 Elasticsearch 的数据来绘制各种各样的图表,直观的展示业务实时状况。

Kibana

加入队列的ELK

当并发量较大的时候,由于日志传输峰值较高,会导致 Elasticsearch 集群丢失数据。对于这种Logstash数据超过ES集群处理能力的情况,可以通过队列就能起到削峰填谷的作用, Elasticsearch 集群就不存在丢失数据的问题。

目前业界在日志服务场景中,使用比较多的两种消息队列是Kafka和Redis。Redis 队列多用于实时性较高的消息推送,并不保证可靠。 Kafka 保证可靠但有点延时。

Kafka作为队列加入ELK架构

轻量级的Agent方案:Filebeat

Filebeat 是基于原先 logstash-forwarder 的源码改造出来的,用 Golang 编写,无需依赖 Java 环境就能运行,安装包10M不到。

Filebeat效率高,占用内存和 CPU 比较少,可以解决在服务器上部署Logstash shipper消耗资源较高的问题,非常适合作为日志收集系统的Agent运行在服务器上。

ELK/EFK总结

基于 ELK或EFK的分布式日志解决方案的优势主要体现在以下几个方面:

  • 扩展性强 :采用高可扩展性的分布式系统架构设计,可以支持每日 TB 级别的新增数据。
  • 使用简单 :通过用户图形界面实现各种统计分析功能,简单易用,上手快
  • 响应迅速 :从日志产生到查询可见,能达到秒级完成数据的采集、处理和搜索统计。
  • 界面美观 :Kibana 界面上,只需要点击鼠标,就可以完成搜索、聚合功能,生成炫丽的仪表板。

对于除了ELK方案以外,在分布式日志管理上,我们还有很多其他的选择。近年来随着大数据的发展,海量数据采集组件 Flume 也开始广泛应用于分布式日志解决方案中。因为没有太多日志分析需求,我的团队采用了更轻量级的方案:Loki + promtail + grafana,建立类似Prometheus的日志监控系统,promtail负责收集日志,Loki负责存储,grafana负责展示。

我会持续更新关于物联网、云原生以及数字科技方面的文章,用简单的语言描述复杂的技术,也会偶尔发表一下对IT产业的看法, 欢迎大家关注 ,谢谢。

相关文章