Elastic Stack
官网: https://www.elastic.co/cn/elastic-stack/
是一个开源的数据分析和可视化平台,由 Elasticsearch、Logstash、Kibana 和 Beats 组成。
- ELK:Elasticsearch、 Logstash、Kibana 组成
- 在发展的过程中有新成员 Beats 的加入,所以就形成了 Elastic Stack,ELK 是旧的称呼,Elastic Stack 是新的名字
Elasticsearch
一个分布式实时搜索和分析引擎,高性能和可伸缩性闻名,能够快速地存储、搜索和分析大量结构化和非结构化数据。
基于 java 开发,它是 Elastic Stack 的核心组件,提供分布式数据存储和搜索能力。
Logstash
是一个用于数据收集、转换和传输的数据处理引擎,支持从各种来源(如文件、日志、数据库等)收集数据。
基于 java 开发,并对数据进行结构化、过滤和转换,然后将数据发送到 Elasticsearch 等目标存储或分析系统。
Kibana
基于 node.js 开发,数据可视化和仪表盘工具,连接到 Elasticsearch,通过简单易用的用户界面创建各种图表、图形和仪表盘。
帮助用户快速探索和理解数据,并进行强大的数据分析和可视化
Beats
是轻量级的数据收集器,用于收集和发送各种类型的数据到 Elasticsearch 或 Logstash。
Beats 提供了多种插件和模块,用于收集和传输日志、指标数据、网络数据和安全数据等。
注意
- beats 是用来优化 logstash 的,因为 logstash 消耗的性能比较多
- 如果只是单纯的为了收集日志,使用 logstash 就有点大材小用了,另外有点浪费资源
- 而 beats 是轻量级的用来收集日志的, 而 logstash 更加专注一件事,那就是数据转换,格式化,等处理工作
总结
- Elastic Stack 的架构主要是将各个组件连接起来形成数据处理和分析的流程
- 数据可以通过 Logstash 的输入插件进行收集和处理,然后通过输出插件将数据发送到 Elasticsearch 进行存储和索引
- Kibana 可与 Elasticsearch 进行连接,提供灵活的可视化界面,将数据分析结果以图表、仪表盘等形式展示出来
- Beats 作为数据收集器,可以直接收集数据并将其发送到 Elasticsearch 或 Logstash。
- 整个 Elastic Stack 的架构是高度可扩展和灵活的,可以根据特定需求进行定制和扩展
- 它被广泛应用于日志分析、实时监控、安全分析、商业智能和搜索等领域,为用户提供强大的数据处理和分析能力
朔风