面试题：ElasticSearch集群启动日志可视化展示之基础架构

Question

在实现ElasticSearch集群启动日志的可视化展示时，简述需要涉及到哪些主要的技术组件（如日志收集工具、可视化工具等）以及它们的基本作用。

Answer 1

主要技术组件及作用

1. 日志收集工具 - Filebeat：
   • 作用：轻量级日志采集器，部署在ElasticSearch集群节点上，能够快速收集节点产生的启动日志。它占用资源少，配置简单，能高效地将日志数据发送到后续处理环节，比如Logstash或Elasticsearch。
2. 日志处理工具 - Logstash（可选）：
   • 作用：对Filebeat收集来的日志进行过滤、转换等处理。例如，将日志数据格式化为统一的JSON格式，提取关键信息，进行数据清洗等操作，使其更适合在Elasticsearch中存储和查询，提升数据质量和可用性。
3. 数据存储 - Elasticsearch：
   • 作用：作为分布式搜索和分析引擎，用于存储经过处理的ElasticSearch集群启动日志数据。它支持海量数据的存储与快速检索，通过分布式架构保证数据的高可用性和可扩展性，为可视化展示提供数据支撑。
4. 可视化工具 - Kibana：
   • 作用：与Elasticsearch紧密集成的可视化平台，用户可在Kibana中创建各种可视化图表（如柱状图、折线图、饼图等）来展示Elasticsearch中的日志数据。通过创建仪表盘，以直观的方式呈现ElasticSearch集群启动过程中的关键信息、趋势和异常情况，方便运维人员监控和分析。