02 认知：Elastic Stack 生态和场景方案¶

Elastic Stack 生态¶

Beats + Logstash + ElasticSearch + Kibana

如下是我从官方博客中找到图，这张图展示了 ELK 生态以及基于 ELK 的场景（最上方）

由于 Elastic X-Pack 是面向收费的，所以我们不妨也把 X-Pack 放进去，看看哪些是由 X-Pack 带来的，在阅读官网文档时将方便你甄别重点：

Beats¶

Beats 是一个面向 轻量型采集器 的平台，这些采集器可以从边缘机器向 Logstash、ElasticSearch 发送数据，它是由 Go 语言进行开发的，运行效率方面比较快。从下图中可以看出，不同 Beats 的套件是针对不同的数据源。

Logstash¶

Logstash 是 动态数据收集管道，拥有可扩展的插件生态系统，支持从不同来源采集数据，转换数据，并将数据发送到不同的存储库中。其能够与 ElasticSearch 产生强大的协同作用，后被 Elastic 公司在 2013 年收购。

它具有如下特性：

1）实时解析和转换数据；

2）可扩展，具有 200 多个插件；

3）可靠性、安全性。Logstash 会通过持久化队列来保证至少将运行中的事件送达一次，同时将数据进行传输加密；

4）监控；

ElasticSearch¶

ElasticSearch 对数据进行 搜索、分析和存储，其是基于 JSON 的分布式搜索和分析引擎，专门为实现水平可扩展性、高可靠性和管理便捷性而设计的。

它的实现原理主要分为以下几个步骤：

1）首先用户将数据提交到 ElasticSearch 数据库中；

2）再通过分词控制器将对应的语句分词；

3）将分词结果及其权重一并存入，以备用户在搜索数据时，根据权重将结果排名和打分，将返回结果呈现给用户；

Kibana¶

Kibana 实现 数据可视化，其作用就是在 ElasticSearch 中进行民航。Kibana 能够以图表的形式呈现数据，并且具有可扩展的用户界面，可以全方位的配置和管理 ElasticSearch。

Kibana 最早的时候是基于 Logstash 创建的工具，后被 Elastic 公司在 2013 年收购。

1）Kibana 可以提供各种可视化的图表；

2）可以通过机器学习的技术，对异常情况进行检测，用于提前发现可疑问题；

从日志收集系统看 ES Stack 的发展¶

我们看下 ELK 技术栈的演化，通常体现在日志收集系统中。

一个典型的日志系统包括：

（1）收集：能够采集多种来源的日志数据

（2）传输：能够稳定的把日志数据解析过滤并传输到存储系统

（3）存储：存储日志数据

（4）分析：支持 UI 分析

（5）警告：能够提供错误报告，监控机制

beats+elasticsearch+kibana¶

Beats 采集数据后，存储在 ES 中，有 Kibana 可视化的展示。

beats+logstath+elasticsearch+kibana¶

该框架是在上面的框架的基础上引入了 logstash，引入 logstash 带来的好处如下：

（1）Logstash 具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，从而减轻背压。

（2）从其他数据源（例如数据库，S3 或消息传递队列）中提取。

（3）将数据发送到多个目的地，例如 S3，HDFS 或写入文件。

（4）使用条件数据流逻辑组成更复杂的处理管道。

beats 结合 logstash 带来的优势 ：

（1）水平可扩展性，高可用性和可变负载处理：beats 和 logstash 可以实现节点之间的负载均衡，多个 logstash 可以实现 logstash 的高可用

（2）消息持久性与至少一次交付保证：使用 beats 或 Winlogbeat 进行日志收集时，可以保证至少一次交付。从 Filebeat 或 Winlogbeat 到 Logstash 以及从 Logstash 到 Elasticsearch 的两种通信协议都是同步的，并且支持确认。Logstash 持久队列提供跨节点故障的保护。对于 Logstash 中的磁盘级弹性，确保磁盘冗余非常重要。

（3）具有身份验证和有线加密的端到端安全传输：从 Beats 到 Logstash 以及从 Logstash 到 Elasticsearch 的传输都可以使用加密方式传递。与 Elasticsearch 进行通讯时，有很多安全选项，包括基本身份验证，TLS，PKI，LDAP，AD 和其他自定义领域 增加更多的数据源 比如：TCP，UDP 和 HTTP 协议是将数据输入 Logstash 的常用方法