需求场景：ES 集群通过 Nginx 做了网关代理，需要把访问 ES 集群的请求进行统计监控。
使用组件：Filebeat 收集，写入 ES 集群，通过 Kibana 的 dashboard 进行展示，即 ELK 的老本行，采用更轻量级的日志收集工具 Filebeat 而没有使用 Logstash。

1. Nginx

对 Nginx 默认的日志格式进行了微调，将默认的$time_local修改为$time_iso8601，日志变化如下所示：

#before 171.0.0.1 - - [11/Nov/2021:00:00:02 +0800] 1.300 0.982 200 731171 "POST /index1/_search?timeout=30s HTTP/1.1" "-" "axios/0.19.2" "-" #after 171.0.0.1 - - [2021-11-25T11:29:13+08:00] 0.008 0.008 200 137 "GET /index1/_search HTTP/1.1" "-" "python-urllib3/1.26.2" "-"

Nginx 日志每行12个字段含义如下：

2. Filebeat

Filebeat 配置比较简单，开箱即用，配置好 Input 为 Log，Output 为 ES 即可，如下所示：

filebeat.inputs: #=========================== Filebeat inputs ============================= - type: log enabled: true paths: - /usr/local/nginx/logs/access_whsh.log #=========================== Filebeat inputs ============================= filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false #=========================== Filebeat inputs ============================= setup.template.settings: index.number_of_shards: 1 #index.codec: best_compression setup.template.name: "es-request-log" setup.template.pattern: "es-request-log-*" setup.template.enabled: false setup.template.overwrite: true setup.template.fields: "esrequestfields.yml" setup.ilm.enabled: false #=========================== Filebeat inputs ============================= output.elasticsearch: hosts: ["172.0.0.1:9200","172.0.0.2:9200","172.0.0.3:9200"] index: "es-request-log-%{+yyyy.MM.dd}" pipeline: "es-request-log" # Protocol - either `http` (default) or `https`. protocol: "https" #api_key: "id:api_key" username: "elastic" password: "changeme" ssl.verification_mode: "none" #=========================== Filebeat inputs ============================= processors: - add_host_metadata: when.not.contains.tags: forwarded - add_cloud_metadata: ~ - add_docker_metadata: ~ - add_kubernetes_metadata: ~ 

这里修改了 Filebeat 自带的默认日志模板和默认输出到 ES 的索引，并添加了一个 pipeline 用于对 Nginx 日志进行拆分处理(Filebeat默认将每行日志输出到message字段)。
修改默认索引的模板字段fields.yml，并将其导出录入到 ES 集群内作为记录日志索引的 template，具体做法可以参考官网：Load the Elasticsearch index template。

3. ES

ES 侧需要配置好存放日志数据索引的模板、ILM策略(非必须)、以及用到的 pipeline，名称和上一步 Filebeat 配置中要对应。

1. 模板设置：

设置好别名、匹配的索引前缀、一些你想配置的 settings 以及字段结构：包括 Filebeat 自带的一些字段以及主要的日志字段message和我们将通过 pipeline 拆解message字段获取的一些将用于日志分析的字段。

1. pipeline设置：

pipeline 主要作用是对message字段拆解：

- 通过`grok`正则匹配方式匹配到`message`内部的每个字段，并将其抽出；
- 通过`script`可以加一些对抽出字段的判断，将请求聚类分析。 

这里可以任意处理数据，获取自己想要的分析内容，或者也可以引入Logstash对数据进行处理。

4. Kibana

经过以上三步，数据已经进入到 ES 集群内，通过 Kibana 可以对数据分析结果进行可视化展示，忽略一些 Filebeat 自带的字段，数据内容如下所示：

我们可以对时间字段，某些 keyword 类字段进行聚合等统计数一些日志分析结果，并使用 dashboard 进行展示，部分示例如下：

1. 统计请求的响应状态：

1. 分类统计时间段的请求数量：

1. 统计查询耗时的 pct (参考 jmeter 指标)：

1. 展示部分请求的部分字段(data table展示topN耗时等)：