K8S（Kubernetes）是一种用于自动部署、扩展和管理容器化应用程序的开源系统，而ELK（Elasticsearch, Logstash, Kibana）则是一个用于日志管理和分析的工具栈。在K8S中，我们可以通过部署ELK集群来收集、存储和可视化应用程序产生的日志数据。本文将介绍如何在K8S上部署ELK集群，并说明ELK集群中的数据是如何同步的。

# K8S部署ELK集群的流程

下面是在K8S上部署ELK集群的主要步骤：

| 步骤 | 描述 |
| --- | --- |
| 1 | 准备K8S集群 |
| 2 | 创建ELK集群的命名空间 |
| 3 | 部署Elasticsearch |
| 4 | 部署Logstash |
| 5 | 部署Kibana |
| 6 | 配置日志收集器 |

接下来，我们将详细介绍每个步骤所需的操作和代码。

# 步骤1：准备K8S集群

在开始之前，需要确保已经安装并配置了一个可用的K8S集群，并通过kubectl命令行工具可以与该集群进行通信。

# 步骤2：创建ELK集群的命名空间

首先，我们需要创建一个命名空间，将ELK集群的所有实例都部署在其中。可以使用以下kubectl命令来创建一个名为"elk"的命名空间：

```shell
kubectl create namespace elk
```

# 步骤3：部署Elasticsearch

接下来，我们需要部署Elasticsearch。在K8S中，可以使用StatefulSet来部署有状态的应用程序，而Elasticsearch就是一种有状态的应用程序。以下是Elasticsearch的部署文件示例（elasticsearch.yaml）：

```yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: elasticsearch
namespace: elk
spec:
replicas: 3
selector:
matchLabels:
app: elasticsearch
template:
metadata:
labels:
app: elasticsearch
spec:
containers:
- name: elasticsearch
image: elasticsearch:7.5.1
ports:
- containerPort: 9200
name: http
- containerPort: 9300
name: transport
volumeMounts:
- name: elasticsearch-data
mountPath: /usr/share/elasticsearch/data
volumeClaimTemplates:
- metadata:
name: elasticsearch-data
spec:
accessModes: [ "ReadWriteOnce" ]
resources:
requests:
storage: 10Gi
```

在上述示例中，我们使用StatefulSet来定义了一个名为"elasticsearch"的有状态实例，副本数为3。同时，我们指定了Elasticsearch的镜像版本为7.5.1。此外，我们通过volumeClaimTemplates为Elasticsearch实例定义了一个持久化存储卷。这将确保数据在Elasticsearch Pod重启或迁移时不会丢失。

可以使用以下命令来部署Elasticsearch：

```shell
kubectl apply -f elasticsearch.yaml
```

# 步骤4：部署Logstash

在ELK集群中，Logstash负责收集、转换和发送日志数据。以下是Logstash的部署文件示例（logstash.yaml）：

```yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: logstash-config
namespace: elk
data:
logstash.conf: |
input {
beats {
port => 5044
}
}
output {
elasticsearch {
hosts => ["elasticsearch:9200"]
}
}
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: logstash
namespace: elk
spec:
replicas: 1
selector:
matchLabels:
app: logstash
template:
metadata:
labels:
app: logstash
spec:
containers:
- name: logstash
image: logstash:7.5.1
volumeMounts:
- name: logstash-config
mountPath: /usr/share/logstash/config/logstash.conf
subPath: logstash.conf
volumes:
- name: logstash-config
configMap:
name: logstash-config
```

在上述示例中，我们使用ConfigMap来定义Logstash的配置文件。该配置文件定义了一个Beats输入插件，用于接收从应用程序发送的日志数据，并将其发送到Elasticsearch中。同时，我们还定义了一个Elasticsearch输出插件，用于将日志数据写入Elasticsearch中。

可以使用以下命令来部署Logstash：

```shell
kubectl apply -f logstash.yaml
```

# 步骤5：部署Kibana

Kibana是一个用于查询和可视化日志数据的UI工具。以下是Kibana的部署文件示例（kibana.yaml）：

```yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: kibana
namespace: elk
spec:
replicas: 1
selector:
matchLabels:
app: kibana
template:
metadata:
labels:
app: kibana
spec:
containers:
- name: kibana
image: kibana:7.5.1
ports:
- containerPort: 5601
name: http
```

在上述示例中，我们使用Deployment来定义Kibana实例，副本数为1。我们指定了Kibana的镜像版本为7.5.1，并将其默认端口设置为5601。

可以使用以下命令来部署Kibana：

```shell
kubectl apply -f kibana.yaml
```

# 步骤6：配置日志收集器

在上述部署完成之后，ELK集群就可以开始收集日志数据了。在应用程序中，我们需要配置一个日志收集器，将日志数据发送到Logstash中。以下是一个基本的日志收集器配置示例（log4j2.properties）：

```
appender.name = logstash
appender.type = logstash
appender.server.host = logstash-service
appender.server.port = 5044

rootLogger.level = info
rootLogger.appenderRef.name = logstash
rootLogger.appenderRef.ref = logstash
```

在上述示例中，我们配置了一个名为"logstash"的日志收集器，并指定了Logstash的主机和端口。你可以根据实际情况进行配置。

# 结论

通过以上步骤，我们成功地在K8S上部署了一个ELK集群，并配置了日志收集器，实现了应用程序的日志数据同步。在实际应用中，我们可以使用Kibana来查询和可视化这些日志数据，从而更好地理解应用程序的运行情况。希望本文对刚入行的小白能提供一些帮助。