k8s elk日志采集方案

K8S ELK日志采集方案简介

Kubernetes（简称K8S）是一个用于自动部署、扩展和管理容器化应用程序的开源系统，而ELK则是一种常用的日志管理和分析解决方案，由Elasticsearch、Logstash和Kibana组成。在K8S集群中，我们可以利用ELK来采集和分析容器中产生的日志，从而帮助我们更好地监控和分析应用程序的运行情况。

整体流程
为了实现K8S ELK日志采集方案，我们需要完成以下流程：

| 步骤 | 操作 |
| ---- | ----- |
| 1 | 部署Elasticsearch到K8S集群 |
| 2 | 部署Logstash到K8S集群 |
| 3 | 配置Logstash接收Kubernetes日志 |
| 4 | 部署Kibana到K8S集群 |
| 5 | 配置Kibana连接Elasticsearch |

步骤一：部署Elasticsearch到K8S集群
首先，我们需要在K8S集群中部署Elasticsearch。可以通过以下YAML文件进行部署：

```yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: elasticsearch
spec:
replicas: 1
selector:
matchLabels:
app: elasticsearch
template:
metadata:
labels:
app: elasticsearch
spec:
containers:
- name: elasticsearch
image: docker.elastic.co/elasticsearch/elasticsearch:7.10.0
ports:
- containerPort: 9200
```

这个YAML文件定义了一个名为elasticsearch的Deployment，使用Elasticsearch 7.10.0的镜像，监听9200端口。

步骤二：部署Logstash到K8S集群
接着，我们在K8S集群中部署Logstash。可以使用以下YAML文件进行部署：

```yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: logstash
spec:
replicas: 1
selector:
matchLabels:
app: logstash
template:
metadata:
labels:
app: logstash
spec:
containers:
- name: logstash
image: docker.elastic.co/logstash/logstash:7.10.0
volumeMounts:
- name: config-volume
mountPath: /usr/share/logstash/config/pipeline/
volumes:
- name: config-volume
configMap:
name: logstash-config
```

这个YAML文件定义了一个名为logstash的Deployment，使用Logstash 7.10.0的镜像，并挂载一个ConfigMap作为配置文件。

步骤三：配置Logstash接收Kubernetes日志
为了使Logstash能够接收Kubernetes集群中的日志，我们需要配置相应的Logstash Pipeline。可以使用以下ConfigMap定义Logstash的Pipeline配置：

```yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: logstash-config
data:
logstash.conf: |
input {
tcp {
port => 5000
codec => json
}
}
output {
elasticsearch {
hosts => ["elasticsearch:9200"]
}
}
```

这个ConfigMap定义了一个名为logstash-config的ConfigMap，并包含了Logstash的Pipeline配置文件logstash.conf，监听5000端口并将日志发送到Elasticsearch。

步骤四：部署Kibana到K8S集群
接下来，我们在K8S集群中部署Kibana。可以使用以下YAML文件进行部署：

```yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: kibana
spec:
replicas: 1
selector:
matchLabels:
app: kibana
template:
metadata:
labels:
app: kibana
spec:
containers:
- name: kibana
image: docker.elastic.co/kibana/kibana:7.10.0
ports:
- containerPort: 5601
```

这个YAML文件定义了一个名为kibana的Deployment，使用Kibana 7.10.0的镜像，监听5601端口。

步骤五：配置Kibana连接Elasticsearch
最后，我们需要配置Kibana连接到Elasticsearch。在Kibana的Web界面中，通过UI进行相关配置即可连接到之前部署的Elasticsearch实例，从而可以对日志进行搜索和可视化分析。

通过以上步骤，我们就成功实现了K8S ELK日志采集方案，可以方便地对Kubernetes集群中的日志进行收集、处理和分析，帮助我们更好地监控应用程序的运行状态。