k8s 容器日志收集

在Kubernetes (K8S) 集群中，容器日志收集是非常重要的一项工作，可以帮助我们及时发现和解决问题，监控应用程序的运行情况。本文将介绍如何在K8S集群中实现容器日志收集，并为刚入行的小白开发者提供详细的指导和示例代码。

整体流程
为了实现K8S容器日志的收集，我们需要经过以下步骤：

| 步骤 | 描述 |
|------|--------------------------------------------|
| 1 | 部署日志收集工具（如Fluentd、Filebeat等） |
| 2 | 配置日志收集工具 |
| 3 | 部署日志存储服务（如Elasticsearch、Splunk等）|
| 4 | 配置日志存储服务 |
| 5 | 将容器日志发送到存储服务 |

代码示例
下面是每个步骤所需的代码示例：

### 步骤1：部署日志收集工具
```bash
kubectl apply -f https://raw.githubusercontent.com/fluent/fluentd-kubernetes-daemonset/master/fluentd-daemonset-elasticsearch-rbac.yaml
```
这段代码将会在K8S集群中部署Fluentd日志收集工具。

### 步骤2：配置日志收集工具
```yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: fluentd-conf
namespace: kube-system
data:
fluentd.conf: |

@type tail
path /var/log/containers/*.log
pos_file /var/log/es-containers.log.pos
tag kubernetes.*
read_from_head true


@type elasticsearch
host "#{ENV['FLUENT_ELASTICSEARCH_HOST']}"
port "#{ENV['FLUENT_ELASTICSEARCH_PORT']}"
include_tag_key true
logstash_format true
flush_interval 5s

```
这段YAML配置文件用于指定Fluentd如何收集和发送容器日志到Elasticsearch。

### 步骤3：部署日志存储服务
```bash
kubectl apply -f elasticsearch.yaml
```
这段代码将会在K8S集群中部署Elasticsearch用于存储日志数据。

### 步骤4：配置日志存储服务
```yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: elasticsearch
spec:
replicas: 1
selector:
matchLabels:
app: elasticsearch
template:
metadata:
labels:
app: elasticsearch
spec:
containers:
- name: elasticsearch
image: docker.elastic.co/elasticsearch/elasticsearch:7.9.0
ports:
- containerPort: 9200
resources:
limits:
cpu: 500m
memory: 2Gi
requests:
cpu: 100m
memory: 1Gi
```
这段YAML配置文件定义了Elasticsearch的Deployment，指定了Elasticsearch的镜像版本和资源要求等信息。

### 步骤5：将容器日志发送到存储服务
```yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: fluentd
spec:
selector:
matchLabels:
name: fluentd
template:
metadata:
labels:
name: fluentd
spec:
containers:
- name: fluentd
image: fluent/fluentd-kubernetes-daemonset:v1-debian-elasticsearch
env:
- name: FLUENT_ELASTICSEARCH_HOST
value: elasticsearch
- name: FLUENT_ELASTICSEARCH_PORT
value: "9200"
volumeMounts:
- name: varlog
mountPath: /var/log
- name: varlibdockercontainers
mountPath: /var/lib/docker/containers
resources:
limits:
memory: 500Mi
requests:
memory: 200Mi
terminationGracePeriodSeconds: 30
volumes:
- name: varlog
hostPath:
path: /var/log
- name: varlibdockercontainers
hostPath:
path: /var/lib/docker/containers
```
这段YAML文件定义了用于收集容器日志的Fluentd DaemonSet，并指定了Fluentd如何连接到Elasticsearch服务。

通过按照以上步骤操作，并使用对应的代码示例，小白开发者就可以成功在K8S集群中实现容器日志的收集。希望这篇文章对他有所帮助！