阿里云日志收集

## 阿里云日志收集

### 介绍
阿里云日志服务（Log Service）是阿里云提供的一种日志数据管理服务，能够实现日志的实时采集、消费、存储和查询等功能。在Kubernetes集群中，我们通常会使用阿里云日志服务来收集容器日志，方便管理和监控。

### 实现步骤

下面是实现阿里云日志收集的整体流程：

| 步骤 | 描述 |
| --- | --- |
| 1 | 创建阿里云日志服务和Logstore |
| 2 | 安装Fluentd插件 |
| 3 | 配置Fluentd收集Kubernetes集群日志 |
| 4 | 配置Fluentd发送日志到阿里云日志服务 |

### 具体步骤

#### 步骤1：创建阿里云日志服务和Logstore

首先登录阿里云控制台，创建一个日志服务和相应的Logstore，获取AccessKeyId和AccessKeySecret。

#### 步骤2：安装Fluentd插件

在Kubernetes集群中安装Fluentd插件，用于收集和发送日志。可以通过以下命令进行安装：

```bash
kubectl create namespace logging
kubectl apply -f https://raw.githubusercontent.com/fluent/fluentd-kubernetes-daemonset/master/fluentd-daemonset-rbac.yaml
```

#### 步骤3：配置Fluentd收集Kubernetes集群日志

创建Fluentd配置文件`fluentd-configmap.yaml`，内容如下：

```yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: fluentd-config
namespace: logging
data:
fluentd.conf: |

@type tail
path /var/log/containers/*.log
pos_file /var/log/fluentd-containers.log.pos
time_format %Y-%m-%dT%H:%M:%S.%NZ
tag kubernetes.*
format json
read_from_head true


@type copy

@type file
path /var/log/kubernetes.json
append true


@type aliyun-log
region cn-hangzhou
project ${LOG_PROJECT_NAME}
logstore ${LOGSTORE_NAME}
access_key_id ${ACCESS_KEY_ID}
access_key ${ACCESS_KEY_SECRET}
logstore_name_key kubernetes_logstore
time_key time


```

执行以下命令创建ConfigMap：

```bash
kubectl apply -f fluentd-configmap.yaml
```

#### 步骤4：配置Fluentd发送日志到阿里云日志服务

创建Fluentd DaemonSet配置文件`fluentd-daemonset.yaml`，内容如下：

```yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: fluentd
namespace: logging
spec:
selector:
matchLabels:
name: fluentd
template:
metadata:
labels:
name: fluentd
spec:
containers:
- name: fluentd
image: fluent/fluentd-kubernetes-daemonset:v1.12-debian-kafka
env:
- name: LOG_PROJECT_NAME
value: YOUR_LOG_PROJECT_NAME
- name: LOGSTORE_NAME
value: YOUR_LOGSTORE_NAME
- name: ACCESS_KEY_ID
valueFrom:
secretKeyRef:
name: aliyun-log-secret
key: accessKeyId
- name: ACCESS_KEY_SECRET
valueFrom:
secretKeyRef:
name: aliyun-log-secret
key: accessKeySecret
volumeMounts:
- name: varlog
mountPath: /var/log
- name: fluentd-config
mountPath: /fluentd/etc
volumes:
- name: varlog
hostPath:
path: /var/log
- name: fluentd-config
configMap:
name: fluentd-config
```

执行以下命令创建DaemonSet：

```bash
kubectl apply -f fluentd-daemonset.yaml
```

这样就成功配置了Fluentd发送Kubernetes集群日志到阿里云日志服务。小白开发者可以根据自己的实际情况修改配置文件中的相关参数，以实现日志收集功能。