k8s部署nginx 配置下载的证书 k8s nginx配置文件管理

转载

jimoshalengzhou 2024-05-05 18:23:13

文章标签 k8s部署nginx 配置下载的证书云原生 java 开发语言环境变量 文章分类 运维

Pod配置管理分类

可变配置就用 ConfigMap；
敏感信息是用 Secret；
身份认证是用 ServiceAccount；
资源配置是用 Resources；
安全管控是用 SecurityContext；
前置校验是用 InitContainers。

1、ConfigMap

概念：管理一些可变配置信息，比如说配置文件、命令行参数、环境变量、端口号、其他配置绑定到pod的容器和系统组件，保障工作负载（Pod）的可移植性。
kubectl get configmap
kubectl get configmap [name] -oyaml
kubectl describe configmap [name] 可以看到主要的key-value
kubectl create configmap [name] [data]
使用

单个、多个configMap定义容器环境变量 env[valueFrom[configMapKeyRef]]
键值对配置为容器环境变量 envFrom[configMapRef]
添加卷（在containers里面添加volumeMounts，然后定义Volumes里的configMap）

注意要点

configMap 文件的大小。虽然说 ConfigMap 文件没有大小限制，但是在 ETCD 里面，数据的写入是有大小限制的，现在是限制在 1MB 以内；
pod 引入 ConfigMap 的时候，必须是相同的 Namespace 中的 ConfigMap，ConfigMap.metadata 里面是有 namespace 字段的；
pod 引用的 ConfigMap。假如这个 ConfigMap 不存在，那么这个 pod 是无法创建成功的，其实这也表示在创建 pod 前，必须先把要引用的 ConfigMap 创建好；
envFrom 的方式。把 ConfigMap 里面所有的信息导入成环境变量时，如果 ConfigMap 里有些 key 是无效的，比如 key 的名字里面带有数字，那么这个环境变量其实是不会注入容器的，它会被忽略。但是这个 pod 本身是可以创建的，无效变量记录在事件日志中（kubectl get events）
这里只有通过 K8s api 创建的 pod 才能使用 ConfigMap，比如说通过用命令行 kubectl 来创建的 pod，肯定是可以使用 ConfigMap 的，但其他方式创建的 pod，比如说kubelet 通过 manifest 创建的 static pod，是不能使用 ConfigMap 的。

kubelet通过 kubelet --pod-manifest-path=<路径>来启动kubelet进程，kubelet 定期的去扫描这个目录，根据这个目录下出现或消失的 YAML/JSON 文件来创建或删除静态 pod。

[root@node2 ~]# kubectl describe configmap nacos-cm
Name:         nacos-cm
Namespace:    default
Labels:       <none>
Annotations:  <none>

Data
====
mysql.db.name:
----
nacos_devtest
mysql.password:
----
nacos
mysql.port:
----
3306
mysql.user:
----
nacos
Events:  <none>

2、Secret

概念：存储密码、 token、ssh key 等一些敏感信息的资源对象，采用 base-64 编码
四种类型

第一种是 Opaque，它是普通的 Secret 文件, 默认模式；
第二种是 service-account-token，是用于 service-account 身份认证用的 Secret；
第三种是 dockerconfigjson，这是拉取私有仓库镜像的用的一种 Secret；
第四种是 bootstrap.token，是用于节点接入集群校验用的 Secret。

创建模式

用户创建

kubectl create secret generic [name] [data] [type]

系统创建（k8s为每个namespace的默认用户创建的Secret）

使用方式

环境变量

env[valueFrom[secretKeyRef]]

作为数据卷被挂载

操作模式设置为只读：spec.containers.volumeMounts.readOnly = true
一个pod的每一个容器都需要配置volumeMounts
默认挂载的文件权限是0644，可以通过defaultMode修改权限

使用私有镜像库

k8s部署nginx 配置下载的证书 k8s nginx配置文件管理_k8s部署nginx 配置下载的证书

使用案例

定义包含ssh秘钥的Pod
创建隐藏文件（定义一个句点符号开头的Secret）

注意事项

Secret 的文件大小限制。这个跟 ConfigMap 一样，也是 1MB；
Secret 采用了 base-64 编码，但是它跟明文也没有太大区别。所以说，如果有一些机密信息要用 Secret 来存储的话，还是要很慎重考虑。因为如果能够访问这个集群，就能拿到这个 Secret。如果是对 Secret 敏感信息要求很高，对加密这块有很强的需求，推荐可以使用 Kubernetes 和开源的vault做一个解决方案，来解决敏感信息的加密和权限管理。
Secret 读取的最佳实践，建议不要用 list/watch，如果用 list/watch 操作的话，会把 namespace 下的所有 Secret 全部拉取下来，这样暴露了更多的信息。推荐使用 GET 的方法，这样只获取需要的那个 Secret。

[root@node2 ~]# kubectl get secrets registry-secret -oyaml
apiVersion: v1
data:
  .dockerconfigjson: eyJhdXRocyI6eoJodHRwOi8vMTAuojI1LjEuNTU6ODA4NyI6eyJhdXRoIjoiWVdSdGFXNDZRbWxuWkdGMFlYUmxZVzB4TWpNME5RPT0iLCJwYXNzd29yZCI6IkJpZ2RhdGF0ZWFtMTIzNDUiLCJ1c2VybmFtZSI6ImFkbWluIj19fQ==
kind: Secret
metadata:
  annotations:
    field.cattle.io/creatorId: user-nskmx
    field.cattle.io/projectId: c-5xbj6:p-jxgb9
    lifecycle.cattle.io/create.secretsController_c-5xbj6: "true"
    secret.user.cattle.io/secret: "true"
  creationTimestamp: "2020-04-24T01:50:21Z"
  name: registry-secret
  namespace: default
  resourceVersion: "2436691"
  selfLink: /api/v1/namespaces/default/secrets/registry-secret
  uid: 8773ca35-22e1-4473-aeda-56376b026b10
type: kubernetes.io/dockerconfigjson

3、ServiceAccount

概念：解决 pod 在集群里面的身份认证问题

k8s部署nginx 配置下载的证书 k8s nginx配置文件管理_环境变量_02

具体的流程：

pod 创建的时候，会把这个 secret 挂载到容器固定的目录下，这是 K8s 功能上实现的。它要把这个 ca.crt 和 token 这两个文件挂载到固定目录下面
Go 里面实现 Pod 访问 K8s 集群时，一般直接会调一个 InClusterConfig 方法，来生成这个访问服务 Client 的一些信息。然后可以看一下，最后这个 Config 里面有两部分信息：

一个是 tlsClientConfig，这个主要是用于 ca.crt 校验服务端；
第二个是 Bearer Token，这个就是 pod 的身份认证。在服务端，会利用 token 对 pod 进行一个身份认证。

认证完之后 pod 的身份信息会有两部分：一个是 Group，一个是 User。身份认证是就是认证这两部分信息。
接着可以使用 RBAC 功能，对 pod 进行一个授权管理。假如 RBAC 没有配置的话，默认的 pod 具有资源 GET 权限，就是可以从所属的 K8s 集群里 get 数据。如果是需要更多的权限，那么就需要自行配置 RBAC 。

4、Pod服务质量

种类：

Guaranteed ：pod 里面每个容器都必须有内存和 CPU 的 request 以及 limit 的一个声明，且 request 和 limit 必须是一样的，这就是 Guaranteed；
Burstable：Burstable 至少有一个容器存在内存和 CPU 的一个 request；
BestEffort：只要不是 Guaranteed 和 Burstable，那就是 BestEffort。