云原生数据库 灵活的部署模式 挑战

云原生专栏大纲

文章目录

• 为什么使用TIDB

• 后端视角
• 运维视角
• 基础架构视角

• TiDB Operator 简介
• 软件版本要求
• 部署tidb
• TIDB工具
• helm常用命令
• TIDB学习推荐资料

为什么使用TIDB

从后端视角、运维视角和基础架构视角来看，使用 TiDB 作为数据库系统可以获得分布式架构、高可用性、强一致性、事务支持、水平扩展、高性能、简化运维、灵活的扩展和配置、集成的监控和告警等优势。这些优势使得 TiDB 成为处理大规模数据和高并发请求的理想选择，并能够满足复杂的业务需求和运维要求。

后端视角

1. 分布式架构和高可用性：TiDB 是一个分布式数据库系统，采用分布式架构和数据分片技术，可以将数据分布在多个节点上。这种架构使得 TiDB 具有高可用性和容错性，即使某个节点发生故障，系统仍然可以继续提供服务，确保业务的连续性。
2. 强一致性和事务支持：TiDB 提供强一致性和事务支持，符合 ACID 特性。它使用分布式一致性协议来保证数据的一致性，在多节点之间实现事务的隔离和提交。这使得 TiDB 可以处理复杂的业务逻辑和数据一致性要求。
3. 水平扩展和高性能：TiDB 具有水平扩展和负载均衡的能力。通过添加更多的节点，可以实现数据的水平分片和负载均衡，提供更高的吞吐量和更低的延迟。这使得 TiDB 能够处理大规模数据和高并发请求，满足高性能的需求。

运维视角

1. 简化运维工作：TiDB 提供了简化运维的功能，减少了运维人员的工作量。它具有自动化的故障检测和恢复机制，可以自动处理节点故障和数据复制等问题。此外，TiDB 还提供了集中式的管理界面和命令行工具，使得运维人员可以方便地监控和管理整个数据库集群。
2. 灵活的扩展和配置：TiDB 具有灵活的扩展和配置选项。它支持在线扩容和缩容，可以根据负载情况动态调整集群的规模。此外，TiDB 还提供了丰富的配置选项，使得运维人员可以根据具体需求进行优化和调整，以获得最佳的性能和资源利用率。
3. 集成的监控和告警：TiDB 集成了监控和告警功能，可以实时监控数据库集群的状态和性能指标，并根据预设的规则和阈值触发告警通知。这使得运维人员可以及时发现和解决潜在的问题，保证系统的稳定性和可靠性。

基础架构视角

1. 分布式数据存储和计算：TiDB 的分布式架构使得数据可以分布在多个节点上，实现了分布式的数据存储和计算。这种架构可以提供更好的数据并行性和负载均衡，支持处理大规模数据和高并发请求。
2. 弹性扩展和容错性：TiDB 具有弹性扩展和容错性的特点。通过添加更多的节点，可以实现系统的弹性扩展，以适应不断增长的数据和负载。同时，TiDB 的分布式架构还具有容错性，即使某个节点发生故障，系统仍然可以继续提供服务。
3. 云原生和容器化支持：TiDB 支持云原生和容器化部署。它可以与容器编排平台（如 Kubernetes）集成，实现弹性伸缩和自动化管理。这使得 TiDB 可以更好地适应云环境和容器化部署的需求。

TiDB Operator 简介

TiDB Operator 是一个用于在 Kubernetes 上部署和管理 TiDB 集群的工具。TiDB 是一个开源的分布式关系型数据库，具有高可用性、可扩展性和水平扩展的特性，适用于处理大规模的数据和高并发的工作负载。
TiDB Operator 的主要功能是简化 TiDB 集群的部署、管理和运维。它基于 Kubernetes 的自定义资源定义（Custom Resource Definition，CRD）和控制器模式，提供了一组自定义资源和控制器，用于描述和操作 TiDB 集群的各个组件和配置。
以下是 TiDB Operator 的一些主要特点和功能：

1. 自动化部署和扩展：TiDB Operator 可以自动化地部署和扩展 TiDB 集群。您可以通过定义 TiDBCluster 自定义资源来描述集群的拓扑结构、副本数量、存储配置等参数，TiDB Operator 将根据这些参数自动创建和管理相应的 Kubernetes 资源。
2. 可靠的运维功能：TiDB Operator 提供了一些可靠的运维功能，包括自动备份和恢复、滚动升级、自动故障转移等。它可以监控集群的状态和健康状况，并根据需要执行相应的操作，以确保集群的高可用性和稳定性。
3. 灵活的配置和扩展：TiDB Operator 允许您通过自定义资源和配置文件来灵活地配置和扩展 TiDB 集群。您可以定义 TiDBCluster、TiDBMonitor、BackupSchedule 等自定义资源来指定集群的各种配置和行为，以满足特定的需求。
4. 监控和告警：TiDB Operator 集成了 Prometheus 和 Grafana，可以提供集群的实时监控指标和可视化。您可以通过自定义资源 TiDBMonitor 来配置监控规则和告警策略，以及在集群出现问题时发送告警通知。

TiDB Operator 简化了在 Kubernetes 上部署和管理 TiDB 集群的过程，提供了自动化的部署、可靠的运维功能和灵活的配置选项。它使得使用 TiDB 在容器化环境中更加便捷和高效。您可以访问TiDB Operator 简介 GitHub - pingcap/tidb-operator通过之前文章《8.云原生存储之Ceph集群》介绍ceph部署也使用了Operator，简单总结Operator就是一个部署控制器，主要用于简化部署过程。

软件版本要求

软件名称	版本
Docker	Docker CE 18.09.6
Kubernetes	v1.12.5+
CentOS	CentOS 7.6，内核要求为 3.10.0-957 或之后版本
Helm	v3.0.0+

上篇中已经讲述了centos升级操作

Kubernetes Master 节点的配置取决于 Kubernetes 集群中 Node 节点个数，节点数越多，需要的资源也就越多。节点数可根据需要做微调。

Kubernetes 集群 Node 节点个数	Kubernetes Master 节点配置
1-5	1vCPUs 4GB Memory
6-10	2vCPUs 8GB Memory
11-100	4vCPUs 16GB Memory
101-250	8vCPUs 32GB Memory
251-500	16vCPUs 64GB Memory
501-5000	32vCPUs 128GB Memory

部署tidb

1. 添加tidb应用仓库

2. 查看应用仓库提供的应用

3. 在 Kubernetes 上快速上手 TiDB

部署前先在kubesphere中创建如下项目（对应k8s中命名空间）

# 部署crd
kubectl create -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.5.1/manifests/crd.yaml

# 部署tidb-operator，可在ks应用仓库部署
helm install --namespace tidb-admin tidb-operator pingcap/tidb-operator --version v1.5.1


# 查看部署情况
kubectl get pods --namespace tidb -l app.kubernetes.io/instance=tidb-operator

# 部署 TiDB 集群。可以在应用仓库部署,注意修改storageClassName
kubectl -n tidb apply -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.5.1/examples/basic-cn/tidb-cluster.yaml

# 部署独立的 TiDB Dashboard
kubectl -n tidb apply -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.5.1/examples/basic-cn/tidb-dashboard.yaml

# 部署 TiDB 集群监控
kubectl -n tidb apply -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.5.1/examples/basic-cn/tidb-monitor.yaml

4. kubesphere中查看部署情况

5. 暴露tidb相关服务

部署后会创建basic-tidb(svc)，通nodeport暴露服务发现会重置导致不能访问，此处小编自己创建tidb-svc暴露服务进行测试如下：

6. grafana监控面板集群监控，账号密码admin

7. dashboard

TIDB工具

helm仓库 https://charts.pingcap.org/包括应用如下：

应用名称	描述
tidb-operator	用于在 Kubernetes 上部署和管理 TiDB 集群的操作符。它提供了自动化的部署、扩展和运维功能，简化了 TiDB 集群的管理流程。
tidb-cluster	用于定义和配置 TiDB 集群的 Helm Chart。通过 tidb-cluster，您可以指定 TiDB、TiKV 和 PD 组件的数量、资源配置、存储设置等参数，以创建一个完整的 TiDB 集群。
tidb-backup	提供了对 TiDB 集群进行备份和恢复的功能。tidb-backup 可以根据预定的计划自动备份 TiDB 集群，并支持从备份中恢复数据。
tidb-drainer	用于从 MySQL 或者 TiDB 集群中抓取 Binlog，并将其转发到其他目标（如 Kafka 或者 TiDB 集群）。tidb-drainer 可以用于实时数据分析、数据同步等场景。
tidb-lightning	提供了快速导入大量数据到 TiDB 集群的功能。tidb-lightning 可以将数据从各种数据源（如 MySQL、CSV 文件等）导入到 TiDB 集群中，以加快数据导入速度。
tikv-importer	用于将数据从其他数据库引擎（如 RocksDB）迁移到 TiKV。tikv-importer 提供了高效的数据迁移工具，可以将数据转换为 TiKV 的格式并导入到 TiDB 集群中。
tikv-operator	用于在 Kubernetes 上部署和管理 TiKV 集群的操作符。tikv-operator 可以自动创建和管理 TiKV 实例，提供了高可用性和可扩展性的分布式存储解决方案。
diag	提供了 TiDB 集群的诊断和故障排查工具。diag 可以帮助您分析和解决 TiDB 集群中的性能问题、错误和故障。
br-federation	用于在分布式 TiDB 集群中进行备份和恢复的工具。br-federation 可以协调多个 TiDB 集群之间的备份和恢复操作，提供了跨集群的数据保护和恢复能力。

helm常用命令

helm install	安装一个 Helm 包	helm install my-release stable/mysql
helm upgrade	升级已安装的 Helm 包	helm upgrade my-release stable/mysql
helm uninstall	卸载一个已安装的 Helm 包	helm uninstall my-release
helm list	列出已安装的 Helm 包	helm list
helm status	显示已安装的 Helm 包的状态	helm status my-release
helm rollback	回滚到先前的 Helm 包版本	helm rollback my-release 1
helm search	搜索可用的 Helm 包	helm search repo mysql
helm repo add	添加一个 Helm 仓库	helm repo add stable https://charts.helm.sh/stable
helm repo update	更新已添加的 Helm 仓库	helm repo update
helm repo list	列出已添加的 Helm 仓库	helm repo list
helm dependency update	更新 Helm 依赖	helm dependency update my-chart
helm lint	检查 Helm Chart 的语法和最佳实践	helm lint my-chart
helm template	生成 Helm Chart 的模板文件	helm template my-chart
helm history	显示已安装 Helm 包的历史版本	helm history my-release
helm plugin install	安装 Helm 插件	helm plugin install https://example.com/helm-plugin.tar.gz
helm plugin list	列出已安装的 Helm 插件	helm plugin list
helm plugin uninstall	卸载已安装的 Helm 插件	helm plugin uninstall my-plugin
helm env	显示 Helm 的环境变量信息	helm env