#################
主要是用于sql文件和csv文件的导入
最好还是tiup安装：
root@shell>> tiup install tidb-lightning
一、下载安装：
地址：https://docs.pingcap.com/zh/tidb/dev/download-ecosystem-tools#tidb-lightning
#下载地址格式约定为：https://download.pingcap.org/tidb-toolkit-{version}-linux-amd64.tar.gz
# 其中version格式为v5.2.1形式的格式，举例如下：shell>> curl -o tidb-toolkit-v5.2.1-linux-amd64.tar.gz https://download.pingcap.org/tidb-toolkit-v5.2.1-linux-amd64.tar.gz
# 解压后可得：
shell>> tar -xzvf tidb-toolkit-v5.2.1-linux-amd64.tar.gz
二、配置导入：
现在，需要将10.10.10.40机器上/home/work/sql_dir目录中大量的sql文件导入到tidb地址为10.10.10.10:4000的集群中
目标集群信息：
tidb：
10.10.10.10:4000
10.10.10.11:4000
pd：
10.10.10.20:2379
10.10.10.21:2379
10.10.10.22:2379
tikv:
10.10.10.30:20160
10.10.10.31:20160
10.10.10.32:20160
[work@10.10.10.40 bin]$ cat tidb-lightning.toml
[lightning]
# 日志
level = "info"
file = "tidb-lightning.log"
[tikv-importer]
# 选择使用的 local 后端;使用 TiDB-backend,则使用backend = "tidb"
backend = "tidb"
# 设置排序的键值对的临时存放地址，目标路径需要是一个空目录，弄一个空的临时目录即可
# sorted-kv-dir = "/home/work/tmp/sorted-kv-dir"
[mydumper]
# 源数据目录，这就是你的sql文件或csv文件所在目录。
data-source-dir = "/home/work/sql_dir/"
# 配置通配符规则，默认规则会过滤 mysql、sys、INFORMATION_SCHEMA、PERFORMANCE_SCHEMA、METRICS_SCHEMA、INSPECTION_SCHEMA 系统数据库下的所有表
# 若不配置该项，导入系统表时会出现“找不到 schema”的异常
# filter = ['*.*', '!mysql.*', '!sys.*', '!INFORMATION_SCHEMA.*', '!PERFORMANCE_SCHEMA.*', '!METRICS_SCHEMA.*', '!INSPECTION_SCHEMA.*']
[tidb]
# 集群中tidb组件中的入口地址：ip、port、user、password四大基本信息
host = "10.10.10.10"
port = 4000
user = "root"
password = "123456"
# 表架构信息在从 TiDB 的“状态端口”获取。
#status-port = 10080
# 集群中任意一个pd实例的地址，当然也可以填写多个pd地址
pd-addr = "10.10.10.20:2379"
三、导入数据：
work@shell>> ./tidb-lightning -config tidb-lightning.toml --check-requirements=false
问题：
1）v5.1.0版本的tiup-lightning因为出现了检查不通过，因此提示给出了：--check-requirement=false ，实际上需要写成：--check-requirements=false
+---+-------------------------------------------------------------------------------------------+-------------+--------+
| # | CHECK ITEM | TYPE | PASSED |
+---+-------------------------------------------------------------------------------------------+-------------+--------+
| 1 | Cluster is available | critical | true |
+---+-------------------------------------------------------------------------------------------+-------------+--------+
| 2 | Cluster has no other loads | performance | true |
+---+-------------------------------------------------------------------------------------------+-------------+--------+
| 3 | Lightning has the correct storage permission | critical | true |
+---+-------------------------------------------------------------------------------------------+-------------+--------+
| 4 | Cluster resources are rich for this import task | critical | true |
+---+-------------------------------------------------------------------------------------------+-------------+--------+
| 5 | large csv: event.event.000000000.sql file exists and it will slow down import performance | performance | false |
+---+-------------------------------------------------------------------------------------------+-------------+--------+
| 6 | checkpoints are valid | critical | true |
+---+-------------------------------------------------------------------------------------------+-------------+--------+
| 7 | table schemas are valid | critical | true |
+---+-------------------------------------------------------------------------------------------+-------------+--------+
1 performance check failed
Error: lightning pre check failed.please fix the check item and make check passed or set --check-requirement=false to avoid this check
tidb lightning encountered error: lightning pre check failed.please fix the check item and make check passed or set --check-requirement=false to avoid this check
参考：https://githubmemory.com/repo/pingcap/tiup/issues/1474
################
