目录
一、etcd 安装
二、单节点etcd
三、部署etcd群集
四、群集搭建需注意的几点
五、etcd web管理工具etcdkeeper
一、etcd 安装
1、下载安装包
从https://github.com/etcd-io/etcd/releases选择自己需要的版本,我用的是3.3.18这个版本 ,可以用wget命令下载
wget https://github.com/etcd-io/etcd/releases/download/v3.3.18/etcd-v3.3.18-linux-amd64.tar.gz
2、解压、重命名
tar -zxvf etcd-v3.3.18-linux-amd64.tar.gz /usr/local/etcd
cd /usr/local/etcd
mv etcd-v3.3.18-linux-amd64 etcd-v3.3.18
3、进入主目录,查看文件
cd etcd-v3.3.18
ls
主要有两个文件etcd和etcdctl,etcd用于启动服务,etcdctl属于客户端命令行工具
4、查看etcd版本
./etcdctl --version
可以看到api默认版本是V2,如果要切换到V3版本需要修改环境变量,将ETCDCTL_API设为3,
vim /etc/profile
使配置文件生效
source /etc/profile
再次查看版本,可以看到已经切换到V3了,注意:V2和V3的命令有所不同,查看版本不能再用--version
./etcdctl version
5、将etcd和etcdctl复制到/usr/local/bin中,方便在任何目录下直接用调用
cp etcd etcdctl /usr/local/bin/
二、单节点etcd
1、单节点启动etcd
etcd
默认用2379端口接受客户端请求,数据存储路默认为主目录下的default.etcd,当然我们可以自定义端口和路径,可以直接在命令中指定,也可以定义在配置文件中,启动命令时执行配置文件即可
a、指定参数启动
etcd --listen-client-urls "http://0.0.0.0:2381" --advertise-client-urls "http://0.0.0.0:2381" --data-dir "/var/lib/etcd/data"
b、指定配置文件启动
etcd --config-file=/etc/etcd/etcd.conf
查看成员列表,注意:如果客户端请求端口设置在非2379上,需要指定endpoints参数,因为默认请求下查看的是2379端口下成员状态
etcdctl --endpoints=http://127.0.0.1:2381 member list --write-out=table
可以看到服务已经正常开启
注意:如果指定了listen-client-urls,则必须同时指定advertise-client-urls,否则会报错
三、部署etcd群集
群集由三台云ecs组成,分别为:
ecs1:49.111.111.111(公),172.17.0.15(私)
ecs2:47.111.11.111(公),72.16.178.96(私)
ecs3:101.111.111.111(公),192.168.1.14(私)
考虑到安全,以上公网ip在真实ip的基础上对后三个ip段做了更改
1、三台机器配置
第一台机器ecs1
a、/etc目录下新建etcd目录,再新建etcd.conf文件
vim /etc/etcd/etcd.conf
ETCD_NAME="etcd-1"
ETCD_DATA_DIR="/var/lib/etcd/data"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://49.111.111.111:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://172.17.0.15:2379,http://localhost:2379"
ETCD_INITIAL_CLUSTER="etcd-1=http://49.111.111.111:2380,etcd-2=http://47.111.111.111:2380,etcd-3=http://101.111.111.111:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-token"
ETCD_INITIAL_CLUSTER_STATE="new"
b、etcd配置为后台服务配置文件:在/etc/systemd/system目录下新建etcd.service文件
vim /etc/systemd/system/etcd.service
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
EnvironmentFile=-/etc/etcd/etcd.conf
User=root
# set GOMAXPROCS to number of processors
ExecStart=/usr/bin/etcd \
--name=${ETCD_NAME} \
--data-dir=${ETCD_DATA_DIR} \
--listen-client-urls=${ETCD_LISTEN_CLIENT_URLS} \
--listen-peer-urls=${ETCD_LISTEN_PEER_URLS} \
--advertise-client-urls=${ETCD_ADVERTISE_CLIENT_URLS} \
--initial-cluster-token=${ETCD_INITIAL_CLUSTER_TOKEN} \
--initial-advertise-peer-urls=${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
--initial-cluster-state=${ETCD_INITIAL_CLUSTER_STATE} \
--initial-cluster=${ETCD_INITIAL_CLUSTER}
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
这种方式是在ExecStart命令中指定etcd参数,参数值是变量,来源于上面EnvironmentFile指定的/etc/etcd/etcd.conf文件,也可以指定配置文件ExecStart=/usr/bin/etcd --config-file=/etc/etcd/etcd.conf,不过此时的配置内容格式必须是yaml或json格式,跟上面单机运行etcd时格式一样,如下:
name: "etcd-1"
data-dir: "/var/lib/etcd/data"
listen-client-urls: "http://0.0.0.0:2379"
listen-peer-urls: "http://0.0.0.0:2380"
initial-advertise-peer-urls: "http://49.234.197.50:2380"
advertise-client-urls: "http://172.17.0.15:2379,http://localhost:2379"
initial-cluster: "etcd-1=http://49.234.197.50:2380,etcd-2=http://47.96.100.241:2380,etcd-3=http://101.91.206.223:2380"
initial-cluster-token: "etcd-cluster-token"
initial-cluster-state: "new"
否则会报配置文件格式不正确的错。个人推荐使用指定配置文件的方式,方便配置集中管理,且减少了ExecStart命令的代码行数,简单明了
c、创建systemd的工作目录WorkingDirectory "/var/lib/etcd/" 和etcd的数据存储目录data-dir "/var/lib/etcd/data",记得赋予目录操作权限
mkdir -m 777 /var/lib/etcd
mkdir -m 777 /var/lib/etcd/data
第二台机器ecs2
a、etcd配置文件:/etc目录下新建etcd目录,再新建etcd.conf文件
vim /etc/etcd/etcd.conf
ETCD_NAME="etcd-2"
ETCD_DATA_DIR="/var/lib/etcd/data"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://47.111.111.111:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://172.16.178.96:2379,http://localhost:2379"
ETCD_INITIAL_CLUSTER="etcd-1=http://49.111.111.111:2380,etcd-2=http://47.111.111.111:2380,etcd-3=http://101.111.111.111:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-token"
ETCD_INITIAL_CLUSTER_STATE="new"
b、etcd设置为后台服务配置文件:同ecs1
c、同ecs1
第三台机器ecs3
etcd配置文件:/etc目录下新建etcd目录,再新建etcd.conf文件
vim /etc/etcd/etcd.conf
ETCD_NAME="etcd-3"
ETCD_DATA_DIR="/var/lib/etcd/data"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://101.111.111.111:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.1.14:2379,http://localhost:2379"
ETCD_INITIAL_CLUSTER="etcd-1=http://49.111.111.111:2380,etcd-2=http://47.111.111.111:2380,etcd-3=http://101.111.111.111:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-token"
ETCD_INITIAL_CLUSTER_STATE="new"
b、etcd配置为后台服务配置文件:同ecs1
c、同ecs1
2、逐个在三台机器上执行如下命令,启动etcd服务
systemctl daemon-reload --使etcd.service文件修改生效
systemctl enable etcd
systemctl start etcd --启动etcd服务
3、查看服务状态
systemctl status etcd
可以看到etcd服务处于active状态,启动成功
我们还可以用journalctl -xe查看etcd运行日志,有问题时通过日志查找问题
journalctl -xe
4、查看成员信息
etcdctl member list --write-out=table
5、查看群集状态
etcdctl --endpoints=http://127.0.0.1:2379,http://47.111.1111.111:2379,http://101.111.111.111:2379 endpoint status --write-out=table
可以看到ecs1机器是leader,其他两台为follower,群集成功运行
另外执行etcdctl命令如果加上--write-out=table表示以表格的形式输出结果,有title,方便看数据。
四、群集搭建需注意的几点
1、--listen-client-urls用于监听客户端消息,必须设置为真实ip地址,如果机器为云主机,可以设置为云主机的私有ip地址或0.0.0.0(代表监听所有地址),不能设置为公网ip地址,因为云主机的公网ip是虚拟的,如果设置为公网ip会报“bind: cannot assign requested address”的错
2、--listen-peer-urls用于监听其他member发送过来的消息,跟listen-client-urls一样,必须设置为真实ip地址,如果机器为云主机,不能设置为公网ip
3、--initial-advertise-peer-urls用于监听其他member同步信号,该地址其他member必须能直接访问,所以如果是云主机该地址必须设置为云主机的公网ip地址
4、--initial-cluster群集列表,该列表中的值必须跟各个member的initial-advertise-peer-urls值一样
五、etcd web管理工具etcdkeeper
1、下载
wget https://github.com/evildecay/etcdkeeper/releases/download/v0.7.5/etcdkeeper-v0.7.5-linux_x86_64.zip -P /usr/local/etcd/
2、解压
cd /usr/local/etcd
unzip etcdkeeper-v0.7.5-linux_x86_64.zip
3、给etcdkeeper文件赋予可执行权限,否则执行etcdkeeper文件时会报“Permission denied”的错
cd etcdkeeper
chmod 777 etcdkeeper
4、终端启动
-h:网站部署ip
-p:网站部署端口
-auth:是否开启授权认证 如果etcd开启了授权认证,则必须添加-auth=true参数,网页打开时会提示你输入etcd设置的root账号和密码
注意:此处的ip和端口不是etcd的ip和端口,而是挂载etcdkeeper网站的ip和端口,etcdkeeper默认会监听部署在localhost上的etcd的2379端口数据
./etcdkeeper -h=172.17.0.15 -p=8080
5、以服务形式部署
vim /etc/systemd/system/etcdkeeper.service
[Unit]
Description=EtcdKeeper Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/etcdkeeper
User=root
# set GOMAXPROCS to number of processors
ExecStart=/usr/local/etcd/etcdkeeper/etcdkeeper \
-h=172.17.0.15\
-p=8080\
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
新建目录
mkdir -m 777 /var/lib/etcd/etcdkeeper
启动
systemctl daemon-reload
systemctl enable etcdkeeper
systemctl start etcdkeeper
浏览器中浏览