一、nova介绍
Nova 是 OpenStack 最核心的服务,负责维护和管理云环境的计算资源。OpenStack 作为 IaaS 的云操作系统,虚拟机生命周期管理也就是通过 Nova 来实现的。
用途与功能 :
1) 实例生命周期管理
2) 管理计算资源
3) 网络和认证管理
4)REST 风格的 API
5) 异步的一致性通信
6)Hypervisor 透明:支持Xen,XenServer/XCP,KVM, UML,VMware vSphere and Hyper-V
在上图中可以看到,Nova 处于 Openstak 架构的中心,其他组件都为 Nova 提供支持: Glance 为 VM 提供 image Cinder 和 Swift 分别为 VM 提供块存储和对象存储 Neutron 为 VM 提供网络连接。
Nova 架构如下:
Nova 的架构比较复杂,包含很多组件。 这些组件以子服务(后台 deamon 进程)的形式运行,可以分为以下几类:
API:
nova-api
是整个 Nova 组件的门户,接收和响应客户的 API 调用。所有对 Nova 的请求都首先由 nova-api 处理。nova-api 向外界暴露若干 HTTP REST API 接口 在 keystone 中我们可以查询 nova-api 的 endponits。
[root@node1 ~]# openstack endpoint list | grep nova
| 2173c915a1044e8a821bae1a0c021fd7 | RegionOne | nova | compute | True | admin | http://node1:8774/v2.1 |
| e795ed786f5442ccb5768afe99b10f6b | RegionOne | nova | compute | True | internal | http://node1:8774/v2.1 |
| fa76111a5b56461d97adbfdf066ceeb1 | RegionOne | nova | compute | True | public | http://node1:8774/v2.1 |
客户端就可以将请求发送到 endponits 指定的地址,向 nova-api 请求操作。 当然,作为最终用户的我们不会直接发送 Rest AP I请求。 OpenStack CLI,Dashboard 和其他需要跟 Nova 交换的组件会使用这些 API。
Nova-api 对接收到的 HTTP API 请求会做如下处理:
1. 检查客户端传入的参数是否合法有效
2. 调用 Nova 其他子服务的处理客户端 HTTP 请求
3. 格式化 Nova 其他子服务返回的结果并返回给客户端
nova-api 接收哪些请求?
简单的说,只要是跟虚拟机生命周期相关的操作,nova-api 都可以响应。 大部分操作都可以在 Dashboard 上找到。打开Instance管理界面
除了提供 OpenStack 自己的API,nova-api 还支持 Amazon EC2 API。 也就是说,如果客户以前使用 Amazon EC2,并且用 EC2 的 API 开发了些工具来管理虚机,那么如果现在要换成 OpenStack,这些工具可以无缝迁移到 OpenStack,因为 nova-api 兼容 EC2 API,无需做任何修改。
Compute Core:
a)nova-scheduler:
虚机调度服务,负责决定在哪个计算节点上运行虚机。创建 Instance 时,用户会提出资源需求,例如 CPU、内存、磁盘各需要多少。OpenStack 将这些需求定义在 flavor 中,用户只需要指定用哪个 flavor 就可以了。
下面介绍 nova-scheduler 是如何实现调度的。在 /etc/nova/nova.conf 中,nova 通过 driver=filter_scheduler 这个参数来配置 nova-scheduler。
Filter scheduler
Filter scheduler 是 nova-scheduler 默认的调度器,调度过程分为两步:
1. 通过过滤器(filter)选择满足条件的计算节点(运行 nova-compute)
2. 通过权重计算(weighting)选择在最优(权重值最大)的计算节点上创建 Instance。
Nova 允许使用第三方 scheduler,配置 scheduler_driver 即可。 这又一次体现了OpenStack的开放性。Scheduler 可以使用多个 filter 依次进行过滤,过滤之后的节点再通过计算权重选出最适合的节点。
b)nova-compute:
nova-compute 是管理虚机的核心服务,在计算节点上运行。通过调用Hypervisor API实现节点上的 instance的生命周期管理。 OpenStack 对 instance 的操作,最后都是交给 nova-compute 来完成的。 nova-compute 与 Hypervisor 一起实现 OpenStack 对 instance 生命周期的管理。
通过Driver架构支持多种Hypervisor
Hypervisor是计算节点上跑的虚拟化管理程序,虚机管理最底层的程序。 不同虚拟化技术提供自己的 Hypervisor。 常用的 Hypervisor 有 KVM,Xen, VMWare 等。nova-compute 为这些 Hypervisor 定义了统一的接口,Hypervisor 只需要实现这些接口,就可以 Driver 的形式即插即用到 OpenStack 系统中。
nova-conductor:
nova-compute 经常需要更新数据库,比如更新和获取虚机的状态。 出于安全性和伸缩性的考虑,nova-compute 并不会直接访问数据库,而是将这个任务委托给 nova-conductor。
这样做有两个显著好处:
1. 更高的系统安全性
2. 更好的系统伸缩性
Console Interface:
nova-console: 用户可以通过多种方式访问虚机的控制台:
nova-novncproxy: 基于 Web 浏览器的 VNC 访问
nova-spicehtml5proxy: 基于 HTML5 浏览器的 SPICE 访问
nova-xvpnvncproxy: 基于 Java 客户端的 VNC 访问
nova-consoleauth: 负责对访问虚机控制台请求提供 Token 认证
nova-cert: 提供 x509 证书支持
Database:
Nova 会有一些数据需要存放到数据库中,一般使用 MySQL。数据库安装在控制节点上。 Nova 使用命名为 “nova” 的数据库。
Message Queue:
在前面我们了解到 Nova 包含众多的子服务,这些子服务之间需要相互协调和通信。为解耦各个子服务,Nova 通过 Message Queue 作为子服务的信息中转站。 所以在架构图上我们看到了子服务之间没有直接的连线,是通过 Message Queue 联系的。
OpenStack 默认是用 RabbitMQ 作为 Message Queue。 MQ 是 OpenStack 的核心基础组件,我们后面也会详细介绍。
二、Nova 组件如何协同工作
对于 Nova,这些服务会部署在两类节点上:计算节点和控制节点
计算节点上安装了 Hypervisor,上面运行虚拟机。 由此可知:
1. 只有 nova-compute 需要放在计算节点上。
2. 其他子服务则是放在控制节点上的。
从虚机创建流程看 nova-* 子服务如何协同工作
1.客户(可以是 OpenStack 最终用户,也可以是其他程序)向 API(nova-api)发送请求:“帮我创建一个虚机”
2.API 对请求做一些必要处理后,向 Messaging(RabbitMQ)发送了一条消息:“让 Scheduler 创建一个虚机”
3.Scheduler(nova-scheduler)从 Messaging 获取到 API 发给它的消息,然后执行调度算法,从若干计算节点中选出节点 A
4.Scheduler 向 Messaging 发送了一条消息:“在计算节点 A 上创建这个虚机”
5.计算节点 A 的 Compute(nova-compute)从 Messaging 中获取到 Scheduler 发给它的消息,然后在本节点的 Hypervisor 上启动虚机。
6.在虚机创建的过程中,Compute 如果需要查询或更新数据库信息,会通过 Messaging 向 Conductor(nova-conductor)发送消息,Conductor 负责数据库访问。
三、安装和配置控制器节点
1、前提条件
1)登录数据库,创建数据库和服务凭据和API接口
# mysql -uroot -proot
2)创建nova_api,nova和nova_cell0数据库
MariaDB [(none)]> CREATE DATABASE nova_api;
MariaDB [(none)]> CREATE DATABASE nova;
MariaDB [(none)]> CREATE DATABASE nova_cell0;
3)授予对数据库的适当访问权限
MariaDB [(none)]> GRANT ALL PRIVILEGES ON nova_api.* TO 'nova'@'localhost' IDENTIFIED BY 'NOVA_DBPASS';
MariaDB [(none)]> GRANT ALL PRIVILEGES ON nova_api.* TO 'nova'@'%' IDENTIFIED BY 'NOVA_DBPASS';
MariaDB [(none)]> GRANT ALL PRIVILEGES ON nova.* TO 'nova'@'localhost' IDENTIFIED BY 'NOVA_DBPASS';
MariaDB [(none)]> GRANT ALL PRIVILEGES ON nova.* TO 'nova'@'%' IDENTIFIED BY 'NOVA_DBPASS';
MariaDB [(none)]> GRANT ALL PRIVILEGES ON nova_cell0.* TO 'nova'@'localhost' IDENTIFIED BY 'NOVA_DBPASS';
MariaDB [(none)]> GRANT ALL PRIVILEGES ON nova_cell0.* TO 'nova'@'%' IDENTIFIED BY 'NOVA_DBPASS';
2、创建nova用户密码设置为nova
# openstack user create --domain default --password=nova nova
3、将nova用户添加到admin角色
# openstack role add --project service --user nova admin
4、创建nova服务实体
# openstack service create --name nova \
--description "OpenStack Compute" compute
5、创建Compute API服务端点
# openstack endpoint create --region RegionOne \
compute public http://node1:8774/v2.1
# openstack endpoint create --region RegionOne \
compute internal http://node1:8774/v2.1
# openstack endpoint create --region RegionOne \
compute admin http://node1:8774/v2.1
6、创建placement用户并设置密码为placement
# openstack user create --domain default --password=placement placement
7、将placement用户添加到admin角色
# openstack role add --project service --user placement admin
8、创建Placement服务(资源服务追踪)
# openstack service create --name placement --description "Placement API" placement
9、创建Placement API服务端点
# openstack endpoint create --region RegionOne placement public http://node1:8778
# openstack endpoint create --region RegionOne placement internal http://node1:8778
# openstack endpoint create --region RegionOne placement admin http://node1:8778
2、安装和配置组件
1、下载安装包
# yum install openstack-nova-api openstack-nova-conductor \
openstack-nova-console openstack-nova-novncproxy \
openstack-nova-scheduler openstack-nova-placement-api
2、编辑/etc/nova/nova.conf配置文件
因为这里我把控制节点也作为了一点计算节点,所以配置文件可能多几行,
# cp /etc/nova/nova.conf /etc/nova/nova.conf.bak #备份原配置文件
# vim /etc/nova/nova.conf
[DEFAULT]
my_ip=192.168.83.171#主机ip
use_neutron = True
firewall_driver = nova.virt.firewall.NoopFirewallDriver
enabled_apis=osapi_compute,metadata
transport_url = rabbit://openstack:admin@node1
[api]
auth_strategy = keystone#keystone认证
[api_database]
connection = mysql+pymysql://nova:NOVA_DBPASS@node1/nova_api#数据库用户,密码,主机名,库名
[barbican]
[cache]
[cells]
[cinder]
os_region_name = RegionOne
[cloudpipe]
[conductor]
[console]
[consoleauth]
[cors]
[cors.subdomain]
[crypto]
[database]
connection = mysql+pymysql://nova:NOVA_DBPASS@node1/nova
[ephemeral_storage_encryption]
[filter_scheduler]
[glance]
api_servers = http://node1:9292
[guestfs]
[healthcheck]
[hyperv]
[image_file_url]
[ironic]
[key_manager]
[keystone_authtoken]
auth_uri = http://node1:5000
auth_url = http://node1:35357
memcached_servers = node1:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = nova
password = nova
[libvirt]
virt_type=qemu#不做计算节点可以不写
[matchmaker_redis]
[metrics]
[mks]
[neutron]#这个配置段是网络组件用到的内容,这里可以选择注释
url = http://node1:9696
auth_url = http://node1:35357
auth_type = password
project_domain_name = default
user_domain_name = default
region_name = RegionOne
project_name = service
username = neutron
password = neutron
service_metadata_proxy = true
metadata_proxy_shared_secret = METADATA_SECRET
[notifications]
[osapi_v21]
[oslo_concurrency]
lock_path=/var/lib/nova/tmp
[oslo_messaging_amqp]
[oslo_messaging_kafka]
[oslo_messaging_notifications]
[oslo_messaging_rabbit]
[oslo_messaging_zmq]
[oslo_middleware]
[oslo_policy]
[pci]
[placement]
os_region_name = RegionOne
auth_type = password
auth_url = http://node1:35357/v3
project_name = service
project_domain_name = Default
username = placement
password = placement#openstack中placement用户的密码
user_domain_name = Default
[quota]
[rdp]
[remote_debug]
[scheduler]
[serial_console]
[service_user]
[spice]
[ssl]
[trusted_computing]
[upgrade_levels]
[vendordata_dynamic_auth]
[vmware]
[vnc]#启用并配置远程控制台访问
enabled=true
vncserver_listen=$my_ip
vncserver_proxyclient_address=$my_ip
novncproxy_base_url = http://192.168.83.171:6080/vnc_auto.html
#主机ip,最好写ip,以防其他主机解析不了主机名,如果不做计算节点,可以删除此行
[workarounds]
[wsgi]
[xenserver]
[xvp]
3、由于一些包的bug必须更改/etc/httpd/conf.d/00-nova-placement-api.conf文件来启用对Placement API的访问
加入以下内容:
<Directory /usr/bin>
<IfVersion >= 2.4>
Require all granted
</IfVersion>
<IfVersion < 2.4>
Order allow,deny
Allow from all
</IfVersion>
</Directory>
4、重启httpd服务
# systemctl restart httpd
5、导入api数据库数据(入数据的时候步骤许需按顺序执行,否则可能报错)
# su -s /bin/sh -c "nova-manage api_db sync" nova
6、导入证书(cell0)的数据库内容
# su -s /bin/sh -c "nova-manage cell_v2 map_cell0" nova
7、创建证书的池
# su -s /bin/sh -c "nova-manage cell_v2 create_cell --name=cell1 --verbose" nova
8、同步nova数据库
# su -s /bin/sh -c "nova-manage db sync" nova
9、验证nova cell0和cell1是否正确注册
# nova-manage cell_v2 list_cells
10、完成安装:启动Compute服务并将其配置为在系统引导时启动
# systemctl enable openstack-nova-api.service \
openstack-nova-consoleauth.service openstack-nova-scheduler.service \
openstack-nova-conductor.service openstack-nova-novncproxy.service
# systemctl start openstack-nova-api.service \
openstack-nova-consoleauth.service openstack-nova-scheduler.service \
openstack-nova-conductor.service openstack-nova-novncproxy.service
四、计算节点
1、安装和配置组件
1)安装包
# yum install openstack-nova-compute
如果需要解决依赖关系请下载,解压后安装
# wget http://download2.yunwei.edu/shell/openstack_app.tar.gz
2)编辑/etc/nova/nova.conf文件并完成以下操作
[DEFAULT]
my_ip=192.168.83.171#主机ip
use_neutron = True
firewall_driver = nova.virt.firewall.NoopFirewallDriver
enabled_apis=osapi_compute,metadata
transport_url = rabbit://openstack:admin@node1
[api]
auth_strategy = keystone#keystone认证
[api_database]
connection = mysql+pymysql://nova:NOVA_DBPASS@node1/nova_api#数据库用户,密码,主机名,库名
[barbican]
[cache]
[cells]
[cinder]
os_region_name = RegionOne
[cloudpipe]
[conductor]
[console]
[consoleauth]
[cors]
[cors.subdomain]
[crypto]
[database]
connection = mysql+pymysql://nova:NOVA_DBPASS@node1/nova
[ephemeral_storage_encryption]
[filter_scheduler]
[glance]
api_servers = http://node1:9292
[guestfs]
[healthcheck]
[hyperv]
[image_file_url]
[ironic]
[key_manager]
[keystone_authtoken]
auth_uri = http://node1:5000
auth_url = http://node1:35357
memcached_servers = node1:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = nova
password = nova
[libvirt]
virt_type=qemu
[matchmaker_redis]
[metrics]
[mks]
[neutron]#这个配置段是网络组件用到的内容,这里可以选择注释
url = http://node1:9696
auth_url = http://node1:35357
auth_type = password
project_domain_name = default
user_domain_name = default
region_name = RegionOne
project_name = service
username = neutron
password = neutron
service_metadata_proxy = true
metadata_proxy_shared_secret = METADATA_SECRET
[notifications]
[osapi_v21]
[oslo_concurrency]
lock_path=/var/lib/nova/tmp
[oslo_messaging_amqp]
[oslo_messaging_kafka]
[oslo_messaging_notifications]
[oslo_messaging_rabbit]
[oslo_messaging_zmq]
[oslo_middleware]
[oslo_policy]
[pci]
[placement]
os_region_name = RegionOne
auth_type = password
auth_url = http://node1:35357/v3
project_name = service
project_domain_name = Default
username = placement
password = placement#openstack中placement用户的密码
user_domain_name = Default
[quota]
[rdp]
[remote_debug]
[scheduler]
[serial_console]
[service_user]
[spice]
[ssl]
[trusted_computing]
[upgrade_levels]
[vendordata_dynamic_auth]
[vmware]
[vnc]#启用并配置远程控制台访问
enabled=true
vncserver_listen=$my_ip
vncserver_proxyclient_address=$my_ip
novncproxy_base_url = http://192.168.83.171:6080/vnc_auto.html
#控制主机ip,最好写ip,以防其他主机解析不了主机名
[workarounds]
[wsgi]
[xenserver]
[xvp]
2、完成安装
1)确定您的计算节点是否支持虚拟机
# egrep -c '(vmx | svm)' / proc / cpuinfo
2)启动Compute服务及其依赖项,并将它们配置为在系统引导时自动启动:
# systemctl enable libvirtd.service openstack-nova-compute.service
# systemctl start libvirtd.service openstack-nova-compute.service
2、将计算节点添加到单元数据库(控制节点操作)
1)获取管理员凭据以启用仅管理员CLI命令,然后确认数据库中是否存在计算主机
# openstack hypervisor list
2)将计算节点加入
# su -s /bin/sh -c "nova-manage cell_v2 discover_hosts --verbose" nova
五、验证操作
1、列出服务组件以验证每个进程的成功启动和注册
# openstack compute service list
2、列出Identity服务中的API端点以验证与Identity服务的连接
# openstack catalog list
3、检查单元格和放置API是否成功运行
# nova-status upgrade check
+---------------------------+
| Upgrade Check Results |
+---------------------------+
| Check: Cells v2 |
| Result: Success |
| Details: None |
+---------------------------+
| Check: Placement API |
| Result: Success |
| Details: None |
+---------------------------+
| Check: Resource Providers |
| Result: Success |
| Details: None |
+---------------------------+