二、安装计算节点
计算节点需要三块网卡,eth0、eth1 就接公网和内网网段,eth2相连的交换机要打开trunk
安装NTP服务
 
  1. apt-get -y install ntp 
 

编辑 /etc/ntp.conf, 指向控制节点

  1. sed -i -e " s/server ntp.ubuntu.com/server 192.168.4.164/g" /etc/ntp.conf 
 
重启服务
 
  1. service ntp restart 
 

配置 cat /etc/resolv.conf 文件

  1. nameserver  192.168.4.164                //控制机内网ip
 
安装Hypervisor
 
  1. apt-get install -y kvm libvirt-bin pm-utils 
 

编辑 /etc/libvirt/qemu.conf ,添加下面内容

  1. cgroup_device_acl = [ 
  2.  
  3.     "/dev/null", "/dev/full", "/dev/zero", 
  4.     "/dev/random", "/dev/urandom", 
  5.     "/dev/ptmx", "/dev/kvm", "/dev/kqemu", 
  6.     "/dev/rtc", "/dev/hpet","/dev/net/tun", 
 
允许迁移

编辑 /etc/libvirt/libvirtd.conf, 去掉这三行的注释

  1. listen_tls = 0 
  2. listen_tcp = 1 
  3. auth_tcp = "none" 
 
或者运行下面命令

  1. sed -i '/#listen_tls/s/#listen_tls/listen_tls/; /#listen_tcp/s/#listen_tcp/listen_tcp/; /#auth_tcp/s/#auth_tcp/auth_tcp/; /auth_tcp/s/sasl/none/' /etc/libvirt/libvirtd.conf 
 

编辑 /etc/init/libvirt-bin.conf

  1. env libvirtd_opts="-d -l" 
或者使用命令
  1. sed -i '/env libvirtd_opts/s/-d/-d –l/' /etc/init/libvirt-bin.conf 
 
编辑 /etc/default/libvirt-bin
 
  1. libvirtd_opts="-d -l" 
或者使用命令
  1. sed -i '/libvirtd_opts/s/-d/-d -l/' /etc/default/libvirt-bin 
 
重启服务
 
  1. service libvirt-bin restart 
 
安装nova服务
 
配置eth2网卡开机自动up
编辑/etc/network/interfaces   
  1. auto eth2 
  2. iface eth2 inet manual 
  3. pre-up ifconfig eth2 up 
 /etc/init.d/networking restart
 
 
安装 nova
  1. sudo apt-get  install nova-compute nova-network nova-api python-keystone novnc bridge-utils  
 

注意:/etc/nova 这个目录的权限,安装完成后有时会出现这个目录的权限问题,这个目录属于nova 用户

 
编辑/etc/nova/nova.conf
  1. [DEFAULT] 
  2. logdir=/var/log/nova 
  3. state_path=/var/lib/nova 
  4. lock_path=/run/lock/nova 
  5. verbose=False 
  6. api_paste_config=/etc/nova/api-paste.ini 
  7. scheduler_driver=nova.scheduler.simple.SimpleScheduler 
  8. s3_host=192.168.4.164 
  9. ec2_host=192.168.4.164 
  10. ec2_dmz_host=192.168.4.164 
  11. rabbit_host=192.168.4.164 
  12. rabbitrabbit_password=rabbit-pass 
  13. cc_host=192.168.4.164 
  14. nova_url=http://192.168.4.164:8774/v1.1/ 
  15. sql_connection=mysql://nova:nova-pass@192.168.4.164/nova 
  16. ec2_url=http://192.168.4.164:8773/services/Cloud 
  17.  
  18. root_helper=sudo nova-rootwrap /etc/nova/rootwrap.conf 
  19.   
  20. # Auth 
  21. use_deprecated_auth=false 
  22. auth_strategy=keystone 
  23. keystone_ec2_url=http://192.168.4.164:5000/v2.0/ec2tokens 
  24. # Imaging service 
  25. glance_api_servers=192.168.4.165:9292 
  26. p_w_picpath_service=nova.p_w_picpath.glance.GlanceImageService 
  27.   
  28. # Vnc configuration 
  29. novnc_enabled=true 
  30. novncproxy_base_url=http://0.0.0.0:6080/vnc_auto.html 
  31. novncproxy_port=6080 
  32. vncserver_proxyclient_address=0.0.0.0 
  33. vncserver_listen=0.0.0.0 
  34.   
  35. # Network settings 
  36. #network_api_class=nova.network.quantumv2.api.API 
  37. #quantum_url=http://192.168.4.164:9696 
  38. #quantum_auth_strategy=keystone 
  39. #quantum_admin_tenant_name=service 
  40. #quantumquantum_admin_username=quantum 
  41. #quantum_admin_password
  42. #quantum_admin_auth_url=http://192.168.4.164:35357/v2.0 
  43. #libvirt_vif_driver=nova.virt.libvirt.vif.LibvirtHybridOVSBridgeDriver 
  44. #linuxnet_interface_driver=nova.network.linux_net.LinuxOVSInterfaceDriver 
  45. #firewall_driver=nova.virt.libvirt.firewall.IptablesFirewallDriver 
  46.   
  47. ###### NETWORK 
  48. #network_manager=nova.network.manager.FlatDHCPManager 
  49. network_manager=nova.network.manager.VlanManager 
  50. force_dhcp_release=True 
  51. dhcpbridge_flagfile=/etc/nova/nova.conf 
  52. dhcpbridge=/usr/bin/nova-dhcpbridge 
  53. firewall_driver=nova.virt.libvirt.firewall.IptablesFirewallDriver 
  54. public_inter> 
  55. flat_inter> 
  56. vlan_inter> 
  57. flat_network_bridge=br100 
  58. fixed_range=10.100.0.0/24 
  59. multi_host=true 
  60.   
  61. # Compute # 
  62. #compute_driver=libvirt.LibvirtDriver 
  63.   
  64. ###### COMPUTE 
  65. libvirt_type=kvm 
  66. #libvirt_type=qemu 
  67. connection_type=libvirt 
  68. instanceinstance_name_template=instance-%08x 
  69. api_paste_config=/etc/nova/api-paste.ini 
  70. allow_resize_to_same_host=True 
  71. libvirt_use_virtio_for_bridges=true 
  72. #start_guests_on_host_boot=true 
  73. #resume_guests_state_on_host_boot=true 
  74.   
  75. # Cinder # 
  76. volume_api_class=nova.volume.cinder.API 
  77. osapi_volume_listen_port=5900 
 
所有计算节点配置一样,配置中的ip需要注意
 
重启服务
  1. restart nova-compute 
  2. restart nova-network 
  3. restart nova-api    
   
 
在控制节点上运行
nova-manage service list

状态是 :-) 的表示正常。
 
创建虚拟机网络
 
因为我们使用的VlanManager ,创建网络的过程中要制定vlan id,使用vlan,在nova.conf 有两个配置
 
  1. vlan_interface=eth0 
  2. network_manager=nova.network.manager.VlanManager 
 
查看tenant

  1. keystone tenant-list    

这里会列出最一开始创建的tenant : openstackDemo , service下面指定vlan给哪个tenant是 openstackDemo 可以使用, service最好别用,service表示服务容器。

 
创建网络
  1. nova-manage network create private --multi_host=T --fixed_range_v4=192.168.195.0/28 --vlan=2 --project_id=<tenant_id> --num_networks=1 --network_size=<ip个数> 
 
注意: 上面创建网络的时候,可以指定参数 --project_id=<project id> ,就会把相应的网络分配给特定的tenant , <tenant_id>为 tenant 的ID 。这个参数可以不指定,这样创建的vlan网段,就不会被立刻分配出去,但是,当有tenant 需要vlan网段时,这些没有被分配出去的vlan网段会被自动分配给没有网段的tenant的,这样随机性会比较大一些。
 
 
查看创建的网络
 
  1. nova-manage  network  list 
删除网络
  1. nova-manage project scrub --project=<tenant_id> 
  2. nova-manage network delete --uuid=<uuid_id> 
 
 
使用新创建的tenant 和user 使用source 生效变量 新建虚拟机就属于那个tenant
  1. export OS_USERNAME=seconduser 
  2. export OS_TENANT_NAME=secondtenant 
  3. export OS_PASSWORD=password 
  4. export OS_AUTH_URL=http://192.168.4.164:5000/v2.0/ 
  5. export OS_REGION_NAME=RegionOne 
 
以后要使用哪个tenant 就加载那个tenant的环境变量
 
创建虚拟机
 
创建虚拟机之前,要注意把nova.conf 里配置的vlan端口起来,这里是eth0
ifconfig eth0 up
否则的话,下面创建虚拟机时会失败,因为会创建一个vlan端口, 把vlan端口绑定在eth0上, 如果eth0没有起来,那么相应的vlan端口也是起不来的,就会出错。
 
注意:因为nova.conf配置中把虚拟机内网IP绑定到eth0上,请确保连接网连,状态为UP,在控制机上能解析计算机节点的主机名,计算节点更改BIOS 支持HVM
nova boot *****
查看帮助 nova help boot
例子:
 
  1. nova boot –p_w_picpath  0912cd43-a5dd-4719-8b0f-3c1ebff77fa5 --flavor 1 "test_name" 
--p_w_picpath 参数是使用哪个镜像来创建虚拟机,使用 nova p_w_picpath-list查看
--flavor 参数是使用多大内存、cpu等参数的模块,使用nova flavor-list查看
 
或者,加一个ssh登录密钥
key 创建
  1. nova keypair-add key_name > mykey.pem 
 
查看key
  1. nova keypair-list 
 
删除key
  1. nova keypair-delete <name> 

使用key登入的方式 创建虚拟机

  1. nova boot --p_w_picpath 0912cd43-a5dd-4719-8b0f-3c1ebff77fa5 --flavor 2 "test_name” --key_name  key_name 
查看虚拟机列表
  1. nova list  
 
查看vm列表
 
  1. nova-manage vm list 
 
删除虚拟机
 
  1. nova delete <id> 
重启虚拟机
  1. nova reboot   <id> 
 
会发现新创建的虚拟机分配的ip地址在第一个vlan里面
 
再次创建一个新的tenant和user ,再用这个新的tenant 和user 创建虚拟机
则第二个vlan 被分配到这个tenant里面了
      
 
要删除一个网桥时
  1. vconfig rem vlan2 
  2. ifconfig virbr0 down 
  3. brctl delbr virbr0 
 
查看开放端口:
  1. nova secgroup-list-rules default 
打开所有端口:

  1. nova secgroup-add-rule default icmp -1 -1 0.0.0.0/0 
  2. nova secgroup-add-rule default tcp 1 65535 0.0.0.0/0 
  3. nova secgroup-add-rule default udp 1 65535    0.0.0.0/0 
 
查看资源限制
  1. nova-manage project quota "$tid" 
      
更改tenant 资源限制
  1. tid=1dc31a6445a64373939825ae546bd896 (tenant_id) 
  2. nova-manage project quota "$tid"    volumes 1000  
  3. nova-manage project quota "$tid"    gigabytes 10000      
  4. nova-manage project quota "$tid"   ram   5120000   
  5. nova-manage project quota "$tid"   instances   5120000  
  6. nova-manage project quota "$tid"  floating_ips   5120000   
  7. nova-manage project quota "$tid"  cores       5120000  
           
创建floating_ip
 
  1. nova-manage floating create --ip_range=192.168.3.160/27 
创建使用的floating_ip

  1. nova floating-ip-create 
绑定到虚拟机
  1. nova add-floating-ip  <server> <address>  
从虚拟机移除
 
  1. nova remove-floating-ip  <server> <address> 
删除使用的floating_ip
  1. nova floating-ip-delete   <address> 
查看使用floating_ip
 
  1. nova floating-ip-list 
查看所有floating_ip
 
  1. nova-manage floating list 
 
如果虚拟启动后同网段无法ping 通 重启计算节点的restart   libvrit-bin后会出现virbr0 设备 在重启restart nova-network

 

 

 
三、安装nfs实现动态迁移:
 
动态迁移需要配置各个资源机之间的libvirtd ,能够监听到网络上传来的数据,并且这里的实现方式使用NFS
环境:

compute-01.test.com 和compute-02.test.com是两台资源机

使用共享存储nfs , 将存储服务器compute-02.test.com上的/storage挂载到compute-01.test.com  /user/lib/nova/instances 目录下。
 

注意:如果两台资源机上的nova用户的uid不一致,或者libvirt-* 用户的uid不一致,迁移的过程中就会出现权限问题。

还要注意要能ping 各个计算节点的主机名,这个可以通过修改 /etc/hosts 文件来实现    
ping HostA
ping HostB
ping HostC
       注意:控制节点不能在hosts中写本机内网IP的对应关系,要不mysql 使用内网ip登入不上
在ubunt2上配置nfs ,
 
  1. apt-get install nfs-kernel-server 
 
使用fdisk 把磁盘分出一个分区挂载到 /storage
 
修改文件 /etc/exports ,添加
  1. /storage   *(rw,sync,no_root_squash) 
更改宿主
  1. chown nova:nova / storage   
  2. /etc/init.d/nfs-kernel-server restart 
  3. /etc/init.d/idmapd restart     (貌似跟uid 和用户名的对应有关,必需的) 
 
在所有计算节点安装客户端
 
  1. apt-get install nfs-common 
 
修改 /etc/fstab
  1. 192.168.4.166:/storage   /var/lib/nova/instances nfs4 defaults 0 0 
挂载
mount -av
挂载成功

查看宿主是否为nova
 
  1. ll -d /var/lib/nova/instances 
 
迁移过程中,最开始测试的两台物理主机的cpu不一样,然后迁移中从A主机迁到B主机成功,但是从B主机迁到A主机失败,报错是cpu信息不一致。最好各个计算节点型号都是一致的
nova live-migration <server> <host>

 
四、resize 功能
默认情况下运行resize时,openstack会通过 scheduler 服务选出一个节点来,把resize   之后的虚拟机运行在其上面,这样有一个问题,所有的物理机之间需要配置ssh信任关系,因为做这样的resiize的时候,需要ssh登录到目的主机上,否则如果登录不到目的主机上,resize就会报错。
      
建立计算节点之间的信任关系
 
  1. ssh-keygen -t rsa                              //直接回车使用默认就可以 
  2. ssh-copy-id -i  ~/.ssh/id_rsa.pub  '-p20009 root@192.168.4.166'
  3. scp –P20009 ~/.ssh/id_rsa root@192.168.4.166: /root/.ssh/ 
注意 需要把 root@192.168.4.166: /root/.ssh/authorized_keys 拷贝到 165上面
 
查看flavors列表
  1. nova flavor-list 
 
为虚拟机增加内存,cpu等
  1. nova resize  <server>  <flavor> 
 
虚拟机状态为VERIFY_RESIZE时执行
  1. nova  resize-confirm  <server id>  

如果不运行 resize-confirm 24小时之后自动resize-confirm ,在这个状态下可以把 resize撤销,也可以把resize 确认