最近2个星期在尝试用OpenStack搭建私有云,提供方便的虚拟机部署和管理。写一篇博客记录一下相关资料。



1. OpenStack简介


OpenStack是一个开源软件,它提供了一个部署云的平台。为虚拟计算或存储服务的公有/私有云,提供可扩展的、灵活的云计算。


OpenStack包含了一组由社区维护的开源项目,主要项目有Compute(Nova), Object Storage(Swift),Image Service(Glance)。


Nova提供虚拟计算服务,Swift提供存储服务,Glance提供虚拟机镜像的注册、分发服务。



他们之间的关系可以用这个简图来表示:




2. OpenStack能够做什么


OpenStack能帮我们建立自己的IaaS,提供类似Amazon Web Service的服务给用户:


普通用户可以通过它注册云服务,查看运行和计费情况


开发和运维人员可以创建和存储他们应用的自定义镜像,并通过这些镜像启动、监控和终止实例


平台的管理人员能够配置和操作网络,存储等基础架构




3. OpenStack Compute(Nova)的软件架构


下图是Nova的软件架构,每个nova-xxx组件是由python代码编写的守护进程,每个进程之间通过队列(Queue)和数据库 (nova database)来交换信息,执行各种请求。而用户通过nova-api暴露的web service来同其他组件进行进行交互。Glance是相对独立的基础架构,nova通过glance-api来和它交互。




4. Nova各个组件的作用


nova-api是Nova的中心。它为所有外部调用提供服务,除了提供OpenStack本身的API规范外,他还提供了兼容EC2的部分API,所以也可以用EC2的管理工具对nova进行日常管理。



nova-compute负责对虚拟机实例进行创建、终止、迁移、Resize的操作。工作原理可以简单描述为:从队列中接收请求,通过相关的系统命令执行他们,再更新数据库的状态。



nova-volume管理映射到虚拟机实例的卷的创建、附加和取消。



nova-network从队列中接收网络任务,然后执行任务控制虚拟机的网络,比如创建桥接网络或改变iptables的规则。



nova-scheduler 提供调度,来决定在哪台资源空闲的机器上启动新的虚拟机实例



Queue为守护进程传递消息。只要支持AMQP协议的任何Message Queue Sever都可以,当前官方推荐用RabbitMQ。



SQL database存储云基础架构中的各种数据。包括了虚拟机实例数据,网络数据等。



user dashboard是一个可选的项目。它提供了一个web界面来给普通用户或者管理者来管理、配置他们的计算资源。




5. Nova的硬件架构


Nova采用无共享、基于消息的架构,我们能安装每个nova-xxx组件在单独的服务器上,这样可以根据不同目的进行不同的配置安装



单结点:一台服务器运行所有的nova-xxx组件,同时也驱动虚拟实例。这种配置只为尝试Nova,或者为了开发目的进行安装。




1控制节点+N个计算节点:一个控制结点运行除nova-compute外的所有nova-services,然后其他compute结点运行 nova-compute。所有的计算节点需要和控制节点进行镜像交互,网络交互,控制节点是整个架构的瓶颈,这种配置主要用于概念证明或实验环境。




多节点:增加节点单独运行nova-volume,同时在计算节点上运行nova-network,并且根据不同的网络硬件架构选择DHCP或者VLan模式,让控制网络和公共网络的流量分离。





6. OpenStack的安装


OpenStack的安装是比较麻烦,可以参考官方文档进行: http://docs.openstack.org/diablo/openstack-compute/admin/content/ , 文档有一些地方没有更新到最新版本,会遇到一些小问题,推荐一个第3方脚本进行安装:   http://devstack.org/ 它适合用来搭建实验环境。可以通过阅读这个脚本,同时配合官方文档来理解整个软件架构。



同时通过Ubuntu源安装的nova在实际使用过程中遇到一些小问题,都需要打补丁来解决,建议了解整个配置以后,可以改成从git上获取stable分支的代码进行安装,这样日后维护升级也比较方便。



如果你需要从无到有搭建整个数据中心,推荐Crowbar实现自动化远程安装: https://github.com/dellcloudedge/crowbar 从裸机到可用系统只用在web界面点击几下即可完成,还自带各种SA常用功能(比如nagios监控等),不过这个东西也比较复杂,推荐有兴趣的SA们试 用。



7. 遇到的问题


官方文档和devstack脚本基本上都是为了搭建实验环境写的,没有为生产环境做最佳实践的指导,在安装过程中遇到很多问题,比如:


A. 多节点部署的时候要用multi host参数


B. 使用VLAN+硬件网关的时候做网络配置时候,需要指定dnsmasq_config_file来强制覆盖dnsmasq的网关配置


C. 用KVM制作windows镜像的时候需要安装virtio驱动


D. 通过Ubuntu源安装的Nova,在Ami格式的镜像启动的instance无法做snapshot,需要打

补丁


E. 通过Ubuntu源安装的Nova,在启用keystone进行身份认证的情况下,无法提供EC2的兼容API,也需要打补丁



8. Openstack 的各种资料


A. 官网和wiki http://docs.openstack.org/


B. Devstack的脚本说明,对于了解如何配置各个组件非常有帮助 http://devstack.org/stack.sh.html


C. Rackspace的参考架构,有很多很有用的信息,包括硬件,网络,软件配置等等,强烈推荐: http://www.referencearchitecture.org


D. 看你准备基于什么技术进行虚拟化,KVM或者Xen的文档也是很有用的。




9. 展示


用dashboard管理虚拟机




通过noVNC在web上连接到虚拟机