1. 背景说明

   nova负责虚拟机的生命周期管理,包括创建,删除,重建,开机,关机,重启,快照等,作为openstack的核心,nova负责IaaS中计算重要的职责,其中nova的存储格外重要,默认情况下,nova将instance的数据存放在/var/lib/nova/instances/%UUID目录下,使用本地的存储空间。使用这种方式带来的好处是:简单,易实现,速度快,故障域在一个可控制的范围内。然而,缺点也非常明显:compute出故障,上面的虚拟机down机时间长,没法快速恢复,此外,一些特性如热迁移live-migration,虚拟机容灾nova evacuate等高级特性,将无法使用,对于后期的云平台建设,有明显的缺陷。

2.关于分布式存储

  使用openstack时,是否使用分布式文件系统,是一个非常值得思考和深思的问题,使用本地的优点非常明显,同时带来的缺点也显而易见,使用分布式存储,技术上的空白和技术上的难度,也是值得思考的一个问题。同时,分布式存储又改如何选择,应该选择简单的gluserfs还是呼声较高的ceph,这些都是构建云平台需要考虑的地方,同时openstack和ceph都存在一些坑,需要在技术上有足够的积累底蕴才能够控制起来。如果有需要通过openstack在生产环境下构建云平台,我建议初期使用本地的存储,充分利用KVM和本地文件系统的稳定,性能,后续有足够的技术可以逐步灰度至分布式存储glusterfs或者ceph中。建议使用ceph,如果基于技术层面的考虑,可以考虑使用glusterfs,glusterfs以其简单,易管理。

3.nova与ceph结合

1、ceph中创建存储池pool

[root@controller_10_1_2_230 ~]# ceph osd pool create vms 128    #创建一个pools,名字为vms,128个pgpool 'vms' created[root@controller_10_1_2_230 ~]# ceph osd lspools                #查看pools创建的情况0 rbd,1 p_w_picpaths,2 vms,[root@controller_10_1_2_230 ~]# ceph osd pool statspool rbd id 0  nothing is going onpool p_w_picpaths id 1  nothing is going onpool vms id 2  nothing is going on

2、nova-compute节点安装和配置客户端

[root@compute1_10_1_2_232 ~]# yum install python-rbd ceph -y     #安装客户端包[root@controller_10_1_2_230 ~]# scp  /etc/ceph/ceph.conf  root@10.1.2.232:/etc/ceph/ceph.conf #拷贝ceph配置文件

3、配置ceph认证,让nova用户能够访问vms池、p_w_picpaths池

[root@controller_10_1_2_230 ~]# ceph auth get-or-create client.nova mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=vms, allow rwx pool=p_w_picpaths'                       [client.nova]        key = AQBLXqpWB8HsChAA6hGUBT5JNrFGD116uy+nmg==      #查看ceph的认证信息[root@controller_10_1_2_230 ~]# ceph auth listinstalled auth entries:osd.0        key: AQDsx6lWYGehDxAAGwcYP9jDvH2Zaa8JlGwj1Q==        caps: [mon] allow profile osd        caps: [osd] allow *osd.1        key: AQD1x6lWQCYBERAAjIKO1LVpj8FvVefDvNQZSA==        caps: [mon] allow profile osd        caps: [osd] allow *client.admin        key: AQCexqlWQL6OGBAA2v5LsYEB5VgLyq/K2huY3A==        caps: [mds] allow        caps: [mon] allow *        caps: [osd] allow *client.bootstrap-mds        key: AQCexqlWUMNRMRAAZEp/UlhQuaixMcNy5d5pPw==        caps: [mon] allow profile bootstrap-mdsclient.bootstrap-osd        key: AQCexqlWQFfpJBAAfPCx4sTLNztBESyFKys9LQ==        caps: [mon] allow profile bootstrap-osdclient.bootstrap-rgw        key: AQAR7alWok0SGhAAFtOo0PFsZuVzczMvJox1Wg==        caps: [mon] allow profile bootstrap-rgwclient.glance        key: AQAl76lWHMySHxAANTfXv3JQ70GCEBOZI5abcQ==        caps: [mon] allow r        caps: [osd] allow class-read object_prefix rbd_children, allow rwx pool=p_w_picpathsclient.nova        key: AQBLXqpWB8HsChAA6hGUBT5JNrFGD116uy+nmg==        caps: [mon] allow r        caps: [osd] allow class-read object_prefix rbd_children, allow rwx pool=vms, allow rwx pool=p_w_picpaths    #添加了nova用户的认证信息

4、将ceph认证的key拷贝至计算节点

a、查看client.nova的key[root@controller_10_1_2_230 ~]# ceph  auth get-or-create client.nova[client.nova]        key = AQBLXqpWB8HsChAA6hGUBT5JNrFGD116uy+nmg==b、将key拷贝至远端[root@controller_10_1_2_230 ~]# scp  ceph.client.nova.kering  root@10.1.2.232:/etc/ceph/ceph.client.nova.kering  c、生成nova临时的key[root@controller_10_1_2_230 ~]# ceph auth get-key client.nova | ssh root@10.1.2.232 tee client.nova.key

5、计算节点的libvirt使用ceph的key

a、生成uuid号[root@compute1_10_1_2_232 ~]# uuidgen 0d154ad2-ec21-4200-952f-7551503da8a1b、生成加密文件vim secret.xml
        
0d154ad2-ec21-4200-952f-7551503da8a1
        
                
client.cinder secret
        c、加载加密文件[root@compute1_10_1_2_232 ~]# virsh secret-define --file secret.xml Secret 0d154ad2-ec21-4200-952f-7551503da8a1 createdd、配置libvirt加密,使用client.nova.key[root@compute1_10_1_2_232 ~]# virsh secret-set-value --secret 0d154ad2-ec21-4200-952f-7551503da8a1 --base64 $(cat /root/client.nova.key) Secret value sete、查看libvirt定义的key[root@compute1_10_1_2_232 ~]# virsh secret-listUUID                                 Usage-----------------------------------------------------------0d154ad2-ec21-4200-952f-7551503da8a1 Unused