拨得云开见日出：解构一个典型的云计算系统

《拨得云开见日出：解构一个典型的云计算系统》可作为工科院校相关专业师生的教材或辅导材料，也可供云计算相关研发人员和工程人员作为参考材料。

《拨得云开见日出：解构一个典型的云计算系统》从基础设施云入手，通过对当前主要的开源基础设施云进行分析，总结了一个典型的云计算系统的组织结构，并分别介绍了虚拟化运行环境子系统、云存储子系统、虚拟网络子系统、模块互连子系统等主要的子系统，其体系结构、代码结构、主要的实现模块以及关键的代码。最后对每一个相应的子系统，通过实际将其编译、运行、测试，使读者能对云系统能在实践中进行解构和修改。
如何构建一个云计算系统是广大的程序员和软件工程师最关心的问题之一。但是很遗憾的是，市面上的绝大多数书籍主要介绍的是云计算的模式、架构、应用、接口等，无法使读者站在一个云计算系统的内部，清楚地获知一个典型的云计算系统是如何构成，以及如何编码实现的。

第1章 引言
1.1 本书的特点与结构
1.2 基础设施云介绍
1.2.1 Eucalyptus
1.2.2 OpenStack
1.2.3 Scalr
1.2.4 Nimbus
1.2.5 Xen云平台（XCP）
1.2.6 Ganeti
1.2.7 OpenNebula
1.2.8 Enomalism

第2章 基础设施云对比分析
2.1 基础设施云对比分析概述
2.2 典型基础设施云的构成

第3章 虚拟化运行环境
3.1 概述
3.2 体系结构
3.3 相关技术
3.3.1 KVM和QEMU
3.3.2 Xen
3.3.3 libvirt
3.4 资源管理
3.4.1 资源虚拟化
3.4.2 资源监控
3.5 节点调度
3.5.1 启动虚拟机时节点调度
3.5.2 关闭虚拟机时节点调度
3.5.3 重启虚拟机时节点调度
3.6 虚拟机生命周期管理
3.6.1 启动虚拟机
3.6.2 关闭虚拟机
3.6.3 重启虚拟机
3.7 虚拟机监控
3.7.1 功能描述
3.7.2 代码分析
3.8 开发环境搭建
3.8.1 网络环境
3.8.2 安装依赖包
3.9 单元测试及开发实例
3.9.1 代码修改
3.9.2 runInstance
3.9.3 describeInstances
3.9.4 describeResource
3.9.5 rebootInstance
3.9.6 terminateInstance
3.10 下一步工作

第4章 虚拟磁盘系统
4.1 概述
4.2 体系结构
4.2.1 存储控制器
4.2.2 节点控制器
4.2.3 Walrus
4.2.4 对外接口
4.3 相关技术
4.3.1 loop设备
4.3.2 LVM2命令
4.3.3 iSCSI协议
4.3.4 AoE协议
4.3.5 RAID技术
4.3.6 Hibernate
4.3.7 HSQLDB
4.4 代码结构
4.4.1 com.eucalyptus.bootstrap包
4.4.2 com.eucalyptus.storage包
4.4.3 edu.ucsb.eucalyptus.cloud.ws包
4.4.4 edu.ucsb.eucalyptus.cloud.ws.tests包
4.5 元数据管理
4.5.1 元数据信息
4.5.2 数据库操作
4.6 虚拟磁盘生命周期管理
4.6.1 创建虚拟磁盘
4.6.2 查询虚拟磁盘
4.6.3 挂载虚拟磁盘
4.6.4 卸载虚拟磁盘
4.6.5 删除虚拟磁盘
4.6.6 创建磁盘快照
4.6.7 查询磁盘快照
4.6.8 删除磁盘快照
4.6.9 从磁盘快照创建虚拟磁盘
4.7 存储介质管理
4.7.1 VolumePool
4.7.2 RAID管理
4.7.3 异构存储介质管理
4.8 连接管理
4.8.1 SC和NC之间的映射
4.8.2 NC和虚拟机之间的映射
4.9 开发环境搭建
4.9.1 安装eclipse
4.9.2 安装组件
4.9.3 创建工程
4.10 单元测试及开发示例
4.10.1 创建虚拟磁盘
4.10.2 查询虚拟磁盘
4.10.3 挂载虚拟磁盘
4.10.4 卸载虚拟磁盘
4.10.5 删除虚拟磁盘
4.10.6 创建磁盘快照
4.10.7 查询磁盘快照
4.10.8 删除磁盘快照
4.10.9 从磁盘快照创建虚拟磁盘
4.11下一步工作

第5章 基于Web的在线云存储系统——Walrus
5.1 概述
5.2 Walrus体系结构
5.3 Walrus相关技术
5.3.1 HTTP
5.3.2 Curl
5.4 Walrus元数据管理
5.4.1 BucketInfo
5.4.2 ObjectInfo
5.4.3 GrantInfo
5.4.4 MetaDataInfo
5.4.5 ImageInfo
5.4.6 ImageCacheInfo
5.4.7 WalrusInfo
5.4.8 WalrusSnapshotInfo
5.4.9 WalrusStatsInfo
5.5 Walrus代码结构
5.5.1 edu.ucsb.eucalyptus.cloud.ws包
5.5.2 com.eucalyptus.images包
5.5.3 Walrustest包
5.6 Walrus对用户文件夹的管理
5.6.1 创建bucket
5.6.2 bucket的Location信息管理
5.6.3 删除bucket
5.6.4 bucket和object的访问控制列表管理
5.6.5 bucket的lgging信息管理
5.6.6 bucket的versioning信息管理
5.6.7 列出用户所有bucket
5.7 Walrus对用户文件的管理
5.7.1 上传文件
5.7.2 下载文件
5.7.3 复制文件
5.7.4 删除文件
5.7.5 设置和获得object的ACL
5.7.6 列出指定bucket下的所有object
5.8 对镜像文件的管理
5.8.1 镜像文件的绑定
5.8.2 镜像文件的上传
5.8.3 镜像文件的注册
5.8.4 镜像文件的注销
5.8.5 镜像文件的下载模块
5.9 Walrus对快照文件的管理
5.9.1 保存快照
5.9.2 删除快照
5.9.3 下载快照
5.9.4 获得快照大小
5.10 Walrus开发环境搭建
5.10.1 WalrusService开发环境搭建
5.10.2 镜像文件下载模块开发环境搭建
5.11 Walrus使用方法
5.11.1 云存储服务的使用方法
5.11.2 镜像文件下载模块使用方法
5.12 Walrus待解决的问题

第6章 镜像管理
6.1 操作系统安装及基本设置
6.1.1 Windows操作系统的安装
6.1.2 Windows操作系统基本设置
6.1.3 Linux操作系统安装及基本设置
6.2 镜像系统的更新
6.2.1 Windows系统的更新
6.2.2 Linux系统的更新
6.3 “镜像超市”
6.4 客户端与虚拟运行环境的数据传输
6.4.1 虚拟机是Windows的情况
6.4.2 虚拟机是Linux的情况
6.5 下一步工作

第7章 虚拟网络系统
7.1 概述
7.2 拓扑结构
7.3 相关技术
7.3.1 动态主机配置协议
7.3.2 iptables
7.3.3 bridge-utils
7.3.4 VTun
7.3.5 VLAN
7.4 虚拟网络模式
7.4.1 网络模式介绍
7.4.2 网络模式配置
7.5 虚拟网络系统在Eucalyptus中的实现
7.6 启动网络
7.6.1 功能简介
7.6.2 代码分析
7.7 重启DHCP服务
7.7.1 功能简介
7.7.2 代码分析
7.8 关闭网络
7.8.1 功能简介
7.8.2 代码分析
7.9 安全组规则
7.9.1 功能简介
7.9.2 代码分析
7.10 ElasticIP
7.10.1 绑定IP地址到虚拟机
7.10.2 解除IP地址绑定
7.11 开发环境搭建
7.11.1 系统配置
7.11.2 安装程序
7.12 单元测试及开发示例
7.12.1 启动DHCP
7.12.2 数据转发及过滤
7.12.3 隧道通信
7.12.4 虚拟局域网管理
7.1 3下一步工作

第8章 接入与互连系统
8.1 概述
8.2 体系结构
……

我们需要说明的第一句话是：这本书主要是写给“要动手”的人们的！
如何构建一个云计算系统，这是从事云计算相关工作的程序员和工程师最关心的问题之一。但是很遗憾的是，市面上的绝大多数书籍主要介绍的是云计算的模式、架构、应用、接口等，无法使读者站在一个云计算系统的内部，清楚地获知一个典型的云计算系统是如何构成，以及如何编码实现的。
本书以一个典型的开源基础设施云Eucalyptus为例，解构了一个典型的云计算系统的主要构成模块，并在源代码层面上详细讲解了如何构建一个典型的云计算系统。更进一步的，本书通过动手实验的方式，使读者能直观地掌握如何编译一个云系统，其代码结构是怎么样的；并通过写测试代码，使读者掌握如何去调用云系统的API，如何添加和定制化功能。
通过这本书，我们希望读者有以下的收获：
如何根据需求选择合适的云计算系统？随着云计算模式的逐渐普及和广泛使用，可以想象，越来越多的企业、机构和个人用户主要面临的问题不再是如何采购硬件、软件，再组织人或外包进行系统开发，然后进行系统部署和运维。他们经常要做的事情是根据应用的需求，选择合适的云计算系统来承载相应的应用或选择合适的云集算系统部署自己的私有云。本书在对工业界和学术界的主流云计算系统进行广泛调研的基础上，提出了典型的云集算系统体系结构，并以目前代表性的开源云系统为例，对主要子系统、关键功能和性能参数、核心技术等进行了系统的介绍和对比分析，从而为读者分析和判断市场上的云平台提供了系统的评价方法。更进一步的，本书在各子系统的相应章节，通过使用该子系统的接口API，定量测试和评价云平台的各项指标，以及示例如何将云平台与用户的应用平台进行对接。
从源代码层面，一个典型的云计算系统是如何构建和实现的？我们可以发现一个普遍存在的事实：绝大多数的云计算系统，包括商业云平台，如Amazon，MicrosoftAzure等，其物理服务器的主流配置是Linux或Unix类操作系统。而我们知道，在这类操作系统中，有大量优秀的产品级开源系统或工具可供使用和集成，如何将这些开源系统和工具用于构建云平台？本书分别针对云计算系统的主要核心子系统，如虚拟机管理器、存储网络软件、模块互连框架等，详细介绍了如何使用这些工具，并在此基础上实现云计算系统的核心模块。
如何实现一个产品级的云计算系统？如何寻找典型的云计算系统中有价值的关键技术点？本书分析的不是玩具系统或原型系统，而是真实应用于工业生产的产品系统！本书选择的Eucalyptus私有云系统已经被世界500强中25％的企业所部署和使用。读者以此为基础，可以实现和构建具有商业意义和价值的关键技术与功能点。
最后，要特别感谢北京邮电大学可信分布式计算与服务教育部重点实验室2009级和2010级的同学们，没有你们的辛苦工作和努力付出，这本书的出版将没有可能。在此请允许一一列举你们的名字：2009级的宋小宝、李思扬、唐博、王珂、王彦丞、万磊、张路、陈晏民同学；2010级的李春文、刘彬、刘潇健、王小亮、颉夏青同学。这本书是大家共同奋斗，并肩合作的见证！
著者
2012年9月于北京邮电大学