分布式系统：概念与设计（原书第5版）

计算机领域经典著作，被誉为是衡量所有其他分布式系统教材的标准，已被爱丁堡大学、伊利诺伊大学、卡内基-梅隆大学、南加州大学、得克萨斯A&M大学、多伦多大学、罗切斯特理工学院、北京大学等名校采纳为高级操作系统、计算机网络、分布式系统课程的教材。华章从第3版就开始引进这本《分布式系统：概念与设计（原书第5版）》，每个版本翻译版印量约为7000册，影印版约为5000册。虽然由于属于高级课程，销量有局限性，但本书在高等院校的师生和研究人员中具有很高的知名度，对于华章教育品牌也具有较大的支撑作用，所以确定继续做这本教材。

《分布式系统：概念与设计（原书第5版）》旨在全面介绍互联网及其他常用分布式系统的原理、体系结构、算法和设计，内容涵盖分布式系统的相关概念、安全、数据复制、组通信、分布式文件系统、分布式事务、分布式系统设计等，以及相关的前沿主题，包括Web服务、网格、移动系统和无处不在系统等。

George Coulouris，伦敦大学皇后玛利学院荣誉教授，剑桥大学计算机实验室访问教授。

Jean Dollimore，伦敦大学皇后玛利学院的高级讲师。

Tim Kindberg，matter 2 media创新技术公司创始人，Pervasive Media Studio研究主任，英国布里斯托尔和美国帕洛阿尔托惠普实验室高级研究员，英国巴斯大学计算机科学系访问教授。

Gordon Blair，兰卡斯特大学计算系分布式系统教授，挪威特罗姆瑟大学兼职教授。

Distributed Systems：Concepts and Design，Fifth Edition
出版者的话
译者序
前言
第1章分布式系统的特征
1.1简介
1.2分布式系统的例子
1.2.1Web搜索
1.2.2大型多人在线游戏
1.2.3金融交易
1.3分布式系统的趋势
1.3.1泛在联网和现代互联网
1.3.2移动和无处不在计算
1.3.3分布式多媒体系统
1.3.4把分布式计算作为一个公共设施
1.4关注资源共享
1.5挑战
1.5.1异构性
1.5.2开放性
1.5.3安全性
1.5.4可伸缩性
1.5.5故障处理
1.5.6并发性
1.5.7透明性
1.5.8服务质量
1.6实例研究：万维网
1.7小结
练习
第2章系统模型
2.1简介
2.2物理模型
2.3体系结构模型
2.3.1体系结构元素
2.3.2体系结构模式
2.3.3相关的中间件解决方案
2.4基础模型
2.4.1交互模型
2.4.2故障模型
2.4.3安全模型
2.5小结
练习
第3章网络和网际互连
3.1简介
3.2网络类型
3.3网络原理
3.3.1数据包的传输
3.3.2数据流
3.3.3交换模式
3.3.4协议
3.3.5路由
3.3.6拥塞控制
3.3.7网际互连
3.4互联网协议
3.4.1IP寻址
3.4.2IP协议
3.4.3IP路由
3.4.4IPv
3.4.5移动IP
3.4.6TCP和UDP
3.4.7域名
3.4.8防火墙
3.5实例研究：以太网、WiFi、蓝牙
3.5.1以太网
3.5.2IEEE 802.11无线LAN
3.5.3IEEE 802.15.1蓝牙无线PAN
3.6小结
练习
第4章进程间通信
4.1简介
4.2互联网协议的API
4.2.1进程间通信的特征
4.2.2套接字
4.2.3UDP数据报通信
4.2.4TCP流通信
4.3外部数据表示和编码
4.3.1CORBA的公共数据表示
4.3.2Java对象序列化
4.3.3可扩展标记语言
4.3.4远程对象引用
4.4组播通信
4.4.1IP组播--组播通信的实现
4.4.2组播的可靠性和排序
4.5网络虚拟化：覆盖网络
4.5.1覆盖网络
4.5.2Skype：一个覆盖网络的例子
4.6实例研究：MPI
4.7小结
练习
第5章远程调用
5.1简介
5.2请求-应答协议
5.3远程过程调用
5.3.1RPC的设计问题
5.3.2RPC的实现
5.3.3实例研究：Sun RPC
5.4远程方法调用
5.4.1RMI的设计问题
5.4.2RMI的实现
5.4.3分布式无用单元收集
5.5实例研究：Java RMI
5.5.1创建客户和服务器程序
5.5.2Java RMI的设计和实现
5.6小结
练习
第6章间接通信
6.1简介
6.2组通信
6.2.1编程模型
6.2.2实现问题
6.2.3实例研究：JGroups工具箱
6.3发布-订阅系统
6.3.1编程模型
6.3.2实现问题
6.3.3发布-订阅系统的例子
6.4消息队列
6.4.1编程模型
6.4.2实现问题
6.4.3实例研究：Java消息服务
6.5共享内存的方式
6.5.1分布式共享内存
6.5.2元组空间通信
6.6小结
练习
第7章操作系统支持
7.1简介
7.2操作系统层
7.3保护
7.4进程和线程
7.4.1地址空间
7.4.2新进程的生成
7.4.3线程
7.5通信和调用
7.5.1调用性能
7.5.2异步操作
7.6操作系统的体系结构
7.7操作系统层的虚拟化
7.7.1系统虚拟化
7.7.2实例研究：系统虚拟化的Xen方法
7.8小结
练习
第8章分布式对象和组件
8.1简介
8.2分布式对象
8.3实例研究：CORBA
8.3.1CORBA RMI
8.3.2CORBA的体系结构
8.3.3CORBA远程对象引用
8.3.4CORBA服务
8.3.5CORBA客户和服务器实例
8.4从对象到组件
8.5实例研究：企业JavaBeans和Fractal
8.5.1企业JavaBeans
8.5.2Fractal
8.6小结
练习
第9章Web服务
9.1简介
9.2Web服务
9.2.1SOAP
9.2.2Web服务与分布式对象模型的比较
9.2.3在Java中使用SOAP
9.2.4Web服务和CORBA的比较
9.3Web服务的服务描述和接口定义语言
9.4Web服务使用的目录服务
9.5XML安全性
9.6Web服务的协作
9.7Web服务的应用
9.7.1面向服务的体系结构
9.7.2网格
9.7.3云计算
9.8小结
练习
第10章对等系统
10.1简介
10.2Napster及其遗留系统
10.3对等中间件
10.4路由覆盖
10.5路由覆盖实例研究：Pastry和Tapestry
10.5.1Pastry
10.5.2Tapestry
10.5.3从结构化对等方法到非结构化对等方法
10.6应用实例研究：Squirrel、OceanStore和Ivy
10.6.1Squirrel Web缓存
10.6.2OceanStore文件存储
10.6.3Ivy文件系统
10.7小结
练习
第11章安全性
11.1简介
11.1.1威胁和攻击
11.1.2保护电子事务
11.1.3设计安全系统
11.2安全技术概述
11.2.1密码学
11.2.2密码学的应用
11.2.3证书
11.2.4访问控制
11.2.5凭证
11.2.6防火墙
11.3密码算法
11.3.1密钥（对称）算法
11.3.2公钥（不对称）算法
11.3.3混合密码协议
11.4数字签名
11.4.1公钥数字签名
11.4.2密钥数字签名--MAC
11.4.3安全摘要函数
11.4.4证书标准和证书权威机构
11.5密码实用学
11.5.1密码算法的性能
11.5.2密码学的应用和政治障碍
11.6实例研究：Needham-Schroeder、Kerberos、TLS和802.11 WiFi
11.6.1Needham-Schroeder认证协议
11.6.2Kerberos
11.6.3使用安全套接字确保电子交易安全
11.6.4IEEE 802.11 WiFi安全设计中最初的缺陷
11.7小结
练习
第12章分布式文件系统
12.1简介
12.1.1文件系统的特点
12.1.2分布式文件系统的需求
12.1.3实例研究
12.2文件服务体系结构
12.3实例研究：SUN网络文件系统
12.4实例研究：Andrew文件系统
12.4.1实现
12.4.2缓存的一致性
12.4.3其他方面
12.5最新进展
12.6小结
练习
第13章名字服务
13.1简介
13.2名字服务和域名系统
13.2.1名字空间
13.2.2名字解析
13.2.3域名系统
13.3目录服务
13.4实例研究：全局名字服务
13.5实例研究：X.500目录服务
13.6小结
练习
第14章时间和全局状态
14.1简介
14.2时钟、事件和进程状态
14.3同步物理时钟
14.3.1同步系统中的同步
14.3.2同步时钟的Cristian方法
14.3.3Berkeley算法
14.3.4网络时间协议
14.4逻辑时间和逻辑时钟
14.5全局状态
14.5.1全局状态和一致割集
14.5.2全局状态谓词、稳定性、安全性和活性
14.5.3Chandy和Lamport的“快照”算法
14.6分布式调试
14.6.1收集状态
14.6.2观察一致的全局状态
14.6.3判定可能的
14.6.4判定明确的
14.6.5在同步系统中判定可能的和明确的
14.7小结
练习
第15章协调和协定
15.1简介
15.2分布式互斥
15.3选举
15.4组通信中的协调与协定
15.4.1基本组播
15.4.2可靠组播
15.4.3有序组播
15.5共识和相关问题
15.5.1系统模型和问题定义
15.5.2同步系统中的共识问题
15.5.3同步系统中的拜占庭将军问题
15.5.4异步系统的不可能性
15.6小结
练习
第16章事务和并发控制
16.1简介
16.1.1简单的同步机制（无事务）
16.1.2事务的故障模型
16.2事务
16.2.1并发控制
16.2.2事务放弃时的恢复
16.3嵌套事务
16.4锁
16.4.1死锁
16.4.2在加锁机制中增加并发度
16.5乐观并发控制
16.6时间戳排序
16.7并发控制方法的比较
16.8小结
练习
第17章分布式事务
17.1简介
17.2平面分布式事务和嵌套分布式事务
17.3原子提交协议
17.3.1两阶段提交协议
17.3.2嵌套事务的两阶段提交协议
17.4分布式事务的并发控制
17.4.1加锁
17.4.2时间戳并发控制
17.4.3乐观并发控制
17.5分布式死锁
17.6事务恢复
17.6.1日志
17.6.2影子版本
17.6.3为何恢复文件需要事务状态和意图列表
17.6.4两阶段提交协议的恢复
17.7小结
练习
第18章复制
18.1简介
18.2系统模型和组通信的作用
18.2.1系统模型
18.2.2组通信的作用
18.3容错服务
18.3.1被动（主备份）复制
18.3.2主动复制
18.4高可用服务的实例研究：闲聊体系结构、Bayou和Coda
18.4.1闲聊体系结构
18.4.2Bayou系统和操作变换方法
18.4.3Coda文件系统
18.5复制数据上的事务
18.5.1复制事务的体系结构
18.5.2可用拷贝复制
18.5.3网络分区
18.5.4带验证的可用拷贝
18.5.5法定数共识方法
18.5.6虚拟分区算法
18.6小结
练习
第19章移动和无处不在计算
19.1简介
19.2关联
19.2.1发现服务
19.2.2物理关联
19.2.3小结和前景
19.3互操作
19.3.1易变系统的面向数据编程
19.3.2间接关联和软状态
19.3.3小结和前景
19.4感知和上下文敏感
19.4.1传感器
19.4.2感知体系结构
19.4.3位置感知
19.4.4小结和前景
19.5安全性和私密性
19.5.1背景
19.5.2一些解决办法
19.5.3小结和前景
19.6自适应
19.6.1内容的上下文敏感自适应
19.6.2适应变化的系统资源
19.6.3小结和前景
19.7实例研究：Cooltown
19.7.1Web存在
19.7.2物理超链接
19.7.3互操作和eSquirt协议
19.7.4小结和前景
19.8小结
练习
第20章分布式多媒体系统
20.1简介
20.2多媒体数据的特征
20.3服务质量管理
20.3.1服务质量协商
20.3.2许可控制
20.4资源管理
20.5流自适应
20.5.1调整
20.5.2过滤
20.6实例研究：Tiger视频文件服务器、BitTorrent和端系统多播
20.6.1Tiger视频文件服务器
20.6.2BitTorrent
20.6.3端系统多播
20.7小结
练习
第21章分布式系统设计：Google实例研究
21.1简介
21.2实例研究简介：Google
21.3总体结构和设计理念
21.3.1物理模型
21.3.2总的系统体系结构
21.4底层通信范型
21.4.1远程调用
21.4.2发布-订阅
21.4.3通信的关键设计选择总结
21.5数据存储和协调服务
21.5.1Google文件系统
21.5.2Chubby
21.5.3Bigtable
21.5.4关键设计选择总结
21.6分布式计算服务
21.6.1MapReduce
21.6.2Sawzall
21.6.3关键设计选择总结
21.7小结
练习
参考文献
索引

第1章分布式系统的特征
第1章分布式系统的特征第1章Distributed Systems：Concepts and Design，Fifth Edition分布式系统的特征第1章分布式系统的特征分布式系统是其组件分布在连网的计算机上，组件之间通过传递消息进行通信和动作协调的系统。该定义引出了分布式系统的下列重要特征：组件的并发性、缺乏全局时钟、组件故障的独立性。
我们看一下现代分布式系统的几个例子，包括Web搜索、多人在线游戏和金融交易系统，也考察今天推动分布式系统发展的关键趋势：现代网络的泛在特性，移动和无处不在计算的出现，分布式多媒体系统不断增加的重要性，以及把分布式系统看成一种实用系统的趋势。接着本章强调资源共享是构造分布式系统的主要动机。资源可以被服务器管理，由客户访问，或者它们被封装成对象，由其他客户对象访问。
构造分布式系统的挑战是处理其组件的异构性、开放性（允许增加或替换组件）、安全性、可伸缩性（用户的负载或数量增加时能正常运行的能力）、故障处理、组件的并发性、透明性和提供服务质量的问题。最后，以Web作为一个大规模分布式系统的例子进行了讨论，并介绍了它的主要特征。
1.1简介
计算机网络无处不在。互联网也是其中之一，因为它是由许多种网络组成的。移动电话网、协作网、企业网、校园网、家庭网、车内网，所有这些，既可单独使用，又可相互结合，它们具有相同的本质特征，这些特征使得它们可以放在分布式系统的主题下来研究。本书旨在解释影响系统设计者和实现者的连网的计算机的特征，给出已有的可帮助完成设计和实现分布式系统任务的主要概念和技术。
我们把分布式系统定义成一个其硬件或软件组件分布在连网的计算机上，组件之间通过传递消息进行通信和动作协调的系统。这个简单的定义覆盖了所有可有效部署连网计算机的系统。
由一个网络连接的计算机可能在空间上的距离不等。它们可能分布在地球上不同的洲，也可能在同一栋楼或同一个房间里。我们定义的分布式系统有如下显著特征：
并发：在一个计算机网络中，执行并发程序是常见的行为。用户可以在各自的计算机上工作，在必要时共享诸如Web页面或文件之类的资源。系统处理共享资源的能力会随着网络资源（例如，计算机）的增加而提高。在本书的许多地方将描述有效部署这种额外能力的方法。对共享资源的并发执行程序的协调也是一个重要和重复提及的主题。
缺乏全局时钟：在程序需要协作时，它们通过交换消息来协调它们的动作。密切的协作通常取决于对程序动作发生的时间的共识。但是，事实证明，网络上的计算机与时钟同步所达到的准确性是有限的，即没有一个正确时间的全局概念。这是通信仅仅是通过网络发送消息这个事实带来的直接结果。定时问题和它们的解决方案将在第14章描述。
故障独立性：所有的计算机系统都可能出故障，一般由系统设计者负责为可能的故障设计结果。分布式系统可能以新的方式出现故障。网络故障导致网上互连的计算机的隔离，但这并不意味着它们停止运行，事实上，计算机上的程序不能够检测到网络是出现故障还是网络运行得比通常慢。类似的，计算机的故障或系统中程序的异常终止（崩溃），并不能马上使与它通信的其他组件了解。系统的每个组件会单独地出现故障，而其他组件还在运行。分布式系统的这个特征所带来的后果将是贯穿本书的一个反复提及的主题。
……

Distributed Systems：Concepts and Design，Fifth Edition
在互联网和Web持续发展并且对我们社会的每个方面都产生影响的时候，这本教材的第5版问世了。本书的介绍性章节提到互联网和Web对诸多（如金融、商业、艺术、娱乐等）应用领域的影响以及对信息社会的普遍影响。它还强调了诸如Web搜索和多人在线游戏等应用领域中的需求。从分布式系统的角度出发，这些开发在应用的范围、多个现代系统所支持的工作负载和系统大小等方面正在对底层系统架构提出实质性的新需求。重要的趋势包括网络技术上不断增加的多样性和普遍性（包括不断增加的无线网络的重要性）、移动和无处不在计算元素及分布式系统架构的集成（这导致了相当不同的物理体系结构），还包括支持多媒体服务的需求和云计算模式的出现，这些都对分布式系统服务的观点提出了挑战。
本书旨在提供对互联网和其他分布式系统原理的理解，提供这些系统的体系结构、算法和设计，展示它们如何满足当代分布式应用的需求。本书的前7章覆盖分布式系统研究的基础部分。前两章提供对主题的概念性概述，介绍了分布式系统的特征和在系统设计中所必须解决的挑战：最重要的可伸缩性、异构性、安全性和故障处理。这两章还开发了用于理解交互过程、故障和安全性的抽象模型。随后是其他基础性章节，这些章节介绍了网络研究、进程间通信、远程调用、间接通信和操作系统支持。
后续的章节涉及中间件这个重要的主题，考察了支持分布式应用的不同的方法，包括分布式对象和组件、Web服务和对等解决方案。接下来的章节涉及安全、分布式文件系统和分布式命名系统这些已被完善的主题，然后介绍了与数据相关的重要方面（包括分布式事务和数据复制）。与这些主题相关的算法也在它们出现时被论及，或者在专门论述定时、协调和协定等单独的章节中介绍。
本书接着论述移动和无处不在计算以及分布式多媒体系统这些新出现的领域，然后给出了一个内容充实的实例研究，从搜索功能和由Google提供的不断扩展的附加服务（例如，Gmail和Google Earth）两个角度，关注支持Google的分布式系统基础设施的设计和实现。最后一章综述了本书所介绍的所有这些体系结构概念、算法和技术，诠释了如何在一个给定应用领域的整体设计中将这些内容组织在一起。
第5版新增部分
新的章节
间接通信（第6章），包括组通信、发布-订阅，对JavaSpaces、JMS、WebSphere和Message Queues的实例研究。
分布式对象和组件（第8章），包括基于组件的中间件和对企业版JavaBeans、Fractal和CORBA的实例研究。
分布式系统设计：Google实例研究（第21章），专门针对Google基础设施的新的大的实例研究。
新增到其他章节中的主题云计算、网络虚拟化、操作系统虚拟化、消息传递接口、无结构的P2P、元组空间、与Web服务相关的松耦合。
其他新的实例研究Skype、Gnutella、TOTA、L2imbo、BitTorrent、End System Multicast。
关于内容更新的更详细的情况，参见Ⅷ页中的表。
目的和读者群
本书可用做本科生教材和研究生的入门教材，也可作为自学教材。本书采用自顶向下的方法，首先叙述在分布式系统设计中要解决的问题，然后，通过抽象模型、算法和对广泛使用的系统进行详细的实例研究，描述成功开发系统的方法。本书覆盖的领域有足够的深度和广度，以便读者能继续研究分布式系统文献中大多数的研究论文。
本书针对具有面向对象编程、操作系统、初级计算机体系结构等基础知识的学生。本书覆盖与分布式系统有关的计算机网络，包括互联网、广域网、局域网和无线网的基本技术。本书中的算法和接口大部分用Java描述，小部分用ANSI C描述。为了表述上的简洁明了，还使用一种从Java/C派生出来的伪码。
本书的组织
下图显示的本书章节可归在7个主要的主题领域。该图提供了本书的结构指南，也为教师、读者提供了一个导航路径，以便于他们理解分布式系统设计中的不同子领域。
与第4版相关的改变
在开始新版本写作之前，我们针对使用第4版的教师做了一个调查，并根据调查结果识别出所需要的新材料和需要做的修改。此外，我们认识到不断增加的分布式系统的多样性，特别是从当前可用于分布式系统开发者的体系结构方法的范围来说。这些都要求本书做重要的改变，特别是前面（基础性）的章节。
总之，这些使得我们编写了全新的3章，对其他一些章节做了实质性的修改，并在书中多处补充了新的内容。对许多章节进行了改变以反映所描述系统的新的、可用的信息。这些修改总结在下面的表格中。为了帮助已使用过第4版的教师，只要可能，我们就保留了前一版本采用的结构。对于已被删除的材料，我们把它放在与书配套的Web网站上，并与以前版本中被删除的材料放在一起。这些被删除的材料包括关于ATM的实例研究、UNIX中的进程间通信、CORBA（其精减的版本仍然保留在第8章中）、Jini分布式事件规约和（以OGSA和Globus工具集为特色的）网格中间件，以及关于分布式共享内存的章节（对它的简明总结现在被包含在第6章中）。
在本书的一些章节中，例如新的关于间接通信的章节（第6章）包含了许多材料。教师在选择2～3项技术做详细的讲解之前可以选择广泛的内容（例如，组通信，假定它的基本角色，以及发布-订阅或消息队列，假定它们在商业分布式系统中的盛行）。
章节的顺序已经修改以容纳新的材料，并反映对某些主题相对重要性的改变。为了完全理解某些主题，读者可能发现附带一个参考文献是必要的。例如，如果第9章引用的第11章安全的章节被理解，那么第9章关于XML安全技术的内容可以被更好地理解。
本书结构变动如下表所示：
新增的章：第6章间接通信包括了第4版的事件和通知第8章分布式对象和组件全部包括了来自第4版的CORBA实例研究第21章分布式系统设计：Google实例研究包含一个新的关于Google的大的实例研究有实质性改变的章：第1章分布式系统的特征重要材料的重构：新增1.2节和1.3.4节关于云计算的介绍第2章系统模型
重要材料的重构：新增2.2节，2.3节重写以反映新书的内容和相关的体系结构观点第4章进程间通信
几处更新：客户-服务器通信移到了第5章；新增4.5节（包括了关于Skype的实例研究）；新增4.6节；删除了对UNIX的IPC的实例研究第5章远程调用
重要材料的重构：客户-服务器通信移到该章；介绍了从客户-服务器通信到RPC以及RMI的发展；事件和通知移到了第6章增加了新内容或删除了内容的章，但没有结构性改变：第3章网络和网际互连几处更新：3.5节删除了ATM的材料第7章操作系统支持新增7.7节第9章Web服务9.2节新增了松耦合的讨论第10章对等系统新增10.5.3节讨论了非结构化对等系统（包括了新的Gnutella实例研究）第15章协调和协定组通信的材料移到了第6章第18章复制组通信的材料移到了第6章第19章移动和无处不在计算19.3.1节增加了元组空间（TOTA和L2imbo）的材料第20章分布式多媒体系统20.6节补充了新的实例研究，增加了BitTorrent和End System Multicast
剩下的章节仅做了少量的修改。
致谢
我们非常感谢下列参加了我们调查的教师：Guohong Cao、Jose Fortes、Bahram Khalili、George Blank、Jinsong Ouyang、JoAnne Holliday、George K.Thiruvathukal、Joel Wein、Tao Xie和Xiaobo Zhou。
我们要感谢下列审阅新章节或提供其他实质性帮助的人：Rob Allen、Roberto Baldoni、John Bates、Tom Berson、Lynne Blair、Geoff Coulson、Paul Grace、Andrew Herbert、David Hutchison、Laurent Mathy、Rajiv Ramdhany、Richard Sharp、Jean-Bernard Stefani、Rip Sohan、Francois Taiani、Peter Triantafillou、Gareth Tyson和已故的Maurice Wikes先生。我们还要感谢Google的员工，他们的见解剖析了Google基础设施的设计合理性，他们是：Mike Burrow、Tushar Chandra、Walfredo Cirne、Jeff Dean、Sanjay Ghemawat、Andrea Kirmse和John Reumann。