大话存储：存储系统底层架构原理极限剖析（终极版）

一个无比严谨的技术痴迷者创作的一本饱含诚意与想象力的经典存储著作。

网络存储是一个涉及计算机硬件以及网络协议/技术、操作系统以及专业软件等各方面综合知识的领域。目前国内阐述网络存储的书籍少之又少，大部分是国外作品，对存储系统底层细节的描述不够深入，加之术语太多，初学者很难真正理解网络存储的精髓。
《大话存储：存储系统底层架构原理极限剖析（版）》以特立独行的行文风格向读者阐述了整个网络存储系统。从硬盘到应用程序，对这条路径上的每个节点，作者都进行了阐述。书中内容涉及：计算机IO基本概念，硬盘物理结构、盘片数据结构和工作原理，七种常见RAID原理详析以及性能细节对比，虚拟磁盘、卷和文件系统原理，磁盘阵列系统，OSI模型，FC协议，众多磁盘阵列架构等。另外，本书囊括了存储领域几乎所有的新兴技术，比如机械磁盘、SSD、FC/SAS协议、HBA卡、存储控制器、集群存储系统、FC SAN、NAS、iSCSI、FCoE、快照、镜像、虚拟化、同步/异步远程复制、Thin Provision自动精简配置、VTL虚拟磁带库、数据容灾、应用容灾、业务容灾、性能优化、存储系统IO路径、云计算与云存储等。
其中每一项技术作者都进行了建模和分析，旨在帮助读者彻底理解每一种技术的原理和本质。本书结尾，作者精心总结和多年来在论坛以及各大媒体发表的帖子内容，超过一百条的问与答，这些内容都是与实际紧密结合的经验总结，颇具参考价值。
《大话存储：存储系统底层架构原理极限剖析（版）》第一版于2008年出版，受到业界一致肯定，历经6年技术沉淀重装出版。
《大话存储：存储系统底层架构原理极限剖析（版）》适合初入存储行业的研发人员、技术工程师、售前工程师和销售人员阅读，同时适合资深存储行业人士用以互相切磋交流提高。另外，网络工程师、网管、服务器软硬件开发与销售人员、Web开发者、数据库开发者以及相关专业师生等也非常适合阅读《大话存储·版：存储系统底层架构原理极限剖析》。

第1章 混沌初开--存储系统的前世今生
1.1 存储历史
1.2 信息、数据和数据存储
1.2.1 信息
1.2.2 什么是数据
1.2.3 数据存储
1.3 用计算机来处理信息、保存数据
第2章 IO大法--走进计算机IO世界
2.1 IO的通路--总线
2.2 计算机内部通信
2.2.1 IO总线是否可以看作网络
2.2.2 CPU、内存和磁盘之间通过网络来通信
2.3 网中之网
第3章 磁盘大挪移--磁盘原理与技术详解
3.1 硬盘结构
3.1.1 盘片上的数据组织
3.1.2 硬盘控制电路简介
3.1.3 磁盘的IO单位
3.2 磁盘的通俗演绎
3.3 磁盘相关高层技术
3.3.1 磁盘中的队列技术
3.3.2 无序传输技术
3.3.3 几种可控磁头扫描方式概论
3.3.4 关于磁盘缓存
3.3.5 影响磁盘性能的因素
3.4 硬盘接口技术
3.4.1 IDE硬盘接口
3.4.2 SATA硬盘接口
3.5 SCSI硬盘接口
3.6 磁盘控制器、驱动器控制电路和磁盘控制器驱动程序
3.6.1 磁盘控制器
3.6.2 驱动器控制电路
3.6.3 磁盘控制器驱动程序
3.7 内部传输速率和外部传输速率
3.7.1 内部传输速率
3.7.2 外部传输速率
3.8 并行传输和串行传输
3.8.1 并行传输
3.8.2 串行传输
3.9 磁盘的IOPS和传输带宽（吞吐量）
3.9.1 IOPS
3.9.2 传输带宽
3.10 固态存储介质和固态硬盘
3.10.1 SSD固态硬盘的硬件组成
3.10.2 从Flash芯片读取数据的过程
3.10.3 向Flash芯片中写入数据的过程
3.10.4 Flash芯片的通病
3.10.5 NAND与NOR
3.10.6 SSD给自己开的五剂良药
3.10.7 SSD如何处理Cell损坏
3.10.8 SSD的前景
3.11 Memblaze闪存产品介绍
3.11.1 技术能力
3.11.2 产品能力
3.12 小结：网中有网，网中之网
第4章 七星北斗--大话/详解七种RAID
4.1 大话七种RAID武器
4.1.1 RAID 0阵式
4.1.2 RAID 1阵式
4.1.3 RAID 2阵式
4.1.4 RAID 3阵式
4.1.5 RAID 4阵式
4.1.6 RAID 5阵式
4.1.7 RAID 6阵式
4.2 七种RAID技术详解
4.2.1 RAID 0技术详析
4.2.2 RAID 1技术详析
4.2.3 RAID 2技术详析
4.2.4 RAID 3技术详析
4.2.5 RAID 4技术详析
4.2.6 RAID 5技术详析
4.2.7 RAID 6技术详析
第5章 降龙传说--RAID、虚拟磁盘、卷和文件系统实战
5.1 操作系统中RAID的实现和配置
5.1.1 Windows Server 2003高级磁盘管理
5.1.2 Linux下软RAID配置示例
5.2 RAID卡
5.3 磁盘阵列
5.3.1 RAID 50
5.3.2 RAID 10和RAID 01
5.4 虚拟磁盘
5.4.1 RAID组的再划分
5.4.2 同一通道存在多种类型的RAID组
5.4.3 操作系统如何看待逻辑磁盘
5.4.4 RAID控制器如何管理逻辑磁盘
5.5 卷管理层
5.5.1 有了逻辑盘就万事大吉了么？
5.5.2 深入卷管理层
5.5.3 Linux下配置LVM实例
5.5.4 卷管理软件的实现
5.5.5 低级VM和高级VM
5.5.6 VxVM卷管理软件配置简介
5.6 大话文件系统
5.6.1 成何体统--没有规矩的仓库
5.6.2 慧眼识人--交给下一代去设计
5.6.3 无孔不入--不浪费一点空间
5.6.4 一箭双雕--一张图解决两个难题
5.6.5 宽容似海--设计也要像心胸一样宽
5.6.6 老将出马--权威发布
5.6.7 一统江湖--所有操作系统都在用
5.7 文件系统中的IO方式
第6章 阵列之行--大话磁盘阵列
6.1 初露端倪--外置磁盘柜应用探索
6.2 精益求精--结合RAID卡实现外置磁盘阵列
6.3 独立宣言--独立的外部磁盘阵列
6.4 双龙戏珠--双控制器的高安全性磁盘阵列
6.5 龙头凤尾--连接多个扩展柜
6.6 锦上添花--完整功能的模块化磁盘阵列
6.7 一脉相承--主机和磁盘阵列本是一家
6.8 天罗地网--SAN
第7章 熟读宝典--系统与系统之间的语言OSI
7.1 人类模型与计算机模型的对比剖析
7.1.1 人类模型
7.1.2 计算机模型
7.1.3 个体间交流是群体进化的动力
7.2 系统与系统之间的语言--OSI初步
7.3 OSI模型的七个层次
7.3.1 应用层
7.3.2 表示层
7.3.3 会话层
7.3.4 传输层
7.3.5 网络层
7.3.6 数据链路层
7.3.7 物理层
7.4 OSI与网络
第8章 勇破难关--Fibre Channel协议详解
8.1 FC网络--极佳的候选角色
8.1.1 物理层
8.1.2 链路层
8.1.3 网络层
8.1.4 传输层
8.1.5 上三层
8.1.6 小结
8.2 FC协议中的七种端口类型
8.2.1 N端口和F端口
8.2.2 L端口
8.2.3 NL端口和FL端口
8.2.4 E端口
8.2.5 G端口
8.3 FC适配器
8.4 改造盘阵前端通路--SCSI迁移到FC
8.5 引入FC之后
8.6 多路径访问目标
8.7 FC交换网络节点4次Login过程简析
第9章 天翻地覆--FC协议的巨大力量
9.1 FC交换网络替代并行SCSI总线的必然性
9.1.1 面向连接与面向无连接
9.1.2 串行和并行
9.2 不甘示弱--后端也升级换代为FC
9.3 FC革命--完整的盘阵解决方案
9.3.1 FC磁盘接口结构
9.3.2 一个磁盘同时连入两个控制器的Loop中
9.3.3 共享环路还是交换--SBOD芯片级详解
9.4 SAS大革命
9.4.1 SAS物理层
9.4.2 SAS链路层
9.4.3 SAS网络层
9.4.4 SAS传输层和应用层
9.4.5 SAS的应用设计和实际应用示例
9.4.6 SAS目前的优势和面临的挑战
9.5 中高端磁盘阵列整体架构简析
9.5.1 IBM DS4800和DS5000控制器架构简析
9.5.2 NetApp FAS系列磁盘阵列控制器简析
9.5.3 IBM DS8000简介
9.5.4 富士通ETERNUS DX8000磁盘阵列控制器结构简析
9.5.5 EMC公司Clariion CX/CX3及DMX系列盘阵介绍
9.5.6 HDS公司AMS2000和USP系列盘阵介绍
9.5.7 HP公司MSA2000和EVA8000存储系统架构简介
9.5.8 传统磁盘阵列架构总结
9.6 磁盘阵列配置实践
9.6.1 基于IBM的DS4500盘阵的配置实例
9.6.2 基于EMC的CX700磁盘阵列配置实例
9.7 HBA卡逻辑架构详析与SAN Boot示例
9.7.1 HBA卡逻辑架构
9.7.2 支持Boot的HBA卡访问流程
9.8 国产中高端FC磁盘阵列
9.8.1 Infortrend中低端ESDS系列存储系统
9.8.2 Infortrend中高端ESVA系列存储系统
9.8.3 Infortrend存储软件特性及配置界面
9.9 小结
第10章 三足鼎立--DAS、SAN和NAS
10.1 NAS也疯狂
10.1.1 另辟蹊径--乱谈NAS的起家
10.1.2 双管齐下--两种方式访问的后端存储网络
10.1.3 万物归一--网络文件系统
10.1.4 美其名曰--NAS
10.2 龙争虎斗--NAS与SAN之争
10.2.1 SAN快还是NAS快
10.2.2 SAN好还是NAS好
10.2.3 与SAN设备的通信过程
10.2.4 与NAS设备的通信过程
10.2.5 文件提供者
10.2.6 NAS的本质
10.3 DAS、SAN和NAS
10.4 最终幻想--将文件系统语言承载于FC网络传输
10.5 长路漫漫--存储系统架构演化过程
10.5.1 第一阶段：全整合阶段
10.5.2 第二阶段：磁盘外置阶段
10.5.3 第三阶段：外部独立磁盘阵列阶段
10.5.4 第四阶段：网络化独立磁盘阵列阶段
10.5.5 第五阶段：瘦服务器主机、独立NAS阶段
10.5.6 第六阶段：全分离式阶段
10.5.7 第七阶段：统一整合阶段
10.5.8 第八阶段：迅速膨胀阶段
10.5.9 第九阶段：收缩阶段
10.5.10 第十阶段：强烈坍缩阶段
10.6 泰山北斗--NetApp的NAS产品
10.6.1 WAFL配合RAID 4
10.6.2 Data ONTAP利用了数据库管理系统的设计
10.6.3 利用NVRAM来记录操作日志
10.6.4 WAFL从不覆写数据
10.7 初露锋芒--BlueArc公司的NAS产品
10.8 宝刀未老--Infortrend公司NAS产品
第11章 大师之作--大话以太网和TCP/IP协议
11.1 共享总线式以太网
11.1.1 连起来
11.1.2 找目标
11.1.3 发数据
11.2 网桥式以太网
11.3 交换式以太网
11.4 TCP/IP协议
11.4.1 TCP/IP协议中的IP
11.4.2 IP的另外一个作用
11.4.3 TCP/IP协议中的TCP和UDP
11.5 TCP/IP和以太网的关系
第12章 异军突起--存储网络的新军IP SAN
12.1 横眉冷对--TCP/IP与FC
12.2 自叹不如--为何不是以太网+TCP/IP
12.3 天生我才必有用--攻陷Disk SAN阵地
12.4 iSCSI交互过程简析
12.4.1 实例一：初始化磁盘过程
12.4.2 实例二：新建一个文本文档
12.4.3 实例三：文件系统位图
12.5 iSCSI磁盘阵列
12.6 IP SAN
12.7 增强以太网和TCP/IP的性能
12.8 FC SAN节节败退
12.9 iSCSI配置应用实例
12.9.1 第一步：在存储设备上创建LUN
12.9.2 第二步：在主机端挂载LUN
12.10 iSCSI卡Boot配置示例
12.11 10Gb以太网的威力初显
12.12 小结
第13章 握手言和--IP与FC融合的结果
13.1 FC的窘境
13.2 协议融合的迫切性
13.3 网络通信协议的四级结构
13.4 协议融合的三种方式
13.5 Tunnel和Map融合方式各论
13.5.1 Tunnel方式

世上最高的刀法在心中，而不是手上！双刀大侠练就的是一门“浩瀚”绝学，一招一式都是铺天盖地，势不可挡！
几百年后，七星大侠在修炼了磁盘大挪移神功和龙谱之后的某一天，他突然两眼发愣：“我悟到了！”然后奋笔疾书，成就了“七星北斗阵”这个空前绝后的阵式！ RAID 0阵式就是这个阵式的第一个阵式！下面来看看这个阵式的绝妙之处吧！
4.1.1 RAID 0阵式
首先，这位七星大侠一定是对磁盘大挪移神功有很高的造诣，因为他熟知每块磁盘上面的磁性区域的构造，包括磁道、磁头、扇区和柱面等，这些口诀心法已经烂熟于心。在他看来，盘片就像一个蜂窝，上面的每一个孔都是一个扇区，可以说他已经参透了磁盘。其次，七星大侠一定是对合一刀法的精髓有很深的领悟，即他能领会双刀大侠那4句诗的含义，特别是第二句给了他很大的启发！“横分竖割成龙绦”，暗示着双刀大侠把他的刀在心中分割成了横条带和竖条带，所以叫“横分竖割”。分割完毕之后，双刀大侠把这些分割后所谓的“绦”，即细条带，在心中组合起来形成一条虚拟的“龙”，然后用龙来当作武器，即“龙在我心任逍遥”。
这显然给了七星大侠很大的启发，何不把几块磁盘也给“横分竖割”，然后组成“龙”呢？对，就这么干！七星大侠卖血换来两块磁盘，找了个破庙，在后面搭了个草堆，成天摆弄他那两块用血换来的磁盘。白天出去要饭，晚上回来潜心钻研！他首先决定把两块磁盘都分割成条带，形成“绦”，可是该怎么分好呢？合一刀法的思想主要有两条路；一条是懒人做法，不想动脑子，即威力小、后劲足那种；另一种是需要动脑子算的，即威力足、后劲也足那种。
第一种怎么实现呢？七星大侠冥思苦想，却发现被误导了。因为第一种根本不需要做“绦”。双刀大侠的诗只是描述了威力巨大的第二种路子。所以三下五除二，七星大侠写出了RAID 0阵式中的第一个套路：累加式。也就是说，磁盘还是那些磁盘，什么都不动，也不用“横分竖割”。数据来了，先往第一块磁盘上写。等写满之后，再往第二块上写。然后将这两块磁盘在心中组成一条龙，这就符合了合一刀法的思想。只不过这条龙威力比较弱，因为每次IO只用到了一块磁盘，另一块磁盘没有动作。但是这条龙的后劲，比单个磁盘足了，因为容量相对一块磁盘来说，增大了。
第一套路子实现了，可第二套路子就难了。其实磁盘已经被分割了，扇区不就是被分割的么？但是一个扇区只有512B大小，这不符合合一刀法。因为合一刀法中是“绦”而不是“粒”，分割成粒的话，不仅开销太大，而且组合起来也很困难。所以七星大侠决定完全照搬合一刀法的思想，但是又不能丢弃磁盘已经分割好的扇区，所以七星绞尽脑汁想出这么一个办法，如图4-1和图4-2所示。
图4-1 正常的4块硬盘 图4-2 被分割的4块硬盘
图4-1所示的是4块普通硬盘，其上布满了扇区。扇区是实实在在存在于盘片上的，具有自己的格式。图4-2所示的是引入分割思想之后的硬盘。由于许多文件系统或者卷管理软件都使用块而不是扇区作为基本存储单元，所以图4-2中也使用由4个扇区组成的块作为基本单元。不同磁盘的相同偏移处的块组合成Stripe，也就是条带。
块的编号也是以横向条带方向开始一条一条的向下。这样，对于一个全新的文件系统和RAID 0磁盘组，如果有大块数据写入时，则数据在很大几率上可以以条带为单位写入。也就是说数据被分成多块写入4个硬盘，而不是单硬盘系统中的顺序写入一个硬盘，这就大大提高了速度。图4-3所示的为多块磁盘组成的逻辑磁盘示意图。
图4-3 心中之龙
提示：磁盘上实实在在存在的只有扇区结构，Stripe并不是一个实实在在的结构，它只是由程序根据算法公式现套现用的。就像戴了一副有格子的眼镜看一张白纸，那么会认为这张白纸被格式化了，其实并没有。另外，条带化之后的多块硬盘，数据是被并行写入所有磁盘的，也就是多管齐下，而不是横向写满一个条带，再写下一个条带。
七星大侠就这样埋头苦苦思考了整整1年，基于合一刀法的横分竖割的思想，完成了“七星北斗阵”的第一个阵式——RAID 0阵式。
……

研究生而言，确实是一本网络存储技术入门的好书，另一方面我还有一个用意，就是让他们知道，要从事科学研究，强烈的兴趣比什么都重要。
信息存储是信息跨越时间的传递，也是人类传承知识的主要手段。在信息存储技术上，人类有超过万年的发明创造史。早期就地取材，人类利用石刻、泥板、竹简和羊皮等来记录信息，后来发明了纸张和活字印刷来保存和传播信息，近代发明了照相、录音和录像技术来存储信息。利用这些发明和创造，人类留下了极为丰富的文字、绘画、图像、语音和视频信息。正是这些信息，记录了人类创造的知识体系，使我们能够传承文明，并在此基础上创造新的文明。
从计算机的发明为开端，人类的信息技术进入了一个以数字化为特征的历史性新阶段。各种形式的信息被转换成数字后，以统一的方式进行处理、传输和存储，然后再转换为各种形式的信息被人们所利用。这种前所未有的方式发明之后，一个以数字化为特征的信息革命浪潮就波澜壮阔地形成。各种信息都被大规模数字化，使数字化的信息呈爆炸性增长。特别是互联网的兴起和普及，大大加快了信息的流通过程，使数字信息加速产生。图灵奖获得者Jim Gary观察这种数据急速增长的趋势后，总结出一个规律：人类每18个月新增的数据量，将是历史上所有数据量之和！如此下去，对信息存储的需求将是无止境的，信息存储技术在这种强烈的需求驱动下得到了空前的发展。
为了保存数字化的信息，当代的科学家和工程师在最近的几十年中发明了磁存储、光存储、半导体存储等多种存储技术，其中大容量的硬盘在海量信息存储中扮演了主要的角色。硬盘的密度在短短几十年中增长了一百万倍以上，在近期，硬盘密度每年增长都接近一倍，而且还有不小的增长空间。由硬盘作为基本单元，通过各种总线、网络将硬盘连接成不同层次和不同规模的存储系统，就构成了我们目前的网络存储系统。例如由硬盘组加上冗余纠错技术构成磁盘阵列，再由磁盘阵列通过局部高速网络连接形成存储区域网；又如通过包含硬盘的大规模集群和文件系统形成的海量存储系统成为大型网站和数据中心新的存储架构。人们发明了各种技术来提高存储系统的容量、性能、效率、可用性、安全性和可管理性。存储虚拟化、归档存储、集群存储、云存储、绿色存储等新名词不断涌现，SSD固态存储、重复数据删除、连续数据保护、数据备份与容灾、数据生命周期管理等新技术层出不穷，令人应接不暇。
在这种情况下，广大的信息领域的从业人员，信息系统的用户，以及学习信息技术的大学生和研究生，迫切需要一本既全面论述网络存储技术原理，又有丰富实例；既反映最新技术进展，又通俗易懂的书来满足他们的需求。冬瓜头的《大话存储》就是这样一本恰逢其时的好书。
《大话存储》已在业界产生了很大的影响，对存储技术在我国的普及起到了良好的推动作用。该书还被引进到我国的宝岛台湾，可见其影响深远。张冬再接再厉，以他对技术的痴迷继续钻研，对第一本书作了工作量巨大的改动与增补，并增加了云存储等全新的三章内容，全面反映了他对技术的重新思考和对最新技术的深刻理解。我相信，这些新的内容将给读者带来惊喜。
在技术发展十分迅速的领域，赶时髦的书籍多如牛毛，书店里充满了应景之作，真正经过深入思考、用心写作的书是不多的。而《大话存储终极版》却是一位技术高手的呕心沥血之作，书中对每一项技术的介绍都经过深入的思考和反复的推敲，这在当前浮躁的气氛中显得弥足珍贵。在《大话存储终极版》即将出版之际，我要向作者表示深深的敬意和衷心的祝贺，并郑重向读者推荐这本学习网络存储技术的好书。
华中科技大学计算机学院 教授
信息存储系统教育部重点实验室 主任
谢长生