深入Linux内核架构

《深入Linux内核架构》讨论了Linux内核的概念、结构和实现。主要内容包括多任务、调度和进程管理，物理内存的管理以及内核与相关硬件的交互，用户空间的进程如何访问虚拟内存，如何编写设备驱动程序，模块机制以及虚拟文件系统，Ext文件系统属性和访问控制表的实现方式，内核中网络的实现，系统调用的实现方式，内核对时间相关功能的处理，页面回收和页交换的相关机制以及审计的实现等。此外，《深入Linux内核架构》借助内核源代码中关键的部分进行讲解，帮助读者掌握重要的知识点，从而在运用中充分展现Linux系统的魅力。《深入Linux内核架构》适合Linux内核爱好者阅读。

莫尔勒（Woflgang Mauerer），资深Linux专家，有数十年Linux开发经验。从1997年最初发表关于内核的系列文章开始，他就醉心于解释Linux核心的内部机制、编写相关的文档，此外，他还著有LaTex排版方面的图书，其撰写的大量文章已经被释译成7种语言。

第1章 简介和概述1
1.1 内核的任务2
1.2 实现策略2
1.3 内核的组成部分3
1.3.1 进程、进程切换、调度3
1.3.2 UNIX进程4
1.3.3 地址空间与特权级别6
1.3.4 页表9
1.3.5 物理内存的分配11
1.3.6 计时13
1.3.7 系统调用13
1.3.8 设备驱动程序、块设备和字符设备14
1.3.9 网络14
1.3.10 文件系统14
1.3.11 模块和热插拔15
1.3.12 缓存16
1.3.13 链表处理16
1.3.14 对象管理和引用计数17
1.3.15 数据类型20
1.3.16 本书的局限性22
1.4 为什么内核是特别的23
1.5 行文注记23
1.6 小结27

第2章 进程管理和调度28
2.1 进程优先级28
2.2 进程生命周期30
2.3 进程表示32
2.3.1 进程类型37
2.3.2 命名空间37
2.3.3 进程ID号43
2.3.4 进程关系49
2.4 进程管理相关的系统调用50
2.4.1 进程复制50
2.4.2 内核线程62
2.4.3 启动新程序63
2.4.4 退出进程66
2.5 调度器的实现67
2.5.1 概观67
2.5.2 数据结构69
2.5.3 处理优先级74
2.5.4 核心调度器79
2.6 完全公平调度类84
2.6.1 数据结构85
2.6.2 CFS操作85
2.6.3 队列操作89
2.6.4 选择下一个进程91
2.6.5 处理周期性调度器92
2.6.6 唤醒抢占93
2.6.7 处理新进程93
2.7 实时调度类94
2.7.1 性质94
2.7.2 数据结构95
2.7.3 调度器操作96
2.8 调度器增强97
2.8.1 SMP调度97
2.8.2 调度域和控制组101
2.8.3 内核抢占和低延迟相关工作102
2.9 小结106

第3章 内存管理107
3.1 概述107
3.2 (N)UMA模型中的内存组织109
3.2.1 概述109
3.2.2 数据结构111
3.3 页表123
3.3.1 数据结构124
3.3.2 页表项的创建和操作129
3.4 初始化内存管理129
3.4.1 建立数据结构130
3.4.2 特定于体系结构的设置135
3.4.3 启动过程期间的内存管理153
3.5 物理内存的管理159
3.5.1 伙伴系统的结构159
3.5.2 避免碎片161
3.5.3 初始化内存域和结点数据结构167
3.5.4 分配器API172
3.5.5 分配页177
3.5.6 释放页192
3.5.7 内核中不连续页的分配195
3.5.8 内核映射201
3.6 slab分配器205
3.6.1 备选分配器206
3.6.2 内核中的内存管理207
3.6.3 slab分配的原理209
3.6.4 实现212
3.6.5 通用缓存226
3.7 处理器高速缓存和TLB控制228
3.8 小结230

第4章 进程虚拟内存231
4.1 简介231
4.2 进程虚拟地址空间231
4.2.1 进程地址空间的布局232
4.2.2 建立布局234
4.3 内存映射的原理237
4.4 数据结构238
4.4.1 树和链表238
4.4.2 虚拟内存区域的表示239
4.4.3 优先查找树241
4.5 对区域的操作244
4.5.1 将虚拟地址关联到区域245
4.5.2 区域合并246
4.5.3 插入区域247
4.5.4 创建区域248
4.6 地址空间250
4.7 内存映射251
4.7.1 创建映射251
4.7.2 删除映射253
4.7.3 非线性映射254
4.8 反向映射257
4.8.1 数据结构258
4.8.2 建立逆向映射259
4.8.3 使用逆向映射259
4.9 堆的管理261
4.10 缺页异常的处理263
4.11 用户空间缺页异常的校正268
4.11.1 按需分配/调页269
4.11.2 匿名页271
4.11.3 写时复制271
4.11.4 获取非线性映射272
4.12 内核缺页异常272
4.13 在内核和用户空间之间复制数据274
4.14 小结276

第5章 锁与进程间通信277
5.1 控制机制277
5.1.1 竞态条件277
5.1.2 临界区278
5.2 内核锁机制279
5.2.1 对整数的原子操作280
5.2.2 自旋锁282
5.2.3 信号量283
5.2.4 RCU机制284
5.2.5 内存和优化屏障286
5.2.6 读者/写者锁287
5.2.7 大内核锁288
5.2.8 互斥量288
5.2.9 近似的per-CPU计数器290
5.2.10 锁竞争与细粒度锁291
5.3 SystemV进程间通信292
5.3.1 SystemV机制292
5.3.2 信号量292
5.3.3 消息队列300
5.3.4 共享内存303
5.4 其他IPC机制303
5.4.1 信号303
5.4.2 管道和套接字310
5.5 小结311

第6章 设备驱动程序312
6.1 I/O体系结构312
6.2 访问设备316
6.2.1 设备文件316
6.2.2 字符设备、块设备和其他设备317
6.2.3 使用ioctl进行设备寻址319
6.2.4 主从设备号的表示320
6.2.5 注册321
6.3 与文件系统关联324
6.3.1 inode中的设备文件成员324
6.3.2 标准文件操作325
6.3.3 用于字符设备的标准操作325
6.3.4 用于块设备的标准操作325
6.4 字符设备操作326
6.4.1 表示字符设备326
6.4.2 打开设备文件326
6.4.3 读写操作328
6.5 块设备操作329
6.5.1 块设备的表示330
6.5.2 数据结构331
6.5.3 向系统添加磁盘和分区338
6.5.4 打开块设备文件339
6.5.5 请求结构341
6.5.6 BIO343
6.5.7 提交请求345
6.5.8 I/O调度350
6.5.9 ioctl的实现352
6.6 资源分配353
6.6.1 资源管理353
6.6.2 I/O内存355
6.6.3 I/O端口357
6.7 总线系统358
6.7.1 通用驱动程序模型358
6.7.2 PCI总线363
6.7.3 USB370
6.8 小结376

第7章 模块377
7.1 概述377
7.2 使用模块378
7.2.1 添加和移除378
7.2.2 依赖关系380
7.2.3 查询模块信息381
7.2.4 自动加载382
7.3 插入和删除模块384
7.3.1 模块的表示385
7.3.2 依赖关系和引用389
7.3.3 模块的二进制结构391
7.3.4 插入模块396
7.3.5 移除模块403
7.4 自动化与热插拔404
7.4.1 kmod实现的自动加载404
7.4.2 热插拔405
7.5 版本控制408
7.5.1 校验和方法408
7.5.2 版本控制函数411
7.6 小结412

第8章 虚拟文件系统413
8.1 文件系统类型413
8.2 通用文件模型414
8.2.1 inode415
8.2.2 链接416
8.2.3 编程接口416
8.2.4 将文件作为通用接口417
8.3 VFS的结构417
8.3.1 结构概观418
8.3.2 inode419
8.3.3 特定于进程的信息423
8.3.4 文件操作427
8.3.5 目录项缓存431
8.4 处理VFS对象436
8.4.1 文件系统操作436
8.4.2 文件操作450
8.5 标准函数456
8.5.1 通用读取例程457
8.5.2 失效机制459
8.5.3 权限检查461
8.6 小结463

第9章 Ext文件系统族464
9.1 简介464
9.2 Ext2文件系统465
9.2.1 物理结构465
9.2.2 数据结构470
9.2.3 创建文件系统484
9.2.4 文件系统操作485
9.3 Ext3文件系统507
9.3.1 概念508
9.3.2 数据结构509
9.4 小结511

第10章 无持久存储的文件系统512
10.1 proc文件系统512
10.1.1 /proc的内容513
10.1.2 数据结构519
10.1.3 初始化522
10.1.4 装载proc文件系统523
10.1.5 管理/proc数据项525
10.1.6 读取和写入信息528
10.1.7 进程相关的信息530
10.1.8 系统控制机制535
10.2 简单的文件系统542
10.2.1 顺序文件542
10.2.2 用libfs编写文件系统546
10.2.3 调试文件系统547
10.2.4 伪文件系统549
10.3 sysfs549
10.3.1 概述550
10.3.2 数据结构550
10.3.3 装载文件系统554
10.3.4 文件和目录操作556
10.3.5 向sysfs添加内容562
10.4 小结564

第11章 扩展属性和访问控制表565
11.1 扩展属性565
11.1.1 到虚拟文件系统的接口566
11.1.2 Ext3中的实现570
11.1.3 Ext2中的实现576
11.2 访问控制表577
11.2.1 通用实现577
11.2.2 Ext3中的实现580
11.2.3 Ext2中的实现585
11.3 小结585
……
第12章 网络586
第13章 系统调用655
第14章 内核活动678
第15章 时间管理714
第16章 页缓存和块缓存761
第17章 数据同步793
第18章 页面回收和页交换821
第19章 审计882
附录A 体系结构相关知识899
附录B 使用源代码919
附录C 有关C语言的注记947
附录D 系统启动985
附录E ELF二进制格式
附录F 内核开发过程
参考文献

内核很神奇，但归根结底它只是一个大的C程序，带有一些汇编代码（不时出现很少量的“黑巫术”）。是什么使得内核如此吸引人？原因有几个。首要一点在于，内核是由世界上最好的程序员编写的，源代码可以证实这一点。其结构良好，细节一丝不苟，巧妙的解决方案在代码中处处可见。一言以蔽之：内核应该是什么样子，它现在就是什么样子。但这并不意味着内核是应用教科书风格的程序设计方法学得出的产品。尽管内核采用了设计得非常干净的抽象，以保持代码的模块化和易管理性，但这一点与内核的其他方面混合起来，使得代码非常有趣和独特。在必要的情况下，内核会以上下文相关的方式重用比特位置，多次重载结构成员，从指针已经对齐的部分压榨出又一个存储位，自由地使用goto语句，还有很多其他东西，这些都会使任何强调结构的程序员因痛苦而尖叫。教科书答案中难以想象的那些技巧，对于实现能够在真正的现实世界中正常工作的内核不仅是有益的，甚至是必需的。正是因为找到了一条在内核完全对立的两面之间保持平衡的路径，内核才如此令人兴味盎然、富有挑战性并且妙趣横生！颂扬了内核源代码之后，还有许多不同于用户层程序的严肃问题需要说明。口调试内核通常要比调试用户层程序困难。对后者来说有大量的调试器可用，而对于后者来说调试器的实现难度要高得多。附录B讨论了在内核开发中使用调试器的各种技巧，但与用户层对应的方法相比都需要更多的工作。口内核提供了许多辅助函数，类似于用户空间的c语言库，但内核领域中的东西总是朴素得多。口用户层应用程序的错误可能会导致段错误（segmentation fault）或内存转储（core dump），但内核错误会导致整个系统故障。甚至更糟的是：内核会继续运行，在错误发生若干小时之后系统离奇地崩溃。如上所述，因为在内核空间调试比用户层应用程序更困难，所以在内核代码投入使用之前要进行更多的考虑。口必须考虑到内核运行的许多体系结构上根本不支持非对齐的内存访问。由于编译器插入的填充（padding）字段，也会影响到数据结构在不同体系结构之间的可移植性。附录C会进一步讨论这个问题。口所有的内核代码都必须是并发安全的。由于对多处理器计算机的支持，Linux内核代码必须是可重入和线程安全的。也就是说，程序必须允许同时执行，而数据必须针对并行访问进行保护。口内核代码必须在小端序和大端序计算机上都能够工作。口大多数的体系结构根本不允许在内核中执行浮点计算，因此计算需要想办法用整型来替代。后面读者会看到如何处理这些问题。