Docker源码分析

国内首部Docker源码分析著作
从源码角度全面解析Docker设计与实现
填补Docker理论与实践之间的鸿沟
一本引导读者深入了解Docker实现原理的技术普及读物，主要目标是通过对Docker架构和源代码的详细讲解和解剖，帮助读者对Docker的底层实现有一个全面的理解
作者通过大量的流程图和代码片段对Docker的架构、Docker的重要模块，特别是对Swarm、Machine和Compose这三个模块进行了详细介绍和深度剖析
无论是Docker的使用者还是开发者，通过阅读此书都可以对Docker有更深刻的理解，能够更好的使用或者开发Docker

《Docker源码分析》是一本引导读者深入了解Docker实现原理的技术普及读物，主要目标是通过对Docker架构和源代码的详细讲解和解剖，帮助读者对Docker的底层实现有一个全面的理解。本书的内容主要集中于三部分：Docker的架构、Docker的模块，以及Docker的三驾马车Swarm、Machine和Compose。
一部分（第1章）主要从宏观的角度和读者一起领略Docker的架构设计，并初步介绍架构中各模块的职责。
第二部分（第2～14章）是本书的主体部分，主要针对Docker中多个重要的模块进行具体深入分析，包括DockerClient、DockerDaemon、DockerServer、Docker网络、Docker镜像、Docker容器等。读者可以发现，Docker的模块之间耦合度非常低，很适合循序渐进，层层深入。第2～8章主要从Docker软件的架构入手，勾勒骨架；第9～11章集中于Docker镜像技术，夯实基础；第12～14章则进一步分析Docker容器的始末，阐述本质。
第三部分（第15～17章）介绍Docker生态三驾马车—Swarm、Machine和Compose。Docker拥有强大的单机能力，三驾马车可以很好地补充Docker的跨主机能力以及部署能力。读者可以通过这几章感受Docker生态中其他功能强大的软件。

★像谷歌一样部署自己的应用，这是很多软件工程师的梦想。Docker的目标是圆很多人的梦。自从InfoQ推出Docker系列文章，作为操作系统课程教师的我一直在学习并关注Docker的茁壮成长。
当我发现这上面刊登的“Docker源码分析”系列文章的作者居然是我们课程组的研究生助教孙宏亮时，惊喜之情溢于言表。宏亮对Docker的理解十分深刻，他本人是Docker的积极拥护者、倡导者和贡献者。他在研究生毕业以后投身到了创业公司DaoCloud，去为Docker的梦想开创美好的未来。
最近，我又欣喜地发现，这系列文章以及后续章节即将正式出版成书，有机会同更多的Docker用户、开发者、学习者见面。本书通过分析解读Docker源码，让读者了解 Docker的内部结构和实现，以便更好地使用Docker。该书的内容组织深入浅出，表述准确到位， 有大量流程图和代码片段帮助读者理解Docker各个功能模块的流程，是学习Docker开源系统的良师益友。
——寿黎旦，浙江大学计算机学院教授

★近年来，Docker迅速风靡了云计算世界，但是专门针对Docker的技术实现进行深入分析的文章却相对较少。这一方面由于Docker技术变化很快，源码分析很快会跟不上版本发展；另一方面，对源代码的解析，需要对整个Docker设计具备全局的视角，才能深入浅出地找到源码中的脉络。
宏亮的这本《Docker源码分析》，恰如其时的出现，弥补了这个空白，对于希望参与到Docker社区、参与代码贡献或构建自己的Docker应用环境的读者来说，应是一本案头必备书籍。
——王兴宇，《Linux中国》创始人

★在崇尚源码至上的工程师文化里，文档介绍、发布会材料都是苍白的，唯有研读源码，才能深刻理解软件背后的原理。与所有其他软件一样，读源码并不是学习Docker最快的途径，但是如果有人通读源码后给出了详细分析，你就可以轻松地站在巨人的肩膀上。
很高兴看到国内这么快就出版源码分析的书籍。对于所有想在Docker方面进阶和想晋升为高端用户的读者，都值得阅读本书，也希望通过《Docker源码分析》一书，可以诞生更多的社区贡献者，共同推动Docker的发展。
——黄强，华为Docker Committer

★值得自豪的是，就在Docker蓬勃发展之际，一本详尽剖析Docker源码的著作出自国人之手。
本书在每章宏观的流程梳理背后都伴随有更加细致深入的源码分析。无论读者是只想了解使用Docker，还是抱着深入理解Docker并参与社区开发、二次开发的心态，本书都值得一读。
——胡科平，华为Docker Committer

★这本书从源码的角度对Docker的实现原理进行了深入的探讨和细腻的讲解，将当前热门的容器技术的背后机理讲解得深入浅出明白透彻。无论是Docker的用户还是开发者，通过阅读本书都可以对Docker有更深刻的理解，能够更好地使用或者开发Docker。
——雷继棠，华为Docker Committer

★Docker已经是一个成长2年时间的云计算技术，它正在以惊人的速度在全球范围内扩张自己的“疆土”。我作为Docker中国区的开发者，非常希望能看到有一本书详细地告诉我，Docker的每一个细节是如何实现的。所以当我在InfoQ上看到宏亮的“Docker源码分析”专栏时眼前一亮。今天，它终于汇编成书摆在你我的眼前。我希望你能在这本书上学到更多Docker技术的精髓思想，在实战Docker技术时可以运用自如！
——肖德时，数人科技CTO

★我家里的书柜中至今仍然保留着一本《Linux内核完全注释》，它伴随我很长一段时间，使我受益匪浅。10年之后，当我拿到宏亮的《Docker源代码分析》草稿，昨日又重现。这本书无论是对学习Docker，还是掌握Go语言，都是非常好的一手资源。雷锋不常有，大家要支持！
——赵鹏，VisualOps创始人

赞誉
序
前言
第1章Docker架构
1.1引言
1.2Docker总架构图
1.3Docker各模块功能与实现分析
1.3.1Docker Client
1.3.2Docker Daemon
1.3.3Docker Registry
1.3.4Graph
1.3.5Driver
1.3.6libcontainer
1.3.7Docker Container
1.4Docker运行案例分析
1.4.1docker pull
1.4.2docker run
1.5总结
第2章Docker Client创建与命令执行
2.1引言
2.2创建Docker Client
2.2.1Docker命令的flag参数解析
2.2.2处理flag信息并收集Docker Client的配置信息
2.2.3如何创建Docker Client
2.3Docker命令执行
2.3.1Docker Client解析请求命令
2.3.2Docker Client执行请求命令
2.4总结
第3章启动Docker Daemon
3.1引言
3.2Docker Daemon的启动流程
3.3mainDaemon()的具体实现
3.3.1配置初始化
3.3.2flag参数检查
3.3.3创建engine对象
3.3.4设置engine的信号捕获
3.3.5加载builtins
3.3.6使用goroutine加载daemon
对象并运行
3.3.7打印Docker版本及驱动信息
3.3.8serveapi的创建与运行
3.4总结
第4章Docker Daemon之NewDaemon实现
4.1引言
4.2NewDaemon具体实现
4.3应用配置信息
4.3.1配置Docker容器的MTU
4.3.2检测网桥配置信息
4.3.3查验容器间的通信配置
4.3.4处理网络功能配置
4.3.5处理PID文件配置
4.4检测系统支持及用户权限
4.5配置工作路径
4.6加载并配置graphdriver
4.6.1创建graphdriver
4.6.2验证btrfs与SELinux的兼容性
4.6.3创建容器仓库目录
4.6.4迁移容器至aufs类型
4.6.5创建镜像graph
4.6.6创建volumesdriver以及volumes graph
4.6.7创建TagStore
4.7配置Docker Daemon网络环境
4.7.1创建Docker网络设备
4.7.2启用iptables功能
4.7.3启用系统数据包转发功能
4.7.4创建DOCKER链
4.7.5注册处理方法至Engine
4.8创建graphdb并初始化
4.9创建execdriver
4.10创建daemon实例
4.11检测DNS配置
4.12启动时加载已有Docker容器
4.13设置shutdown的处理方法
4.14返回daemon对象实例
4.15总结
第5章Docker Server的创建
5.1引言
5.2Docker Server创建流程
5.2.1创建名为"serveapi"的Job
5.2.2配置Job环境变量
5.2.3运行Job
5.3ServeApi运行流程
5.4ListenAndServe实现
5.4.1创建router路由实例
5.4.2创建listener监听实例
5.4.3创建http.Server
5.4.4启动API服务
5.5总结
第6章Docker Daemon网络
6.1引言
6.2Docker Daemon网络介绍
6.3Docker Daemon网络配置接口
6.4Docker Daemon网络初始化
6.4.1启动Docker Daemon传递flag参数
6.4.2解析网络flag参数
6.4.3预处理flag参数
6.4.4确定Docker网络模式
6.5创建Docker网桥
6.5.1提取环境变量
6.5.2确定Docker网桥设备名
6.5.3查找bridgeIface网桥设备
6.5.4bridgeIface已创建
6.5.5bridgeIface未创建
6.5.6获取网桥设备的网络地址
6.5.7配置Docker Daemon的iptables
6.5.8配置网络设备间数据报转发功能
6.5.9注册网络Handler
6.6总结
第7章Docker容器网络
7.1引言
7.2Docker容器网络模式
7.2.1bridge桥接模式
7.2.2host模式
7.2.3other container模式
7.2.4none模式
7.3Docker Client配置容器网络模式
7.3.1使用Docker Client
7.3.2runconfig包解析
7.3.3CmdRun执行
7.4Docker Daemon创建容器网络流程
7.4.1创建容器之网络配置
7.4.2启动容器之网络配置
7.5execdriver网络执行流程
7.5.1创建libcontainer的Config对象
7.5.2调用libcontainer的namespaces启动容器
7.6libcontainer实现内核态网络配置
7.6.1创建exec.Cmd
7.6.2启动exec.Cmd创建进程
7.6.3为容器进程初始化网络环境
7.7总结
第8章Docker镜像
8.1引言
8.2Docker镜像介绍
8.3rootfs
8.4Union Mount
8.5image
8.6layer
8.7总结
第9章Docker镜像下载
9.1引言
9.2Docker镜像下载流程
9.3Docker Client
9.3.1解析镜像参数
9.3.2配置认证信息
9.3.3发送API请求
9.4Docker Server
9.4.1解析请求参数
9.4.2创建并配置Job
9.4.3触发执行Job
9.5Docker Daemon
9.5.1解析Job参数
9.5.2创建session对象
9.5.3执行镜像下载
9.6总结
第10章Docker镜像存储
10.1引言
10.2镜像注册
10.3验证镜像ID
10.4创建镜像路径
10.4.1创建mnt、diff和layers子目录
10.4.2挂载祖先镜像并返回根目录
10.5存储镜像内容
10.5.1解压镜像内容
10.5.2收集镜像大小并记录
10.5.3存储jsonData信息
10.6注册镜像ID
10.7总结
第11章docker build实现
11.1引言
11.2docker build执行流程
11.2.1Docker Client与docker build
11.2.2Docker Server与docker build
11.2.3Docker Daemon与docker build
11.3Dockerfile命令解析流程
11.4Dockerfile命令分析
11.4.1FROM命令
11.4.2RUN命令
11.4.3ENV命令
11.5总结
第12章Docker容器创建
12.1引言
12.2Docker容器运行流程
12.3Docker Daemon创建容器对象
12.3.1LookupImage
12.3.2CheckDepth
12.3.3mergeAndVerifyConfig
12.3.4newContainer
12.3.5createRootfs
12.3.6ToDisk
12.3.7Register
12.4Docker Daemon启动容器
12.4.1setupContainerDns
12.4.2Mount
12.4.3initializeNetworking
12.4.4verifyDaemonSetting
12.4.5prepareVolumesForContainer
12.4.6setupLinkedContainers
12.4.7setupWorkingDirectory
12.4.8createDaemonEnvironment
12.4.9populateCommand
12.4.10setupMountsForContainer
12.4.11waitForStart
12.5总结
第13章dockerinit启动
13.1引言
13.2dockerinit介绍
13.2.1dockerinit初始化内容
13.2.2dockerinit与Docker Daemon
13.3dockerinit执行入口
13.3.1createCommand分析
13.3.2namespace.exec
13.4dockerinit运行
13.4.1reexec.Init()的分析
13.4.2dockerinit的执行流程
13.5libcontainer的运行
13.5.1Docker Daemon设置cgroups参数
13.5.2Docker Daemon创建网络栈资源
13.5.3dockerinit配置网络栈
13.5.4dockerinit初始化mount namespace
13.5.5dockerinit完成namespace配置
13.5.6dockerinit执行用户命令Entrypoint
13.6总结
第14章libcontainer介绍
14.1引言
14.2Docker、libcontainer以及LXC的关系
14.3libcontainer模块分析
14.3.1namespace
14.3.2cgroup
14.3.3网络
14.3.4挂载
14.3.5设备
14.3.6nsinit
14.3.7其他模块
14.4总结
第15章Swarm架构设计与实现
15.1引言
15.2Swarm架构
15.2.1Swarm Node
15.2.2Docker Node
15.2.3node discovery
15.2.4scheduler
15.3Swarm命令
15.3.1swarm create
15.3.2swarm manage
15.3.3swarm join
15.3.4swarm list
15.4总结
第16章Machine架构设计与实现
16.1引言
16.2Machine架构
16.2.1Machine
16.2.2Store
16.2.3Host
16.2.4Driver
16.2.5Provisioner
16.2.6Machine运行流程
16.3Machine与Swarm的结合
16.4总结
第17章Compose架构设计与实现
17.1引言
17.2Compose介绍
17.3Compose架构
17.4Compose评价
17.4.1Compose单机能力
17.4.2Compose跨节点能力
17.4.3Compose与Swarm
17.5总结

Docker是什么
Docker从2013年诞生，短短两年时间就在全球IT技术圈内迅速走红，实乃技术圈内不可忽视的一阵飓风。然而，Docker是什么，Docker带来了什么？
Docker官方如此描述Docker：“Build, Ship, Run. An open platform for distributed applications for developers and sysadmins”。换言之，Docker为开发者与系统管理者提供了分布式应用的开放平台，从而可以便捷地构建、迁移与运行分布式应用。
多年来，IT行业中开发与运维一直是两个界限清晰的词。开发工程师专门从事软件的开发工作，最终交付软件代码；运维工程师则部署前者交付的软件，并接管软件的运行与管理。然而，在长时间的实践过程中，开发与运维分离的方式难免存在弊病，两者职责的过分清晰导致软件效率的降低。随着分布式系统的流行，系统规模越来越大，软件越来越复杂，系统环境配置暴露的问题层出不穷。究其缘由，还是因为开发人员缺少软件运行环境的认知，而运维人员对软件逻辑所知甚少。在这样的背景下，DevOps横空出世，提倡开发与运维不可分割，协调并进。
Docker无疑是DevOps大潮中最具实践价值的不二法宝。Docker从Linux内核的角度出发，属于轻量级虚拟化技术，有能力秒级提供应用隔离环境，完成云计算时代分布式应用的第一需求“隔离”。另外，Docker的镜像技术利用联合文件系统的优势，自下至上打包系统软件、系统环境以及软件程序，将运行环境与应用程序灵活地结合，快速运行Docker化的应用程序。同时，可读性极强的Dockerfile，极大地简化镜像的复杂性，并为镜像的转移与重新构建提供了可能性。
Docker提供轻便的资源分配方式，解决应用运行与系统环境的依赖，弥合应用跨节点迁移的鸿沟，种种特性都表明Docker几乎就是为“云计算”而生的。如今，Docker社区不断扩大并健康发展，多家国际IT巨头也纷纷宣布支持Docker，这一切更是让全球IT人士对Docker的未来充满信心。
本书的内容
本书是一本引导读者了解Docker实现原理的技术普及书。笔者一直坚信，了解软件或者系统最直接、最透彻的方式就是研读它们的源码。“源码即文档”也是鼓励开发者能更多地从源码的角度去学习软件或系统的本质。
本书的内容主要集中于3个部分：Docker的架构，Docker的模块，Docker的三驾马车Swarm、Machine以及Compose。
第一部分，主要从宏观的角度和读者一起领略Docker的架构设计，并初步介绍架构中各模块的职责。
第二部分是本书的主体部分，主要针对Docker中多个重要的模块进行具体深入分析，包括：Docker Client、Docker Daemon、Docker Server、Docker网络、Docker镜像、Docker容器等。读者可以发现，Docker 的模块之间耦合度非常低，很适合循序渐进，层层深入。第2章至第8章主要从Docker软件的架构入手，勾勒骨架；第9章至第11章重点讨论Docker镜像技术，夯实基础；第12章至第14章则进一步分析Docker容器的始末，阐述本质。
第三部分介绍Docker生态三驾马车Swarm、Machine、Compose。Docker拥有强大的单机能力，三驾马车可以很好地补充Docker的跨主机能力以及部署能力。读者可以通过第15章至第17章感受Docker生态圈中其他功能强大的软件。
希望本书能够让读者最大化地感受Docker的神奇与魅力。
关于勘误
由于时间与水平都比较有限，因此本书难免会存在一些纰漏和错误。如果读者发现了问题，请及时与我联系。我也会在本书后续的版本中加以改正。我的邮箱是：allen.sun@daocloud.io。我非常希望和大家一起学习与讨论Docker，并共同推动Docker在社区的发展。
致谢
最后，向本书编写过程中给予我巨大帮助的人们表示最诚挚的感谢。感谢我的父母，没有他们的鼓励和支持，此书不可能在如此短的时间内完成。感谢我的母校浙江大学以及SEL实验室的老师与同学们，是他们在我求学过程中给予无私的指引与帮助。感谢我的同事熊中祥，是他在本书编写过程中提出了很多宝贵的建议，尤其在Machine和Compose部分。感谢我的同事喻勇和冯钊，他们为本书的编写做了很多沟通与协调工作。最后，还要感谢华章公司的编辑们，她们认真细致的工作，使本书以完美的形式展现给各位读者。
孙宏亮
2015年6月