第 一部分基础篇
第1章 TensorFlow系统概述2
1.1简介2
1.1.1产生背景2
1.1.2独特价值3
1.1.3版本变迁4
1.1.4与其他主流深度学习框架的对比6
1.2设计目标7
1.2.1灵活通用的深度学习库8
1.2.2端云结合的人工智能引擎9
1.2.3高性能的基础平台软件10
1.3基本架构12
1.3.1工作形态12
1.3.2组件结构13
1.4小结14
第2章 TensorFlow环境准备15
2.1安装15
2.1.1TensorFlow安装概述15
2.1.2使用Anaconda安装17
2.1.3使用原生pip安装17
2.1.4使用virtualenv安装18
2.1.5使用Docker安装19
2.1.6使用源代码编译安装20
2.1.7Hello TensorFlow22
2.2依赖项23
2.2.1Bazel软件构建工具24
2.2.2Protocol Buffers数据结构序列化工具25
2.2.3Eigen线性代数计算库27
2.2.4CUDA统一计算设备架构28
2.3源代码结构29
2.3.1根目录29
2.3.2tensorflow目录30
2.3.3tensorflow/core目录31
2.3.4tensorflow/python目录32
2.3.5安装目录33
2.4小结33
第3章TensorFlow基础概念34
3.1编程范式：数据流图34
3.1.1声明式编程与命令式编程34
3.1.2声明式编程在深度学习应用上的优势35
3.1.3TensorFlow数据流图的基本概念38
3.2数据载体：张量40
3.2.1张量：Tensor40
3.2.2稀疏张量：SparseTensor44
3.3模型载体：操作46
3.3.1计算节点：Operation46
3.3.2存储节点：Variable49
3.3.3数据节点：Placeholder53
3.4运行环境：会话55
3.4.1普通会话：Session55
3.4.2交互式会话：InteractiveSession59
3.4.3扩展阅读：会话实现原理59
3.5训练工具：优化器61
3.5.1损失函数与优化算法61
3.5.2优化器概述64
3.5.3使用minimize方法训练模型66
3.5.4扩展阅读：模型训练方法进阶68
3.6一元线性回归模型的最佳实践72
3.7小结76
第二部分关键模块篇
第4章TensorFlow数据处理方法78
4.1输入数据集78
4.1.1使用输入流水线并行读取数据78
4.1.2创建批样例数据的方法86
4.1.3填充数据节点的方法87
4.1.4处理CIFAR-10数据集的最佳实践88
4.1.5扩展阅读：MNIST数据集91
4.2模型参数92
4.2.1模型参数的典型使用流程92
4.2.2使用tf.Variable创建、初始化和更新模型参数92
4.2.3使用tf.train.Saver保存和恢复模型参数98
4.2.4使用变量作用域处理复杂模型100
4.3命令行参数103
4.3.1使用argparse解析命令行参数103
4.3.2使用tf.app.flags解析命令行参数108
4.4小结111
第5章TensorFlow编程框架112
5.1单机程序编程框架112
5.1.1概述112
5.1.2创建单机数据流图114
5.1.3创建并运行单机会话116
5.2分布式程序编程框架118
5.2.1PS-worker架构概述118
5.2.2分布式程序编程框架概述120
5.2.3创建TensorFlow集群121
5.2.4将操作放置到目标设备124
5.2.5数据并行模式124
5.2.6同步训练机制125
5.2.7异步训练机制130
5.2.8使用Supervisor管理模型训练131
5.2.9分布式同步训练的最佳实践133
5.3小结137
第6章TensorBoard可视化工具138
6.1概述138
6.2可视化数据流图142
6.2.1名字作用域与抽象节点142
6.2.2可视化数据流图的最佳实践144
6.2.3扩展阅读：汇总数据和事件数据145
6.2.4扩展阅读：揭秘tf.summary.FileWriter工作原理147
6.3可视化学习过程149
6.3.1汇总操作概述149
6.3.2使用tf.summary.scalar生成折线图150
6.3.3使用tf.summary.histogram生成数据分布图152
6.3.4使用tf.summary.image生成图像154
6.3.5使用tf.summary.audio生成音频155
6.3.6可视化MNIST softmax模型学习过程的最佳实践156
6.4可视化高维数据158
6.4.1使用TensorBoard可视化高维数据158
6.4.2可视化MNIST数据集的最佳实践160
6.5小结163
第7章模型托管工具：TensorFlow Serving164
7.1概述164
7.2系统架构165
7.3安装167
7.3.1使用APT安装ModelServer168
7.3.2使用源码编译安装ModelServer169
7.4最佳实践170
7.4.1导出模型170
7.4.2发布模型服务173
7.4.3更新线上模型服务174
7.5小结175
第三部分算法模型篇
第8章深度学习概述178
8.1深度学习的历史178
8.1.1感知机模型与神经网络178
8.1.2神经网络的寒冬与复苏179
8.1.3神经网络的发展与第二次寒冬181
8.1.4深度学习时代的到来183
8.2深度学习的主要应用184
8.2.1计算机视觉185
8.2.2自然语言处理186
8.2.3强化学习188
8.3深度学习与TensorFlow190
8.4小结191
第9章CNN模型192
9.1CNN192
9.1.1CNN简介192
9.1.2卷积层193
9.1.3激活层195
9.1.4池化层195
9.1.5全连接层196
9.1.6Dropout层196
9.1.7BN层197
9.1.8常用的CNN图像分类模型197
9.2TensorFlow-Slim204
9.2.1TensorFlow-Slim总体结构204
9.2.2datasets包和data包205
9.2.3preprocessing包207
9.2.4deployment包207
9.2.5nets包209
9.2.6TensorFlow-Slim最佳实践212
9.3应用216
9.3.1物体检测216
9.3.2图像分割221
9.4小结222
第10章 GAN模型223
10.1原理、特点及应用223
10.1.1原理224
10.1.2特点225
10.1.3应用226
10.2GAN模型的改进228
10.2.1CGAN模型228
10.2.2LAPGAN模型229
10.2.3DCGAN模型230
10.2.4InfoGAN模型230
10.2.5LSGAN模型231
10.2.6WGAN模型232
10.3最佳实践233
10.4小结238
第11章 RNN模型239
11.1基本RNN单元及其变种239
11.1.1RNN模型简介239
11.1.2基本RNN单元240
11.1.3LSTM单元242
11.1.4GRU单元243
11.1.5双向RNN单元244
11.1.6带有其他特性的RNN单元245
11.2RNN模型247
11.2.1PTB-LSTM语言模型247
11.2.2Seq2Seq模型251
11.3小结254
第四部分核心揭秘篇
第12章 TensorFlow运行时核心设计与实现256
12.1运行时框架概述256
12.2关键数据结构257
12.2.1张量相关数据结构258
12.2.2设备相关数据结构260
12.2.3数据流图相关的数据结构263
12.3公共基础机制266
12.3.1内存分配266
12.3.2线程管理268
12.3.3多语言接口269
12.3.4XLA编译技术270
12.3.5单元测试框架271
12.4外部环境接口272
12.4.1加速器硬件接口272
12.4.2系统软件接口275
12.5小结276
第13章 通信原理与实现277
13.1概述277
13.2进程内通信278
13.2.1通信接口278
13.2.2会合点机制280
13.2.3异构设备内存访问282
13.3进程间通信283
13.3.1gRPC通信机制284
13.3.2控制通信286
13.3.3数据通信290
13.4RDMA通信模块294
13.4.1模块结构295
13.4.2消息语义296
13.4.3通信流程297
13.5小结300
第14章 数据流图计算原理与实现301
14.1概述301
14.2数据流图创建302
14.2.1流程与抽象303
14.2.2全图构造305
14.2.3子图提取306
14.2.4图切分307
14.2.5图优化308
14.3单机会话运行308
14.3.1流程与抽象309
14.3.2执行器获取311
14.3.3输入数据填充312
14.3.4图运行313
14.3.5输出数据获取315
14.3.6张量保存315
14.4分布式会话运行315
14.4.1主-从模型316
14.4.2主要抽象317
14.4.3client创建会话319
14.4.4client请求图运行320
14.4.5master驱动图运行321
14.4.6worker实施图运行323
14.5操作节点执行325
14.5.1核函数抽象325
14.5.2CPU上的执行流程326
14.5.3CUDA GPU上的执行流程326
14.6小结327
第五部分生态发展篇
第15章 TensorFlow生态环境330
15.1生态环境概况330
15.1.1社区托管组件330
15.1.2第三方项目333
15.2深度神经网络库Keras334
15.2.1概述334
15.2.2模型概述335
15.2.3顺序模型336
15.2.4函数式模型338
15.3TensorFlow与Kubernetes生态的结合340
15.4TensorFlow与Spark生态的结合344
15.5TensorFlow通信优化技术345
15.6TPU及神经网络处理器348
15.7NNVM模块化深度学习组件349
15.8TensorFlow未来展望——TFX351
15.9小结353
附录A354
