App后台开发运维和架构实践

软件开发老兵余晟为本书倾情作序，Bmob后端云CEO何少岳、UCloud综合研发中心高级工程师胡亚平、bilibili研发总监毛剑联合力荐。

本书将告诉读者如何用“正确的方式”使用各种已有的工具，将为读者呈现一幅包括技术选型、后台搭建、性能优化、运维实践、架构设计在内的App后台开发蓝图。

《App 后台开发运维和架构实践》通过阐述移动互联网中 App 后台开发的特点，梳理了 App 后台开发中会遇到的各个技术点，给出了生产环境常用软件的实战运维经验总结，剖析了常见 App 后台技术架构设计，为读者呈现一幅包括技术选型、后台搭建、性能优化、运维实践、架构设计的 App 后台开发蓝图。
本书的目标读者是对技术感兴趣的产品经理、刚入行的 App 后台开发人员，以及从传统软件行业转向 App 后台开发的技术人员。

曾健生，曾任职于广州市赢靖信息科技有限公司，负责社交App后台研发。目前就职bmob后端云从事云服务方面的研发工作。

推荐序 十八般兵器入门.. 3

第1章App后台入门

1.1App后台的功能... 16

1.2App后台架构... 17

1.3App和App后台的通信... 19

1.4App后台和Web后端的区别... 22

1.5选择服务器... 23

1.6选择编程语言... 24

1.7快速入门新技术 1.7.1思维模式 1.7.24种快速入门新技术的方法

1.8App是怎样炼成的... 26

1.8.1项目启动阶段 1.8.2研发阶段 1.8.3测试阶段 1.8.4正式推出阶段

1.9最适合App的开发模式——敏捷开发... 30

1.9.1Sprint 计划会议 1.9.2日常开发 1.9.3每日例会 1.9.4测试和修复Bug 1.9.5评审会议 1.9.6回顾会议 1.9.7及时反馈 1.9.8总结

第2章App后台基础技术.. 35

2.1从App业务逻辑中提炼API接口... 35

2.1.1业务逻辑思维导图 2.1.2功能—业务逻辑思维导图 2.1.3基本功能模块关系 2.1.4功能模块接口UML（设计出API） 2.1.5编写在线API测试文档 2.1.6设计稿标注API

2.2设计API的要点... 46

2.3如何选择合适的数据库产品... 50

2.3.1Redis，MongoDB，MySQL读写数据的区别 2.3.2Redis，MongoDB，MySQL查找数据的区别 2.3.3Redis，MongoDB，MySQL适用场景

2.4如何选择消息队列软件

2.4.1为什么要用消息队列 2.4.2消息队列的工作流程 2.4.3常见的一些消息队列产品

2.5使用分布式服务实现业务的复用

2.5.1巨无霸系统的危害 2.5.2远程服务的优点 2.5.3远程服务的实现

2.6搜索技术入门... 59

2.6.1一个简单的搜索例子 2.6.2搜索技术的基本原理 2.6.3常见的开源搜索软件介绍

2.7定时任务... 65

2.7.1Linux定时任务Crontab 2.7.2在后台轻松管理各种各样的定时任务

第3章App后台核心技术.. 68

3.1用户验证方案... 68

3.1.1使用HTTPS协议 3.1.2基本的用户登录方案

3.2App通信安全... 72

3.2.1URL签名 3.2.2AES对称加密 3.2.3更进一步的通信安全

3.3短信服务... 78

3.3.1App后台发送短信简介 3.3.2选择短信平台 3.3.3 建立可靠的短信服务

3.4处理表情的一些技巧... 80

3.4.1表情在MySQL的存储 3.4.2当文字中夹带表情的处理 3.4.3Openfire中发送表情引起连接断开的问题

3.5高效更新数据... 82

3.5.1内容的推拉 3.5.2数据增量更新策略

3.6图片处理... 90

3.7视频处理... 91

3.7.1FFmpeg简介 3.7.2后台调用FFmpeg的功能

3.8获取APK和IPA文件里的资源... 94

3.8.1Android的APK文件 3.8.2iOS的IPA文件

3.9文件系统... 98

3.9.1文件云存储服务 3.9.2架设文件系统

3.10ELK日志分析平台... 101

3.10.1基本模块 3.10.2日志分析流程

3.11Docker构建一致的开发环境... 103

3.11.1Docker原理 3.11.2搭建一致的开发环境

第4章Linux——App后台应用最广泛的系统.. 107

4.1基本的系统优化... 107

4.1.1开机自启动服务优化 4.1.2增大文件描述符

4.2常用的命令... 110

4.2.1全面了解系统资源情况——top 4.2.2显示进程状态——ps

4.2.3查看网络相关信息——netstat 4.2.4查看某个进程打开的所有文件——lsof

4.2.5跟踪数据到达主机所经路由——traceroute 4.2.6文件下载/上传工具——“ssh secure shell client”和“lrzsz”

4.2.7查看程序的依赖库——LD_DEBUG 4.2.8进程管理利器——superivisor

4.3故障案例分析... 125

第5章Nginx——App后台HTTP服务的利器.. 126

5.1简介... 126

5.2基本原理... 127

5.2.1工作模型 5.2.2进程解析

5.3常用配置... 129

5.3.1Nginx的全局配置 5.3.2event配置 5.3.3http配置 5.3.4负载均衡配置 5.3.5server虚拟主机配置

5.3.6location配置 5.3.7HTTPS的配置 5.3.8下载App的配置 5.3.9生产环境中修改配置的良好习惯

5.4性能统计... 136

5.5实现负载均衡的方案... 137

5.6用Nginx处理业务逻辑... 139

第6章MySQL——App后台最常用的数据库.. 140

6.1基本架构... 140

6.2选择版本... 141

6.3配置文件详解... 142

6.4软件优化... 144

6.4.1正确使用MyISAM和InnoDB存储引擎 6.4.2正确使用索引

6.4.3避免使用select * 6.4.4字段尽可能地设置为NOT NULL

6.5硬件优化... 147

6.5.1增加物理内存 6.5.2增加应用缓存

6.5.3用固态硬盘代替机械硬盘 6.5.4SSD硬盘+SATA硬盘混合存储方案

6.6架构优化... 149

6.6.1分表 6.6.2读写分离 6.6.3分库

6.7SQL慢查询分析... 156

6.8云数据库简介... 157

6.9灵活的存储结构... 158

6.10故障排除案例... 159

第7章Redis——App后台高性能的缓存系统.. 160

7.1Redis简介... 160

7.2Redis的常用数据结构及应用场景... 161

7.2.1string——存储简单的数据 7.2.2hash——存储对象的数据

7.2.3list——模拟队列操作 7.2.4set——无序且不重复的元素集合

7.2.5sorted set——有序且不重复的元素集合... 168

7.3内存优化... 170

7.3.1监控内存使用的状况 7.3.2优化存储结构

7.3.3限制使用的最大内存 7.3.4设置过期时间

7.4集群... 174

7.4.1客户端分片 7.4.2Twemproxy 7.4.3Codis 7.4.4Redis 3.0集群 7.4.5云服务器上的集群服务

7.5持久化

7.5.1RDB 7.5.2AOF

7.6故障排除案例... 184

第8章MongoDB——App后台新兴的数据库.. 185

8.1简介... 185

8.2核心机制解析... 186

8.2.1MMAP（内存文件映射） 8.2.2Journal日志

8.3入门... 187

8.3.1基本操作 8.3.2数组操作 8.3.3实例演示MySQL和MongoDB设计数据库的区别

8.4高可用集群... 195

8.4.1主从 8.4.2副本集 8.4.3分片

8.5LBS——地理位置查询... 200

8.6MongoDB 3.0版本的改进... 205

8.6.1灵活的存储架构 8.6.2性能提升7~10倍 8.6.3存储空间最多减少80% 8.6.4运维成本最多降低95%

第9章App后台架构剖析.. 208

9.1聊天App后台架构... 208

9.1.1移动互联网的网络特性 9.1.2协议 9.1.3整体架构

9.2社交App后台架构... 221

9.2.1基本表结构 9.2.2推拉模式 9.2.3数据库架构的演进 9.2.4缓存架构的演进

9.3LBS App后台架构... 234

9.3.1地理坐标详解 9.3.2查找附近的人 9.3.3基于MongoDB的LBS后台架构演进

9.4推送服务器后台架构... 242

9.4.1Android推送 9.4.2iOS推送

9.5获得更多App后台架构资料... 252

第10章App后台架构的演进.. 255

10.1架构的核心要素... 255

10.1.1高性能 10.1.2高可用 10.1.3可伸缩 10.1.4可扩展 10.1.5安全性

10.2架构选型的要点... 262

10.2.1用成熟稳定的开源软件 10.2.2尽可能使用云服务

10.3架构的演进... 268

10.3.1单机部署 10.3.2分布式部署 10.3.3服务化

10.4架构的特点... 279

10.4.1每个App的后台架构不会完全一样 10.4.2架构的演进是由业务驱动的 10.4.3架构不是为了炫耀技术

推荐序

十八般兵器入门

软件开发工具的成长速度远远超过开发人员的成长速度，这是现实。

每个月，甚至每天，我们都可以见到新的类库、框架、工具、语言。它们或者极大地降低了开发的成本，或者极大地提升了开发的效率。

随之而来的问题就是，如何让开发人员妥善地运用好这些工具？

曾经有好几个做开发的同事跟我说：“写软件谁不会？从网上找些开源的类和项目来改改就是了”。目前也确实充斥着这种“改改就是”的工作思维。介绍某个类库和项目如何安装和调用的文章俯拾皆是。

但是每种工具究竟有什么优缺点？适合用来解决什么问题？需要以怎样的方式来解决问题？因此还需要做怎样的权衡？这样的问题基本没有人考虑，但是，它们又很重要。

这有点像练武。斧钺钩叉、刀枪剑戟，制造手艺日渐精良；可是习武的人心里没有分寸，该劈的时候提了枪，该刺的时候抡了斧…… 耍几下花把式还算足够，真正打起来哪能取胜？

我在面试新人中经常提的问题是：NoSQL 分为哪几种类型？每种类型的典型代表和应用场景是什么？要知道，用过MongoDB 和Redis 的人比比皆是，但回答不上这几个问题的也大有人在。这样的候选人，我是决计不敢要的。稍加不注意，他们就可能用Redis 存文档，用MongoDB 做复杂运算，甚至“大胆”用Redis 来替换数据库以解决性能瓶颈——噢，你说起“事务”，Redis 也是有“事务”的呀。

对这样的人，你真让他们去研究MongoDB 或者Redis，让他们去通读一本专著，似乎有点划不来，他们自己也没有那么多耐心。所以我常想，有没有一本“薄而广”的书，专注于开拓大家的眼界，并教导大家用“正确的方式”来使用各种已有的工具。如今我们虽然有海量的框架和类库，有突飞猛进的云服务，但是只要没有掌握“正确的应用方式”，就无法保证“把事情做对”，就只能开发出某几个方面明显不及格的产品。

所以当我看到曾健生编著的《App 后台开发运维和架构实践》时，不由得眼前一亮。这正是一本“薄而广”的书，它绝不像《打狗棍法》或者《辟邪剑法》，不负责地教你把某门特别的武功练到极致，而更像《十八般兵器入门》，告诉你刀枪剑戟各适合什么场景，使用时有什么注意事项。典型的例子如关于Redis 的部分，它讲的不是Redis 如何安装，如何调用，而是结合发送短信、社交关系计算等典型应用场景讲解Redis 的使用方式，并介绍在Redis 提供内建集群之前，市面上的各种集群的方案和优劣。这样虽然只有一章的篇幅，但为普通开发人员提供的价值绝对要比两三本Redis 专著都要大，而且读起来更有效率。

古代练武的人，未必人人都要做武林高手，许多人只是把十八般兵器都耍熟，就已经足够防贼、保平安，受益匪浅了。同样的道理，对今天的App 后台开发人员来说，把基本的点都踩到、踩准，把系统拎到及格线以上，避免明显的缺憾，对大多数场景来说，已经是意义重大了。

余晟

软件开发老兵，微信公众号“余晟以为”

笔者在 2012 年从开发电子商务网站转向了开发 App 后台，当时在一家做社交 App 的创业公司里工作，笔者和搭档都没有任何从事移动互联网开发的经验，不清楚 App 后台怎么架构，只能摸着石头过河，那时网络上只有一些零散的资料，当遇到问题时只能不断地摸索和思考，来找到解决问题的方法。

在从事开发 App 后台接近 4 年的时间中，笔者参与了两款社交 App 的开发，现在就职于bmob，从事云后台服务的研发工作，慢慢地对 App后台的架构有了一些体会。

从 2013 年年底开始，笔者把工作笔记发表在 CSDN 博客专栏“App 后端技术架构”，陆陆续续收到了很多网友的反馈，后来在 QQ 里面接触了很多刚刚从事开发 App 后台的开发者、找技术合伙人的创业者，在聊天的过程中，发现很多基本的问题被不停地问，例如：

队列有什么用？

Redis的应用场景有哪些？

怎么保证通信的安全性？

看着对未来无限向往的同行也在重复着本人当初经历过的迷茫，也在纠结着这些技术问题，在网络上，没找到一本系统讲述 App 后台架构的书籍，能搜索到的不是“高大尚”公司的解决方案，就是针对一个技术点很详细的讲解。

于是在网友的鼓励下，笔者决定把本人所掌握的开发 App 后台的知识系统地讲解一次（当时计划是写 30 篇左右的文章），笔者利用业余的时间陆陆续续地写成文章发表在 CSDN博客专栏“App 后端技术架构”，这也是本书前 3 章的初稿。

后来在博文视点的付睿编辑帮助下，笔者有机会把自身所学习的知识再系统地整理一次，以书籍的形式展现给各位读者，希望本书能够帮助更多的刚进入 App 后台开发的朋友们，以及对 App 后台技术感兴趣的产品经理和 Android、iOS开发者。

因为本书的读者定位主要是 App 后台的初学者，因此笔者尽量以图文并茂的方式给读者

介绍 App 后台各方面的技术。笔者一向推崇的架构原则是，“尽量使用成熟可靠的云服务和开源软件，自身只专注于业务逻辑”，对于某项具体的技术必须掌握下面两点。

技术的应用场景。

技术的基本原理。

掌握上面两点后就能对这项技术有了基本的了解，在此基础上技术选型的优先级如下。

云服务。

开源软件。

自主研发。

通过上面的措施能在最大程度上减轻技术人员的额外研发负担，让自身的精力更加专注于业务。

至于某项技术的其他方面，例如怎么部署、开源软件的深度剖析等，笔者并不打算在本书中做深入的阐述，读者如果感兴趣可自行深入学习。笔者希望在本书中能给读者描绘一个 App后台开发的蓝图。

本书主要分为 4 部分。

第 1~3章：App 后台常用技术的讲解。

第 4~8章：App 后台常用软件的运维和相关原理。

第 9 章：4 种类型 App 的后台架构。

第 10 章：App 后台架构的知识。