LinuxShell脚本攻略 第2版

Linux/GNU是一款非凡的操作系统，拥有稳定可靠且极其强大的开发环境。作为与操作系统进行沟通的原生界面，shell能够控制整个操作系统的运作，是与Linux进行交互最灵活的手段。本书向读者展现了如何有效地利用shell完成复杂的任务。从shell的基础知识开始，学习简单命令的用法，对各类文件进行操作。随后讲解了文本处理、Web交互、备份、监视以及其他系统管理任务。第2版进行了全面修订，精选极具实用价值的技巧，让你的日常工作更加轻松。
考察了各类日常任务以及如何利用shell命令更快速地解决问题。编写脚本从Web中挖掘数据，然后利用几行代码进行处理。综合利用多种工具来解决问题。在脚本中与简单的WebAPI进行交互。任务的执行及自动化，例如利用归档工具实现自动备份和恢复。创建及维护文件和文件夹归档，利用shell进行压缩和加密。利用shell脚本设置以太网和无线局域网。利用日志监视网络活动。

《图灵程序设计丛书：LinuxShell脚本攻略（第2版）》结合丰富的实际案例介绍了如何利用shell命令快速开发常规任务，如何凭借短短几个命令行从Web挖掘数据的shell脚本，如何通过shell脚本设置以太网和无线LAN，以及如何利用少量命令的组合完成诸如文本处理、文件管理、备份等复杂的数据管理工作等。
《图灵程序设计丛书：LinuxShell脚本攻略（第2版）》面向初、中、高级Linux系统管理员和程序员，是编写shell脚本的参考资料。

Shantanu Tushar，资深GNU/Linux用户，KDE社区著名的贡献者，维护着Calligra Active（用于Tablets的KDE办公文档查看器）、Plasma Media Center以及Gluon Player。Shantanu坚信终有一天编程会变得无比轻松，每个人都会热衷于为计算机编写程序。
Sarath Lakshman，年轻的Linux天才程序员、开源软件及GNU/Linux活跃分子。他作为SLYNUX(2005)的开发者而广为人知，这是一款面向Linux新手的操作友好的GNU/Linux发布版。另外，他还为Linux For You月刊撰写文章。在Fedora、Pardus Linux、PiTiVi、Ubuntu 以及Google编程夏令营等项目中，他都作出了显著的贡献。

译者简介：
门佳，Unix／Linux shell、Perl、正则表达式爱好者。在2001年接触Linux后很快喜欢上该系统。对Unix／Linux系统管理、Linux内核、Web技术研究颇多。工作之余，还喜欢探讨心理学，热衷出没于豆瓣和知乎。除此书外，他还译有《TCP Sockets编程》和《理解Unix进程》。

第1章 小试牛刀
1.1 简介
1.2 终端打印
1.2.1 实战演练
1.2.2 工作原理
1.2.3 补充内容
1.3 玩转变量和环境变量
1.3.1 预备知识
1.3.2 实战演练
1.3.3 补充内容
1.4 使用函数添加环境变量
1.4.1 实战演练
1.4.2 工作原理
1.5 使用shell进行数学运算
1.5.1 预备知识
1.5.2 实战演练
1.6 玩转文件描述符及重定向
1.6.1 预备知识
1.6.2 实战演练
1.6.3 工作原理
1.6.4 补充内容
1.7 数组和关联数组
1.7.1 预备知识
1.7.2 实战演练
1.7.3 补充内容
1.8 使用别名
1.8.1 实战演练
1.8.2 补充内容
1.9 获取终端信息
1.9.1 预备知识
1.9.2 实战演练
1.10 获取、设置日期和延时
1.10.1 预备知识
1.10.2 实战演练
1.10.3 工作原理
1.10.4 补充内容
1.11 调试脚本
1.11.1 实战演练
1.11.2 工作原理
1.11.3 补充内容
1.12 函数和参数
1.12.1 实战演练
1.12.2 补充内容
1.13 将命令序列的输出读入变量
1.13.1 预备知识
1.13.2 实战演练
1.13.3 补充内容
1.14 不使用回车键来读取n个字符
1.15 运行命令直至执行成功
1.15.1 实战演练
1.15.2 工作原理
1.15.3 补充内容
1.16 字段分隔符和迭代器
1.16.1 预备知识
1.16.2 实战演练
1.17 比较与测试

第2章 命令之乐
2.1 简介
2.2 用cat进行拼接
2.2.1 实战演练
2.2.2 工作原理
2.2.3 补充内容
2.3 录制并回放终端会话
2.3.1 预备知识
2.3.2 实战演练
2.3.3 工作原理
2.4 文件查找与文件列表
2.4.1 预备知识
2.4.2 实战演练
2.4.3 补充内容
2.5 玩转xargs
2.5.1 预备知识
2.5.2 实战演练
2.5.3 工作原理
2.5.4 补充内容
2.6 用tr进行转换
2.6.1 预备知识
2.6.2 实战演练
2.6.3 工作原理
2.6.4 补充内容
2.7 校验和与核实
2.7.1 预备知识
2.7.2 实战演练
2.7.3 工作原理
2.7.4 补充内容
2.8 加密工具与散列
2.9 排序、唯一与重复
2.9.1 预备知识
2.9.2 实战演练
2.9.3 工作原理
2.9.4 补充内容
2.10 临时文件命名与随机数
2.10.1 实战演练
2.10.2 工作原理
2.11 分割文件和数据
2.11.1 工作原理
2.11.2 补充内容
2.12 根据扩展名切分文件名
2.12.1 实战演练
2.12.2 工作原理
2.13 批量重命名和移动
2.13.1 预备知识
2.13.2 实战演练
2.13.3 工作原理
2.14 拼写检查与词典操作
2.14.1 实战演练
2.14.2 工作原理
2.15 交互输入自动化
2.15.1 预备知识
2.15.2 实战演练
2.15.3 工作原理
2.15.4 补充内容
2.16 利用并行进程加速命令执行
2.16.1 实战演练
2.16.2 工作原理

第3章 以文件之名
3.1 简介
3.2 生成任意大小的文件
3.3 文本文件的交集与差集
3.3.1 预备知识
3.3.2 实战演练
3.3.3 工作原理
3.4 查找并删除重复文件
3.4.1 预备知识
3.4.2 实战演练
3.4.3 工作原理
3.5 文件权限、所有权和粘滞位
3.5.1 实战演练
3.5.2 补充内容
3.6 创建不可修改的文件
3.6.1 预备知识
3.6.2 实战演练
3.7 批量生成空白文件
3.7.1 预备知识
3.7.2 实战演练
3.8 查找符号链接及其指向目标
3.8.1 实战演练
3.8.2 工作原理
3.9 列举文件类型统计信息
3.9.1 预备知识
3.9.2 实战演练
3.9.3 工作原理
3.10 使用环回文件
3.10.1 实战演练
3.10.2 工作原理
3.10.3 补充内容
3.11 生成ISO文件及混合型ISO
3.11.1 预备知识
3.11.2 实战演练
3.11.3 补充内容
3.12 查找文件差异并进行修补
3.12.1 实战演练
3.12.2 补充内容
3.13 使用head与tail打印文件的前10行和后10行
3.14 只列出目录的各种方法
3.14.1 预备知识
3.14.2 实战演练
3.14.3 工作原理
3.15 在命令行中使用pushd和popd进行快速定位
3.15.1 预备知识
3.15.2 实战演练
3.15.3 补充内容
3.16 统计文件的行数、单词数和字符数
3.17 打印目录树
3.17.1 预备知识
3.17.2 实战演练
3.17.3 补充内容

第4章 让文本飞
4.1 简介
4.2 使用正则表达式
4.2.1 实战演练
4.2.2 工作原理
4.2.3 补充内容
4.3 用grep在文件中搜索文本
4.3.1 实战演练
4.3.2 补充内容
4.4 用cut按列切分文件
4.4.1 实战演练
4.4.2 补充内容
4.5 使用sed进行文本替换
4.5.1 实战演练
4.5.2 补充内容
4.6 使用awk进行高级文本处理
4.6.1 预备知识
4.6.2 实战演练
4.6.3 工作原理
4.6.4 补充内容
4.7 统计特定文件中的词频
4.7.1 预备知识
4.7.2 实战演练
4.7.3 工作原理
4.7.4 参考
4.8 压缩或解压缩JavaScript
4.8.1 预备知识
4.8.2 实战演练
4.8.3 工作原理
4.8.4 参考
4.9 按列合并多个文件
4.9.1 实战演练
4.9.2 参考
4.10 打印文件或行中的第n个单词或列
4.10.1 实战演练
4.10.2 参考
4.11 打印行或样式之间的文本
4.11.1 预备知识
4.11.2 实战演练
4.11.3 参考
4.12 以逆序形式打印行
4.12.1 预备知识
4.12.2 实战演练
4.12.3 工作原理
4.13 解析文本中的电子邮件地址和URL
4.13.1 实战演练
4.13.2 工作原理
4.13.3 参考
4.14 在文件中移除包含某个单词的句子
4.14.1 预备知识
4.14.2 实战演练
4.14.3 工作原理
4.14.4 参考
4.15 对目录中的所有文件进行文本替换
4.15.1 实战演练
4.15.2 工作原理
4.15.3 补充内容
4.16 文本切片及参数操作
4.16.1 实战演练
4.16.2 参考

第5章 一团乱麻？没这回事
5.1 入门
5.2 Web页面下载
5.2.1 预备知识
5.2.2 实战演练
5.2.3 工作原理
5.2.4 补充内容
5.3 以纯文本形式下载网页
5.4 cURL入门
5.4.1 预备知识
5.4.2 实战演练
5.4.3 工作原理
5.4.4 补充内容
5.4.5 参考
5.5 从命令行访问Gmail
5.5.1 实战演练
5.5.2 工作原理
5.5.3 参考
5.6 解析网站数据
5.6.1 实战演练
5.6.2 工作原理
5.6.3 参考
5.7 图片抓取器及下载工具
5.7.1 实战演练
5.7.2 工作原理
5.7.3 参考
5.8 网页相册生成器
5.8.1 预备知识
5.8.2 实战演练
5.8.3 工作原理
5.8.4 参考
5.9 Twitter命令行客户端
5.9.1 预备知识
5.9.2 实战演练
5.9.3 工作原理
5.9.4 参考
5.10 基于Web后端的定义查询工具
5.10.1 预备知识
5.10.2 实战演练
5.10.3 工作原理
5.10.4 参考
5.11 查找网站中的无效链接
5.11.1 预备知识
5.11.2 实战演练
5.11.3 工作原理
5.11.4 参考
5.12 跟踪网站变动
5.12.1 预备知识
5.12.2 实战演练
5.12.3 工作原理
5.12.4 参考
5.13 以POST方式发送网页并读取响应
5.13.1 预备知识
5.13.2 实战演练
5.13.3 工作原理
5.13.4 参考

第6章 B计划
6.1 简介
6.2 用tar归档
6.2.1 预备知识
6.2.2 实战演练
6.2.3 工作原理
6.2.4 补充知识
6.2.5 参考
6.3 用cpio归档
6.3.1 实战演练
6.3.2 工作原理
6.4 使用gzip压缩数据
6.4.1 实战演练
6.4.2 补充内容
6.4.3 参考
6.5 用zip归档和压缩
6.5.1 实战演练
6.5.2 工作原理
6.6 更快速的归档工具pbzip
6.6.1 预备知识
6.6.2 实战演练
6.6.3 工作原理
6.6.4 补充内容
6.7 创建压缩文件系统
6.7.1 预备知识
6.7.2 实战演练
6.7.3 补充内容
6.8 使用rsync备份系统快照
6.8.1 实战演练
6.8.2 工作原理
6.8.3 补充内容
6.9 用Git进行基于版本控制的备份
6.9.1 预备知识
6.9.2 实战演练
6.10 用fsarchiver创建全盘镜像
6.10.1 预备知识
6.10.2 实战演练
6.10.3 工作原理

第7章 无网不利
7.1 简介
7.2 网络设置
7.2.1 预备知识
7.2.2 实战演练
7.2.3 补充内容
7.2.4 参考
7.3 使用ping
7.3.1 实战演练
7.3.2 补充内容
7.4 列出网络上所有的活动主机
7.4.1 预备知识
7.4.2 实战演练
7.4.3 工作原理
7.4.4 补充内容
7.4.5 参考
7.5 使用SSH在远程主机上运行命令
7.5.1 预备知识
7.5.2 实战演练
7.5.3 补充内容
7.5.4 参考
7.6 通过网络传输文件
7.6.1 预备知识
7.6.2 实战演练
7.6.3 补充内容
7.6.4 参考
7.7 连接无线网络
7.7.1 预备知识
7.7.2 实战演练
7.7.3 工作原理
7.7.4 参考
7.8 用SSH实现无密码自动登录
7.8.1 预备知识
7.8.2 实战演练
7.9 使用SSH进行端口转发
7.9.1 实战演练
7.9.2 补充内容
7.10 在本地挂载点上挂载远程驱动器
7.10.1 预备知识
7.10.2 实战演练
7.10.3 参考
7.11 网络流量与端口分析
7.11.1 预备知识
7.11.2 实战演练
7.11.3 工作原理
7.11.4 补充内容
7.12 创建套接字
7.12.1 预备知识
7.12.2 实战演练
7.12.3 补充内容
7.13 互联网连接共享
7.13.1 预备知识
7.13.2 实战演练
7.14 使用iptables架设简易防火墙
7.14.1 实战演练
7.14.2 工作原理
7.14.3 补充内容

第8章 当个好管家
8.1 简介
8.2 监视磁盘使用情况
8.2.1 预备知识
8.2.2 实战演练
8.2.3 补充内容
8.3 计算命令执行时间
8.3.1 实战演练
8.3.2 工作原理
8.4 收集与当前登录用户、启动日志及启动故障的相关信息
8.4.1 预备知识
8.4.2 实战演练
8.5 列出1小时内占用CPU最多的10个进程
8.5.1 预备知识
8.5.2 实战演练
8.5.3 工作原理
8.5.4 参考
8.6 使用watch监视命令输出
8.6.1 实战演练
8.6.2 补充内容
8.7 记录文件及目录访问
8.7.1 预备知识
8.7.2 实战演练
8.7.3 工作原理
8.8 用logrotate管理日志文件
8.8.1 预备知识
8.8.2 实战演练
8.8.3 工作原理
8.9 用syslog记录日志
8.9.1 预备知识
8.9.2 实战演练
8.9.3 参考
8.10 通过监视用户登录找出入侵者
8.10.1 预备知识
8.10.2 实战演练
8.10.3 工作原理
8.11 监视远程磁盘的健康情况
8.11.1 预备知识
8.11.2 实战演练
8.11.3 工作原理
8.11.4 参考
8.12 找出系统中用户的活跃时段
8.12.1 预备知识
8.12.2 实战演练
8.12.3 工作原理
8.13 电源使用的测量与优化
8.13.1 预备知识
8.13.2 实战演练
8.14 监视磁盘活动
8.14.1 预备知识
8.14.2 实战演练
8.15 检查磁盘及文件系统错误
8.15.1 预备知识
8.15.2 实战演练
8.15.3 工作原理

第9章 管理重任
9.1 简介
9.2 收集进程信息
9.2.1 预备知识
9.2.2 实战演练
9.2.3 工作原理
9.2.4 补充内容
9.2.5 参考
9.3 杀死进程以及发送或响应信号
9.3.1 预备知识
9.3.2 实战演练
9.3.3 补充内容
9.4 向用户终端发送消息
9.4.1 预备知识
9.4.2 实战演练
9.4.3 工作原理
9.5 采集系统信息
9.6 使用proc采集信息
9.7 用cron进行调度
9.7.1 预备知识
9.7.2 实战演练
9.7.3 工作原理
9.7.4 补充内容
9.8 从Bash中读写MySQL数据库
9.8.1 预备知识
9.8.2 实战演练
9.8.3 工作原理
9.9 用户管理脚本
9.9.1 实战演练
9.9.2 工作原理
9.10 图像文件的缩放及格式转换
9.10.1 预备知识
9.10.2 实战演练
9.10.3 工作原理
9.10.4 参考
9.11 从终端截图
9.11.1 预备知识
9.11.2 实战演练
9.12 管理多个终端
9.12.1 预备知识
9.12.2 实战演练

GNU/Linux是世界上最强大、最灵活的操作系统之一。在现代计算领域中，它可谓无处不在，从服务器、便携式计算机、移动电话、平板电脑到超级计算机，概莫能外。尽管配备了优美、时髦的图形用户界面，但shell依然是同Linux进行交互的最灵活的方式。
除了执行单独的命令，shell还可以执行命令脚本，所以非常易于实现各种任务的自动化操作，如生成报表、发送电子邮件、进行系统维护等。本书包含各式各样的攻略，演示了命令及shell脚本的实战用法。你可以将其作为参考，或是自己编写脚本时的灵感源泉。书中涉及的任务包括文本处理、网络运维、系统管理，不一而足。
和学习其他手艺一样，熟能生巧。待你成为shell脚本行家之日，方能完全发挥并驾驭shell的真力。本书会告诉你如何达成这一目标！
本书内容
第1章：小试牛刀。作为用于理解Bash的基本概念及特性的入门章节，这一章讨论了终端打印、数学运算以及其他一些简单的Bash功能。
第2章：命令之乐。这一章展示了GNU/Linux中的常用命令，历数了用户可能会遇到或是可以善加利用的各种实践用例。除了基础命令之外，在这一版中还讨论了加密散列命令（cryptographic hashing command）和尽可能并行执行命令的方法。
第3章：以文件之名。这一章包含了与文件及文件系统相关的多条攻略，讲解了如何生成大体积文件、将文件系统写入文件、挂载文件、创建ISO镜像。我们还探讨了查找并删除重复文件、统计文件行数、收集文件详细信息等操作。
第4章：让文本飞。这一章结合任务实例讲解了GNU/Linux下大部分命令行文本处理工具。此外还包含了一些补充内容，详细介绍了正则表达式以及sed/awk命令。本章对多数常见的文本处理任务逐一给出了解决方案。这些都是实战中不可不知的技巧。
第5章：一团乱麻？没这回事。这一章包含了多个同互联网服务相关的shell脚本，旨在帮助读者理解如何使用shell脚本与Web进行交互，以实现诸如Web页面数据采集、解析等任务的自动化操作。讲解了以POST和GET方式发送网页，提交客户数据到服务器的方法。在这一版中，就Twitter这类服务，采用了一种全新的授权机制——OAuth。
第6章：B计划。这一章演示了用于数据备份、归档、压缩等若干命令。除了更快的压缩技术，这一版还讨论了如何创建全盘镜像。
第7章：无网不利。这一章涵盖了Linux环境下的联网实践以及若干有助于编写网络shell脚本的命令。首先介绍了一些网络基础知识，随后讲解了ssh的用法，这可算得上是现代GNU/Linux系统中最强大的命令之一。除此之外，我们还讨论了高级端口转发、设置原始通信信道（raw communication channel）、防火墙配置等内容。
第8章：当个好管家。这一章介绍了Linux系统活动监视相关的攻略以及日志记录和报表生成，讲解了计算磁盘使用情况、监视用户访问、CPU占用等任务。在这一版中，我们还会讲述优化电源使用、检查磁盘和文件系统错误的方法。
第9章：管理重任。这一章涉及一系列系统管理方面的实战攻略，讲解了各种用于收集系统详细信息的命令以及使用脚本进行用户管理的方法，还讨论了大图片缩放、通过shell访问MySQL数据库。在这一版中，我们还会学习在不借助窗口管理器的情况下，如何使用GNU Screen来管理多个终端。
阅读本书要求
只要具备任何一种GNU/Linux平台的一般性使用经验，都能很轻松地阅读本书。我们已竭尽所能地确保书中的所有例子清晰明了、简单易懂。在Linux平台下学习的好奇心是你阅读本书所需的唯一条件。我们为你提供了循序渐进的辅导，助你解决书中有关脚本编写的难题。为了运行并测试书中的例子，我们推荐安装Ubuntu/Debian Linux。当然，其他的Linux发行版也足以胜任绝大多数任务。你会发现就编写shell脚本来说，本书绝对是一份通俗易懂的参考资料，同时也是一位助你编写高效脚本的良师益友。
本书读者对象
如果你是一位初中级用户，希望通过掌握快速编写脚本的技巧来完成各类事务处理，而又不愿去逐页翻阅手册，那么本书就是写给你的。你不用了解任何shell脚本或Linux的工作原理，只需要参照书中类似的例子和描述就可以动手了。对于中高级用户以及系统管理员或程序员而言，本书则是在编码过程中寻求问题解决之道的一份绝佳参考资料。
本书约定
本书用多种不同格式的文本来区分不同种类的信息。下面是各类格式的例子及其所代表的含义。
正文中的代码片段像这样显示：“我们创建了名为repeat的函数，它包含了一个无限while循环，该循环尝试运行被作为函数参数（通过$@访问）传入的命令。”
代码块以如下形式显示：
if [ $var -eq 0 ]; then echo ""True""; fi
还可以写成：
if test $var -eq 0 ; then echo ""True""; fi
如果我们希望你注意代码块的某部分，那么会使用粗体显示相关的代码行或条目：
while read line;
do something
done < filename
命令行输入或输出写成如下形式：
# mkdir /mnt/loopback
# mount -o loop loopbackfile.img /mnt/loopback
新术语和重要的词句显示为粗体。
警告或重要的提示出现在这里。
建议和窍门则会以这种方式出现。