大数据技术丛书：Hadoop集群与安全

Hadoop自动化安装和配置的问题在于隐藏了许多Hadoop组件协同工作的重要细节，《大数据技术丛书：Hadoop集群与安全》介绍如何手动安装和配置主要的Hadoop组件，以便高效使用Hadoop平台。通过设置一个完全可运行的集群，可对Hadoop内部的运行机制产生更深入的了解，并且有助于你调试任何可能发生的问题。《大数据技术丛书：Hadoop集群与安全》还介绍了保障基于Hadoop的大数据平台安全的实现方案和最佳实践，覆盖Kerberos安全协议和Hadoop安全机制的设计，并包括在企业内部来确保Hadoop及其生态系统相关组件安全的详细方案。
通过阅读《Hadoop集群与安全》，你将了解：
·如何手动配置主要的Hadoop组件，以及Hadoop生态系统。
·如何在云端使用Hadoop，包括Elastic MapReduce和Whirr的应用。
·如何配置Kerberos并建立安全的Hadoop集群。
·如何保护Hadoop生态系统中的敏感数据。

扎伯瑞福斯基（Danil Zburivsky），资深数据库管理员，目前是全球数据基础构架管理公司Pythian的咨询师，其客户涉及金融、娱乐以及通信领域，主要方向是创建各种Hadoop集群。研究兴趣包括Python编程、机器学习等。

娜拉燕南（Sudheesh Narayana），在大数据解决方案咨询与实施领域具有丰富经验的实践者和技术战略家。他在IT领域的经验超过15年，涉及信息管理、商务智能、大数据分析及云应用和J2EE应用开发等。

刘杰，中国科学院软件所副研究员，具有多年Hadoop平台研发与实施经验，与团队一起研发基于Hadoop的可视化大数据分析工具Haflow，该工具应用于医疗、交通等多个领域。研究方向包括企业数据集成、面向大数据的系统软件、数据挖掘等。

沈鑫，毕业于同济大学计算机科学与技术系，资深网络工程师，从事网络安全、管理信息系统的开发与维护，参与开发了多个相关的项目。兴趣爱好是网络安全技术与嵌入式技术。

译者序
作者简介
审校者简介
前言

第1章 构建Hadoop集群
1.1 选择Hadoop集群硬件
1.1.1 选择DataNode硬件
1.1.2 低存储密度集群
1.1.3 高存储密度集群
1.1.4 NameNode和JobTracker硬件配置
1.1.5 网关和其他辅助服务
1.1.6 网络配置
1.1.7 Hadoop硬件总结
1.2 Hadoop发行版
1.2.1 Hadoop版本
1.2.2 选择Hadoop发行版
1.2.3 Cloudera Hadoop 发行版
1.2.4 Hortonworks Hadoop发行版
1.2.5 MapR
1.3 为Hadoop集群选择操作系统
1.4 小结

第2章 安装和配置Hadoop
2.1 在Hadoop集群中配置操作系统
2.1.1 选择和设置文件系统
2.1.2 设置Java开发包
2.1.3 其他操作系统设定
2.1.4 设置CDH存储库
2.2 设置NameNode
2.2.1 JournalNode节点、ZooKeeper以及故障转移控制器
2.2.2Hadoop配置文件
2.2.3 NameNode高可用方案配置
2.2.4 JobTracker配置
2.2.5DataNode配置
2.3 小结

第3章 配置Hadoop生态系统
3.1托管Hadoop生态项目
3.2 Sqoop
3.2.1安装和配置Sqoop
3.2.2 Sqoop导入示例
3.2.3 Sqoop导出示例
3.3 Hive
3.3.1Hive架构
3.3.2安装Hive Metastore
3.3.3 安装Hive客户端
3.3.4 安装Hive Server
3.4Impala
3.4.1 Impala架构
3.4.2 安装Impala state store
3.4.3 安装Impala server
3.5 小结

第4章 Hadoop安全
4.1 Hadoop安全概述
4.2 Hadoop分布式文件系统安全
4.3 MapReduce安全
4.4 Hadoop服务级别验证
4.5 Hadoop和Kerberos
4.5.1 Kerberos概述
4.5.2 Hadoop中的Kerberos
4.6 小结

第5章 监控Hadoop集群
5.1 监控策略介绍
5.2 Hadoop参数
5.2.1 JMX参数
5.2.2 使用Nagios监控Hadoop
5.2.3 监控Hadoop分布式文件系统
5.2.4 NameNode校验
5.2.5 JournalNode检查
5.2.6 ZooKeeper检查
5.3 监控MapReduce
5.4 使用Ganglia监控Hadoop
5.5 小结

第6章 在云端使用Hadoop
6.1 Amazon Elastic MapReduce
6.1.1 安装EMR命令行接口
6.1.2 选择Hadoop版本
6.1.3 启动EMR集群
6.2 使用Whirr
6.3 小结

第7章 Hadoop平台安全概述
7.1 为什么需要保障Hadoop生态系统的安全
7.2 确保Hadoop生态系统安全面临的挑战
7.3 关键安全因素
7.4 小结

第8章 Hadoop安全体系设计
8.1 什么是Kerberos
8.1.1 Kerberos关键术语
8.1.2 Kerberos如何工作
8.1.3 Kerberos 的优点
8.2 不采用Kerberos的Hadoop默认安全模型
8.3 Hadoop Kerberos 安全模型实现
8.3.1 用户层次的访问控制
8.3.2 服务层次的访问控制
8.3.3 用户和服务认证
8.3.4 授权令牌
8.3.5 作业令牌
8.3.6 数据块访问令牌
8.4 小结

第9章 配置一个安全Hadoop集群
9.1 前提条件
9.2 设置Kerberos
9.3 配置Hadoop使用Kerberos认证
9.3.1 在所有Hadoop节点设置Kerberos客户端
9.3.2 配置Hadoop服务标识
9.4 Hadoop用户设置
9.5 安全Hadoop自动部署
9.6 小结

第10章 Hadoop生态系统安全保障
10.1 为Hadoop生态系统组件配置Kerberos
10.1.1 Hive安全设置
10.1.2 Oozie安全设置
10.1.3 Flume安全设置
10.1.4 HBase安全设置
10.1.5 Sqoop安全设置
10.1.6 Pig安全设置
10.2 Hadoop生态系统组件安全保障最佳实践
10.3 小结

第11章 集成Hadoop与企业安全系统
11.1 集成EIM系统
11.1.1 配置EIM与Hadoop集成
11.1.2 集成基于Active Directory的EIM系统与Hadoop生态系统
11.2 从企业网络访问安全Hadoop集群
11.2.1 HttpFS
11.2.2 HUE
11.2.3 Knox Gateway Server
11.3 小结

第12章 Hadoop中敏感数据安全保护
12.1 Hadoop中敏感数据及保护方法
12.2 小结

第13章 安全事件与审计日志
13.1 Hadoop集群安全事故和事件监控
13.2 Hadoop集群审计日志设置
13.3 小结

附录 Hadoop安全机制解决方案