Apache Hadoop 和 Hadoop 生态圈

尽管Hadoop因MapReduce及其分布式文件系统HDFS,由NDFS改名而来)而出名，但Hadoop这个名字也用于一组相关项目的统称，这些相关项目都使用这个基础平台进行分布式计算和海量数据处理。

本书所提到的大多数核心项目都受Apache软件基金会支持，该基金会对开源软件项目的组织提供支持，其中包括最初的HTTP server项目。随着Hadoop生态圈的成长，出现了越来越多的项目，其中不乏一些非Apache主管的项目，这些项目对Hadoop是个很好的补充，或提供一些更高层的抽象。

本书所提到的Hadoop项目简述如下。

Common
一组分布式文件系统和通用I/O的组件与接口（序列化、Java RPC和持久化数 据结构)。

Avro
一种支持高效、跨语言的RPC以及永久存储数据的序列化系统。

MapReduce
分布式数据处理模型和执行环境，运行于大型商用机集群。

HDFS
分布式文件系统，运行于大型商用机集群。

Pig
一种数据流语言和运行环境，用以检索非常大的数据集。Pig运行在 MapReduce和HDFS的集群上。

Hive
一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供 基于SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。

HBase
一个分布式、按列存储数据库。HBase使用HDFS作为底层存储，同时支持 MapReduce的批量式计算和点査询(随机读取)。

ZooKeeper
一个分布式、可用性髙的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。

Sqoop
在数据库和HDFS之间高效传输数据的工具。