Hadoop教程

初识 Hadoop

数据！数据！ 数据存储与分析 与其他系统相比 Hadoop发展简史 Apache Hadoop 和 Hadoop 生态圈

关于 MapReduce

一个气象数据集 使用Unix工具进行数据分析 使用Hadoop分析数据 横向扩展 Hadoop 的 Streaming Hadoop 的 Pipes

Hadoop 分布式文件系统

HDFS的设计 HDFS的概念 命令行接口 Hadoop文件系统 Java 接口 数据流 通过distcp并行复制 Hadoop存档

Hadoop I/O

数据完整性 压缩 序列化 基于文件的数据结构

MapReduce 应用开发

配置API 配置开发环境 编写单元测试 本地运行测试数据 在集群上运行 作业调优 MapReduce的工作流

MapReduce的 工作机制

剖析MapReduce作业运行机制 失败 作业的调度 shuffle和排序 任务的执行

MapReduce的类型与格式 类型与格式

MapReduce的类型 输入格式 输出格式

MapReduce的 特性

计数器 排序 连接 边数据分布 MapReduce 库类

初识Hadoop

古代，人们用牛来拉重物。当一头牛拉不动一根圆木时，他们不曾想过培育更大更 壮的牛。同样，我们也不需要尝试开发超级计算机，而应试着结合使用更多计算机 系统。 —格蕾斯.霍抽

关注微信获取最新动态

分类导航

联动北方技术论坛

智能运维平台