Hadoop教程

初识 Hadoop

数据！数据！ 数据存储与分析 与其他系统相比 Hadoop发展简史 Apache Hadoop 和 Hadoop 生态圈

关于 MapReduce

一个气象数据集 使用Unix工具进行数据分析 使用Hadoop分析数据 横向扩展 Hadoop 的 Streaming Hadoop 的 Pipes

Hadoop 分布式文件系统

HDFS的设计 HDFS的概念 命令行接口 Hadoop文件系统 Java 接口 数据流 通过distcp并行复制 Hadoop存档

Hadoop I/O

数据完整性 压缩 序列化 基于文件的数据结构

MapReduce 应用开发

配置API 配置开发环境 编写单元测试 本地运行测试数据 在集群上运行 作业调优 MapReduce的工作流

MapReduce的 工作机制

剖析MapReduce作业运行机制 失败 作业的调度 shuffle和排序 任务的执行

MapReduce的类型与格式 类型与格式

MapReduce的类型 输入格式 输出格式

MapReduce的 特性

计数器 排序 连接 边数据分布 MapReduce 库类

Hadoop I/O

Hadoop自带一套原子操作用于数据I/0。其中有一些技术比Hadoop本身更常用，如数据完整性保持和压缩，但在处理多达好几个TB的数据集时，特别值得关注。 其他一些则是Hadoop工具或API，它们所形成的构建模块可用于开发分布式系统，比如序列化操作和在盘(on-disk)数据结构。

关注微信获取最新动态

分类导航

联动北方技术论坛

智能运维平台