Hadoop教程

初识 Hadoop

数据！数据！ 数据存储与分析 与其他系统相比 Hadoop发展简史 Apache Hadoop 和 Hadoop 生态圈

关于 MapReduce

一个气象数据集 使用Unix工具进行数据分析 使用Hadoop分析数据 横向扩展 Hadoop 的 Streaming Hadoop 的 Pipes

Hadoop 分布式文件系统

HDFS的设计 HDFS的概念 命令行接口 Hadoop文件系统 Java 接口 数据流 通过distcp并行复制 Hadoop存档

Hadoop I/O

数据完整性 压缩 序列化 基于文件的数据结构

MapReduce 应用开发

配置API 配置开发环境 编写单元测试 本地运行测试数据 在集群上运行 作业调优 MapReduce的工作流

MapReduce的 工作机制

剖析MapReduce作业运行机制 失败 作业的调度 shuffle和排序 任务的执行

MapReduce的类型与格式 类型与格式

MapReduce的类型 输入格式 输出格式

MapReduce的 特性

计数器 排序 连接 边数据分布 MapReduce 库类

MapReduce的类型与格式

MapReduce数据处理模型非常简单：map和reduce函数的输入和输出是键/值对 (key/value pair)。本章深入讨论MapReduce模型，重点介绍各种类型的数据(从简 单文本到结构化的二进制对象)如何在MapReduce中使用。

关注微信获取最新动态

分类导航

联动北方技术论坛

智能运维平台