Hadoop教程

MapReduce 库类

Hadoop还为mapper和reducer提供了一个,包含了常用函数的库。表8-2简要描 述了这些类。如需了解详细用法,可参考相关Java文档。

表 8-2. MapReduce 库的类

类名称 描述
ChainMapper, ChainReducer 在一个mapper中运行多个mapper,再运行一 个reducer,最后在该reducer中运行多个 mapper。符号表示:M+RM*,其中M是 mapper,尺是 reducer。与运行多个 MapReduce 作业相比,这个方案能够显著降低磁盘i/o 开销
FieldSelectionMapReduce 能从输入键和值中选择字段(类似Unix的cut 命令),并输出键和值的mapper和reducer
IntSumReducer, LongSumReducer 该reducer对各键的所有整数值执行求和操作
InverseMapper 一个能交换键和值的mapper
TokenCounterMapper 将输入值分解成独立的单词(使用Java的 StningTokenizer),输出各单词以及计数器 (值为1)
RegexMapper 检査输入值是否匹配某正则表达式,输出匹配 字符串和计数器(值为1)

关注微信获取最新动态