MapReduce 库类
Hadoop还为mapper和reducer提供了一个,包含了常用函数的库。表8-2简要描 述了这些类。如需了解详细用法,可参考相关Java文档。
表 8-2. MapReduce 库的类
类名称 | 描述 |
---|---|
ChainMapper, ChainReducer | 在一个mapper中运行多个mapper,再运行一 个reducer,最后在该reducer中运行多个 mapper。符号表示:M+RM*,其中M是 mapper,尺是 reducer。与运行多个 MapReduce 作业相比,这个方案能够显著降低磁盘i/o 开销 |
FieldSelectionMapReduce | 能从输入键和值中选择字段(类似Unix的cut 命令),并输出键和值的mapper和reducer |
IntSumReducer, LongSumReducer | 该reducer对各键的所有整数值执行求和操作 |
InverseMapper | 一个能交换键和值的mapper |
TokenCounterMapper | 将输入值分解成独立的单词(使用Java的 StningTokenizer),输出各单词以及计数器 (值为1) |
RegexMapper | 检査输入值是否匹配某正则表达式,输出匹配 字符串和计数器(值为1) |